Millwright
Millwright é um roteador LLM de código aberto e auto-hospedado que direciona solicitações de IA para os provedores de modelo de menor custo com base em políticas, preservando caches de prompt e controlando gastos.
Millwright
O que é Millwright?
Millwright vs Ferramentas Similares
| Modelo de Preços | Grátis | Preço personalizado | Pago | Grátis |
| Créditos Grátis | ||||
| Principais recursos |
|
|
|
|
| Prós |
|
|
|
|
| Contras |
|
|
|
|
| Melhor para |
|
|
|
|
Como usar Millwright?
- 1git clone https://github.com/Northwood-Systems/millwright.git
- 2cd millwright
- 3cargo install --path . --locked
- 4millwright init
- 5millwright serve
- 6Alternativamente, para uma demonstração local:
- 7make compose-up
- 8curl http://localhost:8080/v1/chat/completions -H 'Authorization: Bearer sk-millwright-local-demo' -H 'Content-Type: application/json' -d '{"model":"millwright-fast","messages":[{"role":"user","content":"Olá"}]}'
Millwright Principais recursos
- Roteamento controlado por políticas com cabeçalhos de tarefa e risco
- Concorrência ciente de cache mantendo vias de afinidade independentes para funções baratas, médias e de fronteira
- Rastreamento de gastos e análise de custos via ledger, comandos CLI e APIs de gerenciamento
- Suporte a provedores e protocolos para OpenAI Chat Completions, Anthropic Messages e Amazon Bedrock
- Auto-hospedagem como um único binário Rust com suporte a Docker; credenciais do provedor permanecem em sua infraestrutura
Millwright Casos de uso
- Reduzir custos de LLM roteando solicitações para o modelo mais barato que atenda aos requisitos de política
- Manter a reutilização do cache de prompt em uma sessão preservando a afinidade provedor/modelo
- Alternar entre provedores sem alterar o código da aplicação
- Inspecionar e auditar decisões de roteamento com cabeçalhos de resposta e entradas de ledger
Millwright Preços e créditos grátis
Millwright funciona no modelo Grátis.
Millwright Prós e contras
Prós
- Controle de custos usando modelos mais baratos e apropriados
- Preserva caches de prompt entre solicitações
- Independente de provedor; fácil de alternar sem alterações de código
- Totalmente auto-hospedado; dados e credenciais permanecem em sua infraestrutura
- Decisões de roteamento inspecionáveis com registro detalhado
Contras
- Requer auto-hospedagem e configuração
- Limitado a protocolos suportados (OpenAI, Anthropic, Bedrock)
- Não é um orquestrador de agentes; sem inspeção ou reescrita de prompt
Para que Millwright é melhor?
- Equipes gerenciando custos de LLM
- Desenvolvedores que precisam de roteamento baseado em políticas
- Empresas que exigem privacidade auto-hospedada
Perguntas frequentes sobre Millwright
Alternativas gratuitas ao Millwright
Manifest converte qualquer URL em um mapa JSON estruturado do que agentes de IA podem interagir em uma página—botões, formulários, entradas e campos obrigatórios.
Um portal cooperativo para comandos de shell executados por agentes de IA, fornecendo prévias, backups, aplicação de políticas e auditoria para ferramentas como Claude Code e Cursor.
Agentcard oferece infraestrutura de emissão de cartões e pagamentos amigável para agentes, permitindo configuração em 5 minutos e compras autônomas.
Oodle AI fornece observabilidade de agentes com pesquisa rápida de rastreamentos, armazenamento baseado em S3 e insights prontos para detectar falhas silenciosas em agentes de IA.
Jacquard é uma pequena linguagem de programação projetada para executar, revisar e confiar em programas escritos por modelos de aprendizado de máquina e revisados por pessoas.
Plataforma autônoma de testes de segurança que encontra e corrige vulnerabilidades de controle de acesso em aplicativos de IA em tempo real.
Ferramenta de escuta social alimentada por IA que monitora Reddit, X, LinkedIn e mais de 10 outras plataformas, filtra menções com IA e as entrega à sua pilha via API, Slack ou webhooks.
Melhores alternativas de ferramentas IA ao Millwright
CartAI fornece uma API e servidor MCP para implantar agentes de IA que navegam autonomamente em propriedades web e completam transações como checkout, assinaturas e pagamentos de faturas.
Um marketplace para comprar e vender horas de GPU por semana, oferecendo liquidez instantânea e computação flexível para cargas de trabalho de IA.
szr é um proxy CLI nativo em Go que reduz a saída ruidosa do terminal antes de chegar a um contexto de LLM, economizando tokens e preservando códigos de saída de comandos.
CodeAlmanac é uma wiki viva para sua base de código, mantida por agentes de IA, capturando decisões, fluxos, invariantes e pegadinhas em markdown simples.
Stele fornece memória compartilhada para agentes de codificação de IA, registrando decisões, tarefas e lições para manter o contexto entre ferramentas e sessões.
Monitor de rede auto-hospedado que executa testes de velocidade por hora, verifica dispositivos LAN, registra em SQLite e envia relatórios sarcásticos gerados por IA para o Telegram.
Um aplicativo da barra de menus do macOS que se conecta ao Stripe, GA4 e Google Search Console para celebrar métricas em tempo real com chuva de emojis, sons e reações em tela cheia.