Millwright
Millwright es un enrutador de LLM de código abierto y autoalojado que dirige las solicitudes de IA a los proveedores de modelos de menor costo según políticas, preservando las cachés de prompts y controlando el gasto.
Millwright
Qué es Millwright?
Millwright vs Herramientas Similares
| Modelo de Precios | Gratis | Precio personalizado | De pago | Gratis |
| Créditos Gratis | ||||
| Funciones principales |
|
|
|
|
| Ventajas |
|
|
|
|
| Desventajas |
|
|
|
|
| Ideal para |
|
|
|
|
Cómo usar Millwright?
- 1git clone https://github.com/Northwood-Systems/millwright.git
- 2cd millwright
- 3cargo install --path . --locked
- 4millwright init
- 5millwright serve
- 6Alternativamente, para una demostración local:
- 7make compose-up
- 8curl http://localhost:8080/v1/chat/completions -H 'Authorization: Bearer sk-millwright-local-demo' -H 'Content-Type: application/json' -d '{"model":"millwright-fast","messages":[{"role":"user","content":"Hello"}]}'
Millwright Funciones principales
- Enrutamiento controlado por políticas con cabeceras de tarea y riesgo
- Concurrencia consciente de caché que mantiene carriles de afinidad independientes para roles baratos, medios y frontera
- Seguimiento de gastos y análisis de costos mediante libro mayor, comandos CLI y APIs de gestión
- Soporte de proveedores y protocolos para OpenAI Chat Completions, Anthropic Messages y Amazon Bedrock
- Autoalojamiento como un único binario Rust con soporte Docker; las credenciales del proveedor permanecen en su infraestructura
Millwright Casos de uso
- Reducir costos de LLM enrutando solicitudes al modelo más barato que cumpla con los requisitos de política
- Mantener la reutilización de la caché de prompts durante una sesión preservando la afinidad proveedor/modelo
- Cambiar entre proveedores sin modificar el código de la aplicación
- Inspeccionar y auditar las decisiones de enrutamiento con cabeceras de respuesta y entradas del libro mayor
Millwright Precios y créditos gratis
Millwright funciona con un modelo Gratis.
Esta herramienta es completamente gratuita
Millwright Ventajas y desventajas
Ventajas
- Control de costos usando los modelos más baratos adecuados
- Preserva las cachés de prompts entre solicitudes
- Independiente del proveedor; fácil de cambiar sin modificar código
- Completamente autoalojado; los datos y credenciales permanecen en su infraestructura
- Decisiones de enrutamiento inspeccionables con registro detallado
Desventajas
- Requiere autoalojamiento y configuración
- Limitado a protocolos compatibles (OpenAI, Anthropic, Bedrock)
- No es un orquestador de agentes; no inspecciona ni reescribe prompts
¿Para qué es mejor Millwright?
- Equipos que gestionan costos de LLM
- Desarrolladores que necesitan enrutamiento basado en políticas
- Empresas que requieren privacidad autoalojada
Preguntas frecuentes sobre Millwright
Alternativas gratis a Millwright
Manifest convierte cualquier URL en un mapa JSON estructurado de los elementos interactivos con los que los agentes de IA pueden interactuar en una página: botones, formularios, entradas y campos obligatorios.
Una puerta cooperativa para comandos de shell ejecutados por agentes de IA, que proporciona vistas previas, copias de seguridad, aplicación de políticas y auditoría para herramientas como Claude Code y Cursor.
Agentcard proporciona una infraestructura de emisión de tarjetas y pagos amigable para agentes de IA, permitiendo una configuración en 5 minutos y compras autónomas.
Oodle AI proporciona observabilidad de agentes con búsqueda rápida de trazas, almacenamiento basado en S3 e información lista para usar para detectar fallos silenciosos en agentes de IA.
Jacquard es un pequeño lenguaje de programación diseñado para ejecutar, revisar y confiar en programas escritos por modelos de aprendizaje automático y revisados por personas.
Plataforma autónoma de pruebas de seguridad que encuentra y corrige vulnerabilidades de control de acceso en aplicaciones construidas con IA en vivo.
Herramienta de escucha social impulsada por IA que monitorea Reddit, X, LinkedIn y más de 10 otras plataformas, filtra menciones con IA y las entrega a tu stack a través de API, Slack o webhooks.
Mejores alternativas de herramientas IA a Millwright
CartAI proporciona una API y un servidor MCP para implementar agentes de IA que navegan autónomamente por sitios web y completan transacciones como pagos, suscripciones y facturación.
Un mercado para comprar y vender horas de GPU por semana, que ofrece liquidez instantánea y cómputo flexible para cargas de trabajo de IA.
szr es un proxy CLI nativo de Go que reduce la salida ruidosa del terminal antes de que llegue a un contexto de LLM, ahorrando tokens y preservando los códigos de salida de comandos.
CodeAlmanac es un wiki vivo para tu base de código, mantenido por agentes de IA que capturan decisiones, flujos, invariantes y advertencias en markdown simple.
Stele proporciona memoria compartida para agentes de codificación de IA, registrando decisiones, tareas y lecciones para mantener el contexto entre herramientas y sesiones.
Monitor de red autoalojado que ejecuta pruebas de velocidad cada hora, escanea dispositivos LAN, registra en SQLite y envía informes sarcásticos generados por IA a Telegram.
Una aplicación de la barra de menú de macOS que se conecta a Stripe, GA4 y Google Search Console para celebrar métricas en tiempo real con lluvia de emojis, sonidos y reacciones a pantalla completa.