Millwright
Millwright est un routeur LLM open-source et auto-hébergé qui achemine les requêtes IA vers les fournisseurs de modèles les moins chers en fonction de politiques, préservant les caches de prompts et contrôlant les dépenses.
Millwright
Qu’est-ce que Millwright?
Millwright vs Outils Similaires
| Modèle de Tarification | Gratuit | Tarification personnalisée | Payant | Gratuit |
| Crédits Gratuits | ||||
| Fonctionnalités clés |
|
|
|
|
| Avantages |
|
|
|
|
| Limites |
|
|
|
|
| Idéal pour |
|
|
|
|
Comment utiliser Millwright?
- 1git clone https://github.com/Northwood-Systems/millwright.git
- 2cd millwright
- 3cargo install --path . --locked
- 4millwright init
- 5millwright serve
- 6Alternativement, pour une démo locale :
- 7make compose-up
- 8curl http://localhost:8080/v1/chat/completions -H 'Authorization: Bearer sk-millwright-local-demo' -H 'Content-Type: application/json' -d '{"model":"millwright-fast","messages":[{"role":"user","content":"Hello"}]}'
Millwright Fonctionnalités clés
- Acheminement contrôlé par politique avec en-têtes de tâche et de risque
- Concurrence sensible au cache maintenant des voies d'affinité indépendantes pour les rôles bon marché, intermédiaire et frontalier
- Suivi des dépenses et analyse des coûts via un registre, des commandes CLI et des API de gestion
- Prise en charge des fournisseurs et protocoles pour OpenAI Chat Completions, Anthropic Messages et Amazon Bedrock
- Auto-hébergement comme un binaire Rust unique avec support Docker ; les informations d'identification du fournisseur restent sur votre infrastructure
Millwright Cas d’usage
- Réduire les coûts LLM en acheminant les requêtes vers le modèle le moins cher répondant aux exigences de la politique
- Maintenir la réutilisation du cache de prompts au cours d'une session en préservant l'affinité fournisseur/modèle
- Changer de fournisseur sans modifier le code de l'application
- Inspecter et auditer les décisions d'acheminement avec les en-têtes de réponse et les entrées du registre
Millwright Tarifs et crédits gratuits
Millwright fonctionne avec le modèle Gratuit.
Millwright Avantages et limites
Avantages
- Contrôle des coûts en utilisant les modèles appropriés les moins chers
- Préserve les caches de prompts entre les requêtes
- Indépendant du fournisseur ; facile à changer sans modification de code
- Entièrement auto-hébergé ; données et identifiants restent sur votre infrastructure
- Décisions d'acheminement inspectables avec une journalisation détaillée
Limites
- Nécessite auto-hébergement et configuration
- Limité aux protocoles supportés (OpenAI, Anthropic, Bedrock)
- Pas un orchestrateur d'agents ; aucune inspection ou réécriture de prompts
À quoi Millwright convient-il le mieux ?
- Équipes gérant les coûts LLM
- Développeurs ayant besoin d'un routage basé sur des politiques
- Entreprises nécessitant la confidentialité de l'auto-hébergement
Questions fréquentes sur Millwright
Alternatives gratuites à Millwright
Manifest convertit n'importe quelle URL en une carte JSON structurée de ce avec quoi les agents IA peuvent interagir sur une page : boutons, formulaires, champs de saisie et champs obligatoires.
Une porte coopérative pour les commandes shell exécutées par les agents IA, offrant des aperçus, des sauvegardes, l'application des politiques et un audit pour des outils comme Claude Code et Cursor.
Agentcard fournit une infrastructure de paiement et d'émission de cartes adaptée aux agents IA, permettant une configuration en 5 minutes et des achats autonomes.
Oodle AI fournit une observabilité des agents avec une recherche rapide de traces, un stockage basé sur S3 et des informations prêtes à l'emploi pour détecter les échecs silencieux dans les agents IA.
Jacquard est un petit langage de programmation conçu pour exécuter, examiner et approuver des programmes écrits par des modèles d'apprentissage automatique et examinés par des personnes.
Plateforme de test de sécurité autonome qui trouve et corrige les vulnérabilités de contrôle d'accès dans les applications construites par l'IA en direct.
Outil d'écoute sociale alimenté par l'IA qui surveille Reddit, X, LinkedIn et plus de 10 autres plateformes, filtre les mentions avec l'IA et les livre à votre stack via API, Slack ou webhooks.
Meilleures alternatives IA à Millwright
CartAI fournit une API et un serveur MCP pour déployer des agents IA qui naviguent de manière autonome sur des sites Web et effectuent des transactions comme les achats, les souscriptions et les paiements de factures.
Un marché pour acheter et vendre des heures de GPU à la semaine, offrant une liquidité instantanée et une puissance de calcul flexible pour les charges de travail IA.
szr est un proxy CLI natif Go qui réduit le bruit de la sortie du terminal avant qu'il n'atteigne un contexte LLM, économisant des tokens et préservant les codes de sortie des commandes.
CodeAlmanac est un wiki vivant pour votre base de code, maintenu par des agents de codage IA, capturant les décisions, les flux, les invariants et les pièges en markdown simple.
Stele fournit une mémoire partagée pour les agents de codage IA, enregistrant les décisions, tâches et leçons pour maintenir le contexte entre outils et sessions.
Moniteur réseau auto-hébergé qui exécute des tests de vitesse horaires, scanne les appareils du réseau local, enregistre dans SQLite et envoie des rapports sarcastiques générés par IA sur Telegram.
Une application pour la barre de menus macOS qui se connecte à Stripe, GA4 et Google Search Console pour célébrer les métriques en temps réel avec des pluies d'émojis, des sons et des réactions plein écran.