Millwright
Millwright ist ein Open-Source, selbst gehosteter LLM-Router, der KI-Anfragen basierend auf Richtlinien an die günstigsten Modellanbieter weiterleitet, Prompt-Caches erhält und Ausgaben kontrolliert.
Millwright
Was ist Millwright?
Millwright vs Ähnliche Tools
| Preismodell | Kostenlos | Kostenlos | Kostenlos | Kostenlos |
| Gratis-Credits | ||||
| Wichtige Funktionen |
|
|
|
|
| Vorteile |
|
|
|
|
| Nachteile |
|
|
|
|
| Geeignet für |
|
|
|
|
So nutzt du Millwright?
- 1git clone https://github.com/Northwood-Systems/millwright.git
- 2cd millwright
- 3cargo install --path . --locked
- 4millwright init
- 5millwright serve
- 6Alternativ für eine lokale Demo:
- 7make compose-up
- 8curl http://localhost:8080/v1/chat/completions -H 'Authorization: Bearer sk-millwright-local-demo' -H 'Content-Type: application/json' -d '{"model":"millwright-fast","messages":[{"role":"user","content":"Hello"}]}'
Millwright Wichtige Funktionen
- Richtliniengesteuertes Routing mit Aufgaben- und Risiko-Headern
- Cache-bewusste Gleichzeitigkeit mit unabhängigen Affinitätsbahnen für günstige, mittlere und Spitzenrollen
- Ausgabenverfolgung und Kostenanalyse über Ledger, CLI-Befehle und Verwaltungs-APIs
- Anbieter- und Protokollunterstützung für OpenAI Chat Completions, Anthropic Messages und Amazon Bedrock
- Selbsthosting als einzelne Rust-Binary mit Docker-Unterstützung; Anbieteranmeldeinformationen bleiben in Ihrer Infrastruktur
Millwright Anwendungsfälle
- Reduzieren Sie LLM-Kosten, indem Sie Anfragen an das günstigste Modell weiterleiten, das die Richtlinien erfüllt
- Bewahren Sie die Wiederverwendung des Prompt-Cache während einer Sitzung durch Beibehaltung der Anbieter-/Modellaffinität
- Wechseln Sie zwischen Anbietern, ohne Anwendungscode zu ändern
- Überprüfen und auditieren Sie Routing-Entscheidungen mit Antwort-Headern und Ledger-Einträgen
Millwright Preise und Gratis-Credits
Millwright arbeitet mit dem Modell Kostenlos.
Millwright Vorteile und Nachteile
Vorteile
- Kostenkontrolle durch Verwendung der günstigsten geeigneten Modelle
- Bewahrt Prompt-Caches über Anfragen hinweg
- Anbieterunabhängig; einfacher Wechsel ohne Codeänderungen
- Vollständig selbst gehostet; Daten und Anmeldeinformationen bleiben in Ihrer Infrastruktur
- Überprüfbare Routing-Entscheidungen mit detaillierter Protokollierung
Nachteile
- Erfordert Selbsthosting und Einrichtung
- Beschränkt auf unterstützte Protokolle (OpenAI, Anthropic, Bedrock)
- Kein Agent-Orchestrator; keine Prompt-Inspektion oder -Umschreibung
Wofür eignet sich Millwright am besten?
- Teams, die LLM-Kosten verwalten
- Entwickler, die richtliniengesteuertes Routing benötigen
- Unternehmen, die selbst gehostete Privatsphäre benötigen
Häufige Fragen zu Millwright
Kostenlose Alternativen zu Millwright
Eine sprachgesteuerte IDE, die Entwicklern ermöglicht, KI-Codierungssitzungen mit Codex oder Claude Code zu starten, Befehle zu genehmigen und Diffs vom Handy aus zu überprüfen.
SureWire ist eine spezialisierte QA-Plattform, die KI-Agenten auf Sicherheit, Zuverlässigkeit und Compliance mittels speziell entwickelter Test-Agenten stresstestet.
Browserinfrastruktur-Plattform für KI-Agenten, damit sie mit Cloud-Browser-Sitzungen, Agenten und serverlosen Funktionen schnell im Internet agieren können.
Ein agentenorientiertes Dateiübertragungstool, das sicheren, verschlüsselten Dateiaustausch zwischen KI-Agenten über MCP-Aufrufe ohne menschliches Eingreifen ermöglicht.
Manifest konvertiert jede URL in eine strukturierte JSON-Karte der interaktiven Elemente auf einer Seite – Schaltflächen, Formulare, Eingabefelder und Pflichtfelder.
Ein kooperativer Gate für Shell-Befehle, die von KI-Agenten ausgeführt werden, mit Vorschauen, Backups, Richtliniendurchsetzung und Prüfung für Tools wie Claude Code und Cursor.
Agentcard bietet eine agentenfreundliche Kartenausgabe und Zahlungsinfrastruktur für KI-Agenten, die eine 5-minütige Einrichtung und autonome Käufe ermöglicht.
Beste KI-Alternativen zu Millwright
Eine Sammlung absichtlich verwundbarer MCP-Server für das Training in agentischer Sicherheit, abgebildet auf die OWASP Top 10 für agentische Anwendungen.
Open-Source-KI-Tool für tiefgehende Infrastrukturforschung, das modernste Modelle über Code, Cloud und Laufzeitumgebung hinweg einsetzt, um verifizierte Antworten zu liefern.
Magpie ist ein meinungsstarkes Buchhaltungs-CLI für Menschen und KI-Agenten, das doppelte Buchführung mit RBAC und unveränderlicher Ereignisspeicherung auf Jaybase bietet.
Terminal-Benutzeroberfläche zur Verwaltung von KI-Coding-Agent-Sitzungen (Claude Code, OpenCode, Codex, Grok Build) in tmux mit Live-Status, Gruppenbaum und Diff-Review.
Eine sprachgesteuerte IDE, die Entwicklern ermöglicht, KI-Codierungssitzungen mit Codex oder Claude Code zu starten, Befehle zu genehmigen und Diffs vom Handy aus zu überprüfen.
Zero-Config-Softwarekatalog als einzelne Binärdatei mit automatischer Erkennung, Abhängigkeitsvisualisierung, Compliance-Scorecards und nativer MCP-Integration für KI-Agenten.
CLI für Browser-Automation für KI-Agenten, um Anti-Bot-Wände zu umgehen, an Menschen zu übergeben und parallele Aufgaben auszuführen.
Ein KI-gestützter Einkaufsassistent mit einem Live-Cursor, der Website-Besucher führt, Produkte zeigt und Preisberechnungen anzeigt.