Millwright
Millwright ist ein Open-Source, selbst gehosteter LLM-Router, der KI-Anfragen basierend auf Richtlinien an die günstigsten Modellanbieter weiterleitet, Prompt-Caches erhält und Ausgaben kontrolliert.
Millwright
Was ist Millwright?
Millwright vs Ähnliche Tools
| Preismodell | Kostenlos | Individuelle Preise | Kostenpflichtig | Kostenlos |
| Gratis-Credits | ||||
| Wichtige Funktionen |
|
|
|
|
| Vorteile |
|
|
|
|
| Nachteile |
|
|
|
|
| Geeignet für |
|
|
|
|
So nutzt du Millwright?
- 1git clone https://github.com/Northwood-Systems/millwright.git
- 2cd millwright
- 3cargo install --path . --locked
- 4millwright init
- 5millwright serve
- 6Alternativ für eine lokale Demo:
- 7make compose-up
- 8curl http://localhost:8080/v1/chat/completions -H 'Authorization: Bearer sk-millwright-local-demo' -H 'Content-Type: application/json' -d '{"model":"millwright-fast","messages":[{"role":"user","content":"Hello"}]}'
Millwright Wichtige Funktionen
- Richtliniengesteuertes Routing mit Aufgaben- und Risiko-Headern
- Cache-bewusste Gleichzeitigkeit mit unabhängigen Affinitätsbahnen für günstige, mittlere und Spitzenrollen
- Ausgabenverfolgung und Kostenanalyse über Ledger, CLI-Befehle und Verwaltungs-APIs
- Anbieter- und Protokollunterstützung für OpenAI Chat Completions, Anthropic Messages und Amazon Bedrock
- Selbsthosting als einzelne Rust-Binary mit Docker-Unterstützung; Anbieteranmeldeinformationen bleiben in Ihrer Infrastruktur
Millwright Anwendungsfälle
- Reduzieren Sie LLM-Kosten, indem Sie Anfragen an das günstigste Modell weiterleiten, das die Richtlinien erfüllt
- Bewahren Sie die Wiederverwendung des Prompt-Cache während einer Sitzung durch Beibehaltung der Anbieter-/Modellaffinität
- Wechseln Sie zwischen Anbietern, ohne Anwendungscode zu ändern
- Überprüfen und auditieren Sie Routing-Entscheidungen mit Antwort-Headern und Ledger-Einträgen
Millwright Preise und Gratis-Credits
Millwright arbeitet mit dem Modell Kostenlos.
Millwright Vorteile und Nachteile
Vorteile
- Kostenkontrolle durch Verwendung der günstigsten geeigneten Modelle
- Bewahrt Prompt-Caches über Anfragen hinweg
- Anbieterunabhängig; einfacher Wechsel ohne Codeänderungen
- Vollständig selbst gehostet; Daten und Anmeldeinformationen bleiben in Ihrer Infrastruktur
- Überprüfbare Routing-Entscheidungen mit detaillierter Protokollierung
Nachteile
- Erfordert Selbsthosting und Einrichtung
- Beschränkt auf unterstützte Protokolle (OpenAI, Anthropic, Bedrock)
- Kein Agent-Orchestrator; keine Prompt-Inspektion oder -Umschreibung
Wofür eignet sich Millwright am besten?
- Teams, die LLM-Kosten verwalten
- Entwickler, die richtliniengesteuertes Routing benötigen
- Unternehmen, die selbst gehostete Privatsphäre benötigen
Häufige Fragen zu Millwright
Kostenlose Alternativen zu Millwright
Manifest konvertiert jede URL in eine strukturierte JSON-Karte der interaktiven Elemente auf einer Seite – Schaltflächen, Formulare, Eingabefelder und Pflichtfelder.
Ein kooperativer Gate für Shell-Befehle, die von KI-Agenten ausgeführt werden, mit Vorschauen, Backups, Richtliniendurchsetzung und Prüfung für Tools wie Claude Code und Cursor.
Agentcard bietet eine agentenfreundliche Kartenausgabe und Zahlungsinfrastruktur für KI-Agenten, die eine 5-minütige Einrichtung und autonome Käufe ermöglicht.
Oodle AI bietet Agenten-Beobachtbarkeit mit schneller Trace-Suche, S3-basiertem Speicher und integrierten Einblicken, um stille Fehler in KI-Agenten zu erkennen.
Jacquard ist eine kleine Programmiersprache, die entwickelt wurde, um Programme auszuführen, zu überprüfen und ihnen zu vertrauen, die von maschinellen Lernmodellen geschrieben und von Menschen überprüft wurden.
Autonome Sicherheits-Testplattform, die Zugriffskontroll-Schwachstellen in KI-gestützten Live-Apps findet und behebt.
KI-gestütztes Social-Listening-Tool, das Reddit, X, LinkedIn und 10+ weitere Plattformen überwacht, Erwähnungen mit KI filtert und sie über API, Slack oder Webhooks an Ihren Stack liefert.
Beste KI-Alternativen zu Millwright
CartAI bietet eine API und einen MCP-Server, um KI-Agenten bereitzustellen, die autonom Webseiten navigieren und Transaktionen wie Checkout, Abonnements und Rechnungszahlungen abschließen.
Ein Marktplatz für den Kauf und Verkauf von GPU-Stunden pro Woche, der sofortige Liquidität und flexible Rechenleistung für KI-Workloads bietet.
szr ist ein in Go geschriebener CLI-Proxy, der verrauschte Terminalausgaben reduziert, bevor sie den LLM-Kontext erreichen, und so Tokens spart sowie Exit-Codes erhält.
CodeAlmanac ist ein lebendiges Wiki für Ihre Codebasis, das von KI-Coding-Agenten gepflegt wird und Entscheidungen, Abläufe, Invarianten und Fallstricke in einfachem Markdown festhält.
Stele bietet gemeinsamen Speicher für KI-Programmieragenten, der Entscheidungen, Aufgaben und Erkenntnisse aufzeichnet, um den Kontext über Tools und Sitzungen hinweg zu erhalten.
Selbstgehosteter Netzwerkmonitor, der stündliche Geschwindigkeitstests durchführt, LAN-Gerätescans ausführt, Daten in SQLite protokolliert und sarkastische KI-generierte Berichte an Telegram sendet.
Eine macOS-Menüleisten-App, die sich mit Stripe, GA4 und der Google Search Console verbindet, um Echtzeit-Metriken mit Emoji-Regen, Sounds und Vollbild-Reaktionen zu feiern.