Millwright
Millwright è un router LLM open-source auto-ospitato che instrada le richieste AI ai fornitori di modelli più economici in base alle policy, preservando le cache dei prompt e controllando la spesa.
Millwright
Cos’è Millwright?
Millwright vs Strumenti Simili
| Modello di Prezzo | Gratis | Prezzi personalizzati | A pagamento | Gratis |
| Crediti Gratuiti | ||||
| Funzioni principali |
|
|
|
|
| Pro |
|
|
|
|
| Contro |
|
|
|
|
| Ideale per |
|
|
|
|
Come usare Millwright?
- 1git clone https://github.com/Northwood-Systems/millwright.git
- 2cd millwright
- 3cargo install --path . --locked
- 4millwright init
- 5millwright serve
- 6In alternativa, per una demo locale:
- 7make compose-up
- 8curl http://localhost:8080/v1/chat/completions -H 'Authorization: Bearer sk-millwright-local-demo' -H 'Content-Type: application/json' -d '{"model":"millwright-fast","messages":[{"role":"user","content":"Ciao"}]}'
Millwright Funzioni principali
- Instradamento controllato da policy con intestazioni di attività e rischio
- Concorrenza consapevole della cache che mantiene corsie di affinità indipendenti per ruoli economici, medi e di frontiera
- Tracciamento della spesa e analisi dei costi tramite registro, comandi CLI e API di gestione
- Supporto per provider e protocolli: OpenAI Chat Completions, Anthropic Messages e Amazon Bedrock
- Auto-hosting come singolo binario Rust con supporto Docker; le credenziali del provider rimangono sulla tua infrastruttura
Millwright Casi d’uso
- Ridurre i costi LLM instradando le richieste al modello più economico che soddisfa i requisiti delle policy
- Mantenere il riutilizzo della cache dei prompt durante una sessione preservando l'affinità provider/modello
- Cambiare provider senza modificare il codice dell'applicazione
- Ispezionare e verificare le decisioni di instradamento con intestazioni di risposta e voci di registro
Millwright Prezzi e crediti gratuiti
Millwright usa un modello Gratis.
Millwright Pro e contro
Pro
- Controllo dei costi utilizzando i modelli appropriati più economici
- Preserva le cache dei prompt tra le richieste
- Indipendente dal provider; facile cambiare senza modifiche al codice
- Completamente auto-ospitato; dati e credenziali rimangono sulla tua infrastruttura
- Decisioni di instradamento ispezionabili con registrazione dettagliata
Contro
- Richiede auto-hosting e configurazione
- Limitato ai protocolli supportati (OpenAI, Anthropic, Bedrock)
- Non è un orchestratore di agenti; nessuna ispezione o riscrittura dei prompt
Per cosa è più adatto Millwright?
- Team che gestiscono i costi LLM
- Sviluppatori che necessitano di instradamento basato su policy
- Aziende che richiedono privacy auto-ospitata
Domande frequenti su Millwright
Alternative gratuite a Millwright
Manifest converte qualsiasi URL in una mappa JSON strutturata di ciò con cui gli agenti AI possono interagire su una pagina: pulsanti, moduli, input e campi obbligatori.
Un gate cooperativo per comandi shell eseguiti da agenti AI, che fornisce anteprime, backup, applicazione delle policy e audit per strumenti come Claude Code e Cursor.
Agentcard fornisce un'infrastruttura di emissione carte e pagamenti adatta agli agenti AI, consentendo una configurazione in 5 minuti e acquisti autonomi.
Oodle AI offre osservabilità degli agenti con ricerca rapida delle tracce, archiviazione basata su S3 e insights pronti all'uso per rilevare guasti silenziosi negli agenti AI.
Jacquard è un piccolo linguaggio di programmazione progettato per eseguire, revisionare e fidarsi di programmi scritti da modelli di machine learning e revisionati da persone.
Piattaforma autonoma di test di sicurezza che trova e corregge le vulnerabilità di controllo degli accessi nelle app basate su AI in tempo reale.
Strumento di ascolto sociale basato su IA che monitora Reddit, X, LinkedIn e oltre 10 altre piattaforme, filtra le menzioni con l'IA e le invia al tuo stack tramite API, Slack o webhook.
Migliori alternative AI a Millwright
CartAI fornisce un'API e un server MCP per distribuire agenti AI che navigano autonomamente le proprietà web e completano transazioni come checkout, abbonamenti e pagamenti di fatture.
Un marketplace per acquistare e vendere ore GPU a settimana, offrendo liquidità immediata e calcolo flessibile per carichi di lavoro AI.
szr è un proxy CLI nativo in Go che riduce l'output rumoroso del terminale prima che raggiunga un contesto LLM, risparmiando token e preservando i codici di uscita dei comandi.
CodeAlmanac è un wiki vivente per il tuo codebase, mantenuto da agenti AI di codifica, che cattura decisioni, flussi, invarianti e insidie in semplice markdown.
Stele fornisce una memoria condivisa per agenti di codifica AI, registrando decisioni, attività e lezioni per mantenere il contesto tra strumenti e sessioni.
Monitor di rete auto-ospitato che esegue test di velocità ogni ora, scansioni dei dispositivi LAN, registra su SQLite e invia rapporti sarcastici generati dall'IA su Telegram.
Un'app per la barra dei menu di macOS che si connette a Stripe, GA4 e Google Search Console per festeggiare le metriche in tempo reale con pioggia di emoji, suoni e reazioni a schermo intero.