Millwright
Millwright er en open source, selv-hostet LLM-router, der dirigerer AI-anmodninger til de billigste modeludbydere baseret på politik, bevarer prompt-cache og kontrollerer omkostninger.
Millwright
Hvad er Millwright?
Millwright vs Lignende Værktøjer
| Prismodel | Gratis | Gratis | Gratis | Gratis |
| Gratis credits | ||||
| Vigtige funktioner |
|
|
|
|
| Fordele |
|
|
|
|
| Ulemper |
|
|
|
|
| Bedst til |
|
|
|
|
Sådan bruger du Millwright?
- 1git clone https://github.com/Northwood-Systems/millwright.git
- 2cd millwright
- 3cargo install --path . --locked
- 4millwright init
- 5millwright serve
- 6Alternativt til en lokal demo:
- 7make compose-up
- 8curl http://localhost:8080/v1/chat/completions -H 'Authorization: Bearer sk-millwright-local-demo' -H 'Content-Type: application/json' -d '{"model":"millwright-fast","messages":[{"role":"user","content":"Hello"}]}'
Millwright Vigtige funktioner
- Politikstyret routing med opgave- og risiko-headere
- Cache-bevidst samtidighed med uafhængige affinitetsbaner for billige, mellem- og frontrollroller
- Omkostningssporing og -analyse via hovedbog, CLI-kommandoer og administrations-API'er
- Understøttelse af udbydere og protokoller: OpenAI Chat Completions, Anthropic Messages og Amazon Bedrock
- Selv-hosting som en enkelt Rust-binær med Docker-support; udbyderlegitimationsoplysninger forbliver på din infrastruktur
Millwright Brugssituationer
- Reducer LLM-omkostninger ved at dirigere anmodninger til den billigste model, der opfylder politikken
- Bevar prompt-cache-genbrug på tværs af en session ved at bevare udbyder/model-affinitet
- Skift mellem udbydere uden at ændre applikationskode
- Inspicer og revider routingbeslutninger med svarheadere og hovedbogsposter
Millwright Priser og gratis credits
Millwright bruger modellen Gratis.
Dette værktøj er helt gratis
Millwright Fordele og ulemper
Fordele
- Omkostningskontrol ved brug af billigste passende modeller
- Bevarer prompt-cache på tværs af anmodninger
- Udbydersuafhængig; let at skifte uden kodeændringer
- Fuldt selv-hostet; data og legitimationsoplysninger forbliver på din infrastruktur
- Inspicerbare routingbeslutninger med detaljeret logning
Ulemper
- Kræver selv-hosting og opsætning
- Begrænset til understøttede protokoller (OpenAI, Anthropic, Bedrock)
- Ikke en agentorkestrator; ingen prompterinspektion eller omskrivning
Hvad er Millwright bedst til?
- Teams, der administrerer LLM-omkostninger
- Udviklere, der har brug for politikbaseret routing
- Virksomheder, der kræver selv-hostet privatliv
Ofte stillede spørgsmål om Millwright
Gratis alternativer til Millwright
En stemmestyret IDE, der giver udviklere mulighed for at starte AI-kodningssessioner med Codex eller Claude Code, godkende kommandoer og gennemgå diffs fra deres telefon.
SureWire er en specialiseret QA-platform, der stresstester AI-agenter for sikkerhed, pålidelighed og compliance ved hjælp af specialbyggede testagenter.
Browserinfrastrukturplatform til AI-agenter, der kan køre på internettet med høj hastighed via cloud-browsersessioner, agenter og serverløse funktioner.
Et agent-første filoverførselsværktøj, der muliggør sikker, krypteret fildeling mellem AI-agenter via MCP-kald uden menneskelig involvering.
Manifest konverterer enhver URL til et struktureret JSON-kort over, hvad AI-agenter kan interagere med på en side—knapper, formularer, inputfelter og obligatoriske felter.
En kooperativ port til shell-kommandoer, som AI-agenter udfører, der giver forhåndsvisninger, sikkerhedskopier, politikhåndhævelse og revision for værktøjer som Claude Code og Cursor.
Agentcard leverer agentvenlig kortudstedelse og betalingsinfrastruktur til AI-agenter, hvilket muliggør opsætning på 5 minutter og autonome køb.
Bedste AI-alternativer til Millwright
En samling af bevidst sårbare MCP-servere til træning i agentisk sikkerhed, kortlagt til OWASP Top 10 for Agentiske Applikationer.
Open source AI-værktøj til dybdegående infrastrukturforskning, der kører frontmodeller på tværs af kode, sky og runtime for at levere verificerede svar.
Magpie er en meningsfuld CLI til regnskabsføring for mennesker og AI-agenter, der tilbyder dobbelt bogholderi med RBAC og uforanderlig hændelseslagring på Jaybase.
Terminalbrugergrænseflade til at administrere AI-kodningsagent-sessioner (Claude Code, OpenCode, Codex, Grok Build) i tmux med live status, gruppetræ og diff-gennemgang.
En stemmestyret IDE, der giver udviklere mulighed for at starte AI-kodningssessioner med Codex eller Claude Code, godkende kommandoer og gennemgå diffs fra deres telefon.
Softwarekatalog uden konfiguration, en enkelt binær fil med automatisk opdagelse, afhængighedsvisualisering, overholdelsesscorekort og indbygget MCP-integration til AI-agenter.
Browserautomatiserings-CLI til AI-agenter, der omgår anti-bot-vægge, overlader til mennesker og udfører parallelle opgaver.
En AI-drevet shoppingassistent, der giver en levende markør til at guide besøgende på websteder, påpege produkter og vise prisberegninger.