AI 开发者工具
Millwright
Millwright 是一个开源、自托管的 LLM 路由器，根据策略将 AI 请求路由到成本最低的模型提供商，同时保留提示缓存并控制支出。
Millwright
什么是 Millwright？
Millwright 是一个开源 LLM 路由器，根据策略将 AI 请求导向最便宜的合适模型提供商，保留提示缓存亲和性并控制支出。它运行在您的 AI 应用程序和模型提供商之间，接受 OpenAI Chat Completions 和 Anthropic Messages，并路由到兼容 OpenAI 的 API、Anthropic 或 Amazon Bedrock。
Millwright 与相似工具比较
| 计价模式 | 免费 | 免费 | 免费 | 免费 |
| 免费额度 | ||||
| 主要功能 |
|
|
|
|
| 优点 |
|
|
|
|
| 缺点 |
|
|
|
|
| 适合对象 |
|
|
|
|
如何使用 Millwright？
- 1git clone https://github.com/Northwood-Systems/millwright.git
- 2cd millwright
- 3cargo install --path . --locked
- 4millwright init
- 5millwright serve
- 6或者，对于本地演示：
- 7make compose-up
- 8curl http://localhost:8080/v1/chat/completions -H 'Authorization: Bearer sk-millwright-local-demo' -H 'Content-Type: application/json' -d '{"model":"millwright-fast","messages":[{"role":"user","content":"Hello"}]}'
Millwright 主要功能
- 通过任务和风险头进行策略控制路由
- 缓存感知并发，为廉价、中等和前沿角色维护独立的亲和性通道
- 通过分类账、CLI 命令和管理 API 进行支出跟踪和成本分析
- 支持 OpenAI Chat Completions、Anthropic Messages 和 Amazon Bedrock 的提供商和协议
- 作为单个 Rust 二进制文件自托管，支持 Docker；提供商凭据保留在您的基础设施中
Millwright 使用场景
- 通过将请求路由到满足策略要求的最便宜模型来降低 LLM 成本
- 通过保持提供商/模型亲和性来维持会话期间的提示缓存重用
- 在不更改应用程序代码的情况下切换提供商
- 通过响应头和分类账条目检查和审计路由决策
Millwright 价格与免费额度
Millwright 目前采用 免费 模式。
此工具完全免费使用
Millwright 优缺点
优点
- 通过使用最便宜的合适模型控制成本
- 跨请求保留提示缓存
- 提供商无关；无需更改代码即可轻松切换
- 完全自托管；数据和凭据保留在您的基础设施中
- 可通过详细日志检查路由决策
缺点
- 需要自托管和设置
- 仅支持有限协议（OpenAI、Anthropic、Bedrock）
- 不是代理编排器；无法检查或重写提示
Millwright 最适合哪些用途？
- 管理 LLM 成本的团队
- 需要基于策略路由的开发者
- 需要自托管隐私的企业
Millwright 常见问题
Millwright 的免费替代工具
Manifest 将任意 URL 转换为 AI 代理可以在页面上交互的结构化 JSON 映射——按钮、表单、输入框和必填字段。
免费
Millwright 的最佳替代 AI 工具
Magpie 是一款专为人类和 AI 代理设计的、有主见的会计 CLI 工具，提供复式记账、RBAC 以及基于 Jaybase 的不可变事件存储。
终端用户界面，用于在 tmux 中管理 AI 编码代理会话（Claude Code、OpenCode、Codex、Grok Build），支持实时状态、分组树和差异审查。
