AI 开发者工具
Millwright
Millwright 是一个开源、自托管的 LLM 路由器，根据策略将 AI 请求路由到成本最低的模型提供商，同时保留提示缓存并控制支出。
Millwright
什么是 Millwright？
Millwright 是一个开源 LLM 路由器，根据策略将 AI 请求导向最便宜的合适模型提供商，保留提示缓存亲和性并控制支出。它运行在您的 AI 应用程序和模型提供商之间，接受 OpenAI Chat Completions 和 Anthropic Messages，并路由到兼容 OpenAI 的 API、Anthropic 或 Amazon Bedrock。
Millwright 与相似工具比较
| 计价模式 | 免费 | 定制定价 | 付费 | 免费 |
| 免费额度 | ||||
| 主要功能 |
|
|
|
|
| 优点 |
|
|
|
|
| 缺点 |
|
|
|
|
| 适合对象 |
|
|
|
|
如何使用 Millwright？
- 1git clone https://github.com/Northwood-Systems/millwright.git
- 2cd millwright
- 3cargo install --path . --locked
- 4millwright init
- 5millwright serve
- 6或者，对于本地演示：
- 7make compose-up
- 8curl http://localhost:8080/v1/chat/completions -H 'Authorization: Bearer sk-millwright-local-demo' -H 'Content-Type: application/json' -d '{"model":"millwright-fast","messages":[{"role":"user","content":"Hello"}]}'
Millwright 主要功能
- 通过任务和风险头进行策略控制路由
- 缓存感知并发，为廉价、中等和前沿角色维护独立的亲和性通道
- 通过分类账、CLI 命令和管理 API 进行支出跟踪和成本分析
- 支持 OpenAI Chat Completions、Anthropic Messages 和 Amazon Bedrock 的提供商和协议
- 作为单个 Rust 二进制文件自托管，支持 Docker；提供商凭据保留在您的基础设施中
Millwright 使用场景
- 通过将请求路由到满足策略要求的最便宜模型来降低 LLM 成本
- 通过保持提供商/模型亲和性来维持会话期间的提示缓存重用
- 在不更改应用程序代码的情况下切换提供商
- 通过响应头和分类账条目检查和审计路由决策
Millwright 价格与免费额度
Millwright 目前采用 免费 模式。
此工具完全免费使用
Millwright 优缺点
优点
- 通过使用最便宜的合适模型控制成本
- 跨请求保留提示缓存
- 提供商无关；无需更改代码即可轻松切换
- 完全自托管；数据和凭据保留在您的基础设施中
- 可通过详细日志检查路由决策
缺点
- 需要自托管和设置
- 仅支持有限协议（OpenAI、Anthropic、Bedrock）
- 不是代理编排器；无法检查或重写提示
Millwright 最适合哪些用途？
- 管理 LLM 成本的团队
- 需要基于策略路由的开发者
- 需要自托管隐私的企业
Millwright 常见问题
Millwright 的免费替代工具
Manifest 将任意 URL 转换为 AI 代理可以在页面上交互的结构化 JSON 映射——按钮、表单、输入框和必填字段。
免费
Millwright 的最佳替代 AI 工具
一款macOS菜单栏应用，连接Stripe、GA4和Google Search Console，通过表情雨、音效和全屏反应庆祝实时指标。