AI 开发者工具
GreyFox Community Edition
自托管的AI流量代理和本地操作控制台,帮助团队控制LLM令牌使用、实施用户限制、缓存响应和监控AI流量。
GreyFox Community Edition
什么是 GreyFox Community Edition?
GreyFox Community Edition 是一个自托管的AI流量代理和本地操作控制台,提供兼容OpenAI的端点、每个用户的令牌配额限制、精确响应缓存以及本地管理界面,用于在您自己的基础设施内管理AI流量。
GreyFox Community Edition 与相似工具比较
| 计价模式 | 免费 | 免费, 付费 | 免费, Freemium | 定制定价 |
| 免费额度 | ||||
| 主要功能 |
|
|
|
|
| 优点 |
|
|
|
|
| 缺点 |
|
|
|
|
| 适合对象 |
|
|
|
|
如何使用 GreyFox Community Edition?
- 1创建一个包含GreyFox Docker镜像的compose.yaml文件。
- 2使用'docker compose up -d'启动GreyFox。
- 3打开管理界面 http://localhost:8080。
- 4配置提供商设置(模拟模式或兼容OpenAI的提供商)。
- 5将应用程序的AI提供商基础URL更改为GreyFox端点。
- 6添加X-App-User-Id标头以识别用户。
GreyFox Community Edition 主要功能
- 兼容OpenAI的代理端点
- 从同一容器提供的本地管理界面
- 每个用户的令牌配额限制(通过X-App-User-Id)
- 非流式请求的精确响应缓存
- 用于设置、用户、日志、缓存和指标的本地SQLite存储
- 流量历史、令牌分析和手动成本计算器
- 用于零成本上手和演示的模拟模式
- 用于兼容OpenAI的上游API的提供商模式
- 提示注入防护
GreyFox Community Edition 使用场景
- 团队管理LLM令牌使用
- 自托管AI流量监控和分析
- 跨组织实施每个用户的API限制
- 缓存重复的AI请求以降低成本
- 使用模拟模式进行开发和测试
GreyFox Community Edition 价格与免费额度
GreyFox Community Edition 目前采用 免费 模式。
此工具完全免费使用
GreyFox Community Edition 优缺点
优点
- 自托管,完全数据隐私
- 通过compose.yaml轻松Docker设置
- 兼容OpenAI的API端点
- 每个用户的令牌配额限制
- 重复请求的精确响应缓存
缺点
- 仅限于5个活动管理用户
- 无自动更新
- 成本估算为手动且仅供参考
- 无托管云控制面板
GreyFox Community Edition 最适合哪些用途?
- 希望控制LLM令牌使用的团队
- 需要配额管理集成AI API的开发人员
- 需要数据隐私和本地基础设施的组织
- 小型团队和演示