最佳免费 AI 开源模型工具

一个轻量级高性能LLM代理，用于缓存、故障转移、成本跟踪，并在本地和云端AI提供商之间无缝集成。

Wolbarg 是一个本地优先的 TypeScript SDK，为 AI 代理提供使用 SQLite 或 PostgreSQL 的共享语义记忆。

统一的零分配原生AI推理运行时，专为Java设计，通过Project Panama整合LLM、视觉和语音管道。

Osaurus 是一款专为 Mac 设计的私密本地 AI 助手，可在设备上运行开源模型，并可选云 AI 访问和自主代理。

一个精简、经过充分测试的 LLM 推理服务器，专为廉价 CPU 硬件设计，具有持久缓存和 OpenAI 兼容的 API。

一个无依赖的C引擎，从磁盘流式传输专家权重，以在消费级硬件上运行744B参数的GLM-5.2 MoE模型，仅需25 GB RAM。

Frugon 是一个免费、开源的 LLM 成本分析工具，通过本地分析您的调用日志，识别出您的 LLM 账单在哪里产生不必要的花费。

一款面向32-GPU分布式网格网络的无分支、零抖动入站路由器，利用JAX/XLA和NCCL。

Skeights 将训练好的 scikit-learn 模型序列化为 safetensors 和 JSON 格式，用安全、可检查的格式替代不安全的 pickle。

在你的Mac上本地运行任何LLM，比LM Studio或Ollama更快，支持聊天、编码智能体、图像、视频和语音，完全离线且开源。

一个轻量级高性能LLM代理，用于缓存、故障转移、成本跟踪，并在本地和云端AI提供商之间无缝集成。

Wolbarg 是一个本地优先的 TypeScript SDK，为 AI 代理提供使用 SQLite 或 PostgreSQL 的共享语义记忆。

统一的零分配原生AI推理运行时，专为Java设计，通过Project Panama整合LLM、视觉和语音管道。

Osaurus 是一款专为 Mac 设计的私密本地 AI 助手，可在设备上运行开源模型，并可选云 AI 访问和自主代理。

一个精简、经过充分测试的 LLM 推理服务器，专为廉价 CPU 硬件设计，具有持久缓存和 OpenAI 兼容的 API。

一个无依赖的C引擎，从磁盘流式传输专家权重，以在消费级硬件上运行744B参数的GLM-5.2 MoE模型，仅需25 GB RAM。

Frugon 是一个免费、开源的 LLM 成本分析工具，通过本地分析您的调用日志，识别出您的 LLM 账单在哪里产生不必要的花费。

一款面向32-GPU分布式网格网络的无分支、零抖动入站路由器，利用JAX/XLA和NCCL。

Skeights 将训练好的 scikit-learn 模型序列化为 safetensors 和 JSON 格式，用安全、可检查的格式替代不安全的 pickle。

在你的Mac上本地运行任何LLM，比LM Studio或Ollama更快，支持聊天、编码智能体、图像、视频和语音，完全离线且开源。

AXIOM 是一个可引导的 Rust 内核，通过用推理专用原语替换通用操作系统抽象来优化 Transformer 推理。

NanoEuler 是一个完全用 C/CUDA 编写的开源 GPT-2 风格语言模型，包括手写反向传播、BPE 分词器、FlashAttention 和训练流水线。

自动化端到端少样本文本分类流水线，支持50多种语言，基于SetFit和SBERT嵌入。

Oxlo.ai 是一个隐私优先的 AI 推理 API，为超过 45 个开源模型提供按请求计费的定价。

PII GUI 是一款本地优先的桌面应用程序，用于使用正则表达式和设备内置 ONNX 模型检测和编校文档中的个人信息。

一个Go原生框架，用于构建、编排和监控AI代理，具有原生的OpenTelemetry可观测性和自托管仪表盘。

Ollama 是一个用于本地运行大规模语言模型并可扩展至云端的平台，提供更快速、更大模型的服务，支持并行请求和实时网络信息。

Jan是一款开源、本地优先的AI聊天应用，可作为私密版ChatGPT替代品。

一个基于浏览器的工具，可根据设备能力估算你的机器可以运行哪些本地 AI 模型。

Fireworks AI 是一个生成式 AI 平台，提供快速推理、模型托管、微调以及可扩展的开放模型部署能力。

PixaryAI 是一款在线 AI 视频生成器，可通过基于浏览器的控制，从文本提示或图片创建视频。

一个轻量级高性能LLM代理，用于缓存、故障转移、成本跟踪，并在本地和云端AI提供商之间无缝集成。

Wolbarg 是一个本地优先的 TypeScript SDK，为 AI 代理提供使用 SQLite 或 PostgreSQL 的共享语义记忆。

统一的零分配原生AI推理运行时，专为Java设计，通过Project Panama整合LLM、视觉和语音管道。