Лучшие бесплатные инструменты для ИИ Модели с открытым кодом

Легковесный высокопроизводительный LLM-прокси для кэширования, отказоустойчивости, отслеживания затрат и бесшовной интеграции между локальными и облачными AI-провайдерами.

Wolbarg — это TypeScript SDK с локальным хранением, предоставляющий общую семантическую память для AI-агентов с использованием SQLite или PostgreSQL.

Унифицированная среда выполнения AI-инференса для Java с нулевым выделением памяти, объединяющая конвейеры LLM, зрения и речи через Project Panama.

Osaurus — это частный локальный ИИ-ассистент для Mac, запускающий открытые модели на устройстве с возможностью дополнительного доступа к облачному ИИ и автономным агентам.

Легкий, полностью протестированный сервер вывода LLM, созданный для недорогих CPU, с постоянным кэшированием и API, совместимым с OpenAI.

Движок на чистом C без зависимостей, который транслирует веса экспертов с диска для запуска 744B-параметрической модели GLM-5.2 MoE на потребительском оборудовании всего с 25 ГБ ОЗУ.

Frugon — это бесплатный анализатор затрат на LLM с открытым исходным кодом, который определяет, где утекают ваши расходы на LLM, анализируя журналы вызовов локально.

Безусловный маршрутизатор входящего трафика с нулевым джиттером для распределенных mesh-сетей из 32 GPU, использующий JAX/XLA и NCCL.

Skeights сериализует обученные модели scikit-learn в safetensors и JSON, заменяя небезопасный pickle на безопасный, проверяемый формат.

Запускайте любые LLM локально на вашем Mac быстрее, чем LM Studio или Ollama, с чатом, агентами кодирования, изображениями, видео и голосом, полностью офлайн и с открытым исходным кодом.

Легковесный высокопроизводительный LLM-прокси для кэширования, отказоустойчивости, отслеживания затрат и бесшовной интеграции между локальными и облачными AI-провайдерами.

Wolbarg — это TypeScript SDK с локальным хранением, предоставляющий общую семантическую память для AI-агентов с использованием SQLite или PostgreSQL.

Унифицированная среда выполнения AI-инференса для Java с нулевым выделением памяти, объединяющая конвейеры LLM, зрения и речи через Project Panama.

Osaurus — это частный локальный ИИ-ассистент для Mac, запускающий открытые модели на устройстве с возможностью дополнительного доступа к облачному ИИ и автономным агентам.

Легкий, полностью протестированный сервер вывода LLM, созданный для недорогих CPU, с постоянным кэшированием и API, совместимым с OpenAI.

Движок на чистом C без зависимостей, который транслирует веса экспертов с диска для запуска 744B-параметрической модели GLM-5.2 MoE на потребительском оборудовании всего с 25 ГБ ОЗУ.

Frugon — это бесплатный анализатор затрат на LLM с открытым исходным кодом, который определяет, где утекают ваши расходы на LLM, анализируя журналы вызовов локально.

Безусловный маршрутизатор входящего трафика с нулевым джиттером для распределенных mesh-сетей из 32 GPU, использующий JAX/XLA и NCCL.

Skeights сериализует обученные модели scikit-learn в safetensors и JSON, заменяя небезопасный pickle на безопасный, проверяемый формат.

Запускайте любые LLM локально на вашем Mac быстрее, чем LM Studio или Ollama, с чатом, агентами кодирования, изображениями, видео и голосом, полностью офлайн и с открытым исходным кодом.

AXIOM — это загружаемое ядро Rust, которое оптимизирует вывод трансформеров, заменяя общие абстракции ОС примитивами, специфичными для вывода.

NanoEuler — это языковая модель с открытым исходным кодом в стиле GPT-2, полностью написанная с нуля на C/CUDA с ручной реализацией обратного распространения, токенизатором BPE, FlashAttention и обучающими конвейерами.

Автоматизированный сквозной конвейер для классификации текстов с малым количеством примеров, поддерживающий более 50 языков, построенный на основе SetFit и эмбеддингов SBERT.

Oxlo.ai — это API для AI-инференса с приоритетом конфиденциальности, предлагающий ценообразование на основе запросов для более чем 45 моделей с открытым исходным кодом.

PII GUI — это локальное настольное приложение для обнаружения и удаления персональных данных в документах с использованием регулярных выражений и моделей ONNX на устройстве.

Нативный Go фреймворк для создания, оркестрации и наблюдения за AI-агентами с встроенной наблюдаемостью OpenTelemetry и самостоятельным дашбордом.

Ollama — это платформа для запуска больших языковых моделей локально и масштабирования в облако, предоставляющая доступ к более быстрым и крупным моделям с параллельными запросами и получением информации из интернета в реальном времени.

Jan — это открытое, локально-ориентированное приложение для чата с ИИ, работающее как приватная замена ChatGPT.

Инструмент на основе браузера, который оценивает, какие локальные AI-модели может запускать ваш компьютер, исходя из характеристик устройства.

Fireworks AI — это платформа генеративного ИИ для быстрого инференса, размещения моделей, fine-tuning и масштабируемого развертывания открытых моделей.

PixaryAI — это онлайн-генератор AI-видео для создания роликов из текстовых запросов или изображений с управлением через браузер.

Легковесный высокопроизводительный LLM-прокси для кэширования, отказоустойчивости, отслеживания затрат и бесшовной интеграции между локальными и облачными AI-провайдерами.

Wolbarg — это TypeScript SDK с локальным хранением, предоставляющий общую семантическую память для AI-агентов с использованием SQLite или PostgreSQL.

Унифицированная среда выполнения AI-инференса для Java с нулевым выделением памяти, объединяющая конвейеры LLM, зрения и речи через Project Panama.