Теги

Бесплатные AI-инструменты для Потоковый инференс

Смотрите 1 бесплатных и freemium AI-инструментов, связанных с Потоковый инференс.

Инструментов: 1

Бесплатный доступ: 100%

Freemium / Пробный период

Top Free Потоковый инференс AI Tools

Discover the best free AI tools tagged Потоковый инференс — all with free credits or a free plan.

colibri

Движок на чистом C без зависимостей, который транслирует веса экспертов с диска для запуска 744B-параметрической модели GLM-5.2 MoE на потребительском оборудовании всего с 25 ГБ ОЗУ.

#ИИ Большие языковые модели #ИИ Модели с открытым кодом #ИИ Инструменты разработчика

Подробнее

What Can Потоковый инференс AI Tools Do?

The most common use cases across AI tools tagged 'Потоковый инференс'.

Запуск 744B-параметрической модели MoE на потребительском ноутбуке или ПКОфлайн чат и инференс без облачных зависимостейИсследования и эксперименты с большими архитектурами MoEОбразовательные демонстрации возможностей передовых моделей на ограниченном оборудовании

Key Features of Потоковый инференс AI Tools

The most frequently featured capabilities in AI tools tagged 'Потоковый инференс'.

Чистая реализация на C без внешних зависимостейПотоковая передача весов экспертов с диска с LRU-кэшем и опциональным закрепленным горячим хранилищемТочный прямой проход GLM-5.2 (glm_moe_dsa), подтвержденный до токенаВнимание MLA со сжатым KV-кэшем (в 57 раз меньше)Встроенное спекулятивное декодирование MTP для до 2.8 токенов за прямой проходЯдра целочисленного скалярного произведения (int8/int4) с ускорением AVX2Обучаемый на лету кэш, который адаптируется к шаблонам использования