colibri
Un motor en C sin dependencias que transmite pesos de expertos desde el disco para ejecutar el modelo GLM-5.2 MoE de 744B parámetros en hardware de consumo con tan solo 25 GB de RAM.
colibri
Qué es colibri?
colibri vs Herramientas Similares
| Modelo de Precios | Gratis | Gratis | Gratis | Gratis, Freemium |
| Créditos Gratis | ||||
| Funciones principales |
|
|
|
|
| Ventajas |
|
|
|
|
| Desventajas |
|
|
|
|
| Ideal para |
|
|
|
|
Cómo usar colibri?
- 1Clone el repositorio: git clone https://github.com/JustVugg/colibri.git
- 2Compile el motor: cd c && make
- 3Convierta el modelo FP8 a int4: ./coli convert --model /ruta/al/modelo
- 4Ejecute el chat: COLI_MODEL=/ruta/al/modelo ./coli chat
- 5(Opcional) Use la interfaz web o el servidor compatible con OpenAI para una interfaz gráfica.
colibri Funciones principales
- Implementación pura en C sin dependencias externas
- Transmisión de pesos de expertos desde el disco, con caché LRU y almacenamiento rápido opcional
- Forward pass fiel de GLM-5.2 (glm_moe_dsa), validado token a token
- Atención MLA con KV-cache comprimido (57 veces más pequeño)
- Decodificación especulativa MTP nativa para hasta 2.8 tokens por forward
- Kernels de producto escalar entero (int8/int4) con aceleración AVX2
- Caché de aprendizaje en línea que se adapta a los patrones de uso
colibri Casos de uso
- Ejecutar un modelo MoE de 744B parámetros en una laptop o escritorio de consumo
- Chat e inferencia sin conexión sin dependencias en la nube
- Investigación y experimentación con arquitecturas MoE grandes
- Demostraciones educativas de capacidades de modelos de frontera en hardware limitado
colibri Precios y créditos gratis
colibri funciona con un modelo Gratis.
Esta herramienta es completamente gratuita
colibri Ventajas y desventajas
Ventajas
- Ejecuta un modelo de 744B parámetros en hardware de consumo con solo 25 GB de RAM
- Código abierto y completamente transparente (código C, sin dependencias)
- Transmisión eficiente desde disco con caché para uso prolongado
- Benchmarks y mejoras activas de la comunidad
Desventajas
- Decodificación en frío muy lenta (0.05-0.1 tok/s en NVMe típico)
- Requiere ~370 GB de espacio en disco para el modelo convertido a int4
- Solo compatible con el modelo GLM-5.2 (sin flexibilidad multi-modelo)
- El backend CUDA es experimental y limitado
¿Para qué es mejor colibri?
- Desarrolladores que desean ejecutar modelos masivos localmente
- Investigadores de IA que exploran arquitecturas MoE en hardware limitado
- Entusiastas interesados en inferencia de modelos de frontera sin costos de nube
Preguntas frecuentes sobre colibri
Alternativas gratis a colibri
Una pasarela unificada de IA que proporciona acceso a más de 300 modelos líderes a través de una API alojada en la UE y compatible con el RGPD, con una interfaz compatible con el SDK de OpenAI.
Puerta de enlace unificada de API de IA que brinda acceso a modelos LLM de primer nivel, modelos de imagen, video y codificación a precios asequibles.
Una interfaz de chat que te da acceso a más de 100 modelos de IA, seleccionando automáticamente el mejor modelo para tu tarea mientras rastrea el consumo de energía y protege tu privacidad.
Oxlo.ai es una API de inferencia de IA centrada en la privacidad que ofrece precios por solicitud para más de 45 modelos de código abierto.
Graphsignal es una plataforma de perfilado de inferencia a escala de producción que ayuda a los ingenieros a optimizar el rendimiento de IA en modelos, motores, GPU y otros aceleradores.
Atlas Cloud es una plataforma de inferencia de IA full-modal que ofrece una sola API para modelos de chat, imagen, video y audio.
Groq ofrece inferencia de IA rápida y de bajo costo a través de GroqCloud y su stack LPU personalizado.
Mejores alternativas de herramientas IA a colibri
Un motor de inferencia local especializado para modelos de lenguaje grandes, optimizado para Apple Silicon y transmisión SSD en sistemas con restricciones de memoria.
Runtime de inferencia de IA nativo unificado y sin asignación de memoria para Java, que consolida pipelines de LLM, visión y habla a través de Project Panama.
Una pasarela unificada de IA que proporciona acceso a más de 300 modelos líderes a través de una API alojada en la UE y compatible con el RGPD, con una interfaz compatible con el SDK de OpenAI.
Una plataforma API unificada para inferencia de LLM con optimización de costos, enrutamiento, observabilidad y conmutación por error automática.
Puerta de enlace unificada de API de IA que brinda acceso a modelos LLM de primer nivel, modelos de imagen, video y codificación a precios asequibles.
Frugon es un analizador de costos de LLM gratuito y de código abierto que identifica dónde se filtran los costos de tu factura de LLM analizando tus registros de llamadas localmente.