colibri
Um motor C sem dependências que transmite pesos de especialistas do disco para executar o modelo MoE GLM-5.2 de 744B parâmetros em hardware consumidor com apenas 25 GB de RAM.
colibri
O que é colibri?
colibri vs Ferramentas Similares
| Modelo de Preços | Grátis | Grátis | Grátis | Grátis, Freemium |
| Créditos Grátis | ||||
| Principais recursos |
|
|
|
|
| Prós |
|
|
|
|
| Contras |
|
|
|
|
| Melhor para |
|
|
|
|
Como usar colibri?
- 1Clone o repositório: git clone https://github.com/JustVugg/colibri.git
- 2Compile o motor: cd c && make
- 3Converta o modelo FP8 para int4: ./coli convert --model /caminho/para/modelo
- 4Execute o chat: COLI_MODEL=/caminho/para/modelo ./coli chat
- 5(Opcional) Use a interface web ou servidor compatível com OpenAI para uma interface gráfica.
colibri Principais recursos
- Implementação pura em C com zero dependências externas
- Streaming de pesos de especialistas do disco, com cache LRU e hot-store fixo opcional
- Forward fiel do GLM-5.2 (glm_moe_dsa), validado token-exato
- Atenção MLA com cache KV comprimido (57x menor)
- Decodificação especulativa MTP nativa para até 2,8 tokens por forward
- Kernels de produto interno (int8/int4) com aceleração AVX2
- Cache de aprendizado online que se adapta aos padrões de uso
colibri Casos de uso
- Executar um modelo MoE de 744B parâmetros em um laptop ou desktop consumidor
- Chat e inferência offline sem dependências de nuvem
- Pesquisa e experimentação com arquiteturas MoE grandes
- Demonstrações educacionais de capacidades de modelos de fronteira em hardware limitado
colibri Preços e créditos grátis
colibri funciona no modelo Grátis.
colibri Prós e contras
Prós
- Executa um modelo de 744B parâmetros em hardware consumidor com apenas 25 GB de RAM
- Código aberto e totalmente transparente (código C, sem dependências)
- Streaming eficiente de disco com cache permite uso de longa duração
- Benchmarks e melhorias ativas da comunidade
Contras
- Decodificação a frio muito lenta (0,05-0,1 tok/s em NVMe típico)
- Requer ~370 GB de espaço em disco para o modelo convertido int4
- Suporta apenas o modelo GLM-5.2 (sem flexibilidade multi-modelo)
- Backend CUDA é experimental e limitado
Para que colibri é melhor?
- Desenvolvedores que desejam executar modelos massivos localmente
- Pesquisadores de IA explorando arquiteturas MoE em hardware limitado
- Entusiastas interessados em inferência de modelos de fronteira sem custos de nuvem
Perguntas frequentes sobre colibri
Alternativas gratuitas ao colibri
Um gateway de IA unificado que fornece acesso a mais de 300 modelos líderes através de uma única API hospedada na UE e compatível com GDPR, com interface compatível com o SDK da OpenAI.
Gateway de API de IA unificado que oferece acesso a LLMs de alto nível, modelos de imagem, vídeo e codificação a preços acessíveis.
Interface de chat única que dá acesso a mais de 100 modelos de IA, selecionando automaticamente o melhor modelo para sua tarefa enquanto monitora o consumo de energia e protege sua privacidade.
Oxlo.ai é uma API de inferência de IA focada em privacidade que oferece preços por requisição para mais de 45 modelos de código aberto.
Graphsignal é uma plataforma de perfilamento de inferência em escala de produção que ajuda engenheiros a otimizar o desempenho de IA em modelos, mecanismos, GPUs e outros aceleradores.
Atlas Cloud é uma plataforma de inferência de IA full-modal que oferece uma única API para modelos de chat, imagem, vídeo e áudio.
Groq fornece inferência de IA rápida e de baixo custo através do GroqCloud e do seu stack LPU personalizado.
Melhores alternativas de ferramentas IA ao colibri
Um mecanismo de inferência local especializado para grandes modelos de linguagem, otimizado para Apple Silicon e streaming via SSD em sistemas com memória limitada.
Runtime de inferência de IA nativo, unificado e com zero alocação para Java, consolidando pipelines de LLM, visão e fala via Project Panama.
Um gateway de IA unificado que fornece acesso a mais de 300 modelos líderes através de uma única API hospedada na UE e compatível com GDPR, com interface compatível com o SDK da OpenAI.
Uma plataforma de API unificada para inferência de LLM com otimização de custos, roteamento, observabilidade e failover automático.
Gateway de API de IA unificado que oferece acesso a LLMs de alto nível, modelos de imagem, vídeo e codificação a preços acessíveis.
O Frugon é um analisador de custos de LLM gratuito e de código aberto que identifica onde sua fatura de LLM vaza, analisando seus logs de chamadas localmente.