AI大規模言語モデル (LLM)

colibri

依存関係のないCエンジンで、ディスクからエキスパート重みをストリーミングし、わずか25GBのRAMで消費者向けハードウェア上で744BパラメータのGLM-5.2 MoEモデルを実行します。

colibriとは

colibriは、GLM-5.2 744BパラメータのMixture-of-Expertsモデル向けの軽量で純粋なC推論エンジンです。ディスクからエキスパート重みをストリーミングし、ランタイムにPython、GPU、外部依存関係を必要とせず、約25GBのRAMを搭載したマシンでローカル実行を可能にします。

colibriと類似AIツールの比較

料金モデル無料無料無料無料, フリーミアム
無料クレジット
主な機能
  • 純粋なC実装で外部依存関係ゼロ
  • ディスクからのエキスパート重みのストリーミング、LRUキャッシュとオプションのピン留めホットストア
  • 忠実なGLM-5.2 (glm_moe_dsa) フォワードパス、トークン単位で検証済み
  • DeepSeek V4、Qwen3.6、GLM 5.2のネイティブモデル読み込み
  • メモリ制約システム向けの適応型Metal常駐とSSDストリーミング
  • ツール呼び出しとコーディングエージェントを備えたHTTPサーバー
  • Project Panama FFM APIによるゼロアロケーション推論
  • LLM、ASR、TTS、マルチモーダルモデルの統合ランタイム
  • VRAM断片化を排除するプロセスグローバルバックエンド
  • 1つのAPIで300以上のAIモデルに統合アクセス
  • OpenAI SDK互換エンドポイント
  • EUホスティング・GDPR準拠のインフラ
メリット
  • わずか25GBのRAMで消費者向けハードウェア上で744Bパラメータモデルを実行
  • オープンソースで完全に透明(Cコード、依存関係なし)
  • 完全にローカルで動作し、データプライバシーを確保
  • MetalアクセラレーションによりApple Siliconに最適化
  • Javaでの高性能のためのゼロアロケーション設計
  • 複数のモデルタイプ(テキスト、ビジョン、音声)にわたる統一API
  • 1つのAPIで300以上のモデルにアクセス可能
  • EUホスティング・GDPR準拠で欧州企業に最適
注意点
  • コールドデコードが非常に遅い(一般的なNVMeで0.05-0.1トークン/秒)
  • 変換後のint4モデルに約370GBのディスク容量が必要
  • 主にApple Silicon向けに設計されており、CUDA/ROCmバックエンドは二次的
  • 汎用GGUFランナーではなく、特定のモデルのみサポート
  • Java 22+とProject Panamaが必要(すべてのJVMで標準ではない)
  • ネイティブコンパイルのため、初心者にはビルドプロセスが複雑な場合がある
  • アカウントなしでは料金が完全に透明ではない
  • クレジット購入時の3%手数料は隠れたコストになる可能性がある
おすすめの人
  • 大規模モデルをローカルで実行したい開発者
  • 限られたハードウェアでMoEアーキテクチャを探求するAI研究者
  • オンデバイスLLM推論を希望するApple Silicon Macユーザー
  • 専用の高性能推論エンジンを求める開発者
  • 低メモリオーバーヘッドでAIアプリケーションを構築するJava開発者
  • LLMやマルチモーダルモデル向けのオンプレミスかつ高スループット推論を必要とするプロジェクト
  • EUコンプライアンスを備えたマルチモデルアクセスが必要な開発者
  • AIエージェントやアプリケーションを構築するチーム

colibriの使い方

  1. 1リポジトリをクローン: git clone https://github.com/JustVugg/colibri.git
  2. 2エンジンをビルド: cd c && make
  3. 3FP8モデルをint4に変換: ./coli convert --model /path/to/model
  4. 4チャットを実行: COLI_MODEL=/path/to/model ./coli chat
  5. 5(オプション) Web UIまたはOpenAI互換サーバーを使用してグラフィカルインターフェースを利用。

colibriの主な機能

  • 純粋なC実装で外部依存関係ゼロ
  • ディスクからのエキスパート重みのストリーミング、LRUキャッシュとオプションのピン留めホットストア
  • 忠実なGLM-5.2 (glm_moe_dsa) フォワードパス、トークン単位で検証済み
  • 圧縮KVキャッシュを備えたMLAアテンション(57倍小さい)
  • ネイティブMTP投機的デコード、1フォワードあたり最大2.8トークン
  • AVX2アクセラレーション対応の整数ドットカーネル(int8/int4)
  • 使用パターンに適応するオンライン学習キャッシュ

colibriのユースケース

  • 消費者向けラップトップまたはデスクトップで744BパラメータMoEモデルを実行
  • クラウド依存なしのオフラインチャットと推論
  • 大規模MoEアーキテクチャの研究と実験
  • 限られたハードウェアでの最先端モデル機能の教育デモンストレーション

colibriの料金と無料枠

colibri の料金モデルは 無料 です。

このツールは完全に無料で利用できます

オープンソース

無料

Apache 2.0ライセンス。使用や変更に費用はかかりません。

colibriのメリット・注意点

メリット

  • わずか25GBのRAMで消費者向けハードウェア上で744Bパラメータモデルを実行
  • オープンソースで完全に透明(Cコード、依存関係なし)
  • キャッシュを備えた効率的なディスクストリーミングにより長時間の使用が可能
  • 活発なコミュニティのベンチマークと改善

注意点

  • コールドデコードが非常に遅い(一般的なNVMeで0.05-0.1トークン/秒)
  • 変換後のint4モデルに約370GBのディスク容量が必要
  • GLM-5.2モデルのみサポート(マルチモデル対応なし)
  • CUDAバックエンドは実験的で限定的

colibri はどんな用途に向いていますか?

  • 大規模モデルをローカルで実行したい開発者
  • 限られたハードウェアでMoEアーキテクチャを探求するAI研究者
  • クラウドコストなしで最先端モデル推論に興味のある愛好家

colibriのよくある質問

colibri の無料代替ツール

Opper AI logo

300以上の最先端モデルにアクセスできる統一AIゲートウェイ。EUホスティング、GDPR準拠のAPIで、OpenAI SDK互換のインターフェースを提供。

無料
discode.ai logo

100以上のAIモデルにアクセスできる単一のチャットインターフェースで、タスクに最適なモデルを自動選択し、エネルギー使用量を追跡し、プライバシーを保護します。

無料
Oxlo.ai logo

Oxlo.aiは、プライバシー第一のAI推論APIで、45以上のオープンソースモデルに対してリクエストベースの料金を提供しています。

無料
Graphsignal logo

Graphsignalは、プロダクション規模の推論プロファイリングプラットフォームであり、エンジニアがモデル、エンジン、GPU、その他のアクセラレータにわたってAIパフォーマンスを最適化するのを支援します。

無料
Atlas Cloud logo

Atlas Cloudは、チャット、画像、動画、音声モデルを1つのAPIで利用できるフルモーダルAI推論プラットフォームです。

無料
Groq logo

Groq は、GroqCloud と独自の LPU スタックを通じて、高速かつ低コストの AI 推論を提供します。

無料

colibri の代替AIツール

DwarfStar logo

大規模言語モデル向けの専用ローカル推論エンジン。メモリ制約のあるシステム向けにApple SiliconとSSDストリーミングに最適化。

LibArgus logo

Java向け統合型、ゼロアロケーションのネイティブAI推論ランタイム。Project Panamaを介してLLM、ビジョン、音声パイプラインを統合。

Opper AI logo

300以上の最先端モデルにアクセスできる統一AIゲートウェイ。EUホスティング、GDPR準拠のAPIで、OpenAI SDK互換のインターフェースを提供。

無料
Auriko logo

LLM推論のための統合APIプラットフォームで、コスト最適化、ルーティング、可観測性、自動フェイルオーバーを提供します。

L

ブラウザ上で動作する、ヤコビアンレンズを使用して言語モデルの内部概念をリアルタイムに読み取る楽器。

Frugon logo

Frugonは、コールログをローカルで分析し、LLMの費用漏れを特定する無料のオープンソースLLMコスト分析ツールです。