PSI KV Governor
LinuxのPressure Stall Informationを利用して、メモリプレッシャー下でのLLM KVキャッシュを自動的にトリミングするリファレンス実装。
PSI KV Governor
PSI KV Governorとは
PSI KV Governorと類似AIツールの比較
| 料金モデル | 無料 | 無料 | カスタム料金 | 無料, 有料 |
| 無料クレジット | ||||
| 主な機能 |
|
|
|
|
| メリット |
|
|
|
|
| 注意点 |
|
|
|
|
| おすすめの人 |
|
|
|
|
PSI KV Governorの使い方
- 1PSIの可用性を確認: cat /proc/pressure/memory
- 2リファレンスシミュレーターを実行: PYTHONPATH=src python -m psi_kv_governor.cli simulate
- 3llama.cppランナーをビルド: scripts/build_llama_runner.sh
- 4デモモデルをダウンロード: python scripts/download_demo_model.py
- 5PSIベンチマークを実行: PYTHONPATH=src python benchmarks/pressure_bench.py [オプション]
PSI KV Governorの主な機能
- PSIベースのKVキャッシュトリミング
- LLM推論のためのリファレンス実装
- llama.cppとの統合
- 性能評価のためのベンチマークスクリプト
- 設定可能なトリミングパラメータ
PSI KV Governorのユースケース
- Linux上でのLLM推論中のメモリ不足エラー防止
- 制約のあるシステムでのLLMサービングにおけるメモリ使用量最適化
- PSI対応キャッシュ管理戦略のテスト
PSI KV Governorの料金と無料枠
PSI KV Governor の料金モデルは 無料 です。
このツールは完全に無料で利用できます
PSI KV Governorのメリット・注意点
メリット
- LinuxカーネルのPSIを活用した正確なメモリプレッシャー検出
- 軽量で既存のLLMランタイムと簡単に統合可能
- オープンソースでカスタマイズ可能
注意点
- PSI依存のためLinuxのみ対応
- 実験的であり、本番環境未対応
- ドキュメントとサンプルが限定的
PSI KV Governor はどんな用途に向いていますか？
- Linux上でのLLM推論を最適化する開発者
- メモリ制約のあるシステムでllama.cppを使用するユーザー
- メモリ効率的なLLMサービングを研究する研究者
PSI KV Governorのよくある質問
PSI KV Governor の無料代替ツール
AIエージェントが実行するシェルコマンドの協調ゲートで、Claude CodeやCursorなどのツールにプレビュー、バックアップ、ポリシー適用、監査を提供します。
Agentcardは、AIエージェント向けにエージェントフレンドリーなカード発行と決済インフラを提供し、5分でのセットアップと自律的な購入を可能にします。
Oodle AIは、高速トレース検索、S3ベースのストレージ、そしてAIエージェントのサイレント障害を検出するためのすぐに使えるインサイトを提供するエージェント可観測性ツールです。
Jacquardは、機械学習モデルによって記述され、人々によってレビューされるプログラムを実行、レビュー、信頼するために設計された小さなプログラミング言語です。
AI搭載のソーシャルリスニングツール。Reddit、X、LinkedInなど10以上のプラットフォームを監視し、AIでメンションをフィルタリングし、API、Slack、Webhook経由でスタックに配信します。
PSI KV Governor の代替AIツール
DeepSQLは、自己ホスト型エージェントを使用してワークロードを監視し、低速クエリを最適化し、データベースコストを削減するAI DBAです。MCPとSlack統合を備えています。
AIエージェントのリアルタイムセキュリティ、スキル監査、ランタイム保護を実現するオープンソースプラットフォーム。コミュニティ駆動の脅威ルールを搭載。
OpenSEOは、AIエージェントとMCPを介して統合し、キーワード調査、競合分析、被リンクなどのリアルなSEOデータを提供するオープンソースのSEOプラットフォームです。
SureWire Betaは、包括的なテストを通じてAIエージェントの安全性と信頼性を確保するAIエージェント検証プラットフォームです。
