Caliper
オープンソースの信頼性テストハーネス。Claude Code、Codex、PiバックエンドでAIエージェントスキルのpass@kスコアを計算します。
Caliper
Caliperとは
Caliperと類似AIツールの比較
| 料金モデル | 無料 | 無料 | 無料 | 無料 |
| 無料クレジット | ||||
| 主な機能 |
|
|
|
|
| メリット |
|
|
|
|
| 注意点 |
|
|
|
|
| おすすめの人 |
|
|
|
|
Caliperの使い方
- 1pipxでインストール: pipx install caliper-eval
- 2.eval.yaml仕様ファイルを作成（タスク、プロンプト、期待される結果を記述）
- 3評価を実行: caliper run my-skill.eval.yaml --k 3 --baseline
- 4またはエージェントスキルを使用: /evaluate-skill run my-skill.eval.yaml --k 3 --baseline
Caliperの主な機能
- pass@k信頼性スコアリング（kを設定可能）
- スキルなしのベースライン比較でデルタを証明
- LLM判定（expect:）と決定論的Pythonアサーション（assert:）
- 複数バックエンド対応：Claude Code、Codex、Pi、Claude API、OpenAI API
- 並列タスク実行（ワーカー数設定可能）
- ワークフロー内で使用可能なエージェントスキル（evaluate-skill、grill-skill）
- 履歴追跡のためのJSON結果保存
- grill-skillによるインタラクティブな仕様生成
Caliperのユースケース
- スキルが実際にエージェントのパフォーマンスをベースラインより向上させるかを検証
- モデル更新やプロンプト変更に伴う信頼性の追跡
- どのエージェントバックエンドがスキルをより確実に実行するかを比較
- 測定可能な改善を伴うスキルプロンプトの反復改善
Caliperの料金と無料枠
Caliper の料金モデルは 無料 です。
このツールは完全に無料で利用できます
Caliperのメリット・注意点
メリット
- 再現可能で定量的な信頼性スコア
- 複数のエージェントバックエンドをすぐにサポート
- ベースラインにより、スキルの貢献を基本エージェントから分離
- LLMベースおよび決定論的判定の両方をサポート
- エージェントスキルにより、Claude Code/Codex内で評価を実行可能
注意点
- CLIのセットアップとエージェント固有の依存関係が必要
- LLM判定は主観的なタスクで一貫性がない可能性あり
- 非エージェントワークフロー向けの組み込みテストスイートがない
- カスタムアサーションヘルパーのドキュメントが限定的
Caliper はどんな用途に向いていますか？
- エージェントスキルを構築・維持する開発者
- 実行間のエージェントスキル信頼性を測定する必要があるチーム
Caliperのよくある質問
Caliper の無料代替ツール
音声操作可能なIDEで、開発者がCodexやClaude Codeを使ってAIコーディングセッションを開始し、コマンドを承認し、スマートフォンから差分を確認できるようにします。
SureWireは、AIエージェントの安全性、信頼性、コンプライアンスを専用のテストエージェントでストレステストする専門的なQAプラットフォームです。
AIエージェントがクラウドブラウザセッション、エージェント、サーバーレス機能を使って高速にインターネット上で動作するためのブラウザインフラストラクチャプラットフォーム。
エージェント向けファイル転送ツール。MCP呼び出しを介してAIエージェント間で暗号化されたファイル共有を実現し、人間の介入は不要です。
Manifestは、任意のURLを、AIエージェントがページ上で操作できるボタン、フォーム、入力フィールド、必須項目などの構造化されたJSONマップに変換します。
AIエージェントが実行するシェルコマンドの協調ゲートで、Claude CodeやCursorなどのツールにプレビュー、バックアップ、ポリシー適用、監査を提供します。
Caliper の代替AIツール
エージェントセキュリティトレーニングのための意図的に脆弱性を含むMCPサーバーのコレクション。OWASP Top 10 for Agentic Applicationsに対応。
コード、クラウド、ランタイム全体で最先端モデルを実行し、検証済みの回答を提供する、ディープインフラストラクチャリサーチのためのオープンソースAIツール。
Magpieは、人間とAIエージェント向けの意見を持った会計CLIであり、RBACとJaybase上の不変イベントストレージを備えた複式簿記を提供します。
AIコーディングエージェントセッション（Claude Code、OpenCode、Codex、Grok Build）をtmuxで管理するターミナルUI。ライブステータス、グループツリー、差分レビューを備えています。
音声操作可能なIDEで、開発者がCodexやClaude Codeを使ってAIコーディングセッションを開始し、コマンドを承認し、スマートフォンから差分を確認できるようにします。
ゼロ設定、シングルバイナリのソフトウェアカタログ。自動検出、依存関係の可視化、コンプライアンススコアカード、およびAIエージェント向けのネイティブMCP統合を提供します。
AIエージェント向けブラウザ自動化CLI。アンチボット対策を回避し、人間への引き継ぎや並列タスク実行を可能にします。
