Caliper
Yapay zeka ajan becerileri için açık kaynaklı güvenilirlik test koşum takımı; Claude Code, Codex ve Pi arka uçlarında pass@k puanlarını hesaplar.
Caliper
Nedir Caliper?
Caliper vs Benzer Araçlar
| Fiyatlandırma Modeli | Ücretsiz | Ücretsiz | Ücretsiz | Ücretsiz |
| Ücretsiz Krediler | ||||
| Temel özellikler |
|
|
|
|
| Artılar |
|
|
|
|
| Eksiler |
|
|
|
|
| Kimler için uygun |
|
|
|
|
Nasıl kullanılır Caliper?
- 1pipx ile kurun: pipx install caliper-eval
- 2Görevler, komutlar ve beklenen sonuçları içeren bir .eval.yaml şartnamesi yazın
- 3Değerlendirmeyi çalıştırın: caliper run my-skill.eval.yaml --k 3 --baseline
- 4Veya ajan becerilerini kullanın: /evaluate-skill run my-skill.eval.yaml --k 3 --baseline
Caliper Temel özellikler
- Yapılandırılabilir k ile pass@k güvenilirlik puanlaması
- Delta kanıtlamak için beceri olmadan temel karşılaştırma
- LLM yargıcı (expect:) ve deterministik Python iddiaları (assert:)
- Çoklu arka uç desteği: Claude Code, Codex, Pi, Claude API, OpenAI API
- Yapılandırılabilir işçilerle paralel görev yürütme
- İş akışı içi kullanım için ajan becerileri (evaluate-skill, grill-skill)
- Geçmiş takibi için JSON olarak kaydedilmiş sonuçlar
- grill-skill ile etkileşimli şartname oluşturma
Caliper Kullanım senaryoları
- Bir becerinin ajan performansını temel çizgiye göre gerçekten iyileştirdiğini doğrulama
- Model güncellemeleri ve komut değişikliklerinde güvenilirliği izleme
- Hangi ajan arka ucunun bir beceriyi daha güvenilir çalıştırdığını karşılaştırma
- Ölçülebilir iyileştirme ile beceri komutlarını yineleme
Caliper Fiyatlar ve ücretsiz krediler
Caliper, Ücretsiz modeliyle çalışır.
Caliper Artılar ve eksiler
Artılar
- Tekrarlanabilir, nicel güvenilirlik puanları
- Kutudan çıktığı gibi birden çok ajan arka ucuyla çalışır
- Temel çizgi aracılığıyla beceri katkısını temel ajandan ayırır
- Hem LLM tabanlı hem de deterministik yargılamayı destekler
- Ajan becerileri, Claude Code/Codex içinde değerlendirme çalıştırmaya olanak tanır
Eksiler
- CLI kurulumu ve ajana özel bağımlılıklar gerektirir
- LLM yargıcı, öznel görevler için tutarsız olabilir
- Ajan olmayan iş akışları için yerleşik test paketi yok
- Özel iddia yardımcıları için sınırlı dokümantasyon
Caliper en çok ne için uygundur?
- Ajan becerileri geliştiren ve bakımını yapan geliştiriciler
- Çalıştırmalar arasında ajan becerisi güvenilirliğini ölçmesi gereken ekipler
Caliper hakkında SSS
Caliper için ücretsiz alternatifler
Geliştiricilerin Codex veya Claude Code ile AI kodlama oturumları başlatmasına, komutları onaylamasına ve telefonlarından farkları incelemesine olanak tanıyan ses kontrollü bir IDE.
SureWire, özel olarak oluşturulmuş test aracıları kullanarak yapay zeka aracılarını güvenlik, güvenilirlik ve uyumluluk açısından stres testine tabi tutan uzmanlaşmış bir QA platformudur.
Yapay zeka ajanlarının internet üzerinde hızlı çalışması için bulut tarayıcı oturumları, ajanlar ve sunucusuz işlevler sunan tarayıcı altyapı platformu.
Ajandan ajana güvenli dosya aktarımı sağlayan, AI ajanları arasında MCP çağrılarıyla insan müdahalesi olmadan şifrelenmiş dosya paylaşımına olanak tanıyan bir araç.
Manifest, herhangi bir URL'yi, AI ajanlarının bir sayfada etkileşime girebileceği öğelerin (düğmeler, formlar, giriş alanları ve zorunlu alanlar) yapılandırılmış bir JSON haritasına dönüştürür.
AI ajanlarının çalıştırdığı kabuk komutları için işbirlikçi bir geçit; Claude Code ve Cursor gibi araçlar için önizlemeler, yedeklemeler, politika uygulama ve denetim sağlar.
Agentcard, yapay zeka ajanları için ajan dostu kart çıkarma ve ödeme altyapısı sağlar, 5 dakikada kurulum ve otonom satın almalar sunar.
Caliper için en iyi AI alternatifleri
Agentik güvenlik eğitimi için kasıtlı olarak savunmasız MCP sunucuları koleksiyonu, OWASP Agentik Uygulamalar İlk 10'una göre eşleştirilmiştir.
Açık kaynaklı, derin altyapı araştırması için AI aracı; kod, bulut ve çalışma zamanı boyunca öncü modelleri çalıştırarak doğrulanmış yanıtlar sunar.
Magpie, insanlar ve AI ajanları için kuralcı bir muhasebe CLI'sidir; RBAC ve Jaybase'de değişmez olay depolama ile çift girişli muhasebe sağlar.
AI kodlama aracı oturumlarını (Claude Code, OpenCode, Codex, Grok Build) tmux içinde canlı durum, grup ağacı ve fark incelemesi ile yönetmek için terminal kullanıcı arayüzü.
Geliştiricilerin Codex veya Claude Code ile AI kodlama oturumları başlatmasına, komutları onaylamasına ve telefonlarından farkları incelemesine olanak tanıyan ses kontrollü bir IDE.
Sıfır yapılandırma, tek ikili dosya ile gelen, otomatik keşif, bağımlılık görselleştirme, uyumluluk puan kartları ve AI ajanları için yerel MCP entegrasyonu sunan yazılım kataloğu.
Yapay zeka aracıları için tarayıcı otomasyon CLI'si: anti-bot duvarlarını aşma, insanlara devretme ve paralel görevler çalıştırma.
Ziyaretçilere rehberlik etmek, ürünleri göstermek ve fiyat hesaplamalarını görüntülemek için canlı bir imleç sağlayan, yapay zeka destekli bir alışveriş asistanı.