Caliper
Åpen kildekode-testverktøy for pålitelighet for AI-agentferdigheter, som beregner pass@k-skårer på tvers av Claude Code, Codex og Pi-bakender.
Caliper
Hva er Caliper?
Caliper vs Lignende Verktøy
| Prismodell | Gratis | Gratis | Gratis | Gratis |
| Gratis kreditter | ||||
| Viktige funksjoner |
|
|
|
|
| Fordeler |
|
|
|
|
| Ulemper |
|
|
|
|
| Passer best for |
|
|
|
|
Slik bruker du Caliper?
- 1Installer via pipx: pipx install caliper-eval
- 2Skriv en .eval.yaml-spesifikasjon med oppgaver, ledetekster og forventede resultater
- 3Kjør evalueringen: caliper run my-skill.eval.yaml --k 3 --baseline
- 4Eller bruk agentferdighetene: /evaluate-skill run my-skill.eval.yaml --k 3 --baseline
Caliper Viktige funksjoner
- pass@k pålitelighetsskår med konfigurerbar k
- Grunnlinjesammenligning uten ferdigheten for å bevise delta
- LLM-dommer (expect:) og deterministiske Python-assertions (assert:)
- Støtte for flere bakender: Claude Code, Codex, Pi, Claude API, OpenAI API
- Parallell oppgavekjøring med konfigurerbare arbeidere
- Agentferdigheter (evaluate-skill, grill-skill) for bruk i arbeidsflyt
- Lagrede resultater som JSON for historisk sporing
- Interaktiv spesifikasjonsgenerering med grill-skill
Caliper Bruksområder
- Bekreft at en ferdighet faktisk forbedrer agentytelse over grunnlinjen
- Spor pålitelighet på tvers av modelloppdateringer og endringer i ledetekster
- Sammenlign hvilken agentbakende som kjører en ferdighet mer pålitelig
- Iterer på ferdighetsledetekster med målbare forbedringer
Caliper Priser og gratiskreditter
Caliper bruker prismodellen Gratis.
Dette verktøyet er helt gratis
Caliper Fordeler og ulemper
Fordeler
- Gjentagbare, kvantitative pålitelighetsskår
- Fungerer med flere agentbakender rett ut av boksen
- Separer ferdighetsbidrag fra basisagent via grunnlinje
- Støtter både LLM-basert og deterministisk bedømming
- Agentferdigheter tillater å kjøre evalueringer inne i Claude Code/Codex
Ulemper
- Krever CLI-oppsett og agentspesifikke avhengigheter
- LLM-dommer kan være inkonsekvent for subjektive oppgaver
- Ingen innebygd testpakke for ikke-agentarbeidsflyter
- Begrenset dokumentasjon for tilpassede assertions-hjelpere
Hva passer Caliper best til?
- Utviklere som bygger og vedlikeholder agentferdigheter
- Team som trenger å måle pålitelighet for agentferdigheter på tvers av kjøringer
Vanlige spørsmål om Caliper
Gratis alternativer til Caliper
En stemmestyrt IDE som lar utviklere starte AI-kodesesjoner med Codex eller Claude Code, godkjenne kommandoer og gjennomgå endringer fra telefonen.
SureWire er en spesialisert QA-plattform som stresstester AI-agenter for sikkerhet, pålitelighet og samsvar ved hjelp av spesialbygde testagenter.
Nettleserinfrastrukturplattform for AI-agenter som kjører på internett med høy hastighet, med skynettleserøkter, agenter og serverløse funksjoner.
Et agent-først filoverføringsverktøy som muliggjør sikker, kryptert fildeling mellom AI-agenter via MCP-anrop uten menneskelig involvering.
Manifest konverterer enhver URL til et strukturert JSON-kart over hva AI-agenter kan interagere med på en side—knapper, skjemaer, inndatafelt og obligatoriske felt.
En samarbeidsport for skallkommandoer som AI-agenter kjører, med forhåndsvisninger, sikkerhetskopier, policyhåndheving og revisjon for verktøy som Claude Code og Cursor.
Agentcard tilbyr agentvennlig kortutstedelse og betalingsinfrastruktur for AI-agenter, med 5-minutters oppsett og autonome kjøp.
Beste AI-alternativer til Caliper
En samling av bevisst sårbare MCP-servere for trening i agentisk sikkerhet, kartlagt til OWASP Topp 10 for Agentiske Applikasjoner.
Åpen kildekode AI-verktøy for dyp infrastrukturforskning, som kjører avanserte modeller på tvers av kode, sky og kjøretid for å levere verifiserte svar.
Magpie er en meningsbærende regnskaps-CLI for mennesker og AI-agenter, som tilbyr dobbelt bokholderi med RBAC og uforanderlig hendelseslagring på Jaybase.
Terminalgrensesnitt for å administrere AI-kodingsagentsesjoner (Claude Code, OpenCode, Codex, Grok Build) i tmux med sanntidsstatus, gruppetre og diff-gjennomgang.
En stemmestyrt IDE som lar utviklere starte AI-kodesesjoner med Codex eller Claude Code, godkjenne kommandoer og gjennomgå endringer fra telefonen.
Nullkonfigurasjon, enkelt-binær programvarekatalog med automatisk oppdagelse, avhengighetsvisualisering, samsvarskort og innebygd MCP-integrasjon for AI-agenter.
CLI for nettleserautomatisering for AI-agenter som omgår anti-bot-vegger, overlater til mennesker og kjører parallelle oppgaver.
En AI-drevet handleassistent som gir en levende markør for å veilede nettstedsbesøkere, peke ut produkter og vise priskalkulasjoner.