Caliper
Banc d'essai open-source pour la fiabilité des compétences d'IA, calculant les scores pass@k sur les backends Claude Code, Codex et Pi.
Caliper
Qu’est-ce que Caliper?
Caliper vs Outils Similaires
| Modèle de Tarification | Gratuit | Gratuit | Gratuit | Gratuit |
| Crédits Gratuits | ||||
| Fonctionnalités clés |
|
|
|
|
| Avantages |
|
|
|
|
| Limites |
|
|
|
|
| Idéal pour |
|
|
|
|
Comment utiliser Caliper?
- 1Installer via pipx : pipx install caliper-eval
- 2Écrire un fichier .eval.yaml avec des tâches, des invites et des résultats attendus
- 3Lancer l'évaluation : caliper run my-skill.eval.yaml --k 3 --baseline
- 4Ou utiliser les compétences d'agent : /evaluate-skill run my-skill.eval.yaml --k 3 --baseline
Caliper Fonctionnalités clés
- Score de fiabilité pass@k avec k configurable
- Comparaison de base sans la compétence pour prouver l'écart
- Juge LLM (expect:) et assertions Python déterministes (assert:)
- Prise en charge de plusieurs backends : Claude Code, Codex, Pi, API Claude, API OpenAI
- Exécution parallèle des tâches avec des travailleurs configurables
- Compétences d'agent (evaluate-skill, grill-skill) pour une utilisation dans le workflow
- Résultats sauvegardés en JSON pour un suivi historique
- Génération interactive de spécifications avec grill-skill
Caliper Cas d’usage
- Valider qu'une compétence améliore réellement les performances de l'agent par rapport à la base de référence
- Suivre la fiabilité à travers les mises à jour de modèle et les changements d'invites
- Comparer quel backend d'agent exécute une compétence de manière plus fiable
- Itérer sur les invites de compétence avec une amélioration mesurable
Caliper Tarifs et crédits gratuits
Caliper fonctionne avec le modèle Gratuit.
Caliper Avantages et limites
Avantages
- Scores de fiabilité reproductibles et quantitatifs
- Fonctionne avec plusieurs backends d'agent prêts à l'emploi
- Sépare la contribution de la compétence de l'agent de base via la base de référence
- Prend en charge le jugement basé sur LLM et déterministe
- Les compétences d'agent permettent d'exécuter des évaluations dans Claude Code/Codex
Limites
- Nécessite une configuration CLI et des dépendances spécifiques à l'agent
- Le juge LLM peut être incohérent pour des tâches subjectives
- Pas de suite de tests intégrée pour les workflows non-agent
- Documentation limitée pour les helpers d'assertion personnalisés
À quoi Caliper convient-il le mieux ?
- Développeurs créant et maintenant des compétences d'agent
- Équipes ayant besoin de mesurer la fiabilité des compétences d'agent sur plusieurs exécutions
Questions fréquentes sur Caliper
Alternatives gratuites à Caliper
Un IDE vocal qui permet aux développeurs de lancer des sessions de codage IA avec Codex ou Claude Code, d'approuver des commandes et de réviser les diffs depuis leur téléphone.
SureWire est une plateforme QA spécialisée qui teste sous contrainte les agents IA pour la sécurité, la fiabilité et la conformité en utilisant des agents de test dédiés.
Plateforme d'infrastructure de navigateur pour que les agents IA fonctionnent sur Internet à grande vitesse avec des sessions de navigateur cloud, des agents et des fonctions sans serveur.
Un outil de transfert de fichiers agent-first qui permet le partage sécurisé et chiffré de fichiers entre agents d'IA via des appels MCP sans intervention humaine.
Manifest convertit n'importe quelle URL en une carte JSON structurée de ce avec quoi les agents IA peuvent interagir sur une page : boutons, formulaires, champs de saisie et champs obligatoires.
Une porte coopérative pour les commandes shell exécutées par les agents IA, offrant des aperçus, des sauvegardes, l'application des politiques et un audit pour des outils comme Claude Code et Cursor.
Agentcard fournit une infrastructure de paiement et d'émission de cartes adaptée aux agents IA, permettant une configuration en 5 minutes et des achats autonomes.
Meilleures alternatives IA à Caliper
Une collection de serveurs MCP délibérément vulnérables pour la formation en sécurité agentique, cartographiés selon l'OWASP Top 10 pour les applications agentiques.
Outil IA open-source pour la recherche approfondie sur l'infrastructure, exécutant des modèles de pointe sur le code, le cloud et l'exécution pour fournir des réponses vérifiées.
Magpie est un CLI de comptabilité orienté pour les humains et les agents IA, offrant une tenue de livres en partie double avec RBAC et un stockage d'événements immuable sur Jaybase.
Interface terminal pour gérer des sessions d'agents de codage IA (Claude Code, OpenCode, Codex, Grok Build) dans tmux avec statut en direct, arborescence de groupes et révision des différences.
Un IDE vocal qui permet aux développeurs de lancer des sessions de codage IA avec Codex ou Claude Code, d'approuver des commandes et de réviser les diffs depuis leur téléphone.
Catalogue logiciel sans configuration, binaire unique avec découverte automatique, visualisation des dépendances, scorecards de conformité et intégration MCP native pour les agents IA.
CLI d'automatisation de navigateur pour agents IA, contournant les anti-bots, déléguant aux humains et exécutant des tâches parallèles.
Un assistant d'achat alimenté par l'IA qui fournit un curseur en direct pour guider les visiteurs du site, pointer les produits et afficher les calculs de prix.