PSI KV Governor
Implémentation de référence utilisant les informations de pression Linux (PSI) pour réduire le cache KV des LLM sous pression mémoire.
PSI KV Governor
Qu’est-ce que PSI KV Governor?
PSI KV Governor vs Outils Similaires
| Modèle de Tarification | Gratuit | Gratuit | Gratuit | Gratuit |
| Crédits Gratuits | ||||
| Fonctionnalités clés |
|
|
|
|
| Avantages |
|
|
|
|
| Limites |
|
|
|
|
| Idéal pour |
|
|
|
|
Comment utiliser PSI KV Governor?
- 1Vérifier la disponibilité de PSI : cat /proc/pressure/memory
- 2Exécuter le simulateur de référence : PYTHONPATH=src python -m psi_kv_governor.cli simulate
- 3Compiler le lanceur llama.cpp : scripts/build_llama_runner.sh
- 4Télécharger le modèle de démo : python scripts/download_demo_model.py
- 5Lancer le benchmark PSI : PYTHONPATH=src python benchmarks/pressure_bench.py [options]
PSI KV Governor Fonctionnalités clés
- Réduction du cache KV basée sur PSI
- Implémentation de référence pour l'inférence LLM
- Intégration avec llama.cpp
- Scripts de benchmark pour évaluer les performances
- Paramètres de réduction configurables
PSI KV Governor Cas d’usage
- Prévention des erreurs de mémoire insuffisante lors de l'inférence LLM sur Linux
- Optimisation de l'utilisation mémoire pour servir des LLM sur des systèmes contraints
- Test de stratégies de gestion de cache sensibles à PSI
PSI KV Governor Tarifs et crédits gratuits
PSI KV Governor fonctionne avec le modèle Gratuit.
PSI KV Governor Avantages et limites
Avantages
- Exploite PSI du noyau Linux pour une détection précise de la pression mémoire
- Léger et facile à intégrer avec les environnements d'exécution LLM existants
- Open source et personnalisable
Limites
- Linux uniquement en raison de la dépendance à PSI
- Expérimental, pas prêt pour la production
- Documentation et exemples limités
À quoi PSI KV Governor convient-il le mieux ?
- Développeurs optimisant l'inférence LLM sur Linux
- Utilisateurs de llama.cpp sur des systèmes à mémoire contrainte
- Chercheurs explorant un service LLM économe en mémoire
Questions fréquentes sur PSI KV Governor
Alternatives gratuites à PSI KV Governor
Un IDE vocal qui permet aux développeurs de lancer des sessions de codage IA avec Codex ou Claude Code, d'approuver des commandes et de réviser les diffs depuis leur téléphone.
SureWire est une plateforme QA spécialisée qui teste sous contrainte les agents IA pour la sécurité, la fiabilité et la conformité en utilisant des agents de test dédiés.
Plateforme d'infrastructure de navigateur pour que les agents IA fonctionnent sur Internet à grande vitesse avec des sessions de navigateur cloud, des agents et des fonctions sans serveur.
Un outil de transfert de fichiers agent-first qui permet le partage sécurisé et chiffré de fichiers entre agents d'IA via des appels MCP sans intervention humaine.
Manifest convertit n'importe quelle URL en une carte JSON structurée de ce avec quoi les agents IA peuvent interagir sur une page : boutons, formulaires, champs de saisie et champs obligatoires.
Une porte coopérative pour les commandes shell exécutées par les agents IA, offrant des aperçus, des sauvegardes, l'application des politiques et un audit pour des outils comme Claude Code et Cursor.
Agentcard fournit une infrastructure de paiement et d'émission de cartes adaptée aux agents IA, permettant une configuration en 5 minutes et des achats autonomes.
Meilleures alternatives IA à PSI KV Governor
Une collection de serveurs MCP délibérément vulnérables pour la formation en sécurité agentique, cartographiés selon l'OWASP Top 10 pour les applications agentiques.
Outil IA open-source pour la recherche approfondie sur l'infrastructure, exécutant des modèles de pointe sur le code, le cloud et l'exécution pour fournir des réponses vérifiées.
Magpie est un CLI de comptabilité orienté pour les humains et les agents IA, offrant une tenue de livres en partie double avec RBAC et un stockage d'événements immuable sur Jaybase.
Interface terminal pour gérer des sessions d'agents de codage IA (Claude Code, OpenCode, Codex, Grok Build) dans tmux avec statut en direct, arborescence de groupes et révision des différences.
Un IDE vocal qui permet aux développeurs de lancer des sessions de codage IA avec Codex ou Claude Code, d'approuver des commandes et de réviser les diffs depuis leur téléphone.
Catalogue logiciel sans configuration, binaire unique avec découverte automatique, visualisation des dépendances, scorecards de conformité et intégration MCP native pour les agents IA.
CLI d'automatisation de navigateur pour agents IA, contournant les anti-bots, déléguant aux humains et exécutant des tâches parallèles.
Un assistant d'achat alimenté par l'IA qui fournit un curseur en direct pour guider les visiteurs du site, pointer les produits et afficher les calculs de prix.