PSI KV Governor
Una implementación de referencia que utiliza la Información de Estancamiento por Presión de Linux para recortar la caché KV de LLM bajo presión de memoria.
PSI KV Governor
Qué es PSI KV Governor?
PSI KV Governor vs Herramientas Similares
| Modelo de Precios | Gratis | Gratis | Gratis | Gratis |
| Créditos Gratis | ||||
| Funciones principales |
|
|
|
|
| Ventajas |
|
|
|
|
| Desventajas |
|
|
|
|
| Ideal para |
|
|
|
|
Cómo usar PSI KV Governor?
- 1Verificar disponibilidad de PSI: cat /proc/pressure/memory
- 2Ejecutar simulador de referencia: PYTHONPATH=src python -m psi_kv_governor.cli simulate
- 3Construir ejecutor llama.cpp: scripts/build_llama_runner.sh
- 4Descargar modelo de demostración: python scripts/download_demo_model.py
- 5Ejecutar benchmark PSI: PYTHONPATH=src python benchmarks/pressure_bench.py [opciones]
PSI KV Governor Funciones principales
- Recorte de caché KV basado en PSI
- Implementación de referencia para inferencia de LLM
- Integración con llama.cpp
- Scripts de benchmark para evaluar rendimiento
- Parámetros de recorte configurables
PSI KV Governor Casos de uso
- Prevenir errores de falta de memoria durante la inferencia de LLM en Linux
- Optimizar el uso de memoria para servir LLMs en sistemas con recursos limitados
- Probar estrategias de gestión de caché sensibles a PSI
PSI KV Governor Precios y créditos gratis
PSI KV Governor funciona con un modelo Gratis.
Esta herramienta es completamente gratuita
PSI KV Governor Ventajas y desventajas
Ventajas
- Aprovecha PSI del kernel de Linux para una detección precisa de presión de memoria
- Ligero y fácil de integrar con entornos de ejecución de LLM existentes
- Código abierto y personalizable
Desventajas
- Solo Linux debido a la dependencia de PSI
- Experimental, no listo para producción
- Documentación y ejemplos limitados
¿Para qué es mejor PSI KV Governor?
- Desarrolladores que optimizan la inferencia de LLM en Linux
- Usuarios de llama.cpp en sistemas con memoria limitada
- Investigadores que exploran el servicio eficiente de memoria de LLM
Preguntas frecuentes sobre PSI KV Governor
Alternativas gratis a PSI KV Governor
Un IDE controlado por voz que permite a los desarrolladores iniciar sesiones de codificación con IA usando Codex o Claude Code, aprobar comandos y revisar diferencias desde su teléfono.
SureWire es una plataforma especializada de QA que pone a prueba agentes de IA en términos de seguridad, confiabilidad y cumplimiento mediante agentes de prueba diseñados específicamente.
Plataforma de infraestructura de navegadores para que los agentes de IA funcionen en internet a velocidad con sesiones de navegador en la nube, agentes y funciones sin servidor.
Una herramienta de transferencia de archivos centrada en agentes que permite compartir archivos cifrados de forma segura entre agentes de IA mediante llamadas MCP sin intervención humana.
Manifest convierte cualquier URL en un mapa JSON estructurado de los elementos interactivos con los que los agentes de IA pueden interactuar en una página: botones, formularios, entradas y campos obligatorios.
Una puerta cooperativa para comandos de shell ejecutados por agentes de IA, que proporciona vistas previas, copias de seguridad, aplicación de políticas y auditoría para herramientas como Claude Code y Cursor.
Agentcard proporciona una infraestructura de emisión de tarjetas y pagos amigable para agentes de IA, permitiendo una configuración en 5 minutos y compras autónomas.
Mejores alternativas de herramientas IA a PSI KV Governor
Una colección de servidores MCP deliberadamente vulnerables para entrenamiento en seguridad agentica, mapeada al OWASP Top 10 para Aplicaciones Agenticas.
Herramienta de IA de código abierto para investigación profunda de infraestructura, ejecutando modelos de frontera a través de código, nube y tiempo de ejecución para entregar respuestas verificadas.
Magpie es una CLI de contabilidad opinada para humanos y agentes de IA, que proporciona contabilidad de doble entrada con RBAC y almacenamiento inmutable de eventos en Jaybase.
Interfaz de terminal para gestionar sesiones de agentes de codificación de IA (Claude Code, OpenCode, Codex, Grok Build) en tmux con estado en vivo, árbol de grupos y revisión de diferencias.
Un IDE controlado por voz que permite a los desarrolladores iniciar sesiones de codificación con IA usando Codex o Claude Code, aprobar comandos y revisar diferencias desde su teléfono.
Catálogo de software sin configuración, binario único, con autodescubrimiento, visualización de dependencias, paneles de cumplimiento e integración nativa con MCP para agentes de IA.
CLI de automatización de navegadores para agentes de IA que elude muros antibot, transfiere tareas a humanos y ejecuta procesos en paralelo.
Un asistente de compras impulsado por IA que proporciona un cursor en vivo para guiar a los visitantes del sitio web, señalar productos y mostrar cálculos de precios.