PSI KV Governor
Uma implementação de referência que usa o Pressure Stall Information do Linux para limpar o cache KV de LLM sob pressão de memória.
PSI KV Governor
O que é PSI KV Governor?
PSI KV Governor vs Ferramentas Similares
| Modelo de Preços | Grátis | Grátis | Grátis | Grátis |
| Créditos Grátis | ||||
| Principais recursos |
|
|
|
|
| Prós |
|
|
|
|
| Contras |
|
|
|
|
| Melhor para |
|
|
|
|
Como usar PSI KV Governor?
- 1Verifique a disponibilidade do PSI: cat /proc/pressure/memory
- 2Execute o simulador de referência: PYTHONPATH=src python -m psi_kv_governor.cli simulate
- 3Construa o runner do llama.cpp: scripts/build_llama_runner.sh
- 4Baixe o modelo de demonstração: python scripts/download_demo_model.py
- 5Execute o benchmark PSI: PYTHONPATH=src python benchmarks/pressure_bench.py [opções]
PSI KV Governor Principais recursos
- Limpeza de cache KV baseada em PSI
- Implementação de referência para inferência de LLM
- Integração com llama.cpp
- Scripts de benchmark para avaliar desempenho
- Parâmetros de limpeza configuráveis
PSI KV Governor Casos de uso
- Prevenir erros de falta de memória durante inferência de LLM no Linux
- Otimizar o uso de memória para servir LLMs em sistemas com recursos limitados
- Testar estratégias de gerenciamento de cache com ciência de PSI
PSI KV Governor Preços e créditos grátis
PSI KV Governor funciona no modelo Grátis.
Esta ferramenta é totalmente gratuita
PSI KV Governor Prós e contras
Prós
- Utiliza o PSI do kernel Linux para detecção precisa de pressão de memória
- Leve e fácil de integrar com runtimes de LLM existentes
- Código aberto e personalizável
Contras
- Apenas Linux devido à dependência do PSI
- Experimental, não pronto para produção
- Documentação e exemplos limitados
Para que PSI KV Governor é melhor?
- Desenvolvedores otimizando inferência de LLM no Linux
- Usuários do llama.cpp em sistemas com memória limitada
- Pesquisadores explorando serviço de LLM eficiente em memória
Perguntas frequentes sobre PSI KV Governor
Alternativas gratuitas ao PSI KV Governor
Um IDE controlado por voz que permite aos desenvolvedores iniciar sessões de codificação com IA usando Codex ou Claude Code, aprovar comandos e revisar diffs pelo celular.
SureWire é uma plataforma de QA especializada que testa agentes de IA para segurança, confiabilidade e conformidade usando agentes de teste especialmente construídos.
Plataforma de infraestrutura de navegadores para agentes de IA executarem na internet em velocidade com sessões de navegador em nuvem, agentes e funções serverless.
Uma ferramenta de transferência de arquivos centrada em agentes que permite o compartilhamento seguro e criptografado de arquivos entre agentes de IA através de chamadas MCP, sem envolvimento humano.
Manifest converte qualquer URL em um mapa JSON estruturado do que agentes de IA podem interagir em uma página—botões, formulários, entradas e campos obrigatórios.
Um portal cooperativo para comandos de shell executados por agentes de IA, fornecendo prévias, backups, aplicação de políticas e auditoria para ferramentas como Claude Code e Cursor.
Agentcard oferece infraestrutura de emissão de cartões e pagamentos amigável para agentes, permitindo configuração em 5 minutos e compras autônomas.
Melhores alternativas de ferramentas IA ao PSI KV Governor
Uma coleção de servidores MCP deliberadamente vulneráveis para treinamento em segurança de agentes, mapeados para o OWASP Top 10 para Aplicações de Agentes.
Ferramenta de IA de código aberto para pesquisa profunda de infraestrutura, executando modelos de ponta em código, nuvem e runtime para fornecer respostas verificadas.
Magpie é um CLI de contabilidade opinativo para humanos e agentes de IA, fornecendo escrituração por partidas dobradas com RBAC e armazenamento imutável de eventos no Jaybase.
Interface de terminal para gerenciar sessões de agentes de codificação de IA (Claude Code, OpenCode, Codex, Grok Build) no tmux com status ao vivo, árvore de grupos e revisão de diffs.
Um IDE controlado por voz que permite aos desenvolvedores iniciar sessões de codificação com IA usando Codex ou Claude Code, aprovar comandos e revisar diffs pelo celular.
Catálogo de software em único binário e configuração zero com descoberta automática, visualização de dependências, scorecards de conformidade e integração nativa com MCP para agentes de IA.
Ferramenta de automação de navegador via CLI para agentes de IA, contornar bloqueios anti-bot, transferir para humanos e executar tarefas paralelas.
Um assistente de compras com IA que fornece um cursor ao vivo para guiar visitantes do site, apontar produtos e exibir cálculos de preços.