PSI KV Governor
Uma implementação de referência que usa o Pressure Stall Information do Linux para limpar o cache KV de LLM sob pressão de memória.
PSI KV Governor
O que é PSI KV Governor?
PSI KV Governor vs Ferramentas Similares
| Modelo de Preços | Grátis | Grátis | Preço personalizado | Grátis, Pago |
| Créditos Grátis | ||||
| Principais recursos |
|
|
|
|
| Prós |
|
|
|
|
| Contras |
|
|
|
|
| Melhor para |
|
|
|
|
Como usar PSI KV Governor?
- 1Verifique a disponibilidade do PSI: cat /proc/pressure/memory
- 2Execute o simulador de referência: PYTHONPATH=src python -m psi_kv_governor.cli simulate
- 3Construa o runner do llama.cpp: scripts/build_llama_runner.sh
- 4Baixe o modelo de demonstração: python scripts/download_demo_model.py
- 5Execute o benchmark PSI: PYTHONPATH=src python benchmarks/pressure_bench.py [opções]
PSI KV Governor Principais recursos
- Limpeza de cache KV baseada em PSI
- Implementação de referência para inferência de LLM
- Integração com llama.cpp
- Scripts de benchmark para avaliar desempenho
- Parâmetros de limpeza configuráveis
PSI KV Governor Casos de uso
- Prevenir erros de falta de memória durante inferência de LLM no Linux
- Otimizar o uso de memória para servir LLMs em sistemas com recursos limitados
- Testar estratégias de gerenciamento de cache com ciência de PSI
PSI KV Governor Preços e créditos grátis
PSI KV Governor funciona no modelo Grátis.
Esta ferramenta é totalmente gratuita
PSI KV Governor Prós e contras
Prós
- Utiliza o PSI do kernel Linux para detecção precisa de pressão de memória
- Leve e fácil de integrar com runtimes de LLM existentes
- Código aberto e personalizável
Contras
- Apenas Linux devido à dependência do PSI
- Experimental, não pronto para produção
- Documentação e exemplos limitados
Para que PSI KV Governor é melhor?
- Desenvolvedores otimizando inferência de LLM no Linux
- Usuários do llama.cpp em sistemas com memória limitada
- Pesquisadores explorando serviço de LLM eficiente em memória
Perguntas frequentes sobre PSI KV Governor
Alternativas gratuitas ao PSI KV Governor
Um portal cooperativo para comandos de shell executados por agentes de IA, fornecendo prévias, backups, aplicação de políticas e auditoria para ferramentas como Claude Code e Cursor.
Agentcard oferece infraestrutura de emissão de cartões e pagamentos amigável para agentes, permitindo configuração em 5 minutos e compras autônomas.
Oodle AI fornece observabilidade de agentes com pesquisa rápida de rastreamentos, armazenamento baseado em S3 e insights prontos para detectar falhas silenciosas em agentes de IA.
Jacquard é uma pequena linguagem de programação projetada para executar, revisar e confiar em programas escritos por modelos de aprendizado de máquina e revisados por pessoas.
Plataforma autônoma de testes de segurança que encontra e corrige vulnerabilidades de controle de acesso em aplicativos de IA em tempo real.
Ferramenta de escuta social alimentada por IA que monitora Reddit, X, LinkedIn e mais de 10 outras plataformas, filtra menções com IA e as entrega à sua pilha via API, Slack ou webhooks.
Um gateway de IA unificado que fornece acesso a mais de 300 modelos líderes através de uma única API hospedada na UE e compatível com GDPR, com interface compatível com o SDK da OpenAI.
Melhores alternativas de ferramentas IA ao PSI KV Governor
DeepSQL é um DBA de IA que monitora cargas de trabalho, otimiza consultas lentas e reduz custos de banco de dados por meio de um agente auto-hospedado com integração MCP e Slack.
Plataforma de código aberto para segurança em tempo real de agentes de IA, auditoria de habilidades e tempo de execução com regras de ameaça conduzidas pela comunidade.
OpenSEO é uma plataforma de SEO de código aberto que se integra com agentes de IA via MCP para fornecer dados reais de SEO para pesquisa de palavras-chave, análise de concorrentes, backlinks e muito mais.
SureWire Beta é uma plataforma de validação de agentes de IA que ajuda a garantir que seus agentes de IA sejam seguros e confiáveis por meio de testes abrangentes.
Um roteador de LLMs consciente de prazos que reduz custos de inferência de IA ao encontrar automaticamente níveis de serviço mais baratos dentro de uma janela de tempo definida pelo usuário.
Execute vários agentes de codificação de IA em paralelo em worktrees git isolados com um editor completo e ferramentas de desenvolvedor integradas.
Um controlador de custos open-source para loops de agentes de IA que interrompe os loops quando convergidos e reverte antes da degradação.