AI 开发者工具

PSI KV Governor

使用Linux压力失速信息在内存压力下修剪LLM KV缓存的参考实现。

PSI KV Governor

什么是 PSI KV Governor？

PSI KV Governor是一个小型参考实现，利用Linux压力失速信息（PSI）在系统内存压力下自动修剪大型语言模型的键值（KV）缓存，帮助防止内存不足问题并提高Linux系统上LLM推理的稳定性。

PSI KV Governor 与相似工具比较

	PSI KV Governor	mcploitable	Cynative	Magpie
计价模式	免费	免费	免费	免费
免费额度
主要功能	基于PSI的KV缓存修剪 LLM推理的参考实现与llama.cpp集成	七个可破解盒子，涵盖OWASP智能体十大漏洞三个引导式模拟，涵盖级联故障、人机信任和恶意代理网络隔离的Docker容器，确保安全执行	跨云、Git和Kubernetes的代码到运行时推理操作门为每个API调用强制执行只读策略沙盒化JavaScript执行以进行并发研究	通过 Jaybase 实现仅追加、SHA-256 寻址的事件历史存储节点负载的 AES-256-GCM 加密用于分类账、笔记、快照和审计读取的统一 RBAC
优点	利用Linux内核PSI精确检测内存压力轻量级，易于与现有LLM运行时集成	以真实的方式全面覆盖OWASP智能体十大 Docker隔离防止意外损坏	构建时只读，防止意外写入基于证据的验证交叉检查每个发现	有主见且安全的会计 CLI，带有不可变审计追踪专为 AI 代理集成设计，支持 JSON 输出
缺点	因依赖PSI仅支持Linux 实验性，未准备好用于生产环境	需要Docker和技术设置不适用于生产环境；仅用于实验室环境	需要LLM API密钥，产生令牌费用仅限于只读操作，无法进行修复	预 1.0 版本，功能集有限没有原生 QuickBooks 导入功能（代理必须规范化数据）
适合对象	优化Linux上LLM推理的开发者在内存受限系统上使用llama.cpp的用户	专注于AI智能体漏洞的安全研究员构建基于MCP的应用程序的开发者	安全工程师 DevOps团队	需要安全、可审计会计且支持 AI 代理的小型团队集成自动化记账工作流的开发者

如何使用 PSI KV Governor？

1检查PSI可用性：cat /proc/pressure/memory
2运行参考模拟器：PYTHONPATH=src python -m psi_kv_governor.cli simulate
3构建llama.cpp运行器：scripts/build_llama_runner.sh
4下载演示模型：python scripts/download_demo_model.py
5运行PSI基准测试：PYTHONPATH=src python benchmarks/pressure_bench.py [选项]

PSI KV Governor 主要功能

基于PSI的KV缓存修剪
LLM推理的参考实现
与llama.cpp集成
用于评估性能的基准测试脚本
可配置的修剪参数

PSI KV Governor 使用场景

在Linux上防止LLM推理期间的内存不足错误
优化受限系统上LLM服务的内存使用
测试PSI感知的缓存管理策略

PSI KV Governor 价格与免费额度

PSI KV Governor 目前采用免费模式。

此工具完全免费使用

Free

$0

开源项目，可在GitHub上获取

PSI KV Governor 优缺点

优点

利用Linux内核PSI精确检测内存压力
轻量级，易于与现有LLM运行时集成
开源且可定制

缺点

因依赖PSI仅支持Linux
实验性，未准备好用于生产环境
文档和示例有限

PSI KV Governor 最适合哪些用途？

优化Linux上LLM推理的开发者
在内存受限系统上使用llama.cpp的用户
探索内存高效LLM服务的研究人员

PSI KV Governor 常见问题

PSI KV Governor 的免费替代工具

一个语音控制的IDE，让开发者能够通过语音启动Codex或Claude Code的AI编码会话，批准命令，并在手机上审查差异。

免费

#AI 开发者工具 #AI 代码助手

SureWire 是一个专门的 QA 平台，使用专用测试代理对 AI 代理进行压力测试，以确保其安全性、可靠性和合规性。

免费

#AI 开发者工具 #AI 智能体 (Agent)

为AI代理提供浏览器基础设施平台，使其通过云浏览器会话、代理和无服务器功能快速在互联网上运行。

免费

#AI 开发者工具 #AI 网页抓取 #AI 智能体 (Agent)

一种以智能体为先的文件传输工具，通过MCP调用在AI智能体之间实现安全加密的文件共享，无需人类参与。

免费

#AI 开发者工具 #AI API 接口 #AI 工作流自动化

Manifest 将任意 URL 转换为 AI 代理可以在页面上交互的结构化 JSON 映射——按钮、表单、输入框和必填字段。

免费

#AI 智能体 (Agent)#AI 开发者工具

B

basert.github.io

Basert 的个人 GitHub Pages 网站，当前显示默认欢迎内容以及使用 GitHub Pages 和 Jekyll 的说明。

免费

#AI Github #AI 开发者工具

一个供AI代理运行shell命令的协作门控，提供预览、备份、策略执行和审计，适用于Claude Code和Cursor等工具。

免费

#AI 开发者工具 #AI 代码助手

Agentcard 为 AI 代理提供友好的发卡和支付基础设施，实现五分钟设置和自主购买。

免费

#AI 智能体 (Agent)#AI 开发者工具 #AI API 接口

PSI KV Governor 的最佳替代 AI 工具

一组故意存在漏洞的MCP服务器，用于智能体安全培训，映射到OWASP智能体应用十大安全风险。

#AI 开发者工具 #AI 智能体 (Agent)

开源AI工具，用于深度基础设施研究，跨代码、云和运行时运行前沿模型，提供经过验证的答案。

#AI 智能体 (Agent)#AI 开发者工具

Magpie 是一款专为人类和 AI 代理设计的、有主见的会计 CLI 工具，提供复式记账、RBAC 以及基于 Jaybase 的不可变事件存储。

#AI 财务会计 #AI 开发者工具

终端用户界面，用于在 tmux 中管理 AI 编码代理会话（Claude Code、OpenCode、Codex、Grok Build），支持实时状态、分组树和差异审查。

#AI 开发者工具 #AI 智能体 (Agent)

一个语音控制的IDE，让开发者能够通过语音启动Codex或Claude Code的AI编码会话，批准命令，并在手机上审查差异。

免费

#AI 开发者工具 #AI 代码助手

零配置、单一二进制软件目录，具备自动发现、依赖可视化、合规评分卡以及对AI Agent的原生MCP集成。

#AI 开发者工具 #AI 代码助手

BrowserAct Skills

面向AI代理的浏览器自动化CLI，用于绕过反机器人墙、移交人工处理以及并行运行任务。

#AI 网页抓取 #AI 开发者工具

一款AI驱动的购物助手，提供实时光标引导网站访客，指出产品并显示价格计算。

#AI 智能客服 #AI 开发者工具