r/LocalLLaMA· rssEN09:03 · 05·30
Vidai Community 发布:一个 Rust 二进制文件搞定 LLM 调用的成本归属、护栏和多供应商路由
Vidai Community 发布了一个 25 MB 的 Rust 二进制文件,能在每次 LLM 调用时做成本归属、预算截断、护栏检查和多供应商路由。官方测试单节点吞吐量 21,803 RPS,中位额外延迟仅 1.95 毫秒——延迟很低,适合生产环境。不过正文没披露具体支持哪些供应商、护栏规则怎么配置,也没说预算截断是硬限制还是软提醒。
#Tools#Safety#Inference-opt#Vidai
精选理由
Vidai Community 发布了一个 25 MB 的 Rust 二进制,放在每次 LLM 调用路径里做成本归因、预算截断、护栏和多提供商路由。单节点验证 21,803 RPS,中位开销 1.95 ms,性能数字很漂亮,说明开销极低、吞吐够高。但正文没披露它跟已有方案(比如 LangSmith、Helicone)的具体对比,也没说护栏规则怎么写、路由策略怎么配,实际落地门槛未知。项目本身不算主流,来源权威性一般,所以分数压在 60–71 的产品更新区间。
一句话点评
Vidai 把成本归属、护栏检查、多供应商路由打包成一个 25 MB 的 Rust 二进制,单节点吞吐 21,803 RPS,额外延迟中位数仅 1.95 毫秒——这个延迟几乎不影响生产调用。但正文没披露支持哪些供应商、护栏规则怎么配,也没说预算截断是硬限制还是软提醒。如果配置灵活,这算一个轻量级网关方案。
HKR 分解
hook ✓knowledge ✓resonance ✓