AI 本地审核

Tags
mlwebserver
Created
Jun 8, 2026 1:38 PM

项目名:ai-guard AI Agent 使用中转站时可能有风险,做本地审查:

  • 本身也相当于一个中转站,将用户的大模型 API 请求进行转发,并且临时储存会话数据
  • 异步对会话做审查:使用免费/便宜文字模型(来自受信用的 OpenRouter)
    • 分级日志
    • 重大安全隐患报告
  • 另外可以用来高效薅羊毛
    • 多平台、多帐号能排序,按优先级自动转发到可用的目标

技术构架:

  • 需要一个前端来查看日志、管理帐号(中转站地址、key、支持的 api 类型)
    • @mantou/gem
    • duoyun-ui
  • 需要一个 Rust 转发,支持几种格式(OpenAI Authropic)
    • 数据临时储存
    • 记录帐号状态,比如什么时候可是不可用了,转发时可以根据状态选择目标模型
    • 异步审核(内联 OpenRouter 的受限 key)
    • 日志储存
  • 前端构建使用 rspack,开发时启动两个服务:cargo watch + rspack server
  • rust 构建:在 build.rs 里用 rsparkRust crate 直接构建前端,产物用 rust-embed 内嵌
    • 根路由和前端资源路由是前端,其他路由转发到 Rust 后端
    • OpenAI Authropic 格式的路由用来转发,根据入口路由有需要的话做适配
    • 另外设计一个特殊路由用来前端访问后端数据
  • 这样生产产物是单二进制文件,只监听一个端口,可以在本地运行,也可以放到我的云服务器上运行
SuperMade with Super