Tags
mlwebserver
Created
Jun 8, 2026 1:38 PM
项目名:ai-guard AI Agent 使用中转站时可能有风险,做本地审查:
- 本身也相当于一个中转站,将用户的大模型 API 请求进行转发,并且临时储存会话数据
- 异步对会话做审查:使用免费/便宜文字模型(来自受信用的 OpenRouter)
- 分级日志
- 重大安全隐患报告
- 另外可以用来高效薅羊毛
- 多平台、多帐号能排序,按优先级自动转发到可用的目标
技术构架:
- 需要一个前端来查看日志、管理帐号(中转站地址、key、支持的 api 类型)
- @mantou/gem
- duoyun-ui
- 需要一个 Rust 转发,支持几种格式(OpenAI Authropic)
- 数据临时储存
- 记录帐号状态,比如什么时候可是不可用了,转发时可以根据状态选择目标模型
- 异步审核(内联 OpenRouter 的受限 key)
- 日志储存
- 前端构建使用 rspack,开发时启动两个服务:cargo watch + rspack server
- rust 构建:在
build.rs里用rsparkRust crate 直接构建前端,产物用rust-embed内嵌 - 根路由和前端资源路由是前端,其他路由转发到 Rust 后端
- OpenAI Authropic 格式的路由用来转发,根据入口路由有需要的话做适配
- 另外设计一个特殊路由用来前端访问后端数据
- 这样生产产物是单二进制文件,只监听一个端口,可以在本地运行,也可以放到我的云服务器上运行