AI编写的软件:LLM 模型转发网关,可以将本地大模型和其他模型对接到WorkBuddy、Claude Code、各类 SDK 客户端调用

@Ta 09-29 01:02 698点击
这里主要感谢 @尐酱油 提供AI模型接口,一直想找一款能够对接Claude Code、Opencode、WorkBuddy之类的平台的软件,之前找了很长时间一直没找到,趁着这次机会,就用AI软件写了个程序,方便对接。
地址:https://gitcode.com/hui214/LLMmodel/tree/main
LLM 模型转发网关 — 软件介绍
一、软件概述
LLM 模型转发网关是一款 Windows 平台的桌面工具(Python + PyQt5 + FastAPI),集「本地聊天客户端」与「局域网 API 转发网关」于一体。它可以把多个上游大模型 API(OpenAI 兼容中转站、Anthropic 官方接口等)统一包装成标准接口,提供给局域网内的 WorkBuddy、Claude Code、各类 SDK 客户端调用,实现一处配置、多端共享、统一鉴权与管理。

二、核心功能
1. 双协议网关转发

OpenAI 协议入口:/v1/chat/completions(支持流式 SSE / 非流式)
Anthropic 协议入口:/v1/messages,兼容 Claude Code 与官方 SDK
协议双向自动转换,上游是 OpenAI 还是 Anthropic 都能对接;兼容 /v1/models 探测、别名路由等
2. 多模型路由管理

模型管理页可新增/编辑/删除多个上游模型(名称、模型 ID、BaseURL、ApiKey、协议、上游模型名、专属系统提示词)
按客户端传入的 model 字段精确路由;未注册模型直接拒绝(404),可设默认模型、启用/停用
支持批量导入模型 JSON、保存并热加载生效(无需重启网关)
3. 安全与流控

网关访问密码鉴权(Bearer / x-api-key)
IP 黑名单 / 白名单过滤(关闭 / 黑名单 / 白名单三种模式)
最大并发连接限制,超限返回 429
4. 运行监控与自检

实时统计:当前在线连接、处理中请求数、累计总请求、运行时长、最近客户端
网关日志面板:实时滚动、按字节增量拉取、一键导出
/v1/health 自检接口:一眼确认配置是否加载、上游地址、密钥、鉴权状态
5. 本地聊天客户端

图形化聊天窗口,回车发送 / Shift+回车换行,支持清空上下文
全局或按模型配置 System Prompt,发送前自动注入/替换
6. 便利特性

依赖自动安装(缺 fastapi / uvicorn / requests 时自动 pip 安装)
系统托盘运行、启动最小化、Windows 开机自启
一键复制网关接口地址与鉴权密钥、局域网 IP 自动探测、端口占用检测
网关以独立子进程运行,可随时启停且正确释放端口
回复列表(0|隐藏机器人聊天)
帖子没有回复
添加新回复
回复需要登录。