最近因为长期使用的 litellm 因为作者迫于盈利压力，把很多原本属于高频常用的功能列为了企业版本专属特性，正好国庆的时候闲下来了，就写了一款基于 Portkey Gateway 实现的 LLM 聚合网关，本来就想随手一写满足自己的需求的，但是后来发现周围的朋友评价都挺好，就打算完善一下正式发布出来，主要面向用户：
自建服务用户，我将永远不会做企业版，也不会开通打赏等功能 项目由于还是属于我主要在维护和使用，目前不会加入例如组织等功能 目前先完善基础的 LLM 的聚合功能，MCP 和 Claude 协议后续会根据 我的项目地址： https://github.com/sxueck/llm-gateway 项目 Demo： http://demo-api.sxueck.com:3000/ demo / demo1234
同时我也是 xiaoxhao/lvory 的作者，该项目目前下载量已达 960 次，迭代近 20 个版本，维护周期大家应该是可以放心的
15 条回复 • 2025-10-22 15:51:55 +08:00
 |
1
xxlsize 10 天前
这个跟 newapi 比有啥不一样，功能好像没没那么全
|
 |
3
kknd22 8 天前
不知日志能记录到什么情况？
|
|
5
kknd22 8 天前
@sxueck 其实是想要一个记录日志方便调试和可以修改网络数据的网关程序，现在在自己弄
另外，您的项目 base url 只能填写 https ，内网用户不太便利。 其他方面可以参考参考 new-api one-api 这些 |
 |
6
sxueck OP @kknd22 http 的问题校验已修复，更新到了 main ，其他方面暂时先保证稳定性，比如当前日志翻页还有点问题，我之前也是深度网关类型的用户，包括 saas 和 unmanaged 都用过半年以上，目前该项目还是以核心 llm 聚合分发为主
|
 |
8
NUT 4 天前
有 api 吗？这个挺好的，面向中台项目集成，相当于把项目访问 llm 这块直接剥离出来。做成一个网关微服务挺好的。 可以和我们内部项目进行集成。
|
|
9
sxueck OP @NUT 你指的是哪个 api 呢，是可以动态创建虚拟密钥、用户这种代理层的配置 api 么，还是指的是 openai 的 api 调用，这个可能暂时不会添加，因为本身就是基于 portkey 的封装 webui ，再提供一层 api 有点套娃的味道
|
|
10
sxueck OP 这个其实更像 higress 或者 kong 这种传统 ai 网关的轻量版本，而不想 oneapi 这种类似“建站 Saas”的产品，例如添加了 prompt 优化、上下文压缩、专家路由等功能都是 higress 插件延伸过来的概念
|
 |
12
daimaosix 2 天前
UI 报错，就是问题太多
|
|
13
daimaosix 2 天前
报错 --> 不错
|
|
14
daimaosix 2 天前
仔细看了下，设计的也挺好，就是 UI 细节不太行
|
Select Language