自己写了一个轻量的 AI 网关, 感觉适合拼车用户, 拿来分享一下

[lx0758]

本来是给自己做的, 前两天公司内网需要一个, 就给开源了.

主要用途是管理众多大模型提供商, 提供二次分发的 ApiKey. 附带 OpenAI 和 Anthropic 协议互转能力.

网上有同类的产品, 但是觉得都比较重, 不适合个人用户部署.

项目地址: https://github.com/lx0758/AI-Gateway

最重要的: 各位大哥们, 求个 Star 啊!!!

[LRWF]

看着还行，已 star ，跟其它同类项目相比，有什么特别的优势不？

[ezioswj]

star 学习学习，最近才开始研究这方面，感觉我有点慢了/(ㄒoㄒ)/~~

[FakerLeung]

octopus ？

[vonsdite]

我也来一个： https://github.com/VonSdite/LLM_Proxy

- 支持一个上游对接多个下游（当前还是 1:1 ，正在修改）。比如上游 openai 接口，下游可对接 openai_chat\claude\codex 协议客户端
- 支持 Hook 扩展，有些 provider 需要 cookie 或者 token 才能访问，并且需要动态更新，这个时候可以写 hook 来扩展，hook 有 header_hook 、request_guard 、response_guard ，后面两个 guard 可以来做内容检测
- 支持白名单控制用户管理，不开的时候所有 IP 均能访问，开了之后只有允许的 IP 才可访问 provider ，支持对模型粒度的用户控制
- 支持 Provider 设置多个 api key 的策略，可控制单独 key 的使用量、请求数等

[lcry2023]

和 new-api 和 one-api 这类区别是？

[lx0758]

@LRWF
@lcry2023
不是很清楚呢, 市场上我就看了下 OneApi, 都太重了. 我只希望有 API 转发就好.
目前我搞这个可以说非常轻量, 因为也没有啥功能, 部署之后只占用 25MB 内存的样子...
正在做 MCP 的转发.

[3573535]

@lx0758 来个 cloudflare 版本的。哈哈哈

[xiaoz]

其实 Bifrost 比较轻量:https://blog.xiaoz.org/archives/22835 ，golang 开发的，支持负载均衡，故障转移。

[daimaosix]

@xiaoz 这玩意我用了一段时间，非常难用，功能大部分受限，当然我自己用也用不到那些功能，但是基本的功能都不能保障

[xiaoz]

@daimaosix #9 ，我用着还行啊，你指的基本的功能都不能保障是？

[daimaosix]

@xiaoz #10 我经常给虚拟 key 切换供应商，切换的供应商是正常可用的，它老提示找不到有效的 key ，重装了又好了，资源占用确实挺低的，性能也可以，就是 bug 太扯了，我现在换了之前的了，内存占用多点，但是用起来起码没问题。而且 Bifrost 用不了中转站的 Gemini ，我已经试过好几个了，Gemini 各种问题通不过校验。