V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
mili100
V2EX  ›  Local LLM

为 Ollama 添加 APIKEY 鉴权的最简单的方式,防止 Ollama 直接暴露在公网被滥用

  •  
  •   mili100 · 19 天前 · 837 次点击

    https://github.com/onllama/Onllama.LiteGateway

    wget https://git.apad.pro/github.com/onllama/Onllama.LiteGateway/releases/latest/download/Onllama.LiteGateway.linux-x64 -O /usr/bin/Onllama.LiteGateway
    wget https://git.apad.pro/raw.githubusercontent.com/onllama/Onllama.LiteGateway/refs/heads/main/onllama-litegateway@.service -O /etc/systemd/system/onllama-litegateway@.service
    chmod +x /usr/bin/Onllama.LiteGateway 
    systemctl enable onllama-litegateway@sk-just-for-example --now
    
    # 请替换 'sk-just-for-example' 为你想要设置的 apikey 。
    # curl http://127.0.0.1:22434
    

    同时已支持:

    • 支持按照 Deepseek 官方推荐的最佳实践,剥离<think/>前的思考过程,节省上下文并减少混淆
    • 支持了通过 ipratelimiting.json 配置请求频率控制
    • 手动 HTTPS 支持
    • 支持设置覆盖 num_ctx
    • 支持通过 llamaguard/shieldgemma 进行输入内容安全审查
    • 默认隐藏管理端点,支持关闭鉴权公开对话和 Embed 端点,支持关闭鉴权公开模型信息端点
    6 条回复    2025-03-12 10:34:24 +08:00
    gzlock
        1
    gzlock  
       19 天前   ❤️ 1
    好一个 onllama...
    YsHaNg
        2
    YsHaNg  
       19 天前
    ollama 这样的后端不应该只放内网吗 前端暴露公网就好了
    musi
        3
    musi  
       19 天前 via iPhone
    ollama 也不支持并发,为什么有暴露到公网的想法
    julyclyde
        4
    julyclyde  
       19 天前
    @YsHaNg 搞 AI 的和搞互联网的人群重叠度比较低。很多人没这个意识
    mili100
        5
    mili100  
    OP
       14 天前
    @gzlock 意指站在巨人的肩膀上,或者是羊驼的背上(?

    @musi Ollama 从 [v0.1.33]( https://github.com/ollama/ollama/releases/tag/v0.1.33) 开始就已经支持并发和同时加载多个模型了,已经足以能够胜任一些中小规模的生产环境了
    musi
        6
    musi  
       14 天前
    @mili100 #5 感谢告知,你不说我还不知道,倒是可以尝试一下开下并发
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5215 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 06:00 · PVG 14:00 · LAX 23:00 · JFK 02:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.