V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ProxyXAI
V2EX  ›  OpenAI

体验 llama3 系列的速度吧

  •  
  •   ProxyXAI ·
    proxyxai · 211 天前 · 2735 次点击
    这是一个创建于 211 天前的主题,其中的信息可能已经有所发展或是发生改变。
    第 1 条附言  ·  210 天前
    抱歉流量超级大.... 不得已限流 3 次/分钟
    第 2 条附言  ·  210 天前
    10 次/分钟
    第 3 条附言  ·  209 天前
    需要 API 的, 请联系 wx: proxyxai
    第 4 条附言  ·  209 天前
    支持无上限多个 keys 轮询, 理论请求无上限, 取决于带宽瓶颈 和 keys 数量
    29 条回复    2024-04-25 21:56:46 +08:00
    bearqq
        1
    bearqq  
       210 天前   ❤️ 1
    点之前:本来一脸不屑
    点之后:卧槽?????????
    junan
        2
    junan  
       210 天前
    试了几次后和#1 一样的反应
    hooych
        3
    hooych  
       210 天前 via iPhone
    速度确实嘎嘎快,GPT 是便秘,这个有种一泻千里的畅快感
    qinfengge
        4
    qinfengge  
       210 天前
    G 了,一直请稍后再试
    xier9213
        5
    xier9213  
       210 天前
    速度确实快,就是太不稳定了
    zsxzy
        6
    zsxzy  
       210 天前
    用什么 gpu 跑的, 我用笔记本的 3060 6G, 好慢 😆
    Goghho
        7
    Goghho  
       210 天前 via iPhone
    @zsxzy 这么快感觉就是 groq 吧
    hebwjb
        8
    hebwjb  
       210 天前
    挂了
    djangovcps
        9
    djangovcps  
       210 天前
    fredweili
        10
    fredweili  
       210 天前
    8b 的本地跑,效果已经不错了
    nwg
        11
    nwg  
       210 天前
    我擦 这么快
    itskingname
        12
    itskingname  
       210 天前
    用 groq ,速度可以达到 700Token/s ,已经没有必要使用 Stream 模式了。
    maolon
        13
    maolon  
       210 天前 via Android
    是 groq 快不是 llama3 快吧...用其他方式 host 速度跟其他模型差不多
    param
        14
    param  
       210 天前 via Android
    @hooych gpt 用最低配的 ada 一样很快
    lizhisty
        15
    lizhisty  
       210 天前
    怎么挂了啊
    coolair
        16
    coolair  
       210 天前
    请稍后再试!
    coderluan
        17
    coderluan  
       210 天前
    你们说的快不是瞬间就输出 “请稍后再试” 吧😀😀😀
    Chad0000
        18
    Chad0000  
       210 天前
    没有背后的总算力就说快就是流氓,要我说我还能说我的 GPT4 上午使用时相当快,又聪明又快,比 3.5 还快。那明显是因为那时用量低,算力足啊。
    hooych
        19
    hooych  
       210 天前
    @hebwjb
    @djangovcps
    @lizhisty
    @coolair
    @coderluan 左下角切换模型
    huzhizhao
        20
    huzhizhao  
       210 天前
    请稍后再试!
    hooych
        21
    hooych  
       210 天前
    真的崩了,笑 cry
    feiniu
        22
    feiniu  
       210 天前
    崩了
    abchehehe32
        23
    abchehehe32  
       210 天前
    速度是真的可以,马上就告诉我“请稍后再试!” (手动狗头)
    HomeZane
        24
    HomeZane  
       210 天前
    请稍候再试的速度贼快
    luzemin
        25
    luzemin  
       210 天前
    回复的非常快,就是回复内容比较固定:
    请稍后再试!
    ProxyXAI
        26
    ProxyXAI  
    OP
       210 天前
    抱歉流量超级大.... 不得已限流
    ihainan
        27
    ihainan  
       210 天前
    试了一下,的确好快……
    dobelee
        28
    dobelee  
       210 天前
    速度确实快,瞬间回答 请稍后再试!
    deorth
        29
    deorth  
       210 天前 via Android
    好弱智啊。。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1222 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 23:20 · PVG 07:20 · LAX 15:20 · JFK 18:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.