V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yiwanjidanmian
V2EX  ›  OpenAI

为什么国内大模型速度比 chagpt 慢很多

  •  
  •   yiwanjidanmian · 2024-05-22 11:44:25 +08:00 · 3215 次点击
    这是一个创建于 390 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我大段文本,gpt-4o 3 秒左右就能返回,国内比如智谱清言,文心一言就要 10 秒多才能返回,有没有知道原因啊,真难搞

    21 条回复    2024-05-23 10:23:15 +08:00
    kyor0
        1
    kyor0  
       2024-05-22 11:49:01 +08:00 via iPhone
    这不正常么
    czfy
        2
    czfy  
       2024-05-22 11:51:09 +08:00
    虽然 4o 本身就是牺牲质量换速度
    但除了技术比不过,你觉得还能有什么其他影响因素?
    TheJustin
        3
    TheJustin  
       2024-05-22 11:56:09 +08:00
    老黄专程送 H200 给奥特曼,国内还在用上一代的阉割算力,阉割不说,数量还跟不上……
    Antihank
        4
    Antihank  
       2024-05-22 11:57:46 +08:00
    体会到了登子扼颈的窒息吧
    Chad0000
        5
    Chad0000  
       2024-05-22 12:01:03 +08:00
    还有就是人才的意愿问题,如果给人才一个选择的机会,去美或中,答案就是原因。
    ronyin
        6
    ronyin  
       2024-05-22 12:03:09 +08:00
    百度文心一言还有人用么。。
    pi7m1Dr691wfl95q
        7
    pi7m1Dr691wfl95q  
       2024-05-22 12:06:01 +08:00   ❤️ 8
    gpt-4o sleep()写太小了
    weijancc
        8
    weijancc  
       2024-05-22 12:28:24 +08:00
    我目前对比了所有国内 AI 产品,抖音的豆包和讯飞的 AI 比较快, 但是训分的 UI 太丑了.. 抖音的回答质量会稍微弱一点, 但是够用了.
    kenvix
        9
    kenvix  
       2024-05-22 12:42:18 +08:00
    没钱
    实际上你自己部署开源的国内大模型就会发现速度也很快的...比如阿里 Qwen1.5
    Retas
        10
    Retas  
       2024-05-22 12:51:24 +08:00 via iPhone
    moonshot 基本秒回
    yiwanjidanmian
        11
    yiwanjidanmian  
    OP
       2024-05-22 13:16:41 +08:00
    @Retas 那我试试
    Reid
        12
    Reid  
       2024-05-22 13:58:38 +08:00
    @Retas moonshot 输入长文本,经常卡住啊
    ardour
        13
    ardour  
       2024-05-22 14:18:00 +08:00
    算力都不在一个级别
    frankkly
        14
    frankkly  
       2024-05-22 14:59:22 +08:00
    @pingpz #7 华为:别逼我写 sleep(0)
    JoeDH
        15
    JoeDH  
       2024-05-22 15:57:38 +08:00
    国内的那回复都是一个一个字返回来的,gpt 的是一大段直接吐出来给你
    Donaldo
        16
    Donaldo  
       2024-05-22 16:01:06 +08:00
    没钱 没卡
    kenvix
        17
    kenvix  
       2024-05-22 17:02:43 +08:00
    @eastjoehan #15 你这说的,哪个 LLM 不是 token by ken ?
    wweerrgtc
        18
    wweerrgtc  
       2024-05-22 17:24:26 +08:00
    也许是需要审核 输入和输出的内容
    zhangdp
        19
    zhangdp  
       2024-05-22 17:37:03 +08:00   ❤️ 3
    可能需要分析审核内容耗时了,不允许违法的特别的反动的词语
    macaodoll
        20
    macaodoll  
       2024-05-22 22:15:36 +08:00 via Android
    问就是制裁没显卡,
    yinmin
        21
    yinmin  
       2024-05-23 10:23:15 +08:00 via iPhone
    试试:海螺 ai 、通义 ai 、零一万物 ai 、deepseek v2 ,都是很快的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5205 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 08:55 · PVG 16:55 · LAX 01:55 · JFK 04:55
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.