V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yiwanjidanmian
V2EX  ›  OpenAI

为什么国内大模型速度比 chagpt 慢很多

  •  
  •   yiwanjidanmian · 216 天前 · 2934 次点击
    这是一个创建于 216 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我大段文本,gpt-4o 3 秒左右就能返回,国内比如智谱清言,文心一言就要 10 秒多才能返回,有没有知道原因啊,真难搞

    21 条回复    2024-05-23 10:23:15 +08:00
    kyor0
        1
    kyor0  
       216 天前 via iPhone
    这不正常么
    czfy
        2
    czfy  
       216 天前
    虽然 4o 本身就是牺牲质量换速度
    但除了技术比不过,你觉得还能有什么其他影响因素?
    TheJustin
        3
    TheJustin  
       216 天前
    老黄专程送 H200 给奥特曼,国内还在用上一代的阉割算力,阉割不说,数量还跟不上……
    Antihank
        4
    Antihank  
       216 天前
    体会到了登子扼颈的窒息吧
    Chad0000
        5
    Chad0000  
       216 天前
    还有就是人才的意愿问题,如果给人才一个选择的机会,去美或中,答案就是原因。
    ronyin
        6
    ronyin  
       216 天前
    百度文心一言还有人用么。。
    pi7m1Dr691wfl95q
        7
    pi7m1Dr691wfl95q  
       216 天前   ❤️ 8
    gpt-4o sleep()写太小了
    weijancc
        8
    weijancc  
       216 天前
    我目前对比了所有国内 AI 产品,抖音的豆包和讯飞的 AI 比较快, 但是训分的 UI 太丑了.. 抖音的回答质量会稍微弱一点, 但是够用了.
    kenvix
        9
    kenvix  
       216 天前
    没钱
    实际上你自己部署开源的国内大模型就会发现速度也很快的...比如阿里 Qwen1.5
    Retas
        10
    Retas  
       216 天前 via iPhone
    moonshot 基本秒回
    yiwanjidanmian
        11
    yiwanjidanmian  
    OP
       216 天前
    @Retas 那我试试
    Reid
        12
    Reid  
       216 天前
    @Retas moonshot 输入长文本,经常卡住啊
    ardour
        13
    ardour  
       216 天前
    算力都不在一个级别
    frankkly
        14
    frankkly  
       216 天前
    @pingpz #7 华为:别逼我写 sleep(0)
    JoeDH
        15
    JoeDH  
       216 天前
    国内的那回复都是一个一个字返回来的,gpt 的是一大段直接吐出来给你
    Donaldo
        16
    Donaldo  
       216 天前
    没钱 没卡
    kenvix
        17
    kenvix  
       216 天前
    @eastjoehan #15 你这说的,哪个 LLM 不是 token by ken ?
    wweerrgtc
        18
    wweerrgtc  
       216 天前
    也许是需要审核 输入和输出的内容
    zhangdp
        19
    zhangdp  
       216 天前   ❤️ 3
    可能需要分析审核内容耗时了,不允许违法的特别的反动的词语
    macaodoll
        20
    macaodoll  
       216 天前 via Android
    问就是制裁没显卡,
    yinmin
        21
    yinmin  
       215 天前 via iPhone
    试试:海螺 ai 、通义 ai 、零一万物 ai 、deepseek v2 ,都是很快的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1108 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 19:05 · PVG 03:05 · LAX 11:05 · JFK 14:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.