V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Greendays
V2EX  ›  硬件

新出的移动平台的 NPU 有人测试过吗?

  •  
  •   Greendays · 250 天前 · 1180 次点击
    这是一个创建于 250 天前的主题,其中的信息可能已经有所发展或是发生改变。
    I 家 A 家不都出了新一代的笔记本 CPU ,不约而同都集成了 NPU 芯片,然后网上的通稿都号称能跑 stable-diffusion 大模型。现在这些笔记本也都开卖了,有人实际测试过跑大模型要怎么跑吗?

    https://imgur.com/RJqXfiy

    我对 NPU 的印象就是能效比较高,但是适用范围很窄,只能适配一些提前设定好的程序或算法,比方说运行 Windows 内置的语音识别图像识别功能。我觉得通稿里测的这个 statble-diffusion 应该不是通过常规方式运行的,可能需要修改源代码,毕竟 Pytorch 都没有给 NPU 适配的版本,但是通稿里对这些都没说清楚,也没人真的跑过,所以好奇是怎么回事。

    https://imgur.com/Jq09ryn
    4 条回复    2024-06-04 11:03:17 +08:00
    James369
        1
    James369  
       250 天前
    看成了移动手机,NPU 一般对向量矩阵操作有加速作用,不清楚 PC 上是走什么软件接口
    ModerRAS
        2
    ModerRAS  
       250 天前 via iPhone
    amd 的用他专用的 pytorch 或者 onnxruntime 就行,然后需要装一下 ipu 驱动,只能跑 int8 量化的模型
    THESDZ
        3
    THESDZ  
       149 天前   ❤️ 1
    THESDZ
        4
    THESDZ  
       149 天前
    @THESDZ #3 https://github.com/airockchip/rknn-toolkit2 这是 rk 芯片开发板的 npu 相关的工具包
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1303 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 23:32 · PVG 07:32 · LAX 16:32 · JFK 19:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.