PungentSauce
V2EX  ›  Local LLM

有人买英特尔 14 代 ultra 系列的 cpu 了么,里面的 npu 运行 ollama 速度大概什么样?

  •  
  •   PungentSauce · Feb 22, 2024 · 2128 views
    This topic created in 803 days ago, the information mentioned may be changed or developed.

    英特尔 14 代 ultra 系列 cpu ,京东上小新显示支持 200 亿参数。ollama 的几个模型最大的那个可能内存上不够,不过想知道 ultra 系列的 ollama 运行大模型的速度如何。有人可以分享一下吗

    我用的 7840H 的本子,倒是可以运行,回答问题基本上是几分钟才能回答完毕。

    https://github.com/ollama/ollama?tab=readme-ov-file

    1 replies    2024-02-22 19:59:44 +08:00
    bgm004
        1
    bgm004  
       Feb 22, 2024 via Android
    建议等下一代。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5107 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 57ms · UTC 01:14 · PVG 09:14 · LAX 18:14 · JFK 21:14
    ♥ Do have faith in what you're doing.