同样是统一内存显存，为什么用 mac 做 LLM 推断的远多于 AMD 核显？

[digd]

如题，我在网上很多地方能看到用 mac 做大模型 inference 的，甚至用 macbook air M1 16g 来运行 LLAMA 8B ，网上的教程和演示也很多

像 AMD 的核显，比如 8840h ，性能也很强，统一内存显存，不知道为什么这么做的人就很少？

[pxqsxs]

8840H 这统一能和人家是一个概念？人家是颗粒和 soc SiP ，封装在了一起，带宽能比吗？

[hefish]

说到底还是用的人少。 买 amd 的说不定都开黑直播去了。。。

[V28a19cc]

能跑跟能用是两码事，Mac 的内存是 384/512 bit 位宽，性能远超 AMD 。

[kenvix]

LLM 推理很吃显存带宽

https://github.com/ninehills/llm-inference-benchmark/blob/main/LLM%E6%8E%A8%E7%90%86%E4%BC%98%E5%8C%96.md

[misdake]

想这么做的人都去买 nv 的独立显卡了吧。AMD 配套生态差得太远了，和性能关系感觉没那么大。

[dnfQzjPBXtWmML]

内存带宽不足，无法任意访问内存

[digd]

@V28a19cc
@kenvix
@pxqsxs

我查了一下，m2 ultra 带宽吊打，可达到 0.8Tb/s, 接近 4090Ti 的 1Tb/s

8840h 和 m2 差不多，都是 100Gb/s 。m2 pro 和 m2 max 分别是 200 和 400Gb/s

所以如果用笔记本来体验 LLM 推断的话，相比较 MacBook air ，amd 更实惠。但更进阶的体验差距就巨大了

[digd]

又查了一下，h200 的显存带宽是恐怖的 4.8Tb/s ，简直就像弗利萨说自己的战斗力是 53 万一样

[msg7086]

AMD 的内存显存离 CPU 足足几厘米远，mac 的都是按毫米算的，这就已经有差距了。

[murmur]

人家可以插显卡，mac 不行

[minami]

因为 AMD 的 ROCm 真的拉跨