[AI Glimpse 科普系列] 不到 100 行 Python 代码从零实现 LLM 的推测采样算法

[huangyezhufeng]

TLDR

• WHAT: 介绍并复现 DeepMind 的一篇关于 LLM Speculative Sampling 的论文：Accelerating large language model decoding with speculative sampling. 我们将用不到 100 行代码来复现这篇论文，并得到 2 倍以上的速度提升。

• 亮点：基于 GPT2, 代码，模型权重全部可以下载并本地运行；只需要 16GB 的显存即可完整本地复现。

• 博客: https://datahonor.com/blog/2025/03/08/llm_sps

• 公众号文章(内容同博客，便于收藏)： https://mp.weixin.qq.com/s/3rFk8cgJuxjW30A4-emhEA

• 代码: https://github.com/ai-glimpse/toyllm/tree/master/toyllm/sps

具体实现

[huangyezhufeng]

大家有疑问的地方欢迎到博客评论区交流~