从零构建LLM 推理引擎的全过程。

生成循环

自回归解码

推理引擎就是一个把模型自己的输出再喂回去的 while 循环。这门课余下的全部内容，都是在优化这个循环。

分词

从字节到 token id

模型从来看不到文本。BPE 分词器把字节压缩进一个固定词表，你报出的每个延迟数字都以 token 计，而不是以字符计。

Transformer 前向传播

RMSNorm、RoPE、GQA、SwiGLU

现代 decoder block 只有七个操作。用 NumPy 老老实实写一遍，之后所有 kernel 优化就都有了对照的正确答案。

采样

把 logits 变成一个 token

采样器是引擎里最便宜的部分，却是用户感受最强烈的部分。temperature、top-k、top-p、min-p 和各种惩罚，全都是在对 logits 动手术。

KV 缓存

decode 为什么是显存带宽瓶颈

没有缓存时，生成第 N 个 token 的代价是 O(N²)；有了缓存则是 O(N)。瓶颈也随之从算力转移到显存带宽。

PagedAttention

给 KV 缓存做虚拟内存

为每个请求分配连续 KV 缓冲区，会因碎片浪费掉 60–80% 的 KV 缓存显存。把缓存分页成固定大小的 block，几乎能全部收回。

前缀缓存

同一段 prompt 绝不算第二遍

共享的 system prompt、few-shot 示例和多轮对话意味着：大多数 prefill token 之前已经算过了。给 block 做哈希，然后复用。

量化

让每个权重和每条 KV 少占几个 bit

decode 速度取决于每个 token 搬运的字节数，位宽减半，延迟也几乎减半。剩下要决定的，是让误差落在哪里。

连续批处理

迭代级调度

静态批处理让所有请求都得等最慢的那一个。改成在每次前向之间进出请求，吞吐能提升数倍。

调度器

队列、预算与抢占

每一步调度器都要决定哪些请求能跑。公平性、延迟 SLO、显存不足后的恢复策略，都在这里。

分块 Prefill

别让长 prompt 卡住所有 decode

一次 32k token 的 prefill 会把排在它后面的所有 decode 堵上一秒。把 prefill 切成小块，混进 decode 批次里。

FlashAttention

在线 softmax，不落 N² 矩阵

注意力根本不需要把分数矩阵物化出来。分块加上滚动的最大值与求和，就把 O(N²) 的显存开销变成了 O(N)。

算子融合与 CUDA Graph

干掉 kernel 启动开销

小 batch 时 GPU 是在等 CPU。融合算子、回放已捕获的 graph，能省掉每个 token 数百次的 kernel 启动。

投机解码

一次前向吐出不止一个 token

廉价的草稿模型先猜 k 个 token，大模型一次前向就能验证全部 k 个。拒绝采样保证输出分布可证明地完全一致。

结构化输出

受语法约束的解码

合法 JSON 不是一个 prompt 问题。把 schema 编译成状态机，然后把语法不允许的 logit 全部屏蔽掉。

专家混合（MoE）

稀疏计算，稠密显存

一个 MoE 层对每个 token 只激活 256 个专家中的 8 个。算力降了，显存没降，路由则变成了负载均衡问题。

张量并行与流水线并行

一个模型，多张 GPU

先按列切、再按行切每个 matmul，每个子层只需要一次 all-reduce。流水线并行则是用延迟换容量。

Prefill/Decode 分离部署

两种负载，两组机器

prefill 受算力约束，decode 受带宽约束。挤在同一张卡上，两个 SLO 都达不到；那就把它们拆开，再把 KV cache 传过去。

服务层

OpenAI 兼容的流式 API

用户看到的是 TTFT 和 token 间延迟，不是 FLOPs。API 层负责流式推送 SSE、处理取消，并导出你真正拿来调优的指标。

完整的引擎

把所有零件接起来

把前十九章的零件装成一个引擎：调度器、分页缓存、前缀复用、投机解码、流式服务器，最后跑一遍基准测试。

用 Python 重写 picoLM

一个真实的引擎，逐模块拆解

picoLM 用 2944 行 C，在一块 10 美元、256 MB 内存的板子上跑起了 11 亿参数的模型。逐模块把它移植到 NumPy，这门课的每一章都能在里面找到，连它有意省掉的那两章也算在内。

用 TypeScript 写 mini-picoLM

同一个引擎，就跑在这个标签页里

把引擎第三次重建一遍：一个 ArrayBuffer、一个 arena、十八个步骤，做出一个不需要服务端、不需要 WASM、零依赖就能在浏览器里生成文本的引擎。JavaScript 里难的是内存，不是数学。