vLLM & SGLang

Release 整理

DSV4、投机解码、KV 分级、P/D 分离、引擎与运行时、量化 — 6 大主题，每节附重点更新

Model Runner V2

MRv2 全栈：persistent batch、async、StagedWriteTensor、Triton sampler、显式 CUDA graph

Breakable CUDA Graph

MoE/MLP 录 graph + attention eager break；DSV4 默认开，两框架机制对照

DSV4 · Hybrid Attention 与 KV

c4a/c128a 混合注意力、SWA prefix free queue 改序、UnifiedRadixTree 对照

KV 分级存储

GPU → CPU → SSD 多级 offload；HiCache 共用 UnifiedRadixTree，vLLM HMA 默认

P/D 分离

MORI-IO / NIXL KV 租约续期 / SGLang 异构 TP + EPD 编码器分离

投机解码 · 合并专题

总览 + DFlash 块去噪 + P-EAGLE mask 占位；SGLang Spec V2 主线 / vLLM causal 进展

Roadmap

Q2 进度勾选 / 主题未完成项 / Q3 AMD 草稿 + Kimi K2.5 disagg