核心导读与中文摘要
针对多轮 Agent、JSON 结构化生成与 DeepSeek/Qwen MoE 架构深度优化的开源推理后端,支持零开销 FSM 约束解码。
SGLang 与 RadixAttention 核心优势
在 Few-shot 提示词、Agent 多分支树搜索(Tree-of-Thought)和 RAG 共享文档场景中,RadixAttention 通过基数树自动复用跨请求的公共前缀 KV-Cache,吞吐量表现突出。
核心适用场景
- DeepSeek V3/V4 与 MoE 大模型:原生支持 MLA(Multi-head Latent Attention)与 DP/EP 专家并行加速。
- 严格 JSON Schema 约束输出:利用压缩有限状态机实现极低开销的结构化输出。
