核心导读与中文摘要
针对 128K–1M 超长输入中的关键信息遗漏问题,提出动态块压缩与检索头重加权方法,在多跳问答基准提升明显。
长上下文推理瓶颈与 KV-Cache 优化摘要
当上下文窗口扩展到 128K–1M Tokens 时,显存带宽消耗线性攀升,且中段关键事实容易发生 Lost-in-the-Middle 衰减。
论文核心方案拆解
- 检索头(Retrieval Heads)识别:识别模型内部专门负责跨长距离定位证据的注意力头,对其保留高精度 KV 状态。
- 非关键层动态块压缩:对语义汇总层采用滑动窗口与块级聚类压缩,大幅削减显存占用与推理首字延迟(TTFT)。
- 工程选型建议:对于超长日志分析或整库代码问答,可优先配合 Prompt Caching(提示词缓存)将固定系统指令与共享文档置于前缀位置,既降成本又提速。
