Amazon提出了一项大模型优化技术：CompLLM

arxiv.org/abs/2509.19228

基于该技术，在不修改模型的情况下，可以显著提升LLM处理长文本的效率：

🌟将长文本的首个词元生成速度（TTFT）提升高达4倍 。

🌟将KV缓存的内存占用减少一半 。

🌟在处理超长序列时，保持甚至超越原始模型的表现 。

主要原理是与以往将整个上下文作为一个整体进行压缩的方法不同，CompLLM 的核心创新在于将长文本分割成若干个独立的segment，并对每个片段分别进行压缩 。