2311.12351.md

背景

• 背景
  文章探讨了如何改进Transformer架构以提升大型语言模型（LLMs）面对长文本上下文的处理能力。目前，LLMs在处理长上下文时存在计算复杂度高、内存效率差和最大长度限制造成的性能下降等问题。

• 已有的工作 尽管已有的工作提出了不同的解决方案来尝试解决这些问题，但是现有方法缺乏有效的长期记忆机制、随着序列长度的增加计算复杂度呈平方增长，以及在长序列处理时性能显著下降等局限性。

核心贡献

• 提出了一个综合分类体系

  • 挑战1：注意力复杂度 LLMs在处理长序列时，注意力机制的计算复杂度呈平方级增长，造成了时间和空间成本上的巨大负担。文章提出有效注意力的方法，能够降低计算需求，甚至实现线性复杂度，从而直接提高预训练阶段的有效上下文长度边界。

  • 挑战2：上下文记忆能力 LLMs缺乏明确的记忆机制，仅依赖于KV缓存来存储所有先前令牌的表示。论文则介绍了旨在设计显式记忆机制的方法，以弥补LLMs缺乏有效的长期记忆能力。

实现与部署

根据论文给出的分类体系，这些方法归纳到以下五个主要类别：有效注意力（第3部分）、长期记忆（第4部分）、推断性位置编码（第5部分）、上下文处理（第6部分）和其他（第7部分）。论文全面回顾了这些旨在提升LLMs在各个阶段处理长上下文能力的方法，并对它们进行了统一的分类整理。这些方法都致力于缓解或解决LLMs在长上下文处理中面临的上述限制，如通过实现高效的注意力机制以减少计算需求，设计有效的记忆机制和改进位置编码方案以增强模型对长序列的泛化能力，以及采用额外的上下文预/后处理方法以满足每次调用的最大长度要求并突破上下文窗口限制。这篇文章还未提供具体的实施或部署细节，也尚未给出评估结果。

总结

文章为了解决LLMs在应对长上下文时的挑战，提出了一系列方法和综合分类体系，提高了LLMs在注意力机制、记忆效率和最大长度处理上的性能。通过综合回顾和分类学界最近的进展，本文为未来的LLMs架构设计和优化提供了清晰的指导方向。。