描述
理解语言、音乐或视频等顺序数据会带来挑战，尤其是在需要广泛上下文的情况下。像 LSTM 这样的传统模型只能处理有限的上下文，而 Transformer 模型通过数千字的上下文窗口提高了性能，使其能够超越文本生成等应用。然而，将 Transformer 扩展到更大的上下文会面临重大障碍。
Transformer 的核心在于其注意力机制，该机制会评估上下文窗口内的所有词对。对于一篇 10 万字的文章，这涉及到每步数十亿对词，这在计算上是不切实际的。此外，对于具有大上下文的多层模型，存储每个模型层的输出会导致内存需求过大，通常达到 TB 级别。
Reformer 通过两项关键创新来解决这些问题。首先，它采用局部敏感哈希（LSH）来降低注意力的复杂性。LSH 将相似的向量分组，允许注意力在较小的片段内而不是整个序列上应用，从而大大降低了计算负载。这意味着注意力仅在这些片段及其邻居内计算，从而对长序列高效。
其次，Reformer 使用可逆残差层来解决内存问题。Reformer 不会存储每个层的激活值以用于反向传播，而是按需重新计算它们。这是通过为每层维护两组激活值来实现的，其中一组仅捕获变化。通过减去这些变化，可以恢复中间层的激活值，从而在不增加过多内存使用的情况下有效地反向运行网络。
这些技术使得 Reformer 能够在具有仅 16GB 内存的单个加速器上处理高达 100 万字的上下文窗口。这种效率为具有远超当前最先进数据集的上下文窗口的应用打开了大门，有可能刺激创建新的、更大的数据集。Reformer 在图像生成方面展示了其能力，能够逐像素地完成部分图像，并在文本处理方面，有潜力将整本小说作为单个训练样本进行处理。
Reformer 为未来 Transformer 模型应用奠定了基础，将其效用扩展到更长的文本序列以及自然语言处理以外的领域。其开源性质鼓励进一步的研究和开发，旨在改进位置编码的处理并探索更长的序列。
Reformer: 高效的 Transformer亮点
处理高达 100 万字的上下文窗口
利用局部敏感哈希 (LSH) 实现高效注意力
采用可逆残差层以减少内存使用
在单个加速器上处理长序列
大上下文窗口仅需 16GB 内存
支持逐像素图像生成
能够将整本小说作为单个训练样本处理
旨在克服 Transformer 的注意力和内存限制
Reformer: 高效的 Transformer入门
访问模型：获取 Reformer 模型访问权限。
设置环境：配置必要的计算环境。
通过 API 集成：使用其 API 将 Reformer 集成到您的应用程序中。
处理数据：将顺序数据（如文本或像素）输入模型。
生成输出：根据输入上下文接收增强或生成的序列。
优化性能：针对特定任务和数据类型微调参数。
Reformer: 高效的 Transformer的使用案例
- 长文本处理
- 图像生成
- 音乐生成
- 视频分析
- 多文档摘要
- 高效 Transformer 训练
