Reformer：突破语言建模极限

Reformer 模型可将内存占用控制在 8GB 以下，支持单次处理长达 50 万 token 的序列。该模型通过局部自注意力、分块前馈层、可逆残差层和轴向位置编码四大特性优化 Transformer 架构，显著降低长序列建模的显存需求。