DIFF Transformer V2 发布

微软发布 DIFF Transformer V2，通过差分注意力机制在保持键值头数量不变的前提下倍增查询头，实现与标准 Transformer 相当的解码速度。该版本移除了 DIFF V1 中导致数值不稳定的逐头 RMSNorm 层，有效消除注意力汇聚现象。相比同等查询维度的 Transformer，DIFF V2 在输出投影阶段拥有更少的参数和计算量。