Perceiver IO：支持任意模态的可扩展全注意力模型

Hugging Face 将 Perceiver IO 加入 Transformers 库，这是首个能处理文本、图像、音频、视频及点云等多种模态及其组合的 Transformer 模型。该模型通过在潜在变量上应用自注意力机制，使计算复杂度仅随输入大小线性增长，从而解决了传统 Transformer 在处理高维数据时计算和内存扩展性差的问题。