Hugging Face Blog·· 2022-08-02AI 评分36
Nyströmformer:利用 Nyström 方法以线性时间和内存复杂度近似自注意力
Nyströmformer: Approximating self-attention in linear time and memory via the Nyström method
AI 导读
Nyströmformer 利用 Nyström 方法近似自注意力,将时间和内存复杂度从 O(n^2) 降低至 O(n)。该方法通过选取 32 或 64 个 landmarks 构建矩阵,避免计算 QK^T 乘积,在长序列(如 4096 或 8192)上保持竞争力。Hugging Face 已提供该模型的实现代码。
来源:Hugging Face Blog · huggingface.co