理解 BigBird 的块稀疏注意力机制

BigBird 采用块稀疏注意力机制替代 BERT 的全注意力，将序列处理长度提升至 4096 并大幅降低计算成本。该模型通过局部滑动窗口、全局 token 和随机 token 三种策略实现高效长序列处理，在长文档摘要和长上下文问答任务中达到 SOTA 水平。目前 BigBird RoBERTa-like 模型已集成至 Hugging Face Transformers 库。