Hugging Face Blog·· 2020-09-10AI 评分26
Hugging Face 发布 pytorch_block_sparse 扩展库
Block Sparse Matrices for Smaller and Faster Language Models
AI 导读
Hugging Face 发布 pytorch_block_sparse 扩展库,提供基于 CUTLASS 的 BlockSparseLinear 模块,作为 torch.nn.Linear 的即插即用替代方案。该库利用块稀疏矩阵技术,在 75% 稀疏度下可使内存消耗降低 4 倍,速度提升约 2 倍。
来源:Hugging Face Blog · huggingface.co