跳到正文
原文
Hugging Face Blog·· 2020-09-10AI 评分26

Hugging Face 发布 pytorch_block_sparse 扩展库

Block Sparse Matrices for Smaller and Faster Language Models

AI 导读

Hugging Face 发布 pytorch_block_sparse 扩展库,提供基于 CUTLASS 的 BlockSparseLinear 模块,作为 torch.nn.Linear 的即插即用替代方案。该库利用块稀疏矩阵技术,在 75% 稀疏度下可使内存消耗降低 4 倍,速度提升约 2 倍。

来源:Hugging Face Blog · huggingface.co