PyTorch Profiling 第三篇：注意力机制的Profiler迹线分析

Hugging Face 发布 PyTorch Profiling 系列第三篇，对比了朴素注意力、in-place掩码、SDPA math/efficient/flash/cuDNN 五种实现的Profiler迹线。文章解释了FlashAttention低占用率源于片上资源占用，cuDNN高CPU开销源于运行时内核生成，并指出math后端因FP32上转换和多次HBM读写导致性能最差。