Ulysses Sequence Parallelism：支持百万级上下文训练的教程

Hugging Face发布Ulysses序列并行教程，介绍如何通过DeepSpeed在Accelerate、Transformers Trainer和TRL的SFTTrainer中配置百万级上下文训练。实测显示，在4块H100上使用SP=4可将序列长度扩展至96K，内存降低3.3倍，64K序列下吞吐量提升3.7倍。