Hugging Face 发布视频生成数据集构建工具与脚本
Hugging Face 发布用于构建视频生成数据集的开源工具与脚本,提供包含 yt-dlp 下载、多模型过滤(水印、美学、NSFW、运动)及 Florence-2 标注的三阶段流水线,并分享了 finetrainers/crush-smol-v0 等微调案例。
推荐理由:提供从下载、清洗到标注的完整视频数据集构建流程,帮助开发者高效准备视频生成模型训练数据。
拿来就能用的实操内容:提示词技巧、工作流搭建、工具用法与踩坑经验。
Hugging Face 发布用于构建视频生成数据集的开源工具与脚本,提供包含 yt-dlp 下载、多模型过滤(水印、美学、NSFW、运动)及 Florence-2 标注的三阶段流水线,并分享了 finetrainers/crush-smol-v0 等微调案例。
推荐理由:提供从下载、清洗到标注的完整视频数据集构建流程,帮助开发者高效准备视频生成模型训练数据。
Hugging Face 发布教程,使用 GRPO 算法和 Countdown Game 复现 DeepSeek R1 的推理能力。在 4x H100 上训练 Qwen2.5-3B-Instruct 模型 450 步,成功率从 25% 提升至 50%,模型从自然语言推理转向程序化执行。
推荐理由:文章提供了基于GRPO和Countdown Game复现DeepSeek R1推理能力的完整代码与训练细节,可直接迁移用于探索强化学习对齐。
Hugging Face Diffusers团队发布文章梳理开源视频生成模型现状,提供HunyuanVideo、CogVideoX等模型在Diffusers中的内存优化基准与微调代码。
推荐理由:文章系统梳理了开源视频模型现状,并提供了Diffusers内存优化与微调的具体代码和基准数据。
Hugging Face 发布教程,利用 PyTorch 内置工具可视化训练过程中的显存变化。文章拆解模型参数、激活值、梯度与优化器状态等显存占用来源,给出通用显存估算公式及优化建议。
推荐理由:通过可视化解析显存峰值来源,提供可迁移的显存估算公式与优化思路。
NVIDIA发布LogitsProcessorZoo,提供模块化组件以直接修改语言模型的Logits分布。
推荐理由:原文详解NVIDIA LogitsProcessorZoo的四个核心处理器,提供代码示例展示如何控制生成长度、强制引用和格式。
Intel Labs 与 Hugging Face 联合提出 Universal Assisted Generation (UAG),通过双向 tokenizer 翻译实现跨模型家族的辅助生成,无需共享词表即可加速推理。该方法已集成至 Transformers 4.46.0,基准测试显示在 CodeLlama、Mixtral 等模型上可获得 1.5x-1.9x 的加速效果。
推荐理由:原文给出了跨模型加速的具体实现逻辑与代码,读者可据此在缺乏同族小模型时实现推理提速。
Hugging Face 推出统一工具调用 API,通过 Chat Templating 屏蔽多模型差异,使代码可跨 Mistral、Cohere、NousResearch 和 Llama 等模型复用。Transformers 库新增辅助功能,支持将 Python 函数自动转为 JSON Schema,并提供完整文档与示例。
推荐理由:Hugging Face 推出统一工具调用 API,通过 Chat Templating 屏蔽多模型差异,提供可复用的工程实现方案。
Hugging Face 联合 Albumentations AI 发布 TextImage Augmentation 教程,介绍一种同时修改文档图像和文本的多模态数据增强方法。该方法支持随机插入、删除、替换和停用词插入,可生成合成数据并保留修改后的文本标注,适用于视觉语言模型(VLM)在文档图像上的微调。
推荐理由:提供结合文本与图像修改的文档增强方法,帮助解决视觉语言模型在文档数据上的微调难题。
Hugging Face 博客介绍社区工具 Unsloth,通过重写 PyTorch 模块为 Triton 内核,使 LLM 微调速度提升最高 2.7 倍,显存占用降低最高 74%,且精度无损失。该工具兼容 Hugging Face 生态,支持 Llama 和 Mistral 架构,并可直接与 TRL 库集成使用。
推荐理由:文章提供了基于Triton内核优化的具体代码示例,帮助读者在保持精度的同时显著降低显存占用并提升微调速度。
Hugging Face 博客发文演示了如何在 Whisper 模型中应用推测解码(Speculative Decoding)技术。通过引入 Distil-Whisper 作为辅助模型,在保持转录精度完全一致的前提下,将 16GB T4 GPU 上的推理时间缩短约 2 倍。文章提供了基于 Transformers 库的完整代码实现,并探讨了多语言场景下的模型选择及批处理策略。
推荐理由:文章提供了基于 Transformers 库的完整代码,演示了如何利用 Speculative Decoding 在不损失精度的前提下将 Whisper 推理速度提升约 2 倍。
Hugging Face 发布博文详解 MoE 架构原理,涵盖稀疏性、负载均衡、训练稳定性及推理部署策略,并列举了 Mixtral 8x7B 等开源项目。
推荐理由:文章系统梳理了MoE的架构原理、训练技巧与推理部署策略,为理解和应用MoE模型提供了详实的参考。
Hugging Face 博客复现了 OpenAI 2019 年 RLHF 代码库,在风格化任务中匹配了原始学习曲线,并整理了包括奖励模型初始化、位置索引处理、拒绝采样、KL 惩罚及 PyTorch 与 TensorFlow Adam 优化器差异在内的关键实现细节。
推荐理由:文章复现了 OpenAI 原始 RLHF 代码并整理出关键实现细节,为复现 PPO 训练提供了可迁移的工程参考。
Hugging Face 博客详解了 Stable Diffusion XL 的推理优化方法。通过 fp16 精度、SDPA 注意力机制、torch.compile 编译及 CPU 卸载等技术,在 A100 上显著降低了显存占用并提升了生成速度。
推荐理由:文章实测了 fp16、SDPA、torch.compile 及显存优化技巧,提供了可复用的代码与性能数据。
Hugging Face 在 TRL 库中集成 DDPOTrainer,提供使用 Denoising Diffusion Policy Optimization 微调 Stable Diffusion 的完整代码与参数配置。该方法通过审美奖励模型对齐人类偏好,无需中间监督微调,支持 LoRA 训练,可显著提升生成图像质量。
推荐理由:TRL 库集成 DDPO 训练器,提供微调 Stable Diffusion 的完整代码与参数配置,可直接复现人类审美对齐。
Hugging Face 发布教程,展示如何通过 Flash Attention、半精度、Torch Compile 和高效调度器优化 AudioLDM 2,将 10 秒音频生成时间从 30 秒降至 1 秒。
推荐理由:原文提供了基于 Diffusers 的具体优化代码,可将 AudioLDM 2 推理速度提升十倍,读者可直接复现。
本文演示了如何利用Hugging Face生态中的BetterTransformer、半精度和CPU卸载技术优化Bark语音生成模型。结合这三种优化手段,Bark-large的显存占用可从5GB降至2GB,推理速度提升约23%。
推荐理由:原文给出了结合BetterTransformer、半精度和CPU卸载的具体代码,读者可直接复用以显著降低Bark模型的显存占用并提升推理速度。
Hugging Face发布TRL库中的DPO训练器,通过直接偏好优化算法简化大语言模型对齐流程。文章展示了结合QLoRA技术,使用stack-exchange偏好数据集对Llama 2 7B模型进行监督微调与DPO对齐的完整代码实现。
推荐理由:文章提供了TRL库中DPO训练器的代码实现与参数配置,可直接复现基于偏好数据的模型对齐流程。
Hugging Face 发布 AI WebTV 实验性演示,展示了如何结合 Zeroscope 视频生成模型与 MusicGen 音乐模型构建自动化视频直播流。
推荐理由:文章详细拆解了利用Zeroscope和MusicGen构建自动化视频直播的技术架构与代码实现,提供了可复用的工程实践。
Hugging Face 发布 StackLLaMA 模型及完整训练管线,详细演示了如何结合 SFT、奖励建模和 PPO 算法,利用 PEFT 技术在单卡或集群上对 LLaMA 进行 RLHF 微调,并分享了训练中的稳定性问题与解决方案。
推荐理由:文章完整展示了基于LLaMA 7B、PEFT和TRL库进行RLHF微调的实操流程,包含代码与踩坑经验。
Hugging Face 博客详解了使用 diffusers 训练 ControlNet 的三步流程:规划条件、构建数据集与模型训练。文章以训练面部姿态控制模型为例,展示了从 FaceSynthetics 数据集准备到使用 A100 进行训练的具体代码与参数配置,并提供了适配 8GB 至 16GB 显存的优化方案。
推荐理由:原文详述了基于diffusers训练ControlNet的三步流程与显存优化技巧,提供了可直接复用的实操指南。