Sentence Transformers 模型训练与微调指南
Sentence Transformers 模型通过 Transformer 编码器和 Pooling 层将变长文本映射为固定长度嵌入向量。该指南介绍了如何从零构建模型或微调 Hugging Face Hub 上的现有模型，重点讲解了数据集格式与损失函数的选择。
#Hugging Face
#Hugging Face
今日 0 条Hugging Face BlogAI 评分2020
Hugging Face BlogAI 评分1313 Proximal Policy Optimization (PPO)
Proximal Policy Optimization (PPO) 通过限制策略更新幅度来提升训练稳定性，避免过大更新导致模型崩溃。该方法使用当前与旧策略的概率比率，并将其裁剪在 [1−ϵ,1+ϵ] 范围内，从而约束策略变化。文章随后使用 PyTorch 从零实现 PPO 架构，并在 CartPole-v1 和 LunarLander-v2 环境中进行验证。
Hugging Face BlogAI 评分2020 Hugging Face 推出 Private Hub：构建机器学习的新方式
Hugging Face 推出 Private Hub，旨在为机器学习提供统一且安全的开发工具。该平台整合了 Hub 上的 6 万多个模型、6000 多个数据集和 6000 多个应用，支持通过 Git 进行版本控制与协作。
Hugging Face BlogAI 评分3636 Nyströmformer：利用 Nyström 方法以线性时间和内存复杂度近似自注意力
Nyströmformer 利用 Nyström 方法近似自注意力，将时间和内存复杂度从 O(n^2) 降低至 O(n)。该方法通过选取 32 或 64 个 landmarks 构建矩阵，避免计算 QK^T 乘积，在长序列（如 4096 或 8192）上保持竞争力。Hugging Face 已提供该模型的实现代码。
Hugging Face BlogAI 评分1313 Hugging Face 就美国国家人工智能研究资源（NAIRR）中期报告提交建议
Hugging Face 向白宫科技政策办公室提交关于实施国家人工智能研究资源（NAIRR）中期报告的建议。建议包括任命技术与伦理专家担任顾问、采用 Model Cards 等文档标准、通过 AutoTrain 等工具降低非技术专家门槛，以及建立开源资源滥用监控机制。
Hugging Face BlogAI 评分3535 🤗 Datasets 新增音频与图像文档及 ImageFolder 功能
Hugging Face 更新了 🤗 Datasets 库的文档，新增针对音频和图像数据集的加载与处理指南。Quickstart 增加了端到端示例，并引入 to_tf_dataset 函数以简化 TensorFlow 数据转换。同时推出的 ImageFolder 功能支持通过文件夹结构直接加载图像数据集，并可结合元数据文件处理目标检测等任务。
Hugging Face BlogAI 评分3333 使用 TF Serving 在 Hugging Face 部署 TensorFlow 视觉模型
Hugging Face 团队展示了如何使用 TensorFlow Serving 在本地部署 TensorFlow 视觉模型，将模型暴露为 REST 或 gRPC 端点。文章以 Vision Transformer 为例，演示了通过 save_pretrained 将模型保存为 SavedModel 格式，并详细说明了如何将图像预处理和后处理逻辑嵌入计算图以优化部署流程。
Hugging Face BlogAI 评分1515 Hugging Face 深度强化学习课程：Actor-Critic 与 Advantage Actor Critic (A2C)
Hugging Face 深度强化学习课程介绍 Actor-Critic 方法，通过结合策略与价值函数降低方差。Advantage Actor Critic (A2C) 利用 Critic 评估动作优劣，辅助 Actor 更新策略，从而提升训练稳定性与效率。课程使用 Stable-Baselines3 在 PyBullet 机器人环境中训练双足行走器和蜘蛛机器人。
Hugging Face BlogAI 评分3636 如何使用对抗数据动态训练模型
动态对抗数据收集（DADC）通过让人类用户生成对抗样本来欺骗模型，从而克服静态基准测试的局限。以 MNIST 手写数字识别为例，利用 Hugging Face Spaces 构建交互界面，收集用户绘制的难例并重新训练模型。该过程通过多轮迭代，显著提升模型的鲁棒性与泛化能力。
Hugging Face BlogAI 评分3535 BLOOM 176B 大语言模型训练技术解析
本文解析了 176B 参数多语言模型 BLOOM 的训练技术。该模型基于 GPT3 架构，使用 384 块 80GB A100 GPU 在 Jean Zay 超算上训练 3.5 个月完成。核心技术为 Megatron-DeepSpeed 实现的 3D 并行，结合 ZeRO、流水线并行和张量并行。
Hugging Face BlogAI 评分4242 使用 Sentence Transformers 构建播放列表生成器
文章详解了利用 Sentence Transformers 库和 Gradio 构建播放列表生成器的技术实现。项目选用 msmarco-MiniLM-L-6-v3 模型，通过将歌词拆分为诗节并生成嵌入向量，实现基于文本提示的语义搜索。演示应用使用 Gradio Blocks API 构建多步交互，支持用户输入提示词并查看匹配的歌词。
Hugging Face Blog精选AI 评分7777 Hugging Face 发布全球最大开源多语言大模型 BLOOM
Hugging Face 发布全球最大开源多语言大语言模型 BLOOM，拥有 1760 亿参数，支持 46 种自然语言和 13 种编程语言。该模型由 1000 多名研究人员历时 117 天训练完成，首次开源了完整的训练检查点和优化器状态，并提供基于 TPU 的推理 API 供社区测试。
推荐理由：开源了1760亿参数多语言模型及训练检查点，为研究大模型内部机制提供了完整的透明数据。
Hugging Face BlogAI 评分3535 如何在 Twitter 上开展情感分析
本文介绍了利用机器学习模型自动识别推文情感极性的方法，帮助企业实时监测用户反馈与潜在公关危机。针对开发者，教程演示了结合 Tweepy 与 Inference API 进行情感分析；非编程用户则可通过 Zapier 将推文数据自动同步至 Google Sheets。
Hugging Face BlogAI 评分1212 使用 PyTorch 实现策略梯度算法
Hugging Face 发布 Deep Reinforcement Learning Class 第 5 单元，介绍并从头使用 PyTorch 实现 Reinforce 算法。该策略梯度方法直接优化策略权重，无需学习值函数，能学习随机策略并处理高维及连续动作空间。文章随后将在 CartPole-v1、PixelCopter 和 Pong 环境中测试其鲁棒性。
Hugging Face BlogAI 评分2121 Hugging Face 博客：Sentence Transformers 入门指南
Sentence Transformers 可将文本转换为多维向量空间中的嵌入向量，通过余弦相似度实现语义搜索。该库 GitHub 获近 8,000 星，支持 msmarco-MiniLM-L-6-v3 等模型，广泛用于构建聊天机器人、推荐系统及图像搜索。
Hugging Face BlogAI 评分4343 使用 DeepSpeed 加速大模型训练
Hugging Face 博客介绍利用 Accelerate 库配合 DeepSpeed ZeRO 功能训练大模型。在 DeBERTa-XL 模型实验中，DeepSpeed ZeRO Stage-2 使单卡最大 batch size 从 8 提升至 40，训练速度提升约 3.5 倍且无需修改代码。
Hugging Face BlogAI 评分3737 Hugging Face 推出 Evaluation on the Hub，无需代码即可评估模型
Hugging Face 推出 Evaluation on the Hub，基于 AutoTrain 实现无需编写代码即可在 Hub 上评估任意模型。该工具支持一键生成包含验证性能的 Pull Request 并更新模型卡片元数据。主要应用场景包括查找任务最佳模型、在新数据集上评估基线模型以及在多个相关数据集上评估模型。
Hugging Face BlogAI 评分3333 Hugging Face 入门教程：使用 Inference API 和 Sentence Transformers 生成 Embeddings
Hugging Face 发布入门教程，展示如何使用 Inference API 和 Sentence Transformers 库中的 sentence-transformers/all-MiniLM-L6-v2 模型生成文本和图像的 Embeddings。教程通过构建美国社会保障 Medicare 常见问题解答引擎，演示了将数据集嵌入、上传至 Hub 以及通过语义相似度匹配用户查询的完整流程。
Hugging Face BlogAI 评分3333 使用 Hugging Face Optimum 将 Transformers 模型转换为 ONNX
Hugging Face Optimum 提供从底层 torch API 到高层 API 的三种方式，将 Hugging Face Transformers 模型转换为 ONNX 格式。其中 Optimum 方法通过 ORTModelForXxx 类实现从 transformers 到 ONNX 的自动转换，并支持直接运行预测或加载至 pipeline。
Hugging Face BlogAI 评分5757 Intel与Hugging Face联合发布Optimum Intel库
Intel与Hugging Face宣布合作，发布Optimum Intel开源库，旨在简化Transformer模型在Intel硬件上的加速训练、微调与推理。该库基于Intel Neural Compressor，提供量化、剪枝等优化技术，用户可通过少量代码实现模型加速，例如在Intel Xeon CPU上实现DistilBERT的量化并提升推理速度。
Hugging Face BlogAI 评分1717 Hugging Face 机器学习总监洞察系列：金融篇
Hugging Face 发布机器学习总监洞察系列金融篇，邀请来自美国银行、加拿大皇家银行、穆迪分析和彭博的专家分享见解。专家指出机器学习推动了金融决策的信任与透明度，但遗留系统迁移、合规风险及目标函数定义是主要挑战。
Hugging Face BlogAI 评分5353 用PyTorch逐步实现DDPM扩散模型
Hugging Face发布文章，通过PyTorch代码逐步实现去噪扩散概率模型（DDPM）。文章详细解释了前向加噪与反向去噪过程，推导了基于噪声预测的损失函数，并提供了U-Net架构的完整实现与训练代码。
Hugging Face BlogAI 评分1313 Hugging Face 深度强化学习课程：使用 Deep Q-Learning 训练 Space Invaders
Hugging Face 发布深度强化学习课程第三单元，讲解 Deep Q-Learning 算法。该算法使用神经网络替代 Q-table 处理 Atari 游戏的大状态空间，通过堆叠 4 帧输入解决时间局限性，并采用 Experience Replay 和 Fixed Q-Target 稳定训练。
Hugging Face BlogAI 评分3030 Graphcore 与 Hugging Face 发布 IPU 就绪 Transformer 模型系列
Graphcore 与 Hugging Face 在 Hugging Face Optimum 中新增 10 款 IPU 就绪 Transformer 模型，涵盖 NLP、计算机视觉和语音领域。开发者可直接获取 ViT、GPT-2、RoBERTa、DeBERTa、BART、LXMERT、T5、HuBERT 和 Wav2Vec2 等模型的 IPU 配置文件及预训练权重。
Hugging Face BlogAI 评分4343 TAPEX：无需真实数据的高效表格预训练方法
TAPEX 通过利用合成 SQL 查询及其执行结果作为预训练数据，实现了无需真实数据的表格预训练。该模型在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准测试中均取得新的 SOTA 结果，并在所有数据集上大幅超越 BART 及此前方法。TAPEX 模型已集成至 🤗 Transformers 4.19.0 并支持交互式演示。
Hugging Face BlogAI 评分1515 Hugging Face 深度强化学习课程：Q-Learning 详解与从零实现
Hugging Face 发布深度强化学习课程第二部分，详解 Q-Learning 算法原理及从零实现 Q-Learning 智能体。课程涵盖 Q-Table 初始化、Epsilon Greedy 策略及 TD 更新公式，并指导在 Frozen Lake v1 和自动驾驶出租车环境中进行训练。
Hugging Face BlogAI 评分1212 Hugging Face 多模态项目伦理宪章：将伦理原则置于研究生命周期核心
Hugging Face 多模态学习小组发布伦理宪章，将伦理原则置于机器学习研究生命周期核心。该宪章明确禁止推广暴力、歧视及生成虚假信息等滥用行为，并确立透明、开放、公平及自我批判等价值观。文件注明为 2022 年 5 月的工作进展，旨在通过公开决策接受社区反馈并持续迭代。
Hugging Face BlogAI 评分88 Sempre Health 如何利用 Expert Acceleration Program 加速 ML 路线图
Sempre Health 借助 Hugging Face Expert Acceleration Program 部署了新的 NLP 管道，自动处理超过 20% 的入站患者短信。该方案替代了仅覆盖 80% 的规则系统，显著提升了业务可扩展性并减少了运营团队的低价值工作。
Hugging Face BlogAI 评分1313 Hugging Face 深度强化学习课程：Q-Learning 入门（第 1 部分）
Hugging Face 推出深度强化学习免费课程，本文作为第一部分深入讲解基于价值的方法及 Q-Learning 算法。内容涵盖状态价值函数、动作价值函数、贝尔曼方程以及蒙特卡洛与时间差分学习的区别，并介绍从零实现 Q-Learning 智能体。该智能体将在 Frozen-Lake-v1 和出租车导航环境中进行训练，为后续学习 Deep Q-Learning 奠定基础。
Hugging Face BlogAI 评分1515 Hugging Face 播客：机器学习专家 Sasha Luccioni
Hugging Face 播客邀请机器学习专家 Sasha Luccioni 探讨大语言模型的环境影响。她担任 Big Science Workshop 碳足迹工作组主席，致力于量化模型训练及日常办公（如邮件）的碳排放。Luccioni 还分享了关于数据策展、多语言支持及 AI 伦理的研究与实践。
Hugging Face BlogAI 评分2020 宣布推出 Hugging Face Fellowship 项目
Hugging Face 宣布推出 Fellowship 项目，旨在支持对机器学习开源生态做出卓越贡献的开发者。该项目通过提供计算资源、官方认可等个性化福利，赋能关键贡献者扩大影响力。首批入选者包括在西班牙语 NLP、模型贡献及 TensorFlow 架构优化等领域表现突出的多位开发者。
Hugging Face BlogAI 评分5252 Gradio 3.0 发布，重构前端并推出 Blocks API
Hugging Face 发布 Gradio 3.0，基于 Svelte 重构前端以提升加载速度，并推出低层级 Blocks API 支持构建具有多步骤接口和灵活数据流的复杂自定义 Web 应用。
Hugging Face BlogAI 评分1515 Hugging Face 机器学习总监洞察 [第 2 部分：SaaS 版]
Hugging Face 发布机器学习总监洞察系列第二篇，聚焦 SaaS 领域。文章采访 Salesforce 的 Omar Rahman 和 Amplitude 的 Cao (Danica) Xiao 等总监，探讨 ML 在 SaaS 中的自动化、预测等积极影响，以及数据孤岛、模型部署等挑战。
Hugging Face BlogAI 评分1212 Hugging Face 学生大使计划开放申请
Hugging Face 开放首个学生大使计划申请，旨在向全球推广开源机器学习。入选者将获得 Hugging Face 团队支持、专属资源及官方认证。申请者需为在校学生，完成过机器学习相关课程，并遵守社区行为准则。
Hugging Face BlogAI 评分5757 Hugging Face Optimum 1.2 发布推理支持
Hugging Face Optimum 1.2 发布推理支持，新增 ORTModel 类与 pipelines API，兼容 Transformers 接口。通过图优化与动态量化，RoBERTa 推理延迟从 117.61ms 降至 64.94ms，模型体积减半且精度保持 99.61%。
Hugging Face BlogAI 评分4343 Hugging Face 完成 1 亿美元 C 轮融资
Hugging Face 宣布完成由 Lux Capital 领投的 1 亿美元 C 轮融资。该平台已托管 10 万个预训练模型和 1 万个数据集，成为机器学习的核心枢纽。Hugging Face 将利用资金加大在研究、开源产品及负责任 AI 领域的投入，并继续推进 BigScience 等开源大模型项目。
Hugging Face BlogAI 评分3535 fastai 正式集成至 Hugging Face Hub，支持一键上传模型
fastai 正式集成至 Hugging Face Hub，用户可通过一行 Python 代码将模型上传至 Hub。该集成支持版本控制与模型卡片自动生成，并允许通过 from_pretrained_fastai 函数直接加载模型。此举旨在降低深度学习门槛，促进开源模型的共享与复用。
Hugging Face BlogAI 评分1212 Hugging Face 深度强化学习课程第一章：深度强化学习基础
Hugging Face 推出免费深度强化学习课程，涵盖 Stable Baselines3、RL Baselines3 Zoo 和 RLlib 等库的使用。第一章讲解强化学习基础，学员将训练着陆器智能体并上传至 Hugging Face Hub。
Hugging Face Blog精选AI 评分6060 使用 PyTorch FSDP 加速大模型训练
Hugging Face 发布教程介绍如何使用 Accelerate 库集成 PyTorch Fully Sharded Data Parallel (FSDP) 训练大模型。实测显示 FSDP 相比 DDP 可将最大批量提升 2-3 倍，并支持 CPU Offload 在单卡运行 1.5B 模型。文章同时指出 FSDP 目前不支持混合精度，并强调需先准备模型再创建优化器以避免参数组丢失。
推荐理由：文章通过 GPT-2 实测对比 DDP 与 FSDP，给出显存节省与批量提升数据，提供可直接复用的配置与代码规范。
Hugging Face BlogAI 评分4545 使用 Kili 和 HuggingFace AutoTrain 进行观点分类
HuggingFace AutoTrain 与 Kili 平台结合，构建了用于文本分类的主动学习流水线。AutoTrain 自动化数据清洗、模型选择及超参数优化，支持多标签文本分类等任务。Kili 提供协作式数据标注工具，通过迭代标注与模型重训练，实现对 Google Play Store 中 Medium 应用评论的分类与情感分析。