使用 Sentence Transformers 构建播放列表生成器
文章详解了利用 Sentence Transformers 库和 Gradio 构建播放列表生成器的技术实现。项目选用 msmarco-MiniLM-L-6-v3 模型,通过将歌词拆分为诗节并生成嵌入向量,实现基于文本提示的语义搜索。演示应用使用 Gradio Blocks API 构建多步交互,支持用户输入提示词并查看匹配的歌词。
文章详解了利用 Sentence Transformers 库和 Gradio 构建播放列表生成器的技术实现。项目选用 msmarco-MiniLM-L-6-v3 模型,通过将歌词拆分为诗节并生成嵌入向量,实现基于文本提示的语义搜索。演示应用使用 Gradio Blocks API 构建多步交互,支持用户输入提示词并查看匹配的歌词。
Hugging Face 发布全球最大开源多语言大语言模型 BLOOM,拥有 1760 亿参数,支持 46 种自然语言和 13 种编程语言。该模型由 1000 多名研究人员历时 117 天训练完成,首次开源了完整的训练检查点和优化器状态,并提供基于 TPU 的推理 API 供社区测试。
推荐理由:开源了1760亿参数多语言模型及训练检查点,为研究大模型内部机制提供了完整的透明数据。
本文介绍了利用机器学习模型自动识别推文情感极性的方法,帮助企业实时监测用户反馈与潜在公关危机。针对开发者,教程演示了结合 Tweepy 与 Inference API 进行情感分析;非编程用户则可通过 Zapier 将推文数据自动同步至 Google Sheets。
Hugging Face 发布 Deep Reinforcement Learning Class 第 5 单元,介绍并从头使用 PyTorch 实现 Reinforce 算法。该策略梯度方法直接优化策略权重,无需学习值函数,能学习随机策略并处理高维及连续动作空间。文章随后将在 CartPole-v1、PixelCopter 和 Pong 环境中测试其鲁棒性。
Sentence Transformers 可将文本转换为多维向量空间中的嵌入向量,通过余弦相似度实现语义搜索。该库 GitHub 获近 8,000 星,支持 msmarco-MiniLM-L-6-v3 等模型,广泛用于构建聊天机器人、推荐系统及图像搜索。
Hugging Face 推出 Evaluation on the Hub,基于 AutoTrain 实现无需编写代码即可在 Hub 上评估任意模型。该工具支持一键生成包含验证性能的 Pull Request 并更新模型卡片元数据。主要应用场景包括查找任务最佳模型、在新数据集上评估基线模型以及在多个相关数据集上评估模型。
Hugging Face 发布入门教程,展示如何使用 Inference API 和 Sentence Transformers 库中的 sentence-transformers/all-MiniLM-L6-v2 模型生成文本和图像的 Embeddings。教程通过构建美国社会保障 Medicare 常见问题解答引擎,演示了将数据集嵌入、上传至 Hub 以及通过语义相似度匹配用户查询的完整流程。
Hugging Face Optimum 提供从底层 torch API 到高层 API 的三种方式,将 Hugging Face Transformers 模型转换为 ONNX 格式。其中 Optimum 方法通过 ORTModelForXxx 类实现从 transformers 到 ONNX 的自动转换,并支持直接运行预测或加载至 pipeline。
Hugging Face 发布机器学习总监洞察系列金融篇,邀请来自美国银行、加拿大皇家银行、穆迪分析和彭博的专家分享见解。专家指出机器学习推动了金融决策的信任与透明度,但遗留系统迁移、合规风险及目标函数定义是主要挑战。
Hugging Face发布文章,通过PyTorch代码逐步实现去噪扩散概率模型(DDPM)。文章详细解释了前向加噪与反向去噪过程,推导了基于噪声预测的损失函数,并提供了U-Net架构的完整实现与训练代码。
Hugging Face 发布深度强化学习课程第三单元,讲解 Deep Q-Learning 算法。该算法使用神经网络替代 Q-table 处理 Atari 游戏的大状态空间,通过堆叠 4 帧输入解决时间局限性,并采用 Experience Replay 和 Fixed Q-Target 稳定训练。
TAPEX 通过利用合成 SQL 查询及其执行结果作为预训练数据,实现了无需真实数据的表格预训练。该模型在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准测试中均取得新的 SOTA 结果,并在所有数据集上大幅超越 BART 及此前方法。TAPEX 模型已集成至 🤗 Transformers 4.19.0 并支持交互式演示。
Hugging Face 发布深度强化学习课程第二部分,详解 Q-Learning 算法原理及从零实现 Q-Learning 智能体。课程涵盖 Q-Table 初始化、Epsilon Greedy 策略及 TD 更新公式,并指导在 Frozen Lake v1 和自动驾驶出租车环境中进行训练。
Hugging Face 多模态学习小组发布伦理宪章,将伦理原则置于机器学习研究生命周期核心。该宪章明确禁止推广暴力、歧视及生成虚假信息等滥用行为,并确立透明、开放、公平及自我批判等价值观。文件注明为 2022 年 5 月的工作进展,旨在通过公开决策接受社区反馈并持续迭代。
Sempre Health 借助 Hugging Face Expert Acceleration Program 部署了新的 NLP 管道,自动处理超过 20% 的入站患者短信。该方案替代了仅覆盖 80% 的规则系统,显著提升了业务可扩展性并减少了运营团队的低价值工作。
Hugging Face 推出深度强化学习免费课程,本文作为第一部分深入讲解基于价值的方法及 Q-Learning 算法。内容涵盖状态价值函数、动作价值函数、贝尔曼方程以及蒙特卡洛与时间差分学习的区别,并介绍从零实现 Q-Learning 智能体。该智能体将在 Frozen-Lake-v1 和出租车导航环境中进行训练,为后续学习 Deep Q-Learning 奠定基础。
Hugging Face 播客邀请机器学习专家 Sasha Luccioni 探讨大语言模型的环境影响。她担任 Big Science Workshop 碳足迹工作组主席,致力于量化模型训练及日常办公(如邮件)的碳排放。Luccioni 还分享了关于数据策展、多语言支持及 AI 伦理的研究与实践。
Hugging Face 宣布推出 Fellowship 项目,旨在支持对机器学习开源生态做出卓越贡献的开发者。该项目通过提供计算资源、官方认可等个性化福利,赋能关键贡献者扩大影响力。首批入选者包括在西班牙语 NLP、模型贡献及 TensorFlow 架构优化等领域表现突出的多位开发者。
Hugging Face 发布 Gradio 3.0,基于 Svelte 重构前端以提升加载速度,并推出低层级 Blocks API 支持构建具有多步骤接口和灵活数据流的复杂自定义 Web 应用。
Hugging Face 开放首个学生大使计划申请,旨在向全球推广开源机器学习。入选者将获得 Hugging Face 团队支持、专属资源及官方认证。申请者需为在校学生,完成过机器学习相关课程,并遵守社区行为准则。
Hugging Face Optimum 1.2 发布推理支持,新增 ORTModel 类与 pipelines API,兼容 Transformers 接口。通过图优化与动态量化,RoBERTa 推理延迟从 117.61ms 降至 64.94ms,模型体积减半且精度保持 99.61%。
Hugging Face 宣布完成由 Lux Capital 领投的 1 亿美元 C 轮融资。该平台已托管 10 万个预训练模型和 1 万个数据集,成为机器学习的核心枢纽。Hugging Face 将利用资金加大在研究、开源产品及负责任 AI 领域的投入,并继续推进 BigScience 等开源大模型项目。
fastai 正式集成至 Hugging Face Hub,用户可通过一行 Python 代码将模型上传至 Hub。该集成支持版本控制与模型卡片自动生成,并允许通过 from_pretrained_fastai 函数直接加载模型。此举旨在降低深度学习门槛,促进开源模型的共享与复用。
Hugging Face 发布教程介绍如何使用 Accelerate 库集成 PyTorch Fully Sharded Data Parallel (FSDP) 训练大模型。实测显示 FSDP 相比 DDP 可将最大批量提升 2-3 倍,并支持 CPU Offload 在单卡运行 1.5B 模型。文章同时指出 FSDP 目前不支持混合精度,并强调需先准备模型再创建优化器以避免参数组丢失。
推荐理由:文章通过 GPT-2 实测对比 DDP 与 FSDP,给出显存节省与批量提升数据,提供可直接复用的配置与代码规范。
HuggingFace AutoTrain 与 Kili 平台结合,构建了用于文本分类的主动学习流水线。AutoTrain 自动化数据清洗、模型选择及超参数优化,支持多标签文本分类等任务。Kili 提供协作式数据标注工具,通过迭代标注与模型重训练,实现对 Google Play Store 中 Medium 应用评论的分类与情感分析。
Hugging Face 博客发布系列文章,邀请多位机器学习总监分享对媒体、制药等行业的见解。Archi Mitra 指出机器学习通过隐私优先的个性化、辅助工具及强化学习优化媒体业务。Li Tan 强调制药领域需确保训练数据中各族群的平等与多样性。
本文介绍了如何在 AWS 上设置 Habana Gaudi 实例并使用 Transformers 微调 BERT 模型。通过运行 GLUE 基准测试中的 MRPC 任务,模型在 2 分 12 秒内完成训练,F1 分数达到 0.9181。利用 Spot Instances 可将每小时成本从 13.11 美元降至 3.93 美元。
本文介绍如何利用 Hugging Face 生态系统中的机器学习工具模拟真实的客户服务用例。文章详细阐述了定义 NLP 任务、筛选数据集以及选择模型的具体步骤,旨在通过自动化技术识别并优先处理极度不满的客户反馈。
Hugging Face 推出教育计划,旨在向全球普及机器学习知识,目标是在 2023 年底前教会 500 万人。该平台提供免费的 NLP 和深度强化学习课程,并允许用户直接在浏览器中试用模型。此外,Hugging Face 还为教育工作者提供多语言免费工具包及协作空间,以支持课堂教学。
Hugging Face 推出工具帮助追踪和报告机器学习模型的 CO2 排放。通过 huggingface_hub 库的 emissions_thresholds 参数,用户可按碳排放量筛选模型。使用 transformers 库配合 codecarbon 集成,可自动记录训练过程中的碳排放数据。
Hugging Face 机器学习工程师 Lewis Tunstall 做客播客,分享其著作《NLP with Transformers》的创作历程及在 Hugging Face 的工作。他重点介绍了通过 ONNX 格式优化模型部署,帮助工程师实现更低延迟和更高吞吐量,并探讨了 Transformers 在 NLP 及 MLOps 领域的应用。
Hugging Face 的 Transformers 库采用单模型文件策略,拒绝 DRY 原则,将每个模型的前向传播代码集中在独立文件中。此举旨在降低开源社区贡献门槛,确保模型代码易于阅读和修改,并适应机器学习领域极快的演进速度。
Hugging Face 将离线强化学习方法 Decision Transformer 集成至 🤗 transformers 库及 Hugging Face Hub。该模型将强化学习抽象为条件序列建模问题,利用 Transformer 根据期望回报、历史状态和动作生成未来动作。目前已在 Gym 环境提供九个预训练模型检查点。
Hugging Face 发布机器学习专家系列访谈,邀请前 Google 伦理 AI 团队联合创始人 Margaret Mitchell 探讨 AI 伦理。她分享了在 Microsoft 开发 Seeing AI 时因数据偏差产生的顿悟,指出模型对图像中灾难场景的误判可能带来严重后果。访谈还讨论了 ML 团队如何识别有害数据偏见,以及包容性文化对提升 AI 性能与公平性的价值。
Hugging Face 推出为期 9 个月的 AI 研究驻留项目,旨在帮助申请人成长为具有影响力的 AI 研究人员。入选者将与 Hugging Face 科学团队研究员合作,以开放协作的方式开发新的机器学习技术并发表成果。该项目面向所有背景开放,优先考虑能体现积极社会影响及多元化背景的申请者,申请截止于 2022 年 4 月 3 日。
AWS Inferentia 通过定制芯片提供最高 2.3 倍吞吐量和 80% 更低推理成本。Hugging Face 发布端到端教程,演示如何结合 Amazon SageMaker 将 BERT 模型转换为 AWS Neuron 格式并部署实时推理端点。该方案支持通过自定义 inference.py 脚本在 Neuron Core 上运行文本分类任务。
Hugging Face Transformers 库新增受限束搜索(Constrained Beam Search)功能,允许在文本生成过程中强制包含特定词汇或短语。该功能支持强制词、析取约束及自定义约束对象,通过 Bank 轮询机制平衡约束满足与输出合理性。
推荐理由:原文介绍了如何在生成阶段强制包含特定词汇或短语,为需要精确控制输出的场景提供了可迁移的方法。
本文介绍如何使用 🤗 Transformers 微调 Vision Transformer (ViT) 进行图像分类。通过加载 beans 数据集,利用 ViTImageProcessor 将图像转换为像素值张量,并对预训练的 google/vit-base-patch16-224-in21k 模型进行微调。
情感分析通过自动标记文本极性,帮助企业大规模处理数据并自动化业务流程。Hugging Face Hub 提供超过 215 个公开的情感分析模型,集成仅需 5 行 Python 代码。用户可直接调用预训练模型,或基于自身数据微调模型以提升特定场景的准确率。
Wav2Vec2 利用 CTC 架构特性,通过分块与步长(stride)技术实现超长音频或实时语音识别。该方法将音频切分为重叠片段,丢弃边缘预测结果后拼接,从而在有限显存下避免 O(n²) 复杂度爆炸。用户只需在 pipeline 中设置 chunk_length_s 即可直接处理任意长度音频。