跳到正文

全部动态

今日 6 条
9月4日周三
8月27日周二
8月26日周一
8月22日周四
8月21日周三
  1. Hugging Face Blog68

    Hugging Face 发布 DataCollatorWithFlattening 实现 Flash Attention 2 无填充训练

    Hugging Face 发布 DataCollatorWithFlattening,使 Flash Attention 2 兼容无填充指令微调,训练吞吐量最高提升 2 倍,峰值显存降低 20%,且不影响收敛质量。

    推荐理由:通过新数据整理器实现无填充训练,在保持收敛质量的同时显著提升训练吞吐量和降低显存占用。

8月20日周二
8月19日周一
8月15日周四
8月14日周三
8月13日周二
  1. Hugging Face Blog30

    ggml 入门指南

    ggml 是一个专注于 Transformer 推理的 C/C++ 开源机器学习库,具有极简、轻量且兼容性好的特点。该库核心代码少于 5 个文件,编译后二进制体积小于 1MB,支持量化张量以节省内存。本文面向开发者介绍 ggml 的基础概念、编译方法及核心 API 使用,涵盖上下文、计算图及后端接口等关键术语。

8月12日周一
  1. Hugging Face Blog73

    Hugging Face 推出统一工具调用 API 与工程实践

    Hugging Face 推出统一工具调用 API,通过 Chat Templating 屏蔽多模型差异,使代码可跨 Mistral、Cohere、NousResearch 和 Llama 等模型复用。Transformers 库新增辅助功能,支持将 Python 函数自动转为 JSON Schema,并提供完整文档与示例。

    推荐理由:Hugging Face 推出统一工具调用 API,通过 Chat Templating 屏蔽多模型差异,提供可复用的工程实现方案。

  2. Hugging Face Blog70

    TII 发布 Falcon Mamba 7B 纯 Mamba 架构模型

    TII 发布 Falcon Mamba 7B,这是首个性能强劲的无注意力 7B 模型,基于 Mamba 架构实现线性时间序列建模。该模型在长序列生成中保持恒定吞吐量且显存不增,支持 4-bit 量化及 torch.compile 加速,并提供指令微调版本。

    推荐理由:Falcon Mamba 7B 验证了纯 Mamba 架构在长序列推理上的效率优势,为 Transformer 之外的替代方案提供了可复用的工程实践。

8月8日周四
  1. Hugging Face Blog68

    Hugging Face 收购 XetHub 以升级 Hub 存储与协作能力

    Hugging Face 宣布收购 XetHub,其团队将负责将 Hub 的存储后端从 Git LFS 替换为更优化的版本。XetHub 技术支持 TB 级仓库的 Git 扩展、分块存储与去重,使用户在更新大型数据集或模型时仅需上传变更部分,从而大幅提升协作与版本管理效率。

    推荐理由:Hugging Face 收购 XetHub 以替换 Git LFS 存储后端,将显著提升 TB 级数据集和模型的版本管理与协作效率。

8月7日周三
  1. Mistral AI63

    Mistral 开放模型微调与 Agent 功能并推出 SDK 1.0

    Mistral 宣布在 La Plateforme 开放 Mistral Large 2 和 Codestral 等旗舰模型的自定义微调,并推出包裹模型与指令的 Agents 功能以支持复杂工作流。同时发布 mistralai 1.0 稳定版 SDK,涵盖 Python 和 Typescript。

    推荐理由:官方同步开放旗舰模型微调、Agent 框架及 SDK 1.0,开发者可据此快速构建定制化应用。

8月6日周二
  1. Hugging Face Blog32

    Hugging Face 2024 安全功能亮点

    Hugging Face 于 2024 年 8 月 6 日发布了 Hub 平台的安全功能亮点。面向所有用户,平台提供细粒度 Token 访问控制、双因素认证 (2FA)、Commit 签名、组织访问控制及包含恶意软件与密钥扫描的自动化安全扫描。针对 Enterprise 用户,平台进一步支持基于 SAML 2.0 和 OpenID Connect 协议的单点登录 (SSO) 以及资源组管理。

  2. Hugging Face Blog68

    Hugging Face 联合 Albumentations 发布文档图像多模态增强教程

    Hugging Face 联合 Albumentations AI 发布 TextImage Augmentation 教程,介绍一种同时修改文档图像和文本的多模态数据增强方法。该方法支持随机插入、删除、替换和停用词插入,可生成合成数据并保留修改后的文本标注,适用于视觉语言模型(VLM)在文档图像上的微调。

    推荐理由:提供结合文本与图像修改的文档增强方法,帮助解决视觉语言模型在文档数据上的微调难题。

7月31日周三
7月25日周四
7月24日周三
  1. Mistral AI88

    Mistral Large 2 发布,支持单节点部署与增强推理能力

    Mistral AI 发布 Mistral Large 2 模型,拥有 123B 参数与 128k 上下文窗口,支持单节点高效推理。该模型在代码生成与数学推理上对标 GPT-4o 与 Claude 3 Opus,并强化了工具调用与多语言指令遵循能力。

    推荐理由:模型在推理与代码能力上对标前沿闭源模型,且支持单节点部署,为开发者提供了高性价比的替代方案。

7月23日周二
7月18日周四
  1. Mistral AI82

    Mistral 联合 NVIDIA 发布 12B 开源模型 Mistral NeMo

    Mistral 联合 NVIDIA 发布 Mistral NeMo,这是一款 12B 参数的开源模型,支持 128k 上下文窗口,在推理、世界知识和编码方面表现优异。该模型采用 Apache 2.0 协议,支持 FP8 推理且无性能损失,并内置了更高效的 Tekken tokenizer。

    推荐理由:12B 模型在同等规模下表现优异,且支持 FP8 推理,为开发者提供了高性价比的开源替代方案。

7月17日周三
7月16日周二
  1. Mistral AI65

    Mistral 发布 Mathstral 数学推理模型

    Mistral AI 发布 Mathstral,这是一个基于 Mistral 7B 微调的数学推理模型,旨在解决需要复杂多步逻辑推理的高级数学问题。该模型在 MATH 基准上达到 56.6%,在 MMLU 上达到 63.47%,并在其尺寸类别中实现了最先进的推理能力。

    推荐理由:基于Mistral 7B微调的数学推理模型,在MATH等基准上表现优异,适合端侧部署与特定领域推理。

  2. Mistral AI72

    Mistral 发布 Codestral Mamba 代码模型

    Mistral 发布 Codestral Mamba,这是一款基于 Mamba 架构的 7B 参数代码模型,支持 Apache 2.0 开源协议。该模型具备线性时间推理能力,可处理长达 256k tokens 的上下文,在代码生成与推理任务上表现媲美 SOTA Transformer 模型。

    推荐理由:Mistral 发布基于 Mamba 架构的 7B 代码模型,提供线性推理与长上下文优势,支持本地部署。

7月10日周三
  1. Hugging Face Blog72

    使用TRL库通过DPO微调多模态模型

    Hugging Face宣布TRL库支持对多模态模型(VLM)进行直接偏好优化(DPO)。文章以Idefics2-8b为例,演示了使用openbmb/RLAIF-V-Dataset进行微调的完整流程,包括数据格式化、量化与LoRA显存优化,并展示了模型在AMBER基准上幻觉减少的效果。

    推荐理由:文章提供了基于TRL库微调多模态模型的完整代码与显存优化方案,可直接复用于Idefics2等模型。

7月9日周二
  1. Hugging Face Blog65

    Hugging Face 开放 Google Cloud TPU v5e 部署支持

    Hugging Face 宣布在 Inference Endpoints 和 Spaces 中支持 Google Cloud TPU v5e。提供 v5litepod-1/4/8 三种实例配置,价格分别为每小时 1.375 美元、5.50 美元和 11.00 美元。配套开源库 Optimum TPU 支持部署 Gemma、Llama 和 Mistral 等模型。

    推荐理由:Hugging Face 联合 Google 开放 TPU v5e 部署,提供明确实例配置与价格,便于开发者评估推理成本。

  2. Hugging Face Blog23

    Hugging Face 与 Polyconseil 合作为法国 EduRénov 项目打造主权数据 RAG 解决方案

    Hugging Face 与 Polyconseil 合作为法国 Banque des Territoires 的 EduRénov 项目部署基于 RAG 的主权数据解决方案,以优化 10,000 所公立学校节能改造的专家支持流程。该方案采用开源模型与 Hugging Face 技术栈,在确保数据主权与计算服务安全的前提下,通过自动化处理大量重复性邮件咨询,提升了对地方当局的响应效率。

7月8日周一