跳到正文

全部动态

今日 5 条
11月20日周三
  1. Hugging Face Blog70

    Hugging Face 开源 LayerSkip 自推测解码方法与模型

    Hugging Face 发布 LayerSkip 技术,通过早期退出机制实现自推测解码,利用同一模型的不同层完成草稿生成与验证,显著降低显存占用并提升推理速度。官方同步开源了基于 Llama 系列的 LayerSkip 模型权重,并在 transformers 库中支持通过 assistant_early_exit 参数直接调用。

    推荐理由:Hugging Face 官方开源了 LayerSkip 训练方法与模型,提供了在 transformers 中一键开启自推测解码的接口。

11月19日周二
  1. OpenAI News13

    Rox 全面押注 OpenAI

    Rox 宣布全面采用 OpenAI 的模型技术。该平台通过结合商业经验与大语言模型专业知识,旨在利用 OpenAI 的模型能力,帮助每一位卖家跻身前 1% 的顶尖行列。

  2. Hugging Face Blog68

    Hugging Face 推出 Judge Arena 平台评测 LLM 评估能力

    Hugging Face 推出 Judge Arena 平台,通过众包投票对比 18 款主流模型作为评估者的表现。平台包含 GPT-4o、Claude 3.5 Sonnet、Llama 3.1 和 Qwen 2.5 等模型,结果显示 GPT-4 Turbo 暂居榜首,Qwen 2.5 7B 和 Llama 3.1 8B 等小模型表现优异。

    推荐理由:Hugging Face 推出 Judge Arena 平台,通过众包投票对比 18 款主流模型作为评估者的表现。

11月18日周一
  1. Mistral AI70

    Mistral le Chat 更新搜索、Canvas 与 Agent 功能

    Mistral AI 宣布 le Chat 新增网络搜索、Canvas 协作界面、文档图像理解、图像生成及 Agent 功能。这些新功能目前作为免费 Beta 版提供,旨在整合模型与输出,提供一站式 AI 生产力工具。

    推荐理由:le Chat 新增搜索、Canvas 和 Agent 功能,且目前免费开放,为工作流整合提供了新选择。

  2. Mistral AI85

    Mistral 发布 Pixtral Large 多模态模型并更新 Mistral Large

    Mistral 发布 Pixtral Large,这是一款 123B 参数的多模态解码器模型,在 MathVista、DocVQA 等基准上超越 GPT-4o 和 Gemini-1.5 Pro,支持 128K 上下文窗口。同时 Mistral Large 24.11 版本同步更新,提升了长上下文理解与函数调用能力,即将在 Google Cloud 和 Microsoft Azure 上线。

    推荐理由:Pixtral Large 在多项多模态基准上超越 GPT-4o 等闭源模型,且提供 128K 上下文窗口,适合文档与图表理解场景。

11月13日周三
11月12日周二
11月7日周四
  1. Mistral AI68

    Mistral 发布内容审核 API

    Mistral AI 发布内容审核 API,该 API 基于 Le Chat 内部服务,支持原始文本与对话上下文两种端点。模型为原生多语言 LLM 分类器,涵盖 9 类政策定义,可处理模型生成危害如无资质建议与 PII 泄露。

    推荐理由:Mistral 官方发布内容审核 API,提供多语言支持与对话上下文分类能力,开发者可据此构建定制化的应用安全护栏。

11月5日周二
11月4日周一
10月31日周四
10月30日周三
10月29日周二
  1. Hugging Face Blog78

    Universal Assisted Generation:跨模型加速推理方法

    Intel Labs 与 Hugging Face 联合提出 Universal Assisted Generation (UAG),通过双向 tokenizer 翻译实现跨模型家族的辅助生成,无需共享词表即可加速推理。该方法已集成至 Transformers 4.46.0,基准测试显示在 CodeLlama、Mixtral 等模型上可获得 1.5x-1.9x 的加速效果。

    推荐理由:原文给出了跨模型加速的具体实现逻辑与代码,读者可据此在缺乏同族小模型时实现推理提速。

10月28日周一
  1. Hugging Face Blog33

    专家支持案例研究:利用 LLM-as-a-Judge 增强 RAG 应用

    Digital Green 在 Hugging Face 专家支持下,基于 GARDIAN 知识库开发 Farmer.chat 农业问答机器人。系统采用 RAG 架构,由 GPT-4o 驱动规划智能体,通过向量数据库检索并生成回答。团队引入 LLM-as-a-Judge 技术,对模型输出的准确性、简洁性等指标进行自动化评估,以解决缺乏确定性评测标准的问题。

10月24日周四
  1. Hugging Face Blog75

    Cohere 发布 Aya Expanse 多语言大模型

    Cohere For AI 发布 Aya Expanse 系列多语言大语言模型,包含 8B 和 32B 参数版本,并在 Hugging Face 开源权重。

    推荐理由:Aya Expanse 通过数据套利与模型融合等创新训练策略,在多项多语言评测中超越 Llama 3.1 等主流模型,为多语言大模型训练提供了新的技术路径。

10月23日周三
  1. Hugging Face Blog65

    Hugging Face 发布 SynthID Text 文本水印工具

    Google DeepMind 与 Hugging Face 联合在 Transformers v4.46.0 中发布 SynthID Text,提供用于在 AI 生成文本中嵌入不可见水印的 logits processor 及检测分类器。该工具通过伪随机函数增强生成过程,支持配置密钥和 ngram 长度,并附带端到端的检测器训练示例。

    推荐理由:官方提供了可直接复用的水印生成与检测代码,帮助开发者在生成文本中嵌入可验证的AI标识。

10月22日周二
  1. Hugging Face Blog83

    Diffusers 支持 Stable Diffusion 3.5 Large 发布

    Hugging Face Diffusers 正式支持 Stable Diffusion 3.5 Large,提供 8B 参数模型及少步推理的 Turbo 版本。文章介绍了 QK 归一化与双注意力层等架构变化,并给出了量化推理与 LoRA 微调的实操代码。

    推荐理由:文章详细说明了SD3.5 Large的架构变化及Diffusers使用方式,并提供了量化推理与微调的实操指南。

10月21日周一
10月16日周三
  1. Hugging Face Blog66

    Hugging Face Transformers 修复梯度累积损失计算问题

    Hugging Face 修复了 Transformers Trainer 在梯度累积时损失计算不匹配的问题,确保数学等价于全批量训练。同时暴露 API 允许用户传入自定义损失函数,并将在后续版本中全面支持。

    推荐理由:修复了梯度累积下损失计算偏差,并开放自定义损失函数API,帮助开发者规避训练误差。

10月15日周二
10月10日周四
  1. Hugging Face Blog42

    Gradio 5 安全审计:修复多项漏洞,默认保障 ML 应用安全

    Gradio 5 发布,经 Trail of Bits 独立审计修复多项安全漏洞,默认保障机器学习应用安全。修复涵盖本地运行、Hugging Face Spaces 部署、内置分享链接及 CI 供应链等场景,包括 CORS 配置错误、SSRF、任意文件上传、远程代码执行及 GitHub Actions 风险。所有修复已验证并包含在 Gradio 5.0 版本中。

10月9日周三
  1. Hugging Face Blog70

    Gradio 5 稳定版发布

    Hugging Face 发布 Gradio 5 稳定版,引入服务端渲染(SSR)实现近乎即时的浏览器加载,并支持基于 WebSockets 和 WebRTC 的低延迟流式传输。新版本更新了组件现代设计,内置 AI Playground 辅助生成应用,并增强了 Web 安全性。

    推荐理由:Gradio 5 引入服务端渲染与低延迟流式传输,显著改善 ML 应用性能与实时交互体验。

10月8日周二
  1. Hugging Face Blog75

    Hugging Face Transformers 4.45.0 默认启用动态推测解码

    Hugging Face 在 Transformers 4.45.0 中将动态推测解码设为默认操作模式,该方法通过动态调整草稿模型生成的 token 数量,相比静态或启发式方法最高实现 2.7 倍加速。用户无需修改代码即可直接受益,同时支持通过配置参数切换至启发式或静态模式。

    推荐理由:动态推测解码已作为默认模式集成至 Transformers 4.45.0,无需修改代码即可实现最高 2.7 倍的推理加速。

10月4日周五
10月3日周四
  1. Hugging Face Blog31

    中国 AI 企业加速出海:巨头布局基础设施,初创公司聚焦应用

    2024年中国AI企业加速海外扩张,华为、腾讯、阿里等巨头聚焦中东、东南亚及非洲的云计算与AI基础设施,字节跳动则深耕西方B2C市场。面对国内238个大语言模型引发的激烈价格战与盈利压力,MiniMax、01.AI等初创公司转向海外C端应用探索,Talkie和PopAI等产品已实现盈利。

10月2日周三
10月1日周二
  1. OpenAI News30

    API 中的模型蒸馏

    OpenAI 在 API 中提供模型蒸馏功能,允许用户使用大型前沿模型的输出来微调更具成本效益的模型。该功能完全在 OpenAI 平台上运行,旨在帮助用户利用大模型的生成能力优化自身模型性能。