Mistral 发布 Mistral OCR API
Mistral 发布 Mistral OCR API,支持图像和 PDF 输入,可高精度提取文本、表格、公式及嵌入图片,并输出有序交错的 Markdown 或结构化 JSON。该模型在多项基准测试中超越竞品,支持多语言处理,API 定价为每 1000 页 1 美元,已在 Le Chat 中作为默认文档理解模型使用。
推荐理由:Mistral 发布专用 OCR API 并公布基准数据与定价,为 RAG 场景提供结构化文档解析方案。
Mistral 发布 Mistral OCR API,支持图像和 PDF 输入,可高精度提取文本、表格、公式及嵌入图片,并输出有序交错的 Markdown 或结构化 JSON。该模型在多项基准测试中超越竞品,支持多语言处理,API 定价为每 1000 页 1 美元,已在 Le Chat 中作为默认文档理解模型使用。
推荐理由:Mistral 发布专用 OCR API 并公布基准数据与定价,为 RAG 场景提供结构化文档解析方案。
Hugging Face 宣布与 JFrog 合作,将其扫描器集成至 Hugging Face Hub 平台,以增强模型共享的安全性。JFrog 扫描器通过解析和分析模型权重中的代码,检测潜在恶意行为,旨在减少误报并防范任意代码执行漏洞。所有公开模型仓库将在推送文件时自动接受扫描。
Hugging Face 发布 FastRTC,一个专为 Python 设计的实时音视频通信库。它内置语音检测、自动 UI 及电话接入功能,支持快速构建实时 AI 应用。
推荐理由:提供内置语音检测与自动 UI,降低 Python 实时音视频应用开发门槛。
Hugging Face 发布 SmolVLM2 系列视频理解模型,包含 256M、500M 和 2.2B 三种参数规模。2.2B 模型在 Video-MME 基准上超越所有现有 2B 模型,500M 和 256M 模型在极低内存消耗下实现同等视频理解能力,且原生支持 Transformers 和 MLX 框架。
推荐理由:Hugging Face 开源了支持视频理解的 SmolVLM2 系列模型,提供 256M 至 2.2B 三种尺寸,兼顾端侧部署与前沿性能。
Google 发布 PaliGemma 2 Mix 系列视觉语言模型,该系列在 OCR、长短期图像描述等视觉语言任务上进行了微调。提供 3B、10B、28B 三种参数规模及 224x224、448x448 两种分辨率,支持通过 Transformers 框架进行推理和微调,并开放了 10B 模型的在线 Demo。
推荐理由:Google 发布 PaliGemma 2 Mix 系列微调模型,提供开箱即用的视觉语言任务能力,便于快速评估预训练模型在下游任务上的表现。
Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三个无服务器推理提供商,支持 DeepSeek-R1 和 Flux.1 等模型。用户可在设置中配置 API Key 或选择由 HF 路由的请求,并通过 Python 和 JS SDK 无缝集成。PRO 用户每月可获得 2 美元推理额度,免费用户享有少量免费配额。
Mistral AI 发布 Mistral Saba,这是一款 24B 参数的区域语言模型,针对中东和南亚语言(如阿拉伯语、泰米尔语)进行了优化。该模型在区域语言任务上表现优于大 5 倍的通用模型,支持 API 调用及单 GPU 本地部署,速度超过 150 tokens/秒。
推荐理由:原文给出了24B参数模型在阿拉伯语等区域语言上的性能优势及本地部署能力,读者可据此评估区域化定制方案。
Fireworks.ai 正式成为 Hugging Face Hub 支持的推理提供商,用户可直接在模型页面及 HF 生态库中运行无服务器推理。支持 DeepSeek-R1、Llama-3.2-90B-Vision-Instruct 等模型,通过 Python 或 JS SDK 设置 provider 参数即可调用。
Hugging Face 引入 Math-Verify 解析器重测 Open LLM Leaderboard 全部 3,751 个模型,修正了旧版在格式提取、符号转换和数值比较上的缺陷。重测后模型平均得分提升 4.66 分,Qwen 和 DeepSeek 等模型分数大幅上涨,Nvidia AceMath 登顶 MATH-Hard 榜单。
推荐理由:Hugging Face 引入 Math-Verify 重测全量模型,修正了旧版解析缺陷,导致榜单排名大幅洗牌。
Hugging Face 开源 xet-core 和 hf_xet,通过内容定义分块与块聚合技术加速 Hub 上的文件传输。该技术将分块聚合成最大 64MB 的块,显著减少网络请求和存储开销,实测上传速度提升近 2 倍。
推荐理由:通过引入块聚合机制优化上传下载速度,为处理大型模型仓库提供了可复用的工程实践。
Hugging Face 开源了 smolagents 框架以复现 OpenAI Deep Research 的搜索智能体。该框架采用 CodeAgent 架构,在 GAIA 验证集上达到 55.15% 的成绩,优于此前开源方案。
推荐理由:Hugging Face 开源了复现 OpenAI Deep Research 的 smolagents 框架,展示了 CodeAgent 在 GAIA 基准上的性能提升。
Hugging Face 官方宣布将 Physical Intelligence 开发的 π0 和 π0-FAST 视觉-语言-动作(VLA)模型接入 LeRobot 仓库。π0 基于流匹配实现 50Hz 实时动作生成,π0-FAST 引入 FAST 频域动作序列分词技术,训练速度提升 5 倍。
推荐理由:官方将π0和π0-FAST模型接入LeRobot,提供了从推理到微调的完整工程路径。
Hugging Face 发布 Open-R1 项目,旨在系统复现 DeepSeek-R1 的数据收集与纯强化学习训练流程。项目计划通过蒸馏高质量推理数据集、构建数学与代码数据集,并开源多阶段训练配方,以验证并推广推理模型技术。
推荐理由:Hugging Face 宣布启动开源复现项目,旨在公开 DeepSeek-R1 的训练数据与代码,推动推理模型技术透明化。
Hugging Face 在 smolagents 中新增对视觉语言模型(VLM)的原生支持,允许在智能体管道中直接使用视觉能力。通过提供初始图像输入和基于回调的动态截图机制,开发者可轻松构建如自主网页浏览等视觉智能体。
推荐理由:原生支持视觉模型并给出动态截图回调示例,便于开发者快速构建具备视觉能力的智能体。
Hugging Face 发布 SmolVLM 256M 和 500M 两个新模型,其中 256M 参数版本号称全球最小视觉语言模型。新模型采用更小的 SigLIP 视觉编码器和优化的 Tokenization 技术,支持 Transformers、MLX 和 ONNX 格式,旨在降低端侧和消费级设备的运行成本。
推荐理由:Hugging Face 发布 SmolVLM 256M 和 500M 模型,在保持轻量级的同时提供多模态能力,适合端侧部署。
Hugging Face 与 FriendliAI 达成合作,将 FriendliAI 推理基础设施集成至 Hugging Face Hub 的“Deploy this model”按钮中。
Mistral AI 宣布与法新社(AFP)达成全球合作,Le Chat 将接入 AFP 新闻稿以增强事实准确性。该集成支持法语、英语等六种语言,利用 AFP 每日 2,300 条新闻内容,确保回复基于可靠且最新的资讯。此项功能将在未来几周向所有 Le Chat 用户推出。
Hugging Face 发布 TimmWrapper,将 PyTorch Image Models (timm) 集成至 transformers 生态,支持 Pipeline API、Auto Classes、8bit 量化、Trainer 微调及 torch.compile 加速。
推荐理由:Hugging Face 官方发布 TimmWrapper 实现 timm 与 transformers 生态互通,支持量化、微调与编译加速。
Hugging Face 发布 TGI Backends 架构,通过统一前端层集成 vLLM、TensorRT-LLM 和 llama.cpp 等推理引擎。该更新旨在简化生产环境部署,计划于 2025 年第一季度支持 vLLM,并持续扩展对 AWS Neuron 和 Google TPU 的原生支持。
推荐理由:原文给出了统一前端架构和具体后端规划,读者可据此评估现有部署路径的迁移成本与性能收益。
Hugging Face 发布 sentence-transformers/static-retrieval-mrl-en-v1 和 static-similarity-mrl-multilingual-v1 两个静态嵌入模型,在 CPU 上比主流模型快 100-400 倍,同时保持 85% 以上的性能。文章公开了基于对比学习和 Matryoshka 表示学习的完整训练策略、数据集选择及代码实现。
推荐理由:Hugging Face 开源了基于静态嵌入的高效模型及完整训练代码,为低延迟和端侧部署提供了可复用的实践方案。
Hugging Face 发布 vdr-2b-multi-v1 多语言视觉文档检索模型及 vdr-2b-v1 英文版,支持无需 OCR 直接检索多语言文档。模型基于 50 万高质量合成样本训练,在 ViDoRe 基准测试中表现优异,支持 Matryoshka 表示学习与二值量化以实现高效检索。
推荐理由:开源多语言视觉文档检索模型及50万样本数据集,支持跨语言检索与高效向量压缩。
Hugging Face 发布 smolagents 库,支持模型通过编写代码来调用工具,简化了智能体开发流程。该库兼容 Hugging Face Hub 及 OpenAI、Anthropic 等外部模型,并展示了开源模型在智能体工作流中具备与顶级闭源模型竞争的能力。
推荐理由:Hugging Face 推出 smolagents 库,通过让模型直接编写代码来调用工具,简化了智能体开发并提升了开源模型表现。
IBM、普林斯顿大学等联合发布 Bamba-9B 混合 Mamba2 模型,在 vLLM 中推理吞吐量提升 2.5 倍、延迟降低 2 倍。该模型基于 2.2T token 开源数据训练,性能接近 Llama 3.1 8B,并开源了完整训练代码与数据加载器。
推荐理由:Bamba-9B 验证了混合 Mamba2 架构在推理效率上的优势,为突破 KV-cache 瓶颈提供了可复现的开源方案。
TII 发布 Falcon 3 系列开源大模型,包含 1B、3B、7B、10B 参数 Transformer 模型及 7B Mamba 模型。Falcon3-10B-Base 在 13B 以下模型中表现最佳,数学和代码能力显著提升。所有模型均开源,并支持 GGUF、GPTQ 等格式。
推荐理由:TII 发布 1B 至 10B 参数模型,在数学和代码推理上表现突出,为端侧部署提供高效选择。
Hugging Face 发布合成数据生成器,用户可通过自然语言描述零代码生成文本分类和对话数据集,并支持使用 AutoTrain 直接微调模型。工具基于 distilabel 和 Hugging Face API,提供网页应用、私有部署及 Apache 2.0 开源代码。
推荐理由:Hugging Face 推出零代码合成数据生成器,打通从自然语言描述到模型微调的完整工作流。
Hugging Face 社区发布了面向文本到图像生成的开源偏好数据集,包含 1 万对偏好样本,涵盖多种图像风格与提示词复杂度。数据集采用 Apache 2.0 协议,附带用于数据预处理和后处理的代码,并提供了基于 FLUX.1-dev 模型的 LoRA 微调适配器。
推荐理由:开源了文本到图像生成的偏好数据集及微调代码,为社区提供了可复用的训练素材。
Hugging Face 的 83 款开源模型现可通过 Amazon Bedrock Marketplace 部署,底层由 Amazon SageMaker Jumpstart 管理。
Google 发布 PaliGemma 2 视觉语言模型,基于 SigLIP 和 Gemma 2 架构,提供 3B、10B 和 28B 三种参数规模,支持 224x224、448x448 和 896x896 多种输入分辨率。模型采用 Gemma 许可协议,支持商业使用与微调,Hugging Face 同步更新了 transformers 集成与 LoRA 微调脚本。
推荐理由:提供了多尺寸模型与多分辨率支持,并附带微调脚本,便于开发者快速适配视觉语言任务。
Hugging Face 正在重构 Hub 的上传与下载架构,引入内容寻址存储(CAS)以突破现有 CDN 50GB 文件大小限制。新架构采用“智能写入、哑读取”协议,通过字节级分析优化大模型权重等海量文件的传输效率。该设计还增强了企业用户的数据安全审计与日志追踪能力。
Hugging Face 发布 SmolVLM,一款 2B 参数、完全开源的视觉语言模型。该模型采用像素重排策略将视觉信息压缩 9 倍,在同等规模下显存占用最低且推理速度最快。提供 Base、Synthetic 和 Instruct 三个版本,支持本地部署与微调。
推荐理由:SmolVLM 通过像素重排策略大幅压缩视觉 Token,在同等规模下实现更低的显存占用和更高的推理速度。
Hugging Face 发布 LayerSkip 技术,通过早期退出机制实现自推测解码,利用同一模型的不同层完成草稿生成与验证,显著降低显存占用并提升推理速度。官方同步开源了基于 Llama 系列的 LayerSkip 模型权重,并在 transformers 库中支持通过 assistant_early_exit 参数直接调用。
推荐理由:Hugging Face 官方开源了 LayerSkip 训练方法与模型,提供了在 transformers 中一键开启自推测解码的接口。
Hugging Face 推出 Judge Arena 平台,通过众包投票对比 18 款主流模型作为评估者的表现。平台包含 GPT-4o、Claude 3.5 Sonnet、Llama 3.1 和 Qwen 2.5 等模型,结果显示 GPT-4 Turbo 暂居榜首,Qwen 2.5 7B 和 Llama 3.1 8B 等小模型表现优异。
推荐理由:Hugging Face 推出 Judge Arena 平台,通过众包投票对比 18 款主流模型作为评估者的表现。
Mistral AI 宣布 le Chat 新增网络搜索、Canvas 协作界面、文档图像理解、图像生成及 Agent 功能。这些新功能目前作为免费 Beta 版提供,旨在整合模型与输出,提供一站式 AI 生产力工具。
推荐理由:le Chat 新增搜索、Canvas 和 Agent 功能,且目前免费开放,为工作流整合提供了新选择。
Mistral 发布 Pixtral Large,这是一款 123B 参数的多模态解码器模型,在 MathVista、DocVQA 等基准上超越 GPT-4o 和 Gemini-1.5 Pro,支持 128K 上下文窗口。同时 Mistral Large 24.11 版本同步更新,提升了长上下文理解与函数调用能力,即将在 Google Cloud 和 Microsoft Azure 上线。
推荐理由:Pixtral Large 在多项多模态基准上超越 GPT-4o 等闭源模型,且提供 128K 上下文窗口,适合文档与图表理解场景。
Hugging Face Hub 提供海量存储与流式读取功能,支持 TB 级数据集托管。平台内置 Datasets Viewer 与 SQL Console,支持全文搜索、排序及 DuckDB 语法查询。数据集可无缝对接 Pandas、Polars 等主流库,并提供公开、私有及 Gated 访问控制。
Mistral 在 La Plateforme 推出批量 API,处理高体积请求成本比同步 API 降低 50%。该功能适用于客户反馈分析、文档批量摘要及向量化等场景,单工作区限制 100 万并发请求。
Mistral AI 发布内容审核 API,该 API 基于 Le Chat 内部服务,支持原始文本与对话上下文两种端点。模型为原生多语言 LLM 分类器,涵盖 9 类政策定义,可处理模型生成危害如无资质建议与 PII 泄露。
推荐理由:Mistral 官方发布内容审核 API,提供多语言支持与对话上下文分类能力,开发者可据此构建定制化的应用安全护栏。
PyCharm Professional 推出 Hugging Face 集成,支持在 IDE 内直接插入模型代码并查看 Model Card。该功能允许开发者快速调用如 microsoft/Phi-3.5-vision-instruct 等多模态模型,并管理本地模型缓存。
Argilla 2.4 发布,支持无需代码即可在 Hugging Face Hub 上构建微调与评估数据集。用户可通过 UI 直接导入公开 Hub 数据集,自动建议初始配置并收集人类反馈。该功能旨在降低数据标注门槛, democratize 高质量数据集的创建。
Google DeepMind 与 Hugging Face 联合在 Transformers v4.46.0 中发布 SynthID Text,提供用于在 AI 生成文本中嵌入不可见水印的 logits processor 及检测分类器。该工具通过伪随机函数增强生成过程,支持配置密钥和 ngram 长度,并附带端到端的检测器训练示例。
推荐理由:官方提供了可直接复用的水印生成与检测代码,帮助开发者在生成文本中嵌入可验证的AI标识。