跳到正文

#多模态

今日 0 条
12月17日周三
  1. Google DeepMind93

    Google 发布 Gemini 3 Flash 模型

    Google 发布 Gemini 3 Flash,将 Gemini 3 Pro 级推理能力与 Flash 级低延迟、低成本结合。该模型在 GPQA Diamond 等基准上表现优异,SWE-bench Verified 得分 78%,超越 Gemini 3 Pro 且速度提升 3 倍。已面向开发者开放 API,并在 Gemini App 和 Search AI Mode 中默认启用。

    推荐理由:在保持 Flash 级低延迟与低成本的同时,推理与编码能力超越前代旗舰,适合高频开发及智能体工作流。

12月12日周五
12月9日周二
  1. Google DeepMind68

    Google DeepMind 发布 FACTS Benchmark Suite 评测大模型事实准确性

    Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite,包含参数知识、搜索、多模态及 Grounding v2 共 3,513 个公开测试用例。评测显示 Gemini 3 Pro 以 68.8% 的 FACTS Score 领先,所有模型准确率均低于 70%,多模态任务得分最低。

    推荐理由:提供涵盖参数知识、搜索与多模态的4项事实性评测基准,揭示前沿模型在事实准确性上的具体短板。

12月4日周四
  1. Google Research42

    Google 发布 MSEB 基准测试:评估多模态听觉智能的八大核心能力

    Google Research 发布 Massive Sound Embedding Benchmark (MSEB),旨在标准化评估多模态模型的听觉智能。该基准涵盖语音检索、推理、分类等八大核心能力,并包含包含 177,352 条语音查询的 Simple Voice Questions (SVQ) 数据集。实验显示当前声音表示远非通用,在各项任务中均存在显著的性能提升空间。

12月3日周三
  1. Mistral AI88

    Mistral AI 发布 Mistral 3 模型家族

    Mistral AI 发布 Mistral 3 模型家族,包含 Mistral Large 3 及 Ministral 3 系列(3B、8B、14B),均采用 Apache 2.0 协议开源。

    推荐理由:Mistral 3 家族涵盖从 3B 到 675B 参数的模型,提供全尺寸开源选择,并针对边缘部署和推理性能进行了深度优化。

11月26日周三
  1. Google DeepMind40

    AlphaFold:五年影响力回顾

    AlphaFold 2 五年前解决了蛋白质结构预测难题,其预测数据已收录于 AlphaFold Protein Database 并免费开放。该数据库已被全球 300 多万研究人员使用,相关研究被引用超 3.5 万次,并助力 2024 年诺贝尔化学奖的获得。

11月25日周二
  1. Google DeepMind72

    AlphaFold助力解析导致心脏病的LDL关键蛋白apoB100结构

    Google DeepMind的AlphaFold结合密苏里大学的冷冻电镜技术,成功解析了低密度脂蛋白(LDL)的关键蛋白apoB100的原子级结构。该发现揭示了包裹LDL颗粒的笼状外壳细节,有望为预防和治疗动脉粥样硬化性心血管疾病提供新的药物靶点。

    推荐理由:AlphaFold结合冷冻电镜解析了致病蛋白apoB100结构,为心血管药物研发提供了关键结构基础。

11月19日周三
  1. Google Research85

    Google 发布端到端实时语音翻译模型并部署于 Google Meet 和 Pixel 10

    Google 发布端到端实时语音翻译模型,延迟仅2秒并保留原声,已在 Google Meet 和 Pixel 10 部署。该模型基于 AudioLM 和 SpectroStream 架构,支持英、西、德、法、意、葡等语言。

    推荐理由:端到端架构将延迟降至2秒并保留原声,已在Google Meet和Pixel 10部署,可据此评估实时语音翻译的技术进展。

  2. Google DeepMind92

    Google DeepMind 发布 Gemini 3 Pro 模型

    Google DeepMind 发布 Gemini 3 Pro 模型,在编码、Agent 工作流及多模态理解基准上表现领先。该模型提供 100 万 token 上下文窗口,API 预览版定价为输入 2 美元/百万 token、输出 12 美元/百万 token,并同步推出 Google Antigravity 开发平台。

    推荐理由:原文给出了核心能力变化和 API 定价,读者可据此评估其对现有开发工作流的影响。

11月17日周一
  1. Google DeepMind75

    Google DeepMind 发布 WeatherNext 2 天气预测模型

    Google DeepMind 发布 WeatherNext 2,生成速度提升 8 倍,分辨率达小时级,可预测数百种天气场景。该模型基于 Functional Generative Network 架构,在 99.9% 的变量上超越前代,数据已上线 Earth Engine 和 BigQuery,并升级了 Google Search、Gemini 及 Maps 的天气服务。

    推荐理由:模型速度提升8倍且支持小时级分辨率,通过多场景预测增强极端天气研判能力。

11月13日周四
  1. Google DeepMind75

    Google DeepMind 发布 SIMA 2:基于 Gemini 推理的 3D 世界通用智能体

    Google DeepMind 发布 SIMA 2,将 Gemini 模型作为核心推理引擎,使智能体能在 3D 虚拟环境中理解复杂指令、进行链式推理并自我改进。该模型在跨游戏泛化和与用户协作方面表现显著,目前作为有限研究预览向学术界和游戏开发者开放。

    推荐理由:SIMA 2 将 Gemini 推理能力引入 3D 游戏,实现了跨游戏泛化与自我改进,为具身智能提供了新路径。

11月11日周二
  1. Google DeepMind25

    Gemini 与 Google Workspace 如何帮助北爱尔兰教师每周节省 10 小时

    北爱尔兰 C2k 项目的 100 名教师通过整合 Gemini 和 Google Workspace 工具,每周平均节省 10 小时工作时间。试点项目捕获了 600 多个 Gemini 独特用例,涵盖行政工作简化、爱尔兰语课程创建及个性化学习支持。C2k 计划将 Gemini 培训推广至更多教师,以深化 AI 在教育中的负责任应用。

10月31日周五
10月21日周二
  1. Hugging Face Blog70

    Hugging Face 开源OCR模型选型指南与部署教程

    Hugging Face 发布指南,对比了 Nanonets-OCR2、OlmOCR-2、Granite-Docling 等开源OCR模型的能力与成本,介绍了 OlmOCR-Bench 等评测基准,并提供了基于 vLLM 和 Transformers 的本地部署与批量推理代码。

    推荐理由:系统梳理了多款开源OCR模型的能力差异与评测基准,并提供了本地部署与批量推理的实操代码。

9月9日周二
  1. Hugging Face Blog82

    Hugging Face 发布 mmBERT 多语言模型

    Hugging Face 发布 mmBERT,基于 ModernBERT 架构训练的多语言编码器模型,覆盖 1800 多种语言,在 XTREME 和 MTEB 基准上显著超越 XLM-R 等前代模型。该模型采用三阶段渐进式语言学习策略,在 3T+ tokens 数据上训练,推理速度提升 2-4 倍,并开源了模型权重、训练数据及微调代码。

    推荐理由:开源了覆盖1800种语言的现代BERT架构模型,提供了显著的性能与速度提升及微调代码。

9月3日周三
  1. Hugging Face Blog75

    SandboxAQ 开源 SAIR 数据集:524 万条高精度蛋白-配体 3D 结构加速药物研发

    SandboxAQ 在 Hugging Face 开源 SAIR 数据集,包含 524 万条由 Boltz1 生成的 AI 共折叠蛋白-配体 3D 结构及实验验证的 IC50 数据。该数据集采用 CC BY 4.0 许可,97% 的结构通过了 PoseBusters 验证,旨在解决 AI 药物研发中高质量结构数据的长期短缺问题。

    推荐理由:SAIR 开源了 524 万条高精度蛋白-配体 3D 结构及 IC50 数据,为 AI 药物发现提供了稀缺的高质量训练集。

8月12日周二
8月7日周四
  1. Hugging Face Blog75

    TRL 新增 MPO、GRPO 等视觉语言模型对齐算法及 vLLM 集成

    Hugging Face TRL 库新增 MPO、GRPO、GSPO、RLOO 和 Online DPO 等视觉语言模型对齐算法,并原生支持 VLM 的 SFT 训练。同时集成 vLLM 以加速在线对齐过程中的样本生成,提供 colocate 和 server 两种运行模式。

    推荐理由:TRL 新增 MPO、GRPO 等 VLM 对齐算法及 vLLM 集成,提供可复用的训练配置与脚本。

8月1日周五
  1. Mistral AI42

    Mistral 通过 LoRA 微调 Pixtral-12B 提升卫星图像分类性能

    Mistral 展示通过 LoRA 微调 Pixtral-12B 在卫星图像分类任务上的显著性能提升。基线模型在区分“游乐场”与“体育场”等细微视觉差异时存在幻觉,微调后模型能更准确地识别密集住宅、稀疏住宅等复杂场景。该过程利用 Mistral 微调 API 或 LaPlateforme UI 即可高效完成,无需 extensive 超参数调整。

7月18日周五
3月7日周五
  1. Mistral AI83

    Mistral 发布 Mistral OCR API

    Mistral 发布 Mistral OCR API,支持图像和 PDF 输入,可高精度提取文本、表格、公式及嵌入图片,并输出有序交错的 Markdown 或结构化 JSON。该模型在多项基准测试中超越竞品,支持多语言处理,API 定价为每 1000 页 1 美元,已在 Le Chat 中作为默认文档理解模型使用。

    推荐理由:Mistral 发布专用 OCR API 并公布基准数据与定价,为 RAG 场景提供结构化文档解析方案。

2月17日周一
  1. Mistral AI70

    Mistral Saba 发布,首款面向中东与南亚的区域语言模型

    Mistral AI 发布 Mistral Saba,这是一款 24B 参数的区域语言模型,针对中东和南亚语言(如阿拉伯语、泰米尔语)进行了优化。该模型在区域语言任务上表现优于大 5 倍的通用模型,支持 API 调用及单 GPU 本地部署,速度超过 150 tokens/秒。

    推荐理由:原文给出了24B参数模型在阿拉伯语等区域语言上的性能优势及本地部署能力,读者可据此评估区域化定制方案。

2月10日周一
1月24日周五
  1. Hugging Face Blog72

    Hugging Face smolagents 原生支持视觉语言模型

    Hugging Face 在 smolagents 中新增对视觉语言模型(VLM)的原生支持,允许在智能体管道中直接使用视觉能力。通过提供初始图像输入和基于回调的动态截图机制,开发者可轻松构建如自主网页浏览等视觉智能体。

    推荐理由:原生支持视觉模型并给出动态截图回调示例,便于开发者快速构建具备视觉能力的智能体。

1月23日周四
  1. Hugging Face Blog72

    Hugging Face 发布 SmolVLM 256M 和 500M 模型

    Hugging Face 发布 SmolVLM 256M 和 500M 两个新模型,其中 256M 参数版本号称全球最小视觉语言模型。新模型采用更小的 SigLIP 视觉编码器和优化的 Tokenization 技术,支持 Transformers、MLX 和 ONNX 格式,旨在降低端侧和消费级设备的运行成本。

    推荐理由:Hugging Face 发布 SmolVLM 256M 和 500M 模型,在保持轻量级的同时提供多模态能力,适合端侧部署。

1月10日周五
  1. Hugging Face Blog78

    Hugging Face 发布 vdr-2b-multi-v1 多语言视觉文档检索模型

    Hugging Face 发布 vdr-2b-multi-v1 多语言视觉文档检索模型及 vdr-2b-v1 英文版,支持无需 OCR 直接检索多语言文档。模型基于 50 万高质量合成样本训练,在 ViDoRe 基准测试中表现优异,支持 Matryoshka 表示学习与二值量化以实现高效检索。

    推荐理由:开源多语言视觉文档检索模型及50万样本数据集,支持跨语言检索与高效向量压缩。

12月17日周二
  1. Hugging Face Blog72

    TII 发布 Falcon 3 系列开源大模型

    TII 发布 Falcon 3 系列开源大模型,包含 1B、3B、7B、10B 参数 Transformer 模型及 7B Mamba 模型。Falcon3-10B-Base 在 13B 以下模型中表现最佳,数学和代码能力显著提升。所有模型均开源,并支持 GGUF、GPTQ 等格式。

    推荐理由:TII 发布 1B 至 10B 参数模型,在数学和代码推理上表现突出,为端侧部署提供高效选择。

12月5日周四
  1. Hugging Face Blog79

    Google 发布 PaliGemma 2 多模态模型

    Google 发布 PaliGemma 2 视觉语言模型,基于 SigLIP 和 Gemma 2 架构,提供 3B、10B 和 28B 三种参数规模,支持 224x224、448x448 和 896x896 多种输入分辨率。模型采用 Gemma 许可协议,支持商业使用与微调,Hugging Face 同步更新了 transformers 集成与 LoRA 微调脚本。

    推荐理由:提供了多尺寸模型与多分辨率支持,并附带微调脚本,便于开发者快速适配视觉语言任务。

12月4日周三
11月26日周二
  1. Hugging Face Blog75

    Hugging Face 发布 SmolVLM 2B 多模态模型

    Hugging Face 发布 SmolVLM,一款 2B 参数、完全开源的视觉语言模型。该模型采用像素重排策略将视觉信息压缩 9 倍,在同等规模下显存占用最低且推理速度最快。提供 Base、Synthetic 和 Instruct 三个版本,支持本地部署与微调。

    推荐理由:SmolVLM 通过像素重排策略大幅压缩视觉 Token,在同等规模下实现更低的显存占用和更高的推理速度。

11月18日周一
  1. Mistral AI70

    Mistral le Chat 更新搜索、Canvas 与 Agent 功能

    Mistral AI 宣布 le Chat 新增网络搜索、Canvas 协作界面、文档图像理解、图像生成及 Agent 功能。这些新功能目前作为免费 Beta 版提供,旨在整合模型与输出,提供一站式 AI 生产力工具。

    推荐理由:le Chat 新增搜索、Canvas 和 Agent 功能,且目前免费开放,为工作流整合提供了新选择。

  2. Mistral AI85

    Mistral 发布 Pixtral Large 多模态模型并更新 Mistral Large

    Mistral 发布 Pixtral Large,这是一款 123B 参数的多模态解码器模型,在 MathVista、DocVQA 等基准上超越 GPT-4o 和 Gemini-1.5 Pro,支持 128K 上下文窗口。同时 Mistral Large 24.11 版本同步更新,提升了长上下文理解与函数调用能力,即将在 Google Cloud 和 Microsoft Azure 上线。

    推荐理由:Pixtral Large 在多项多模态基准上超越 GPT-4o 等闭源模型,且提供 128K 上下文窗口,适合文档与图表理解场景。

10月24日周四
  1. Hugging Face Blog75

    Cohere 发布 Aya Expanse 多语言大模型

    Cohere For AI 发布 Aya Expanse 系列多语言大语言模型,包含 8B 和 32B 参数版本,并在 Hugging Face 开源权重。

    推荐理由:Aya Expanse 通过数据套利与模型融合等创新训练策略,在多项多语言评测中超越 Llama 3.1 等主流模型,为多语言大模型训练提供了新的技术路径。

10月1日周二
9月23日周一
  1. Hugging Face Blog68

    Hugging Face 发布 FineVideo 数据集及构建管线

    Hugging Face 发布 FineVideo 数据集,包含 4.3 万个视频、3.4k 小时时长及丰富的结构化标注。文章详细披露了从 YouTube-Commons 中筛选动态内容、构建分类法,以及利用 Gemini 1.5 Pro 和 GPT4o 进行时间级语义标注的完整技术管线。

    推荐理由:文章详细披露了构建4.3万小时高质量视频数据集的过滤与标注管线,为多模态模型训练提供了可复用的工程方法。

9月17日周二
  1. Mistral AI85

    Mistral 发布 Pixtral 12B 多模态模型

    Mistral 发布 Pixtral 12B 多模态模型,采用 400M 视觉编码器与 12B 解码器,支持 128K 长上下文及可变图像尺寸。该模型在 MMMU 推理基准上达到 52.5%,支持图表理解、文档问答及多图像处理,以 Apache 2.0 协议开源。

    推荐理由:Pixtral 12B 提供原生多模态与 128K 长上下文,兼顾文本与图像能力,适合本地部署与 API 集成。

9月16日周一
  1. Hugging Face Blog65

    HuggingChat 发布社区工具功能

    HuggingChat 发布社区工具功能,允许用户将 Hugging Face 上的公开 Space 直接转化为模型可调用的工具。该功能扩展了多模态支持,涵盖图像理解、视频生成及语音合成,并支持用户创建自定义工具或基于私有文档构建 RAG 工具。

    推荐理由:HuggingChat 开放将社区 Space 转为工具的功能,支持多模态交互与自定义 RAG,丰富了现有工作流。

8月19日周一
7月24日周三
  1. Mistral AI88

    Mistral Large 2 发布,支持单节点部署与增强推理能力

    Mistral AI 发布 Mistral Large 2 模型,拥有 123B 参数与 128k 上下文窗口,支持单节点高效推理。该模型在代码生成与数学推理上对标 GPT-4o 与 Claude 3 Opus,并强化了工具调用与多语言指令遵循能力。

    推荐理由:模型在推理与代码能力上对标前沿闭源模型,且支持单节点部署,为开发者提供了高性价比的替代方案。