跳到正文

全部动态

今日 48 条
1月27日周一
1月24日周五
  1. Hugging Face Blog72

    Hugging Face smolagents 原生支持视觉语言模型

    Hugging Face 在 smolagents 中新增对视觉语言模型(VLM)的原生支持,允许在智能体管道中直接使用视觉能力。通过提供初始图像输入和基于回调的动态截图机制,开发者可轻松构建如自主网页浏览等视觉智能体。

    推荐理由:原生支持视觉模型并给出动态截图回调示例,便于开发者快速构建具备视觉能力的智能体。

1月23日周四
  1. OpenAI News15

    Operator System Card

    OpenAI 发布 Operator System Card,详细阐述了其多层安全防护框架。该文档介绍了针对提示词工程和越狱攻击的模型及产品设计缓解措施,以及隐私与安全保障。此外,还披露了外部红队测试、安全评估及持续完善防护机制的工作进展。

  2. Hugging Face Blog78

    NVIDIA 发布 KVPress 工具包实现 LLM KV Cache 压缩

    NVIDIA 发布 KVPress 工具包,集成多种 KV Cache 压缩算法,支持在预填充阶段动态压缩缓存。该工具与 transformers 库无缝集成,在 128k 上下文长度下可将显存占用从 45GB 降至 37GB,并将 A100 上的解码速度从 11 tokens/s 提升至 17 tokens/s。

    推荐理由:NVIDIA 发布 KVPress 工具包,提供多种 KV Cache 压缩算法,帮助开发者降低长上下文场景下的显存占用并提升推理速度。

  3. Hugging Face Blog72

    Hugging Face 发布 SmolVLM 256M 和 500M 模型

    Hugging Face 发布 SmolVLM 256M 和 500M 两个新模型,其中 256M 参数版本号称全球最小视觉语言模型。新模型采用更小的 SigLIP 视觉编码器和优化的 Tokenization 技术,支持 Transformers、MLX 和 ONNX 格式,旨在降低端侧和消费级设备的运行成本。

    推荐理由:Hugging Face 发布 SmolVLM 256M 和 500M 模型,在保持轻量级的同时提供多模态能力,适合端侧部署。

1月22日周三
1月21日周二
  1. OpenAI News70

    OpenAI 发布 Stargate 基础设施合作伙伴招募

    OpenAI 及其战略合作伙伴发布 Stargate 基础设施计划,旨在构建 AGI 的基础设施。官方正在面向工业界招募数据中心基础设施领域的合作伙伴,合作范围涵盖电力、土地、建设及设备供应等全链条环节。

    推荐理由:OpenAI 联合合作伙伴公开招募数据中心基础设施供应商,涉及电力、土地及建设等环节。

1月16日周四
  1. Mistral AI38

    Mistral AI 宣布 Le Chat 集成 AFP 新闻源

    Mistral AI 宣布与法新社(AFP)达成全球合作,Le Chat 将接入 AFP 新闻稿以增强事实准确性。该集成支持法语、英语等六种语言,利用 AFP 每日 2,300 条新闻内容,确保回复基于可靠且最新的资讯。此项功能将在未来几周向所有 Le Chat 用户推出。

  2. Hugging Face Blog70

    TGI 引入多后端支持,统一 vLLM 与 TensorRT-LLM 部署

    Hugging Face 发布 TGI Backends 架构,通过统一前端层集成 vLLM、TensorRT-LLM 和 llama.cpp 等推理引擎。该更新旨在简化生产环境部署,计划于 2025 年第一季度支持 vLLM,并持续扩展对 AWS Neuron 和 Google TPU 的原生支持。

    推荐理由:原文给出了统一前端架构和具体后端规划,读者可据此评估现有部署路径的迁移成本与性能收益。

1月15日周三
  1. Hugging Face Blog82

    Hugging Face 发布静态嵌入模型及训练方法,CPU 推理速度提升 400 倍

    Hugging Face 发布 sentence-transformers/static-retrieval-mrl-en-v1 和 static-similarity-mrl-multilingual-v1 两个静态嵌入模型,在 CPU 上比主流模型快 100-400 倍,同时保持 85% 以上的性能。文章公开了基于对比学习和 Matryoshka 表示学习的完整训练策略、数据集选择及代码实现。

    推荐理由:Hugging Face 开源了基于静态嵌入的高效模型及完整训练代码,为低延迟和端侧部署提供了可复用的实践方案。

1月14日周二
1月13日周一
  1. Mistral AI80

    Mistral 发布 Codestral 25.01 编码模型

    Mistral AI 发布 Codestral 25.01 编码模型,采用新架构和分词器,代码生成与补全速度提升约 2 倍。该模型在 HumanEval、LiveCodeBench 等基准测试中表现优异,支持 256k 上下文窗口,现已通过 IDE 插件及 API 向全球开发者开放。

    推荐理由:官方公布详细基准数据,显示其在代码补全和生成速度上超越竞品,开发者可直接通过API或IDE插件体验。

  2. Hugging Face Blog65

    Hugging Face Blog:AI智能体的伦理价值权衡与自主性分级

    Hugging Face发布博客,从伦理视角系统分析AI智能体的自主性分级与多维价值权衡。文章指出风险随自主性增加而上升,建议不开发全自主智能体,并推荐半自主智能体。

    推荐理由:文章从伦理视角系统拆解了AI智能体的自主性分级与多维价值权衡,并明确建议不开发全自主智能体。

1月10日周五
  1. Hugging Face Blog78

    Hugging Face 发布 vdr-2b-multi-v1 多语言视觉文档检索模型

    Hugging Face 发布 vdr-2b-multi-v1 多语言视觉文档检索模型及 vdr-2b-v1 英文版,支持无需 OCR 直接检索多语言文档。模型基于 50 万高质量合成样本训练,在 ViDoRe 基准测试中表现优异,支持 Matryoshka 表示学习与二值量化以实现高效检索。

    推荐理由:开源多语言视觉文档检索模型及50万样本数据集,支持跨语言检索与高效向量压缩。

1月9日周四
12月31日周二
  1. Hugging Face Blog75

    Hugging Face 发布 smolagents 库,让模型通过编写代码实现智能体功能

    Hugging Face 发布 smolagents 库,支持模型通过编写代码来调用工具,简化了智能体开发流程。该库兼容 Hugging Face Hub 及 OpenAI、Anthropic 等外部模型,并展示了开源模型在智能体工作流中具备与顶级闭源模型竞争的能力。

    推荐理由:Hugging Face 推出 smolagents 库,通过让模型直接编写代码来调用工具,简化了智能体开发并提升了开源模型表现。

12月27日周五
12月24日周二
  1. Hugging Face Blog68

    PyTorch 训练时 GPU 显存可视化与估算方法

    Hugging Face 发布教程,利用 PyTorch 内置工具可视化训练过程中的显存变化。文章拆解模型参数、激活值、梯度与优化器状态等显存占用来源,给出通用显存估算公式及优化建议。

    推荐理由:通过可视化解析显存峰值来源,提供可迁移的显存估算公式与优化思路。

12月23日周一
12月20日周五
  1. Hugging Face Blog73

    Big Bench Audio 发布:语音推理性能显著落后于文本

    Artificial Analysis 发布 Big Bench Audio 数据集,评估语音语言模型的推理能力。测试显示 GPT-4o 在语音到语音任务中准确率仅为 66%,远低于文本处理的 92%,传统语音转文本再转语音的流水线方案在推理准确性上目前优于原生语音模型。

    推荐理由:首次量化语音推理性能衰减,揭示原生语音模型在复杂推理任务中显著落后于文本处理。

12月19日周四
12月18日周三
  1. Hugging Face Blog74

    IBM 等联合发布 Bamba-9B 混合 Mamba2 模型

    IBM、普林斯顿大学等联合发布 Bamba-9B 混合 Mamba2 模型,在 vLLM 中推理吞吐量提升 2.5 倍、延迟降低 2 倍。该模型基于 2.2T token 开源数据训练,性能接近 Llama 3.1 8B,并开源了完整训练代码与数据加载器。

    推荐理由:Bamba-9B 验证了混合 Mamba2 架构在推理效率上的优势,为突破 KV-cache 瓶颈提供了可复现的开源方案。

12月17日周二
  1. Hugging Face Blog72

    TII 发布 Falcon 3 系列开源大模型

    TII 发布 Falcon 3 系列开源大模型,包含 1B、3B、7B、10B 参数 Transformer 模型及 7B Mamba 模型。Falcon3-10B-Base 在 13B 以下模型中表现最佳,数学和代码能力显著提升。所有模型均开源,并支持 GGUF、GPTQ 等格式。

    推荐理由:TII 发布 1B 至 10B 参数模型,在数学和代码推理上表现突出,为端侧部署提供高效选择。

12月16日周一
  1. Hugging Face Blog72

    Hugging Face 发布合成数据生成器,支持零代码构建数据集与微调模型

    Hugging Face 发布合成数据生成器,用户可通过自然语言描述零代码生成文本分类和对话数据集,并支持使用 AutoTrain 直接微调模型。工具基于 distilabel 和 Hugging Face API,提供网页应用、私有部署及 Apache 2.0 开源代码。

    推荐理由:Hugging Face 推出零代码合成数据生成器,打通从自然语言描述到模型微调的完整工作流。

12月13日周五
12月10日周二
12月9日周一
  1. OpenAI News92

    OpenAI 发布视频生成模型 Sora

    OpenAI 宣布视频生成模型 Sora 正式开放使用,用户可通过 sora.com 生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形比例,并允许导入自有素材进行扩展、混剪或从文本生成全新内容。

    推荐理由:Sora 正式开放使用,支持生成 1080p 视频,用户可自定义比例并导入素材进行混剪。

  2. Hugging Face Blog68

    Hugging Face 发布文本到图像生成开源偏好数据集

    Hugging Face 社区发布了面向文本到图像生成的开源偏好数据集,包含 1 万对偏好样本,涵盖多种图像风格与提示词复杂度。数据集采用 Apache 2.0 协议,附带用于数据预处理和后处理的代码,并提供了基于 FLUX.1-dev 模型的 LoRA 微调适配器。

    推荐理由:开源了文本到图像生成的偏好数据集及微调代码,为社区提供了可复用的训练素材。