Hugging Face 与 TruffleHog 合作扫描密钥泄露
Hugging Face 与 TruffleHog 达成合作,将 TruffleHog 的密钥扫描功能集成至平台。Hugging Face 在自动化扫描管道中引入 TruffleHog 检测密码、Token 和 API 密钥,并在发现已验证密钥时通过邮件通知用户。
Hugging Face 与 TruffleHog 达成合作,将 TruffleHog 的密钥扫描功能集成至平台。Hugging Face 在自动化扫描管道中引入 TruffleHog 检测密码、Token 和 API 密钥,并在发现已验证密钥时通过邮件通知用户。
Hugging Face 提出 LeRobotDataset 格式,利用视频编码存储机器人视觉模态数据。该格式将数据集平均压缩至原大小的 14%,在解码多帧时加载速度提升 2 至 4 倍,同时保持训练性能与可视化兼容性。
亚利桑那州立大学在全校范围内引入 ChatGPT,旨在实现学习个性化、推动科研进展并为学生未来做准备。
Hugging Face 博客介绍 Hub 上常被忽视的五个工具:ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas。作者通过构建一个基于 Reddit 数据的语义搜索应用,演示了如何组合使用这些功能实现自动化数据处理与可视化。
Hugging Face 发布 DataCollatorWithFlattening,使 Flash Attention 2 兼容无填充指令微调,训练吞吐量最高提升 2 倍,峰值显存降低 20%,且不影响收敛质量。
推荐理由:通过新数据整理器实现无填充训练,在保持收敛质量的同时显著提升训练吞吐量和降低显存占用。
OpenAI 将 AI 技术应用于 Upwork 平台,旨在统一团队成员、运营及产品开发的协作流程。该举措通过整合 AI 能力,优化 Upwork 的工作流与效率。
OpenAI 宣布 GPT-4o 现已开放微调功能。
推荐理由:GPT-4o 开放微调功能,开发者可据此优化模型在特定任务上的表现。
Meta Llama 3.1 405B 模型可在 Google Cloud Vertex AI 上部署,推荐使用 FP8 量化版本以适配 8 x H100 的 A3 节点。该模型具备 128K tokens 上下文窗口,支持多语言及工具使用。部署需配置 Vertex AI API 并申请 A3 节点配额。
OpenAI 助力 Indeed 为数百万求职者提供上下文相关的职位匹配服务。Indeed 作为全球排名第一的招聘网站,每月吸引超过 3.5 亿独立访客,连接 350 万雇主与 3200 万个职位,且每三秒就有一人成功入职。
AI 通过丰富生活与创造力,在纽约大都会博物馆 Costume Institute 联合举办的“Sleeping Beauties: Reawakening Fashion”时尚展中展现其艺术潜力。该展览旨在通过 AI 技术重新唤醒时尚之美。
Hugging Face 复现 Infini-Attention 失败,发现随着内存压缩次数增加,模型性能反而下降。在将 Llama 3 8B 扩展至 100 万 token 上下文的实验中,Ring Attention、YaRN 和 rope scaling 仍是目前延长预训练模型上下文长度的最佳方案。
OpenAI 发布 SWE-bench Verified,这是一个经过人工验证的 SWE-bench 子集,旨在更可靠地评估 AI 模型解决真实世界软件问题的能力。
ggml 是一个专注于 Transformer 推理的 C/C++ 开源机器学习库,具有极简、轻量且兼容性好的特点。该库核心代码少于 5 个文件,编译后二进制体积小于 1MB,支持量化张量以节省内存。本文面向开发者介绍 ggml 的基础概念、编译方法及核心 API 使用,涵盖上下文、计算图及后端接口等关键术语。
Hugging Face 推出统一工具调用 API,通过 Chat Templating 屏蔽多模型差异,使代码可跨 Mistral、Cohere、NousResearch 和 Llama 等模型复用。Transformers 库新增辅助功能,支持将 Python 函数自动转为 JSON Schema,并提供完整文档与示例。
推荐理由:Hugging Face 推出统一工具调用 API,通过 Chat Templating 屏蔽多模型差异,提供可复用的工程实现方案。
TII 发布 Falcon Mamba 7B,这是首个性能强劲的无注意力 7B 模型,基于 Mamba 架构实现线性时间序列建模。该模型在长序列生成中保持恒定吞吐量且显存不增,支持 4-bit 量化及 torch.compile 加速,并提供指令微调版本。
推荐理由:Falcon Mamba 7B 验证了纯 Mamba 架构在长序列推理上的效率优势,为 Transformer 之外的替代方案提供了可复用的工程实践。
Zico Kolter 加入 OpenAI 董事会,以加强其在 AI 安全与对齐领域的治理。他还将加入安全与委员会。
Hugging Face 宣布收购 XetHub,其团队将负责将 Hub 的存储后端从 Git LFS 替换为更优化的版本。XetHub 技术支持 TB 级仓库的 Git 扩展、分块存储与去重,使用户在更新大型数据集或模型时仅需上传变更部分,从而大幅提升协作与版本管理效率。
推荐理由:Hugging Face 收购 XetHub 以替换 Git LFS 存储后端,将显著提升 TB 级数据集和模型的版本管理与协作效率。
OpenAI 提出将数据与 API 配对以释放客户价值。该策略旨在通过 AI 解锁客户洞察,帮助 Rakuten 等企业实现数据价值转化。
Mistral 宣布在 La Plateforme 开放 Mistral Large 2 和 Codestral 等旗舰模型的自定义微调,并推出包裹模型与指令的 Agents 功能以支持复杂工作流。同时发布 mistralai 1.0 稳定版 SDK,涵盖 Python 和 Typescript。
推荐理由:官方同步开放旗舰模型微调、Agent 框架及 SDK 1.0,开发者可据此快速构建定制化应用。
OpenAI 在 API 中引入结构化输出功能,使模型输出现在能可靠地遵循开发者提供的 JSON Schema。
推荐理由:API 新增结构化输出功能,使模型输出稳定符合 JSON Schema,降低开发者解析成本。
Hugging Face 于 2024 年 8 月 6 日发布了 Hub 平台的安全功能亮点。面向所有用户,平台提供细粒度 Token 访问控制、双因素认证 (2FA)、Commit 签名、组织访问控制及包含恶意软件与密钥扫描的自动化安全扫描。针对 Enterprise 用户,平台进一步支持基于 SAML 2.0 和 OpenID Connect 协议的单点登录 (SSO) 以及资源组管理。
Hugging Face 联合 Albumentations AI 发布 TextImage Augmentation 教程,介绍一种同时修改文档图像和文本的多模态数据增强方法。该方法支持随机插入、删除、替换和停用词插入,可生成合成数据并保留修改后的文本标注,适用于视觉语言模型(VLM)在文档图像上的微调。
推荐理由:提供结合文本与图像修改的文档增强方法,帮助解决视觉语言模型在文档数据上的微调难题。
Google 发布 Gemma 2 2B、ShieldGemma 和 Gemma Scope。
推荐理由:Google 发布 Gemma 2 2B 及 ShieldGemma 等新品,提供端侧部署与安全能力更新。
OpenAI 正在测试 SearchGPT,这是全新 AI 搜索功能的一个临时原型。该原型旨在提供快速、及时的回答,并附带清晰且相关的来源。
Mistral AI 发布 Mistral Large 2 模型,拥有 123B 参数与 128k 上下文窗口,支持单节点高效推理。该模型在代码生成与数学推理上对标 GPT-4o 与 Claude 3 Opus,并强化了工具调用与多语言指令遵循能力。
推荐理由:模型在推理与代码能力上对标前沿闭源模型,且支持单节点部署,为开发者提供了高性价比的替代方案。
OpenAI 开发并应用了基于规则的奖励(RBRs)新方法,使模型无需大量人工数据收集即可对齐安全行为。该方法通过规则化奖励机制优化模型表现,提升了模型的安全性。
Hugging Face 发布 Llama 3.1 系列模型,包含 405B、70B 和 8B 三种规格,支持多语言与长上下文能力。
推荐理由:Llama 3.1 带来 405B 大参数模型与长上下文支持,为开源多模态生态提供了新的基线选择。
OpenAI 发布 GPT-4o mini 模型,旨在推进成本效益更高的智能。
Mistral 联合 NVIDIA 发布 Mistral NeMo,这是一款 12B 参数的开源模型,支持 128k 上下文窗口,在推理、世界知识和编码方面表现优异。该模型采用 Apache 2.0 协议,支持 FP8 推理且无性能损失,并内置了更高效的 Tekken tokenizer。
推荐理由:12B 模型在同等规模下表现优异,且支持 FP8 推理,为开发者提供了高性价比的开源替代方案。
OpenAI 为 ChatGPT Enterprise 推出合规 API 集成、SCIM 及 GPT 控制功能。这些工具旨在支持大规模用户访问管理、数据安全保障及合规计划。
Prover-Verifier Games 能够提升语言模型输出的可读性,使 AI 解决方案对人和机器而言更清晰、更易验证且更值得信赖。
Mistral AI 发布 Mathstral,这是一个基于 Mistral 7B 微调的数学推理模型,旨在解决需要复杂多步逻辑推理的高级数学问题。该模型在 MATH 基准上达到 56.6%,在 MMLU 上达到 63.47%,并在其尺寸类别中实现了最先进的推理能力。
推荐理由:基于Mistral 7B微调的数学推理模型,在MATH等基准上表现优异,适合端侧部署与特定领域推理。
Mistral 发布 Codestral Mamba,这是一款基于 Mamba 架构的 7B 参数代码模型,支持 Apache 2.0 开源协议。该模型具备线性时间推理能力,可处理长达 256k tokens 的上下文,在代码生成与推理任务上表现媲美 SOTA Transformer 模型。
推荐理由:Mistral 发布基于 Mamba 架构的 7B 代码模型,提供线性推理与长上下文优势,支持本地部署。
OpenAI 与洛斯阿拉莫斯国家实验室宣布开展研究合作,旨在开发安全评估方法,以评估和衡量前沿模型相关的生物能力及风险。
Hugging Face 与 KerasHub 实现共享模型保存格式,KerasHub 用户现可直接加载 Hub 上 30 万多个 Transformers 模型。该集成初期支持 Gemma 2、Llama 3 和 PaliGemma 等架构,用户可通过一行代码在 TensorFlow、JAX 或 PyTorch 后端无缝使用这些模型。
Hugging Face宣布TRL库支持对多模态模型(VLM)进行直接偏好优化(DPO)。文章以Idefics2-8b为例,演示了使用openbmb/RLAIF-V-Dataset进行微调的完整流程,包括数据格式化、量化与LoRA显存优化,并展示了模型在AMBER基准上幻觉减少的效果。
推荐理由:文章提供了基于TRL库微调多模态模型的完整代码与显存优化方案,可直接复用于Idefics2等模型。
Hugging Face 在 Dataset Hub 实验性集成开源工具 Presidio,提供自动个人身份信息(PII)检测报告。该功能利用模式匹配和机器学习模型识别数据集中的敏感信息,帮助用户在训练前评估数据隐私风险。数据集所有者也可借此验证过滤流程,构建更合规的模型。
Hugging Face 宣布在 Inference Endpoints 和 Spaces 中支持 Google Cloud TPU v5e。提供 v5litepod-1/4/8 三种实例配置,价格分别为每小时 1.375 美元、5.50 美元和 11.00 美元。配套开源库 Optimum TPU 支持部署 Gemma、Llama 和 Mistral 等模型。
推荐理由:Hugging Face 联合 Google 开放 TPU v5e 部署,提供明确实例配置与价格,便于开发者评估推理成本。
Hugging Face 与 Polyconseil 合作为法国 Banque des Territoires 的 EduRénov 项目部署基于 RAG 的主权数据解决方案,以优化 10,000 所公立学校节能改造的专家支持流程。该方案采用开源模型与 Hugging Face 技术栈,在确保数据主权与计算服务安全的前提下,通过自动化处理大量重复性邮件咨询,提升了对地方当局的响应效率。
Hugging Face 宣布 Dataset Hub 的 Dataset Search 新增按模态、数据量、格式和兼容库筛选功能。用户可通过 Text、Image 等模态、行数范围、Parquet 等格式及 Pandas 等库过滤数据集。这些筛选器可与语言、任务等现有过滤器组合使用,提升数据集发现效率。