Google DeepMind 与 Isomorphic Labs 联合发布生物弹性方案
Google DeepMind 与 Isomorphic Labs 联合发布生物弹性方案,旨在通过 AI 技术提升社会应对未来疫情及生物威胁的韧性。该方案涵盖预防、检测与响应三大领域,包括利用 Gemini 模型进行安全评估、通过 AlphaEvolve 优化病原体监测算法,以及开放 AlphaFold 等最新 AI 系统供受信任的研究者加速疫苗与药物设计。
Google DeepMind 与 Isomorphic Labs 联合发布生物弹性方案,旨在通过 AI 技术提升社会应对未来疫情及生物威胁的韧性。该方案涵盖预防、检测与响应三大领域,包括利用 Gemini 模型进行安全评估、通过 AlphaEvolve 优化病原体监测算法,以及开放 AlphaFold 等最新 AI 系统供受信任的研究者加速疫苗与药物设计。
Hugging Face发布MosaicLeaks论文,揭示深度研究智能体通过外部查询日志泄露私有信息的风险。提出PA-DR训练法,将答案/全信息泄露率从34.0%降至9.9%,同时保持严格链成功率在58.7%。
推荐理由:提出PA-DR训练法,在保持推理性能的同时将深度研究智能体的隐私泄露率从34%降至9.9%。
Google Research 提出正则化 f-散度核检验框架,旨在解决大规模模型机器遗忘审计中传统两样本检验统计效力低且计算昂贵的问题。该框架利用 f-散度(如 KL 散度、Hockey-stick 散度)结合核正则化方法,自动选择最佳散度类型以精准定位局部数据偏移。该研究已在 AISTATS 2026 发表,理论上证明了其对假阳性的控制能力及随样本增加假阴性收敛至零的特性。
Google Research 推出结合密码学与可信执行环境(TEE)的零信任聚合方案,实现无需设备保持在线的单次消息提交。该方案通过多层防御架构,确保仅向 Google 提供匿名化的群体洞察,彻底防止个体用户数据泄露。
Google DeepMind 宣布与新加坡政府启动新的国家 AI 伙伴关系,重点在医疗、教育和科研领域应用前沿 AI 技术。该合作包括利用 AlphaFold 加速传染病研究、向新加坡教师提供 Gemini for Education 培训,以及开发基于 Gemma 的视障跑步助手。
Google Research 发布白皮书,估算未来量子计算机仅需不到 50 万物理量子比特即可破解保护加密货币的椭圆曲线加密。研究提出使用零知识证明负责任地披露漏洞,并建议区块链向抗量子密码学迁移。
推荐理由:论文给出了突破椭圆曲线加密的量子资源新估算,并提出了零知识证明的负责任披露方法。
ServiceNow 发布 AprielGuard,一款 8B 参数的安全与对抗鲁棒性守护模型,可检测 16 类安全风险及提示注入、越狱等对抗攻击。该模型支持 32k 长上下文与 Agent 工作流,提供推理与非推理双模式,已在多项公开基准上验证了性能。
推荐理由:ServiceNow 发布 AprielGuard 安全模型,统一检测 16 类安全风险与对抗攻击,支持 32k 长上下文与 Agent 工作流。
Google DeepMind 宣布与英国 AI 安全研究所(AISI)签署新谅解备忘录,将合作从模型测试扩展至基础安全研究。双方将共享专有模型与数据,重点开展思维链监控、社会情感影响及经济系统评估等研究。此举旨在通过更稳健的评估方法,确保前沿 AI 系统的安全与责任。
Google Research 发布 Urania 框架,通过差分隐私技术从 LLM 聊天对话中提取洞察,确保数学级隐私保障。该框架利用 DP 聚类和关键词提取机制,防止单条对话影响结果,避免敏感信息泄露。实验显示,在隐私预算收紧时,其生成的摘要质量甚至优于非隐私基线,获 LLM 评估器高达 70% 的偏好。
Google DeepMind 宣布深化与英国政府的合作,旨在通过提供前沿 AI 工具加速科学发现、教育现代化及国家安全建设。双方将建立首个自动化科学实验室,优先向英国科学家开放 AlphaEvolve 等模型,并探索 Gemini 在教育与公共服务中的规模化应用。
Google 发布 JAX-Privacy 1.0,提供差分隐私算法和审计工具,支持在 JAX 上高效训练大规模模型。该工具包已用于训练 VaultGemma,并提供基于 Keras 微调 Gemma 模型的示例。
推荐理由:官方发布支持大规模并行的差分隐私工具包,提供微调示例,降低隐私保护机器学习门槛。
Hugging Face 与 VirusTotal 达成合作,对 Hub 上 220 万+ 公开模型和数据集仓库进行持续扫描。通过比对文件哈希值,用户可在下载前查看文件在 VirusTotal 数据库中的恶意软件检测状态及威胁情报,无需上传原始文件内容,从而提升开源 AI 协作的安全性。
Hugging Face 联合 Cloud Security Alliance 等发布 RiskRubric.ai,对模型进行透明度、可靠性、安全、隐私、安全和声誉六维评估,提供 0-100 分及 A-F 等级,并支持按维度筛选。
推荐理由:平台提供标准化模型安全评分,帮助开发者快速筛选符合安全与隐私要求的模型。
Mistral AI 发布内容审核 API,该 API 基于 Le Chat 内部服务,支持原始文本与对话上下文两种端点。模型为原生多语言 LLM 分类器,涵盖 9 类政策定义,可处理模型生成危害如无资质建议与 PII 泄露。
推荐理由:Mistral 官方发布内容审核 API,提供多语言支持与对话上下文分类能力,开发者可据此构建定制化的应用安全护栏。
Google DeepMind 与 Hugging Face 联合在 Transformers v4.46.0 中发布 SynthID Text,提供用于在 AI 生成文本中嵌入不可见水印的 logits processor 及检测分类器。该工具通过伪随机函数增强生成过程,支持配置密钥和 ngram 长度,并附带端到端的检测器训练示例。
推荐理由:官方提供了可直接复用的水印生成与检测代码,帮助开发者在生成文本中嵌入可验证的AI标识。
Hugging Face 宣布与 Protect AI 合作,将 Guardian 安全扫描工具集成至 Hub 扫描套件。所有公开模型仓库在上传文件时将自动接受 Guardian 扫描,以检测 pickle 等序列化格式中的任意代码执行漏洞。
Gradio 5 发布,经 Trail of Bits 独立审计修复多项安全漏洞,默认保障机器学习应用安全。修复涵盖本地运行、Hugging Face Spaces 部署、内置分享链接及 CI 供应链等场景,包括 CORS 配置错误、SSRF、任意文件上传、远程代码执行及 GitHub Actions 风险。所有修复已验证并包含在 Gradio 5.0 版本中。
Hugging Face 与 TruffleHog 达成合作,将 TruffleHog 的密钥扫描功能集成至平台。Hugging Face 在自动化扫描管道中引入 TruffleHog 检测密码、Token 和 API 密钥,并在发现已验证密钥时通过邮件通知用户。
Hugging Face 于 2024 年 8 月 6 日发布了 Hub 平台的安全功能亮点。面向所有用户,平台提供细粒度 Token 访问控制、双因素认证 (2FA)、Commit 签名、组织访问控制及包含恶意软件与密钥扫描的自动化安全扫描。针对 Enterprise 用户,平台进一步支持基于 SAML 2.0 和 OpenID Connect 协议的单点登录 (SSO) 以及资源组管理。
Hugging Face 发布伦理与社会通讯第 3 期,阐述在开源机器学习中平衡开放性与风险控制的伦理框架。平台推出涵盖严谨、同意、社会意识等 6 个维度的伦理标签,并上线内容举报功能以识别违规模型与数据集。此外,Hugging Face 通过完善模型卡片、推广 RAIL 许可证及社区协作机制,致力于最小化 AI 潜在危害。