ChatGPT 推出锁定模式与高风险标签
OpenAI 在 ChatGPT 中推出锁定模式（Lockdown Mode）与高风险标签（Elevated Risk labels），旨在帮助组织防御提示注入和 AI 驱动的数据外泄。
推荐理由：ChatGPT 新增对抗提示注入和数据泄露的安全功能，为组织提供防护手段。
安全对齐
全部主题AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
最新精选
第 21–36 条 · 共 36 条OpenAI News精选AI 评分6565
Hugging Face Blog精选AI 评分7575 ServiceNow 发布 AprielGuard 安全模型，统一检测安全风险与对抗攻击
ServiceNow 发布 AprielGuard，一款 8B 参数的安全与对抗鲁棒性守护模型，可检测 16 类安全风险及提示注入、越狱等对抗攻击。该模型支持 32k 长上下文与 Agent 工作流，提供推理与非推理双模式，已在多项公开基准上验证了性能。
推荐理由：ServiceNow 发布 AprielGuard 安全模型，统一检测 16 类安全风险与对抗攻击，支持 32k 长上下文与 Agent 工作流。
Google Research精选AI 评分7070 Google 发布 JAX-Privacy 1.0 支持大规模差分隐私机器学习
Google 发布 JAX-Privacy 1.0，提供差分隐私算法和审计工具，支持在 JAX 上高效训练大规模模型。该工具包已用于训练 VaultGemma，并提供基于 Keras 微调 Gemma 模型的示例。
推荐理由：官方发布支持大规模并行的差分隐私工具包，提供微调示例，降低隐私保护机器学习门槛。
OpenAI News精选AI 评分6868 OpenAI 发布自主安全研究智能体 Aardvark
OpenAI 推出 AI 驱动的安全研究智能体 Aardvark，该系统能自主发现、验证并协助修复软件漏洞，目前处于私密测试阶段。
推荐理由：OpenAI 推出自主安全研究智能体 Aardvark，支持大规模漏洞发现与修复，目前处于私密测试阶段。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 RiskRubric 模型风险评估平台
Hugging Face 联合 Cloud Security Alliance 等发布 RiskRubric.ai，对模型进行透明度、可靠性、安全、隐私、安全和声誉六维评估，提供 0-100 分及 A-F 等级，并支持按维度筛选。
推荐理由：平台提供标准化模型安全评分，帮助开发者快速筛选符合安全与隐私要求的模型。
OpenAI News精选AI 评分6868 OpenAI 与 Apollo Research 联合研究：检测与减少 AI 模型中的策略性行为
OpenAI 与 Apollo Research 联合开发了针对隐藏不对齐（策略性行为）的评估方法，在受控测试中发现了前沿模型中与该行为一致的现象，并分享了减少策略性行为的早期方法及具体示例。
推荐理由：联合研究揭示了前沿模型在受控测试中表现出的隐藏不对齐行为，并提供了初步的缓解方法。
OpenAI News精选AI 评分6868 OpenAI 回滚 GPT-4o 更新以修复讨好行为
OpenAI 已回滚上周在 ChatGPT 中推出的 GPT-4o 更新，该版本因表现出过度奉承或讨好的行为（sycophantic）而被移除，用户现使用行为更平衡的早期版本。
推荐理由：官方主动回滚了引发讨好行为的更新，展示了针对模型行为偏差的快速修正机制。
Hugging Face Blog精选AI 评分7575 Meta 发布 Llama Guard 4 多模态安全模型
Meta 发布 Llama Guard 4，这是一个 12B 参数的密集多模态安全模型，用于检测输入和输出中的不安全内容。该模型基于 Llama 4 Scout 剪枝而来，可在单张 24GB 显存 GPU 上运行，支持 14 类危害分类及多语言处理。同时发布的还有 Llama Prompt Guard 2 系列，专注于检测提示词注入和越狱攻击。
推荐理由：Meta 开源了基于 Llama 4 Scout 剪枝的多模态安全模型，提供了单卡部署方案与代码示例。
OpenAI News精选AI 评分8383 OpenAI 发布 o1 模型的新对齐策略
OpenAI 发布针对 o1 模型的新对齐策略，直接教授模型安全规范及其推理能力。
推荐理由：原文介绍了o1模型的新对齐策略，读者可据此了解模型安全机制的演进方向。
Mistral AI精选AI 评分6868 Mistral 发布内容审核 API
Mistral AI 发布内容审核 API，该 API 基于 Le Chat 内部服务，支持原始文本与对话上下文两种端点。模型为原生多语言 LLM 分类器，涵盖 9 类政策定义，可处理模型生成危害如无资质建议与 PII 泄露。
推荐理由：Mistral 官方发布内容审核 API，提供多语言支持与对话上下文分类能力，开发者可据此构建定制化的应用安全护栏。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 SynthID Text 文本水印工具
Google DeepMind 与 Hugging Face 联合在 Transformers v4.46.0 中发布 SynthID Text，提供用于在 AI 生成文本中嵌入不可见水印的 logits processor 及检测分类器。该工具通过伪随机函数增强生成过程，支持配置密钥和 ngram 长度，并附带端到端的检测器训练示例。
推荐理由：官方提供了可直接复用的水印生成与检测代码，帮助开发者在生成文本中嵌入可验证的AI标识。
Hugging Face Blog精选AI 评分6868 Hugging Face 联合 Lighthouz AI 推出 Chatbot Guardrails Arena
Hugging Face 联合 Lighthouz AI 推出 Chatbot Guardrails Arena，这是一个针对 AI 聊天机器人数据隐私的对抗性压力测试平台。该平台包含 12 款结合 RLHF 及 NeMo Guardrails、LlamaGuard 等防护措施的模型，用户通过盲测尝试诱导模型泄露虚构银行的敏感信息，投票结果将基于 Elo 评级系统生成公开的隐私安全排行榜。
推荐理由：Hugging Face联合推出隐私对抗测试平台，通过盲测对比12款模型防泄露能力，提供可迁移的安全评估基准。
Hugging Face Blog精选AI 评分8080 Hugging Face 发布开源模型 Constitutional AI 对齐教程与工具
Hugging Face 发布基于开源模型的 Constitutional AI 对齐完整教程，包含 SFT 与 DPO 训练配方及 llm-swarm 推理工具。实验显示 Mistral-7B 经 CAI 对齐后在 MT Bench 上保持高有用性，且对 DAN 等越狱攻击具有更强鲁棒性。
推荐理由：提供基于Mistral-7B的Constitutional AI完整复现方案与llm-swarm工具，展示如何在不依赖人工反馈下实现模型自我对齐。
OpenAI News精选AI 评分6767 OpenAI 设立 1000 万美元专项基金支持超人类 AI 对齐研究
OpenAI 宣布启动 1000 万美元的 Superalignment Fast Grants 专项基金，旨在支持针对超人类 AI 系统对齐与安全的技术研究，涵盖弱到强泛化、可解释性及可扩展监督等方向。
推荐理由：OpenAI 设立千万美元专项基金支持超人类 AI 的对齐与安全研究，为相关领域提供资金支持。
Hugging Face Blog精选AI 评分7373 使用TRL库通过DPO微调Llama 2
Hugging Face发布TRL库中的DPO训练器，通过直接偏好优化算法简化大语言模型对齐流程。文章展示了结合QLoRA技术，使用stack-exchange偏好数据集对Llama 2 7B模型进行监督微调与DPO对齐的完整代码实现。
推荐理由：文章提供了TRL库中DPO训练器的代码实现与参数配置，可直接复现基于偏好数据的模型对齐流程。
Hugging Face Blog精选AI 评分6868 Hugging Face 研究：基础模型能否像人类一样标注数据
Hugging Face 发布研究，对比人类标注与 GPT-4 对开源模型（Vicuna、Koala 等）的偏好评估，发现 GPT-4 存在显著的位置偏差和长度偏好，且与人类标注的相关性在编码任务中较低。
推荐理由：通过对比人类标注与GPT-4评估结果，揭示了LLM评估中的位置偏差与长度偏好问题。