跳到正文

全部动态

今日 48 条
6月18日周二
6月17日周一
6月13日周四
  1. Hugging Face Blog47

    Hugging Face Accelerate 0.30.0 发布:统一 DeepSpeed 与 FSDP 混合精度处理

    Hugging Face Accelerate 0.30.0 发布,通过上游 PR 统一了 DeepSpeed 与 PyTorch FSDP 的混合精度处理逻辑。FSDP 现支持“混合精度”与“低精度”两种模式,前者将参数上铸为 fp32 以对齐 DeepSpeed 行为,后者保留 bf16 以节省显存。在四张 A100 GPU 上,两者吞吐量表现相近,MFU 均约为 0.40。

6月12日周三
  1. Hugging Face Blog78

    Hugging Face TRL 引入 RLOO 算法替代 PPO 进行在线 RLHF 训练

    Hugging Face 在 TRL 中引入 RLOO 算法作为 PPO 的替代方案,用于在线 RLHF 训练。该算法将完整回复视为单一动作,显存占用降低 50-70%,训练速度提升 2-3 倍,且在 Pythia 模型上表现优于 DPO。

    推荐理由:TRL 引入 RLOO 算法替代 PPO,显著降低显存占用并提升训练速度,为在线 RLHF 提供了更高效的工程方案。

  2. Hugging Face Blog86

    Hugging Face Diffusers 支持 Stable Diffusion 3 Medium 发布

    Hugging Face Diffusers 正式支持 Stability AI 发布的 Stable Diffusion 3 Medium (SD3) 模型。该模型包含20亿参数,采用多模态扩散Transformer架构和条件流匹配训练。文章提供了在Diffusers中运行推理、使用显存优化技术以及在A100上实现4倍加速的代码示例,并附带了基于LoRA的微调脚本。

    推荐理由:文章详细拆解了SD3 Medium的架构与训练方法,并提供了在Diffusers中运行及微调的具体代码和显存优化方案。

6月10日周一
6月8日周六
6月7日周五
  1. Hugging Face Blog15

    Hugging Face 宣布重构 Transformers 文档

    Hugging Face 宣布对 Transformers 文档进行全面重构,旨在解决因内容增量式堆叠导致的体验割裂与导航困难问题。新文档将转向以代码和解决方案为导向,并采用更灵活的有机结构替代僵化的分类体系。此举旨在更好地服务于希望将 AI 集成到产品中的开发者群体。

6月6日周四
6月5日周三
  1. Mistral AI68

    Mistral 推出模型微调服务与开源 SDK

    Mistral 在 la Plateforme 推出模型微调服务,提供开源微调 SDK、托管微调及定制训练三种方式。托管服务兼容 Mistral 7B 和 Mistral Small,采用 LoRA 技术实现高效微调。

    推荐理由:提供开源SDK、托管微调及定制训练三种入口,覆盖不同技术栈与数据需求。

  2. Mistral AI13

    Mistral AI 微调黑客松

    Mistral AI 宣布举办微调黑客松活动,参赛者可使用其新推出的微调 API 进行项目开发。活动时间为 2024 年 6 月 5 日至 30 日,优胜者将获得 2,500 欧元 Mistral API 积分。参与者需通过 La Platforme 注册并添加支付信息以访问 API,部分入选者可获得 100 美元免费积分。

6月4日周二
5月30日周四
5月29日周三
  1. OpenAI News25

    自动化客服智能体

    MavenAGI 推出基于 GPT-4 构建的 AI 客服智能体,旨在自动化客户服务流程。该智能体已获 Tripadvisor、Clickup 和 Rho 等公司采用,帮助其节省时间并提升客户服务体验。

  2. Mistral AI83

    Mistral 发布首个代码模型 Codestral

    Mistral 发布首个代码模型 Codestral,这是一个 22B 参数的开源权重生成式 AI 模型,支持 80 多种编程语言和 32k 上下文窗口。该模型提供 HuggingFace 下载及专用 API 端点 codestral.mistral.ai,并已在 LlamaIndex、LangChain 及 VSCode 等开发工具中完成集成。

    推荐理由:Mistral 发布首个代码模型 Codestral,提供 22B 开源权重与专用 API 端点,支持 80 多种编程语言及 32k 上下文。

5月28日周二
5月24日周五
  1. Hugging Face Blog67

    TII 发布 Falcon 2 11B 语言模型与多模态模型

    TII 发布 Falcon 2 系列模型,包含 11B 参数语言模型与视觉语言模型(VLM),均在 5000B tokens 数据上训练。11B LLM 在多项基准上超越 Llama3-8B 和 Mistral-7B,支持 11 种语言;11B VLM 集成 CLIP 视觉编码器,在 MME 等基准上表现优异。模型采用 Apache 2.0 衍生许可开源。

    推荐理由:Falcon 2 提供 11B 参数语言模型与视觉语言模型,兼顾多语言与代码能力,为端侧部署提供高性价比选择。

5月22日周三
5月21日周二
  1. OpenAI News13

    OpenAI 的安全实践

    OpenAI 发布其安全实践文档,强调在开发人工智能时必须负责任地进行部署。文章指出,通用人工智能有潜力惠及生活的方方面面,因此必须确保其发展过程的安全性与责任感。

  2. Hugging Face Blog36

    Dell Enterprise Hub 发布,在 Hugging Face 上轻松在本地训练和部署开源模型

    Dell Enterprise Hub 在 Hugging Face 上线,提供预优化容器,让用户能在 Dell 平台上轻松在本地训练和部署开源大语言模型。该工具内置 Llama 3、Mixtral 和 Gemma 等模型,支持通过脚本一键部署为 API 端点,并允许使用 CSV 或 JSONL 格式数据在本地安全环境中进行微调。

5月20日周一
5月16日周四
  1. Hugging Face Blog70

    Hugging Face Transformers 支持 KV Cache 量化以优化长文本生成

    Hugging Face 在 Transformers 库中集成 KV Cache 量化功能,支持 int2 至 int4 精度,可显著降低长上下文生成的显存占用。实验显示 int4 精度在保持模型质量的同时,相比 fp16 可实现约 2.5 倍的显存节省,在 80GB A100 上支持最高 128k tokens 上下文。

    推荐理由:官方在 Transformers 中集成 KV Cache 量化功能,提供 int2 至 int4 精度选项,显著降低长文本生成的显存占用。