跳到正文

全部动态

今日 6 条
8月31日周四
8月30日周三
8月28日周一
8月25日周五
  1. Hugging Face Blog86

    Meta 发布 Code Llama 代码大模型系列

    Meta 发布 Code Llama 系列模型,包含 7B、13B 和 34B 参数版本,基于 Llama 2 在 5000 亿代码 Token 上训练。模型支持代码补全、上下文填充及指令微调,上下文窗口可扩展至 10 万 Token。Hugging Face 提供 Transformers 集成、4-bit 量化加载及生产级推理部署方案。

    推荐理由:Meta 发布 Code Llama 系列模型,提供代码补全、生成与指令微调能力,并给出详细的部署与量化指南。

8月24日周四
8月23日周三
  1. Hugging Face Blog70

    Transformers 原生集成 AutoGPTQ 支持模型量化

    Hugging Face 在 Transformers 中原生集成 AutoGPTQ 库,支持使用 GPTQ 算法将大语言模型量化至 8、4、3 或 2-bit 精度。该集成兼容 Nvidia 和 AMD 显卡,4-bit 量化下精度损失极小,推理速度接近 fp16 基线,并支持通过 PEFT 对量化模型进行微调。

    推荐理由:原生集成让量化部署更便捷,显著降低显存占用且保持推理速度。

8月22日周二
  1. OpenAI News68

    GPT-3.5 Turbo 开放微调及 API 更新

    OpenAI 宣布 GPT-3.5 Turbo 支持微调,开发者现在可以使用自有数据对模型进行定制,以适配其特定的使用场景。

    推荐理由:GPT-3.5 Turbo 开放微调能力,开发者可利用自有数据定制模型以适配特定业务场景。

  2. Hugging Face Blog65

    Hugging Face 发布企业级代码助手 SafeCoder

    Hugging Face 发布 SafeCoder,一款面向企业的全栈代码助手解决方案,支持在客户自有基础设施上自托管部署。该方案基于 StarCoder 模型,提供从数据准备、微调训练到硬件加速推理的完整容器化流程,确保代码数据不出 VPC,并支持 VMware 等主流云及本地环境。

    推荐理由:提供企业级私有化代码助手方案,通过自托管和合规训练解决代码安全与隐私顾虑。

  3. Hugging Face Blog72

    Hugging Face 开源 IDEFICS 多模态模型,复现 DeepMind Flamingo 能力

    Hugging Face 发布开源多模态模型 IDEFICS,复现 DeepMind 未公开的 Flamingo 架构,支持任意图文序列输入并生成文本。模型提供 9B 和 80B 两种参数规模,以及针对对话场景微调的指令版本,基于 LLaMA v1 和 OpenCLIP 构建,使用公开数据及自研 OBELICS 数据集训练。

    推荐理由:开源复现 DeepMind Flamingo 架构,提供 9B 和 80B 两种参数规模及指令微调版,支持图文序列输入。

8月16日周三
8月15日周二
8月10日周四
8月9日周三
  1. Hugging Face Blog68

    使用Transformers优化Bark语音生成模型

    本文演示了如何利用Hugging Face生态中的BetterTransformer、半精度和CPU卸载技术优化Bark语音生成模型。结合这三种优化手段,Bark-large的显存占用可从5GB降至2GB,推理速度提升约23%。

    推荐理由:原文给出了结合BetterTransformer、半精度和CPU卸载的具体代码,读者可直接复用以显著降低Bark模型的显存占用并提升推理速度。

  2. Hugging Face Blog28

    BentoML 部署 DeepFloyd IF 实战指南

    BentoML 通过定义 Service、构建 Bento 并部署至 Kubernetes 或 Yatai,实现 DeepFloyd IF 的高效生产级部署。DeepFloyd IF 采用三级级联像素扩散架构,利用 T5-XXL-1.1 编码提示词以增强复杂指令理解。该方案支持对 Stage 1 至 Stage 3 的 Runners 独立扩展资源,满足高并发推理需求。

8月8日周二
  1. Hugging Face Blog73

    使用TRL库通过DPO微调Llama 2

    Hugging Face发布TRL库中的DPO训练器,通过直接偏好优化算法简化大语言模型对齐流程。文章展示了结合QLoRA技术,使用stack-exchange偏好数据集对Llama 2 7B模型进行监督微调与DPO对齐的完整代码实现。

    推荐理由:文章提供了TRL库中DPO训练器的代码实现与参数配置,可直接复现基于偏好数据的模型对齐流程。

  2. Hugging Face Blog68

    Hugging Face 发布 Swift Transformers 工具链,支持在 Apple 设备上运行 LLM

    Hugging Face 发布 Swift Transformers 工具链,包含 swift-transformers 库、swift-chat 演示应用及 Core ML 转换工具,支持在 Apple 设备上本地运行 Llama 2 等大语言模型。

    推荐理由:Hugging Face 发布 Swift Transformers 工具链,提供从模型转换到本地推理的完整方案,降低端侧部署门槛。

8月4日周五
8月2日周三
  1. Hugging Face Blog40

    利用全同态加密保护大语言模型隐私

    Zama 提出利用全同态加密(FHE)技术,在保护用户查询隐私的同时维护模型知识产权。通过 Hugging Face transformers 库与 Concrete-Python,将 GPT2 的注意力机制适配至 TFHE 架构,实现加密数据上的模型推理。实验显示,采用 4-bit 量化后,模型在加密状态下仍能保持原始精度的 96%。

8月1日周二
  1. Hugging Face Blog55

    实用3D资产生成:PS1风格工作流分步指南

    本文介绍利用生成式AI结合Blender和Unity构建PS1风格3D资产的分步工作流。首先使用OpenAI的Shap-E模型通过文本生成3D模型,随后在Blender中通过Decimate降低多边形数量,利用Dream Textures插件生成无缝纹理,完成UV映射后导出至Unity,最终实现低精度复古风格的3D资产应用。

7月27日周四
  1. Hugging Face Blog72

    Stable Diffusion XL 支持 Core ML 混合位量化,可在 Mac 端侧运行

    Hugging Face 与 Apple 联合发布 Stable Diffusion XL 的 Core ML 版本,支持在 Mac 端侧运行。引入混合位调色板量化技术,将模型体积从 4.8 GB 压缩至 1.4 GB,同时保持较高生成质量。

    推荐理由:提供了混合位调色板量化技术,在显著压缩模型体积的同时保持生成质量,支持在 Mac 端侧高效运行。

7月26日周三
7月24日周一
  1. Hugging Face Blog68

    Hugging Face 发布 Agents.js 库

    Hugging Face 发布 Agents.js,这是一个面向 JavaScript 的库,用于在浏览器或服务器端为 LLM 提供工具访问能力。该库内置多模态工具,支持自定义 LLM 和工具,并允许传入文件作为输入。

    推荐理由:Hugging Face 发布面向 JavaScript 的 Agent 库,提供开箱即用的多模态工具与自定义扩展能力。

7月21日周五
7月20日周四
  1. OpenAI News66

    ChatGPT 推出自定义指令功能

    OpenAI 为 ChatGPT 推出自定义指令功能,允许用户设置偏好,系统将在所有未来对话中自动记住并应用这些设置。

    推荐理由:该功能允许用户预设偏好并自动应用于所有对话,有助于减少重复设置并提升交互一致性。

  2. Hugging Face Blog35

    🤗 Diffusers 发布一周年回顾

    🤗 Diffusers 库迎来发布一周年,回顾其在社区支持下拓展的多项核心功能。新增 DeepFloyd IF 和 SDXL 等高分辨率图像生成支持,并引入 VideoFusion 和 Shap-E 实现文本到视频及 3D 模型生成。同时集成 Consistency Models 加速推理,提供 PyTorch 2.0 优化及安全检测组件。

7月18日周二
  1. Hugging Face Blog95

    Meta发布Llama 2开源大模型家族

    Meta发布Llama 2开源大模型家族,包含7B、13B和70B参数量的预训练及对话微调模型,采用宽松许可允许商用。Hugging Face提供完整集成支持,包括Transformers推理、Inference Endpoints部署及基于PEFT的单卡微调方案。

    推荐理由:Meta发布Llama 2并提供Hugging Face集成与微调指南,为开源替代闭源模型提供了具体路径。

7月17日周一
7月14日周五
7月7日周五
7月5日周三
  1. Hugging Face Blog75

    使用 Transformers.js 在浏览器中构建 ML 驱动的 Web 游戏

    Hugging Face 发布教程,展示如何使用 Transformers.js 和 MobileViT 模型在浏览器中构建实时绘图识别游戏 Doodle Dash。文章涵盖模型微调、ONNX 转换、Web Worker 推理及游戏逻辑实现,并提供了完整源码。

    推荐理由:原文提供了在浏览器端部署MobileViT模型并构建实时绘图识别游戏的完整代码与流程。

7月4日周二
7月3日周一
7月1日周六
6月29日周四