GPT-3.5 Turbo 开放微调及 API 更新
OpenAI 宣布 GPT-3.5 Turbo 支持微调,开发者现在可以使用自有数据对模型进行定制,以适配其特定的使用场景。
推荐理由:GPT-3.5 Turbo 开放微调能力,开发者可利用自有数据定制模型以适配特定业务场景。
OpenAI 宣布 GPT-3.5 Turbo 支持微调,开发者现在可以使用自有数据对模型进行定制,以适配其特定的使用场景。
推荐理由:GPT-3.5 Turbo 开放微调能力,开发者可利用自有数据定制模型以适配特定业务场景。
OpenAI 收购了 Global Illumination 团队。该公司全体成员已加入 OpenAI。
OpenAI 使用 GPT-4 进行内容政策制定和内容审核决策。该做法实现了更一致的标签标注,为政策优化提供了更快的反馈循环,并减少了对人工审核员的依赖。
Hugging Face Hub 正式登陆 AWS Marketplace,用户现可通过 AWS 账户直接订阅并支付 Hugging Face 服务费用。该集成计费方式涵盖 Inference Endpoints、Spaces Hardware Upgrades 和 AutoTrain 等托管服务,支持组织内成员统一管理账单。
本文演示了如何利用Hugging Face生态中的BetterTransformer、半精度和CPU卸载技术优化Bark语音生成模型。结合这三种优化手段,Bark-large的显存占用可从5GB降至2GB,推理速度提升约23%。
推荐理由:原文给出了结合BetterTransformer、半精度和CPU卸载的具体代码,读者可直接复用以显著降低Bark模型的显存占用并提升推理速度。
BentoML 通过定义 Service、构建 Bento 并部署至 Kubernetes 或 Yatai,实现 DeepFloyd IF 的高效生产级部署。DeepFloyd IF 采用三级级联像素扩散架构,利用 T5-XXL-1.1 编码提示词以增强复杂指令理解。该方案支持对 Stage 1 至 Stage 3 的 Runners 独立扩展资源,满足高并发推理需求。
Hugging Face发布TRL库中的DPO训练器,通过直接偏好优化算法简化大语言模型对齐流程。文章展示了结合QLoRA技术,使用stack-exchange偏好数据集对Llama 2 7B模型进行监督微调与DPO对齐的完整代码实现。
推荐理由:文章提供了TRL库中DPO训练器的代码实现与参数配置,可直接复现基于偏好数据的模型对齐流程。
Hugging Face 发布 Swift Transformers 工具链,包含 swift-transformers 库、swift-chat 演示应用及 Core ML 转换工具,支持在 Apple 设备上本地运行 Llama 2 等大语言模型。
推荐理由:Hugging Face 发布 Swift Transformers 工具链,提供从模型转换到本地推理的完整方案,降低端侧部署门槛。
Zama 提出利用全同态加密(FHE)技术,在保护用户查询隐私的同时维护模型知识产权。通过 Hugging Face transformers 库与 Concrete-Python,将 GPT2 的注意力机制适配至 TFHE 架构,实现加密数据上的模型推理。实验显示,采用 4-bit 量化后,模型在加密状态下仍能保持原始精度的 96%。
本文介绍利用生成式AI结合Blender和Unity构建PS1风格3D资产的分步工作流。首先使用OpenAI的Shap-E模型通过文本生成3D模型,随后在Blender中通过Decimate降低多边形数量,利用Dream Textures插件生成无缝纹理,完成UV映射后导出至Unity,最终实现低精度复古风格的3D资产应用。
Segmind 开源了 SD-Small 和 SD-Tiny 两个压缩 Stable Diffusion 模型的权重及训练代码。这两个模型基于 Realistic-Vision 4.0 采用知识蒸馏技术训练,参数量分别减少 35% 和 55%,推理速度最高提升 100%。
Hugging Face 与 Apple 联合发布 Stable Diffusion XL 的 Core ML 版本,支持在 Mac 端侧运行。引入混合位调色板量化技术,将模型体积从 4.8 GB 压缩至 1.4 GB,同时保持较高生成质量。
推荐理由:提供了混合位调色板量化技术,在显著压缩模型体积的同时保持生成质量,支持在 Mac 端侧高效运行。
OpenAI 成立前沿模型论坛(Frontier Model Forum),旨在推动前沿 AI 系统的安全与负责任发展。该行业组织将致力于推进 AI 安全研究,制定最佳实践与标准,并促进政策制定者与行业间的信息共享。
Hugging Face 联合 Creative Commons、Eleuther AI、GitHub、LAION 和 Open Future 发布联合立场文件,旨在推动欧盟 AI 法案更好地适应开放、模块化和协作式机器学习开发的需求。
Hugging Face 发布 Agents.js,这是一个面向 JavaScript 的库,用于在浏览器或服务器端为 LLM 提供工具访问能力。该库内置多模态工具,支持自定义 LLM 和工具,并允许传入文件作为输入。
推荐理由:Hugging Face 发布面向 JavaScript 的 Agent 库,提供开箱即用的多模态工具与自定义扩展能力。
OpenAI 与其他领先实验室通过自愿承诺,共同推进人工智能的安全、信任与治理。这些机构致力于强化 AI 的安全性与可靠性,以应对技术发展带来的挑战。此举旨在通过行业自律提升 AI 系统的整体可信度。
Hugging Face 首届开源 AI 游戏开发黑客松从 88 份作品中评选出优胜作品。ohmlet 开发的《Snip It》凭借使用 Stable Diffusion 生成资产获得冠军。该活动展示了 Stable Diffusion、MusicGen 等开源工具在游戏开发中的创新应用。
OpenAI 为 ChatGPT 推出自定义指令功能,允许用户设置偏好,系统将在所有未来对话中自动记住并应用这些设置。
推荐理由:该功能允许用户预设偏好并自动应用于所有对话,有助于减少重复设置并提升交互一致性。
🤗 Diffusers 库迎来发布一周年,回顾其在社区支持下拓展的多项核心功能。新增 DeepFloyd IF 和 SDXL 等高分辨率图像生成支持,并引入 VideoFusion 和 Shap-E 实现文本到视频及 3D 模型生成。同时集成 Consistency Models 加速推理,提供 PyTorch 2.0 优化及安全检测组件。
OpenAI 与美国新闻项目建立了一项价值 500 多万美元的合作,旨在探索人工智能发展如何支持繁荣创新的本地新闻领域。该合作确保本地新闻机构能够塑造这一新兴技术的未来。
Meta发布Llama 2开源大模型家族,包含7B、13B和70B参数量的预训练及对话微调模型,采用宽松许可允许商用。Hugging Face提供完整集成支持,包括Transformers推理、Inference Endpoints部署及基于PEFT的单卡微调方案。
推荐理由:Meta发布Llama 2并提供Hugging Face集成与微调指南,为开源替代闭源模型提供了具体路径。
Hugging Face 发布 AI WebTV 实验性演示,展示了如何结合 Zeroscope 视频生成模型与 MusicGen 音乐模型构建自动化视频直播流。
推荐理由:文章详细拆解了利用Zeroscope和MusicGen构建自动化视频直播的技术架构与代码实现,提供了可复用的工程实践。
Hugging Face 发布文章梳理开源文本生成与大语言模型生态。Llama 2 在多项基准测试中超越其他开源模型,BLOOM 参数量超 GPT-3,StarCoder 专注代码补全。开源模型助力企业保护数据、降低成本并适配特定领域。
Hugging Face 展示了如何在 Intel Sapphire Rapids CPU 集群上微调 Stable Diffusion 模型。通过利用 AMX 硬件加速、oneCCL 和 Intel Extension for PyTorch (IPEX),结合 textual inversion 技术,仅需少量示例图片即可完成训练。
Viable 利用 GPT-4 以革命性规模分析定性数据,实现无与伦比的准确性。
本文介绍利用 Node.js 和 Hugging Face Inference Endpoints API 构建 Web 应用生成器的教程。以 WizardCoder-15B 模型为例,通过流式传输 HTML 内容实现文本到网页的生成。文章详细讲解了项目初始化、API 配置、提示词优化及防止模型幻觉的方法。
Writer 联合创始人兼 CTO Waseem Alshikh 分享了公司从 Hugging Face 用户转变为开源模型贡献者的历程。Writer 探讨了生成式 AI 的常见误解,并介绍了 Hugging Face Expert Acceleration Program 对其业务的价值。此外,文章还讨论了在 CPU 和 GPU 上大规模服务 LLM 的生产方法以及效率的重要性。
OpenAI 分享了从 22 个国家进行的对话中获得的洞察,并阐述了未来将如何整合这些见解。
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 模型,相比 Nvidia A10 A100 实现 2.5 倍加速,相比 H100 实现 1.4 倍加速。该性能提升依赖于硬件加速的数据加载技术,通过增加 dataloader_num_workers 有效缓解了图像解码与增强带来的 CPU 瓶颈。
Hugging Face 向美国商务部 NTIA 提交关于人工智能问责政策的回复,强调文档与透明度规范在推动问责中的核心作用。Hugging Face 建议问责机制应覆盖机器学习开发全流程,结合内部规范与外部透明访问,并邀请开发者、研究人员及政策制定者等广泛利益相关方参与。
Autoformer 模型现已在 🤗 Transformers 库中提供。该模型通过分解层和自相关机制,在 Traffic、Exchange-Rate 和 Electricity 数据集上的 MASE 指标均优于 DLinear 模型。
Livebook 笔记本现可直接部署为 Hugging Face Spaces 应用。该集成支持通过 Whisper 模型构建多人语音聊天应用,并实现并发模型服务。用户可借助 Bumblebee 和 tokenizers 等库,在 Spaces 中免费运行交互式代码笔记本。
Hugging Face 发布新版内容政策,旨在维护开放、协作且负责任的机器学习社区环境。新规强调“同意”为核心价值,规范用户身份与隐私保护,并禁止针对用户及员工的攻击性语言。平台鼓励通过社区标签页进行透明讨论与协作,以解决潜在冲突。
OpenAI 宣布 API 更新,包括更可控的模型、函数调用功能、更长的上下文窗口以及更低的价格。
推荐理由:官方宣布API更新,涵盖函数调用、更长上下文及降价,开发者可据此评估功能升级与成本优化。
Hugging Face 发布研究,对比人类标注与 GPT-4 对开源模型(Vicuna、Koala 等)的偏好评估,发现 GPT-4 存在显著的位置偏差和长度偏好,且与人类标注的相关性在编码任务中较低。
推荐理由:通过对比人类标注与GPT-4评估结果,揭示了LLM评估中的位置偏差与长度偏好问题。
Hugging Face Hub 面向画廊、图书馆、档案馆和博物馆(GLAM)领域发布应用指南,介绍如何利用该平台共享和访问机器学习模型、数据集及演示应用。平台目前托管超过 19 万个模型、3.3 万个数据集和 10 万个应用,支持通过 API 部署或集成 Transformers 库使用。文章详细演示了如何筛选特定任务与语言的模型,以及如何上传 CSV 格式的数据集。
Hugging Face Hub 新增功能,允许用户通过 DuckDB 对平台上存储的 50,000 多个数据集运行 SQL 查询。Dataset Viewer 会自动将公开数据集转换为 Parquet 文件,用户可通过 HTTP 调用获取文件 URL,并利用 DuckDB 的 httpfs 扩展直接对远程文件执行分析查询。
Hugging Face Hub 上线 Meta AI fastText 官方镜像,托管 157 种语言词向量及语言识别模型。用户可通过 huggingface_hub 库轻松下载模型,并利用内置的文本分类和特征提取小部件进行交互。
阿布扎比技术创新研究所(TII)发布 Falcon-7B 和 Falcon-40B 开源大语言模型,采用 Apache 2.0 协议。Falcon-40B 在 Open LLM Leaderboard 上排名第一,以 2800 PF-days 算力超越 LLaMA-65B。
推荐理由:Falcon 40B 以较低算力成本在基准测试中超越 LLaMA-65B,展示了多查询注意力与 RefinedWeb 数据的高效性。
Hugging Face 发布 Unity API 语音识别教程,指导开发者在 Unity 游戏中实现语音转文本功能。教程详细演示了如何设置 UI 组件、编写 C# 脚本调用麦克风录制音频,并将 WAV 格式数据通过 API 处理。该功能可用于 NPC 交互、游戏指令控制及无障碍辅助。