OpenAI 发布教师使用 ChatGPT 指南
OpenAI 发布教师使用 ChatGPT 指南,涵盖建议提示词、模型工作原理及局限性、AI 检测器功效与偏见。
OpenAI 发布教师使用 ChatGPT 指南,涵盖建议提示词、模型工作原理及局限性、AI 检测器功效与偏见。
Hugging Face 发布教程,展示如何通过 Flash Attention、半精度、Torch Compile 和高效调度器优化 AudioLDM 2,将 10 秒音频生成时间从 30 秒降至 1 秒。
推荐理由:原文提供了基于 Diffusers 的具体优化代码,可将 AudioLDM 2 推理速度提升十倍,读者可直接复现。
OpenAI 推出 ChatGPT Enterprise,提供企业级安全与隐私保护。这是目前最强大的 ChatGPT 版本。
Meta 发布 Code Llama 系列模型,包含 7B、13B 和 34B 参数版本,基于 Llama 2 在 5000 亿代码 Token 上训练。模型支持代码补全、上下文填充及指令微调,上下文窗口可扩展至 10 万 Token。Hugging Face 提供 Transformers 集成、4-bit 量化加载及生产级推理部署方案。
推荐理由:Meta 发布 Code Llama 系列模型,提供代码补全、生成与指令微调能力,并给出详细的部署与量化指南。
OpenAI 与 Scale 达成合作,利用 Scale 的 AI 专业知识为企业客户提供支持,帮助其定制 OpenAI 最先进的模型。该合作旨在通过引入外部专家能力,增强企业在模型微调方面的技术实力,以满足特定的业务需求。
Hugging Face 在 Transformers 中原生集成 AutoGPTQ 库,支持使用 GPTQ 算法将大语言模型量化至 8、4、3 或 2-bit 精度。该集成兼容 Nvidia 和 AMD 显卡,4-bit 量化下精度损失极小,推理速度接近 fp16 基线,并支持通过 PEFT 对量化模型进行微调。
推荐理由:原生集成让量化部署更便捷,显著降低显存占用且保持推理速度。
OpenAI 宣布 GPT-3.5 Turbo 支持微调,开发者现在可以使用自有数据对模型进行定制,以适配其特定的使用场景。
推荐理由:GPT-3.5 Turbo 开放微调能力,开发者可利用自有数据定制模型以适配特定业务场景。
Hugging Face 发布 SafeCoder,一款面向企业的全栈代码助手解决方案,支持在客户自有基础设施上自托管部署。该方案基于 StarCoder 模型,提供从数据准备、微调训练到硬件加速推理的完整容器化流程,确保代码数据不出 VPC,并支持 VMware 等主流云及本地环境。
推荐理由:提供企业级私有化代码助手方案,通过自托管和合规训练解决代码安全与隐私顾虑。
Hugging Face 发布开源多模态模型 IDEFICS,复现 DeepMind 未公开的 Flamingo 架构,支持任意图文序列输入并生成文本。模型提供 9B 和 80B 两种参数规模,以及针对对话场景微调的指令版本,基于 LLaMA v1 和 OpenCLIP 构建,使用公开数据及自研 OBELICS 数据集训练。
推荐理由:开源复现 DeepMind Flamingo 架构,提供 9B 和 80B 两种参数规模及指令微调版,支持图文序列输入。
OpenAI 收购了 Global Illumination 团队。该公司全体成员已加入 OpenAI。
OpenAI 使用 GPT-4 进行内容政策制定和内容审核决策。该做法实现了更一致的标签标注,为政策优化提供了更快的反馈循环,并减少了对人工审核员的依赖。
Hugging Face Hub 正式登陆 AWS Marketplace,用户现可通过 AWS 账户直接订阅并支付 Hugging Face 服务费用。该集成计费方式涵盖 Inference Endpoints、Spaces Hardware Upgrades 和 AutoTrain 等托管服务,支持组织内成员统一管理账单。
本文演示了如何利用Hugging Face生态中的BetterTransformer、半精度和CPU卸载技术优化Bark语音生成模型。结合这三种优化手段,Bark-large的显存占用可从5GB降至2GB,推理速度提升约23%。
推荐理由:原文给出了结合BetterTransformer、半精度和CPU卸载的具体代码,读者可直接复用以显著降低Bark模型的显存占用并提升推理速度。
BentoML 通过定义 Service、构建 Bento 并部署至 Kubernetes 或 Yatai,实现 DeepFloyd IF 的高效生产级部署。DeepFloyd IF 采用三级级联像素扩散架构,利用 T5-XXL-1.1 编码提示词以增强复杂指令理解。该方案支持对 Stage 1 至 Stage 3 的 Runners 独立扩展资源,满足高并发推理需求。
Hugging Face发布TRL库中的DPO训练器,通过直接偏好优化算法简化大语言模型对齐流程。文章展示了结合QLoRA技术,使用stack-exchange偏好数据集对Llama 2 7B模型进行监督微调与DPO对齐的完整代码实现。
推荐理由:文章提供了TRL库中DPO训练器的代码实现与参数配置,可直接复现基于偏好数据的模型对齐流程。
Hugging Face 发布 Swift Transformers 工具链,包含 swift-transformers 库、swift-chat 演示应用及 Core ML 转换工具,支持在 Apple 设备上本地运行 Llama 2 等大语言模型。
推荐理由:Hugging Face 发布 Swift Transformers 工具链,提供从模型转换到本地推理的完整方案,降低端侧部署门槛。
Hugging Face 发布教程,指导用户通过 Inference Endpoints 的自定义 Handler 功能快速部署 MusicGen 模型。
Hugging Face 推出 Huggy Lingo 项目,利用机器学习自动检测 Hub 上未标注语言元数据的公开数据集。该项目通过 dataset viewer API 获取文本样本,使用 Meta 的 fastText 模型识别 217 种语言,并借助 librarian-bots 提交 Pull Request 以补充元数据。
Zama 提出利用全同态加密(FHE)技术,在保护用户查询隐私的同时维护模型知识产权。通过 Hugging Face transformers 库与 Concrete-Python,将 GPT2 的注意力机制适配至 TFHE 架构,实现加密数据上的模型推理。实验显示,采用 4-bit 量化后,模型在加密状态下仍能保持原始精度的 96%。
本文介绍利用生成式AI结合Blender和Unity构建PS1风格3D资产的分步工作流。首先使用OpenAI的Shap-E模型通过文本生成3D模型,随后在Blender中通过Decimate降低多边形数量,利用Dream Textures插件生成无缝纹理,完成UV映射后导出至Unity,最终实现低精度复古风格的3D资产应用。
Segmind 开源了 SD-Small 和 SD-Tiny 两个压缩 Stable Diffusion 模型的权重及训练代码。这两个模型基于 Realistic-Vision 4.0 采用知识蒸馏技术训练,参数量分别减少 35% 和 55%,推理速度最高提升 100%。
Hugging Face 与 Apple 联合发布 Stable Diffusion XL 的 Core ML 版本,支持在 Mac 端侧运行。引入混合位调色板量化技术,将模型体积从 4.8 GB 压缩至 1.4 GB,同时保持较高生成质量。
推荐理由:提供了混合位调色板量化技术,在显著压缩模型体积的同时保持生成质量,支持在 Mac 端侧高效运行。
OpenAI 成立前沿模型论坛(Frontier Model Forum),旨在推动前沿 AI 系统的安全与负责任发展。该行业组织将致力于推进 AI 安全研究,制定最佳实践与标准,并促进政策制定者与行业间的信息共享。
Hugging Face 联合 Creative Commons、Eleuther AI、GitHub、LAION 和 Open Future 发布联合立场文件,旨在推动欧盟 AI 法案更好地适应开放、模块化和协作式机器学习开发的需求。
Hugging Face 发布 Agents.js,这是一个面向 JavaScript 的库,用于在浏览器或服务器端为 LLM 提供工具访问能力。该库内置多模态工具,支持自定义 LLM 和工具,并允许传入文件作为输入。
推荐理由:Hugging Face 发布面向 JavaScript 的 Agent 库,提供开箱即用的多模态工具与自定义扩展能力。
OpenAI 与其他领先实验室通过自愿承诺,共同推进人工智能的安全、信任与治理。这些机构致力于强化 AI 的安全性与可靠性,以应对技术发展带来的挑战。此举旨在通过行业自律提升 AI 系统的整体可信度。
Hugging Face 首届开源 AI 游戏开发黑客松从 88 份作品中评选出优胜作品。ohmlet 开发的《Snip It》凭借使用 Stable Diffusion 生成资产获得冠军。该活动展示了 Stable Diffusion、MusicGen 等开源工具在游戏开发中的创新应用。
OpenAI 为 ChatGPT 推出自定义指令功能,允许用户设置偏好,系统将在所有未来对话中自动记住并应用这些设置。
推荐理由:该功能允许用户预设偏好并自动应用于所有对话,有助于减少重复设置并提升交互一致性。
🤗 Diffusers 库迎来发布一周年,回顾其在社区支持下拓展的多项核心功能。新增 DeepFloyd IF 和 SDXL 等高分辨率图像生成支持,并引入 VideoFusion 和 Shap-E 实现文本到视频及 3D 模型生成。同时集成 Consistency Models 加速推理,提供 PyTorch 2.0 优化及安全检测组件。
OpenAI 与美国新闻项目建立了一项价值 500 多万美元的合作,旨在探索人工智能发展如何支持繁荣创新的本地新闻领域。该合作确保本地新闻机构能够塑造这一新兴技术的未来。
Meta发布Llama 2开源大模型家族,包含7B、13B和70B参数量的预训练及对话微调模型,采用宽松许可允许商用。Hugging Face提供完整集成支持,包括Transformers推理、Inference Endpoints部署及基于PEFT的单卡微调方案。
推荐理由:Meta发布Llama 2并提供Hugging Face集成与微调指南,为开源替代闭源模型提供了具体路径。
Hugging Face 发布 AI WebTV 实验性演示,展示了如何结合 Zeroscope 视频生成模型与 MusicGen 音乐模型构建自动化视频直播流。
推荐理由:文章详细拆解了利用Zeroscope和MusicGen构建自动化视频直播的技术架构与代码实现,提供了可复用的工程实践。
Hugging Face 发布文章梳理开源文本生成与大语言模型生态。Llama 2 在多项基准测试中超越其他开源模型,BLOOM 参数量超 GPT-3,StarCoder 专注代码补全。开源模型助力企业保护数据、降低成本并适配特定领域。
Hugging Face 展示了如何在 Intel Sapphire Rapids CPU 集群上微调 Stable Diffusion 模型。通过利用 AMX 硬件加速、oneCCL 和 Intel Extension for PyTorch (IPEX),结合 textual inversion 技术,仅需少量示例图片即可完成训练。
Viable 利用 GPT-4 以革命性规模分析定性数据,实现无与伦比的准确性。
Hugging Face 发布教程,展示如何使用 Transformers.js 和 MobileViT 模型在浏览器中构建实时绘图识别游戏 Doodle Dash。文章涵盖模型微调、ONNX 转换、Web Worker 推理及游戏逻辑实现,并提供了完整源码。
推荐理由:原文提供了在浏览器端部署MobileViT模型并构建实时绘图识别游戏的完整代码与流程。
Hugging Face Inference Endpoints 提供托管 SaaS 服务,支持一键部署开源 LLM 并自动处理基础设施与扩缩容。该服务支持 Falcon 40B 等模型,推荐配置 1x Nvidia A100 GPU 以获得最佳性能,并具备 Scale-to-zero 降低成本及 VPC 私有连接等企业级安全特性。
本文介绍利用 Node.js 和 Hugging Face Inference Endpoints API 构建 Web 应用生成器的教程。以 WizardCoder-15B 模型为例,通过流式传输 HTML 内容实现文本到网页的生成。文章详细讲解了项目初始化、API 配置、提示词优化及防止模型幻觉的方法。
Writer 联合创始人兼 CTO Waseem Alshikh 分享了公司从 Hugging Face 用户转变为开源模型贡献者的历程。Writer 探讨了生成式 AI 的常见误解,并介绍了 Hugging Face Expert Acceleration Program 对其业务的价值。此外,文章还讨论了在 CPU 和 GPU 上大规模服务 LLM 的生产方法以及效率的重要性。
OpenAI 分享了从 22 个国家进行的对话中获得的洞察,并阐述了未来将如何整合这些见解。