Hugging Face 上线 Falcon 180B 开源大模型
Hugging Face 上线了 TII 发布的 180B 参数开源大语言模型 Falcon 180B,该模型在 3.5 万亿 token 上预训练,性能对标 PaLM-2 Large。文章提供了 Transformers 集成代码、量化部署方案及硬件需求参考。
推荐理由:Hugging Face 上线了 180B 参数开源模型,提供了量化部署指南与硬件需求,方便开发者评估与接入。
AI 写代码的一切:编码助手、Vibe Coding、代码模型评测与开发工作流变革。
Hugging Face 上线了 TII 发布的 180B 参数开源大语言模型 Falcon 180B,该模型在 3.5 万亿 token 上预训练,性能对标 PaLM-2 Large。文章提供了 Transformers 集成代码、量化部署方案及硬件需求参考。
推荐理由:Hugging Face 上线了 180B 参数开源模型,提供了量化部署指南与硬件需求,方便开发者评估与接入。
Hugging Face 发布基于 StarCoder 微调的编程助手 StarChat Alpha,采用 ChatML 格式与 OpenAssistant 数据集训练,提供代码、数据集及模型下载。
推荐理由:文章展示了基于StarCoder微调出StarChat Alpha的过程,提供了ChatML格式和DeepSpeed训练代码供开发者复用。
Hugging Face 发布 StarCoder 和 StarCoderBase 代码大语言模型,在 HumanEval 等基准上达到开源 SOTA。模型基于 The Stack 数据集训练,提供完整训练数据、PII 移除工具及 BigCode OpenRAIL-M 许可证。
推荐理由:模型在HumanEval等基准上达到开源SOTA,提供完整训练数据与治理工具,适合二次开发。
Hugging Face 发布 StackLLaMA 模型及完整训练管线,详细演示了如何结合 SFT、奖励建模和 PPO 算法,利用 PEFT 技术在单卡或集群上对 LLaMA 进行 RLHF 微调,并分享了训练中的稳定性问题与解决方案。
推荐理由:文章完整展示了基于LLaMA 7B、PEFT和TRL库进行RLHF微调的实操流程,包含代码与踩坑经验。