Hugging Face 发布企业级代码助手 SafeCoder
Hugging Face 发布 SafeCoder,一款面向企业的全栈代码助手解决方案,支持在客户自有基础设施上自托管部署。该方案基于 StarCoder 模型,提供从数据准备、微调训练到硬件加速推理的完整容器化流程,确保代码数据不出 VPC,并支持 VMware 等主流云及本地环境。
推荐理由:提供企业级私有化代码助手方案,通过自托管和合规训练解决代码安全与隐私顾虑。
AI 写代码的一切:编码助手、Vibe Coding、代码模型评测与开发工作流变革。
Hugging Face 发布 SafeCoder,一款面向企业的全栈代码助手解决方案,支持在客户自有基础设施上自托管部署。该方案基于 StarCoder 模型,提供从数据准备、微调训练到硬件加速推理的完整容器化流程,确保代码数据不出 VPC,并支持 VMware 等主流云及本地环境。
推荐理由:提供企业级私有化代码助手方案,通过自托管和合规训练解决代码安全与隐私顾虑。
OpenAI 宣布 API 更新,包括更可控的模型、函数调用功能、更长的上下文窗口以及更低的价格。
推荐理由:官方宣布API更新,涵盖函数调用、更长上下文及降价,开发者可据此评估功能升级与成本优化。
Hugging Face 发布基于 StarCoder 微调的编程助手 StarChat Alpha,采用 ChatML 格式与 OpenAssistant 数据集训练,提供代码、数据集及模型下载。
推荐理由:文章展示了基于StarCoder微调出StarChat Alpha的过程,提供了ChatML格式和DeepSpeed训练代码供开发者复用。
Hugging Face 发布 StarCoder 和 StarCoderBase 代码大语言模型,在 HumanEval 等基准上达到开源 SOTA。模型基于 The Stack 数据集训练,提供完整训练数据、PII 移除工具及 BigCode OpenRAIL-M 许可证。
推荐理由:模型在HumanEval等基准上达到开源SOTA,提供完整训练数据与治理工具,适合二次开发。
Hugging Face 发布 StackLLaMA 模型及完整训练管线,详细演示了如何结合 SFT、奖励建模和 PPO 算法,利用 PEFT 技术在单卡或集群上对 LLaMA 进行 RLHF 微调,并分享了训练中的稳定性问题与解决方案。
推荐理由:文章完整展示了基于LLaMA 7B、PEFT和TRL库进行RLHF微调的实操流程,包含代码与踩坑经验。
Hugging Face Transformers 库新增受限束搜索(Constrained Beam Search)功能,允许在文本生成过程中强制包含特定词汇或短语。该功能支持强制词、析取约束及自定义约束对象,通过 Bank 轮询机制平衡约束满足与输出合理性。
推荐理由:原文介绍了如何在生成阶段强制包含特定词汇或短语,为需要精确控制输出的场景提供了可迁移的方法。
OpenAI 发布 WebGPT,通过微调 GPT-3 并结合文本浏览器,探索了提升大语言模型回答开放性问题事实准确性的方法。
推荐理由:通过微调GPT-3结合文本浏览器,探索了提升大模型事实准确性的方法。
OpenAI 发布了改进版 Codex,这是一款能将自然语言转换为代码的 AI 系统,并通过 API 以私有测试形式开放。
推荐理由:OpenAI 通过 API 以私有测试形式发布了改进版 Codex,为开发者提供了将自然语言转换为代码的新途径。
OpenAI 发布拥有 7.74 亿参数的 GPT-2 语言模型,此前已发布 1.24 亿和 3.55 亿参数版本。同时发布开源法律协议以促进组织间模型共享,并公布关于协调发布规范的技术报告。
推荐理由:GPT-2 7.74亿参数版本发布,并配套开源法律协议与技术报告,展示了模型迭代与社区协作规范。
OpenAI发布论文介绍大规模无监督语言模型,该模型无需任务特定训练即可在多项语言建模基准上取得SOTA,并具备基础阅读理解、机器翻译、问答和摘要能力。
推荐理由:展示了无监督预训练模型在多项NLP任务上的通用能力,为后续大语言模型发展提供了关键范式参考。
OpenAI 发布研究,提出结合 Transformer 与无监督预训练的方法,在多项语言任务中取得当时最优结果。
推荐理由:提出结合Transformer与无监督预训练的方法,在多项语言任务中取得当时最优结果。