Hugging Face 发布 WebSight 数据集与 Sightseer 模型
Hugging Face 发布 WebSight-v0.2 数据集,包含 200 万对真实截图与 HTML 代码,并开源了基于该数据集微调的 Sightseer 模型,可将网页截图转换为包含图片引用的功能 HTML 代码。
推荐理由:Hugging Face 开源了包含 200 万对截图与 HTML 代码的 WebSight 数据集及微调模型,为视觉语言模型生成前端代码提供了高质量数据基础。
AI 写代码的一切:编码助手、Vibe Coding、代码模型评测与开发工作流变革。
Hugging Face 发布 WebSight-v0.2 数据集,包含 200 万对真实截图与 HTML 代码,并开源了基于该数据集微调的 Sightseer 模型,可将网页截图转换为包含图片引用的功能 HTML 代码。
推荐理由:Hugging Face 开源了包含 200 万对截图与 HTML 代码的 WebSight 数据集及微调模型,为视觉语言模型生成前端代码提供了高质量数据基础。
BigCode 发布 StarCoder2 系列开源代码大模型,包含 3B、7B 和 15B 三种参数规模。旗舰版 StarCoder2-15B 基于 4 万亿 tokens 的 The Stack v2 数据集训练,在多项评测中表现匹敌 33B 级别模型。同时开源了 The Stack v2 数据集及全部训练代码。
推荐理由:StarCoder2 提供 3B 至 15B 三种尺寸,15B 模型在多项评测中匹敌 33B 级别模型,为开发者提供了高效的开源代码生成选择。
Hugging Face 发布 Google Gemma 开源大模型集成指南,提供 2B 和 7B 参数版本。支持 Transformers 和 JAX 权重,兼容 Google Cloud 和 Inference Endpoints 部署,并给出单卡微调示例。
推荐理由:Hugging Face 提供了 Gemma 的完整集成与部署指南,帮助开发者快速上手这款开源模型。
🤗 PEFT 新增多种 LoRA 适配器合并方法,包括 cat、linear、svd、TIES 和 DARE 等算法。开发者可使用 add_weighted_adapter() 在推理时动态合并适配器,实现能力组合与优化。
推荐理由:提供了多种 LoRA 合并算法与代码示例,帮助开发者在有限资源下组合模型能力。
Hugging Face 上线了 TII 发布的 180B 参数开源大语言模型 Falcon 180B,该模型在 3.5 万亿 token 上预训练,性能对标 PaLM-2 Large。文章提供了 Transformers 集成代码、量化部署方案及硬件需求参考。
推荐理由:Hugging Face 上线了 180B 参数开源模型,提供了量化部署指南与硬件需求,方便开发者评估与接入。
OpenAI 宣布 GPT-3.5 Turbo 支持微调,开发者现在可以使用自有数据对模型进行定制,以适配其特定的使用场景。
推荐理由:GPT-3.5 Turbo 开放微调能力,开发者可利用自有数据定制模型以适配特定业务场景。
OpenAI 宣布 API 更新,包括更可控的模型、函数调用功能、更长的上下文窗口以及更低的价格。
推荐理由:官方宣布API更新,涵盖函数调用、更长上下文及降价,开发者可据此评估功能升级与成本优化。
Hugging Face 发布基于 StarCoder 微调的编程助手 StarChat Alpha,采用 ChatML 格式与 OpenAssistant 数据集训练,提供代码、数据集及模型下载。
推荐理由:文章展示了基于StarCoder微调出StarChat Alpha的过程,提供了ChatML格式和DeepSpeed训练代码供开发者复用。
Hugging Face 发布 StarCoder 和 StarCoderBase 代码大语言模型,在 HumanEval 等基准上达到开源 SOTA。模型基于 The Stack 数据集训练,提供完整训练数据、PII 移除工具及 BigCode OpenRAIL-M 许可证。
推荐理由:模型在HumanEval等基准上达到开源SOTA,提供完整训练数据与治理工具,适合二次开发。
Hugging Face 发布 StackLLaMA 模型及完整训练管线,详细演示了如何结合 SFT、奖励建模和 PPO 算法,利用 PEFT 技术在单卡或集群上对 LLaMA 进行 RLHF 微调,并分享了训练中的稳定性问题与解决方案。
推荐理由:文章完整展示了基于LLaMA 7B、PEFT和TRL库进行RLHF微调的实操流程,包含代码与踩坑经验。
Hugging Face Transformers 库新增受限束搜索(Constrained Beam Search)功能,允许在文本生成过程中强制包含特定词汇或短语。该功能支持强制词、析取约束及自定义约束对象,通过 Bank 轮询机制平衡约束满足与输出合理性。
推荐理由:原文介绍了如何在生成阶段强制包含特定词汇或短语,为需要精确控制输出的场景提供了可迁移的方法。
OpenAI 发布 WebGPT,通过微调 GPT-3 并结合文本浏览器,探索了提升大语言模型回答开放性问题事实准确性的方法。
推荐理由:通过微调GPT-3结合文本浏览器,探索了提升大模型事实准确性的方法。
OpenAI 发布拥有 7.74 亿参数的 GPT-2 语言模型,此前已发布 1.24 亿和 3.55 亿参数版本。同时发布开源法律协议以促进组织间模型共享,并公布关于协调发布规范的技术报告。
推荐理由:GPT-2 7.74亿参数版本发布,并配套开源法律协议与技术报告,展示了模型迭代与社区协作规范。
OpenAI发布论文介绍大规模无监督语言模型,该模型无需任务特定训练即可在多项语言建模基准上取得SOTA,并具备基础阅读理解、机器翻译、问答和摘要能力。
推荐理由:展示了无监督预训练模型在多项NLP任务上的通用能力,为后续大语言模型发展提供了关键范式参考。
OpenAI 发布研究,提出结合 Transformer 与无监督预训练的方法,在多项语言任务中取得当时最优结果。
推荐理由:提出结合Transformer与无监督预训练的方法,在多项语言任务中取得当时最优结果。