GPT-4o 开放微调功能
OpenAI 宣布 GPT-4o 现已开放微调功能。
推荐理由:GPT-4o 开放微调功能,开发者可据此优化模型在特定任务上的表现。
AI 写代码的一切:编码助手、Vibe Coding、代码模型评测与开发工作流变革。
OpenAI 宣布 GPT-4o 现已开放微调功能。
推荐理由:GPT-4o 开放微调功能,开发者可据此优化模型在特定任务上的表现。
Mistral 宣布在 La Plateforme 开放 Mistral Large 2 和 Codestral 等旗舰模型的自定义微调,并推出包裹模型与指令的 Agents 功能以支持复杂工作流。同时发布 mistralai 1.0 稳定版 SDK,涵盖 Python 和 Typescript。
推荐理由:官方同步开放旗舰模型微调、Agent 框架及 SDK 1.0,开发者可据此快速构建定制化应用。
OpenAI 在 API 中引入结构化输出功能,使模型输出现在能可靠地遵循开发者提供的 JSON Schema。
推荐理由:API 新增结构化输出功能,使模型输出稳定符合 JSON Schema,降低开发者解析成本。
Mistral AI 发布 Mistral Large 2 模型,拥有 123B 参数与 128k 上下文窗口,支持单节点高效推理。该模型在代码生成与数学推理上对标 GPT-4o 与 Claude 3 Opus,并强化了工具调用与多语言指令遵循能力。
推荐理由:模型在推理与代码能力上对标前沿闭源模型,且支持单节点部署,为开发者提供了高性价比的替代方案。
OpenAI 发布 GPT-4o mini 模型,旨在推进成本效益更高的智能。
Mistral 发布 Codestral Mamba,这是一款基于 Mamba 架构的 7B 参数代码模型,支持 Apache 2.0 开源协议。该模型具备线性时间推理能力,可处理长达 256k tokens 的上下文,在代码生成与推理任务上表现媲美 SOTA Transformer 模型。
推荐理由:Mistral 发布基于 Mamba 架构的 7B 代码模型,提供线性推理与长上下文优势,支持本地部署。
Hugging Face 发布 BigCodeBench 编程评测基准,包含 1140 道涉及 139 个库的函数级任务,并提供开源评测框架与排行榜。
推荐理由:BigCodeBench提供1140道含多库调用的编程题及评测框架,为衡量模型代码生成能力提供新基准。
Mistral 发布首个代码模型 Codestral,这是一个 22B 参数的开源权重生成式 AI 模型,支持 80 多种编程语言和 32k 上下文窗口。该模型提供 HuggingFace 下载及专用 API 端点 codestral.mistral.ai,并已在 LlamaIndex、LangChain 及 VSCode 等开发工具中完成集成。
推荐理由:Mistral 发布首个代码模型 Codestral,提供 22B 开源权重与专用 API 端点,支持 80 多种编程语言及 32k 上下文。
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1,这是首个采用完全透明且许可自由的自对齐管道训练的代码大语言模型。该模型仅使用 StarCoder2-15B 自身生成的指令-响应对进行微调,无需人工标注或闭源模型蒸馏数据。
推荐理由:模型采用完全自生成的指令微调数据,在编码基准上超越部分闭源模型,提供了可复用的自对齐方法。
Mistral AI 发布 Mixtral 8x22B 开源模型,采用稀疏 MoE 架构,141B 参数中仅激活 39B,支持 64K 上下文窗口。该模型在数学和编码任务上表现优异,指令微调版在 GSM8K 上得分 90.8%,以 Apache 2.0 协议开源。
推荐理由:该模型以141B参数实现39B活跃参数推理,在数学和编码基准上表现突出,为开源生态提供了高性价比的基座选择。
Google 发布 CodeGemma 代码大模型,包含 2B 和 7B 基础模型及 7B 指令微调模型,在 HumanEval 等基准上表现优异。Hugging Face 提供 Transformers 集成、4-bit 量化及 Google Cloud 部署支持。
推荐理由:提供了2B和7B模型及详细评测,给出了HF生态集成与部署方案,便于开发者评估与落地。
Hugging Face 发布 WebSight-v0.2 数据集,包含 200 万对真实截图与 HTML 代码,并开源了基于该数据集微调的 Sightseer 模型,可将网页截图转换为包含图片引用的功能 HTML 代码。
推荐理由:Hugging Face 开源了包含 200 万对截图与 HTML 代码的 WebSight 数据集及微调模型,为视觉语言模型生成前端代码提供了高质量数据基础。
BigCode 发布 StarCoder2 系列开源代码大模型,包含 3B、7B 和 15B 三种参数规模。旗舰版 StarCoder2-15B 基于 4 万亿 tokens 的 The Stack v2 数据集训练,在多项评测中表现匹敌 33B 级别模型。同时开源了 The Stack v2 数据集及全部训练代码。
推荐理由:StarCoder2 提供 3B 至 15B 三种尺寸,15B 模型在多项评测中匹敌 33B 级别模型,为开发者提供了高效的开源代码生成选择。
Hugging Face 发布 Google Gemma 开源大模型集成指南,提供 2B 和 7B 参数版本。支持 Transformers 和 JAX 权重,兼容 Google Cloud 和 Inference Endpoints 部署,并给出单卡微调示例。
推荐理由:Hugging Face 提供了 Gemma 的完整集成与部署指南,帮助开发者快速上手这款开源模型。
🤗 PEFT 新增多种 LoRA 适配器合并方法,包括 cat、linear、svd、TIES 和 DARE 等算法。开发者可使用 add_weighted_adapter() 在推理时动态合并适配器,实现能力组合与优化。
推荐理由:提供了多种 LoRA 合并算法与代码示例,帮助开发者在有限资源下组合模型能力。
Hugging Face 上线了 TII 发布的 180B 参数开源大语言模型 Falcon 180B,该模型在 3.5 万亿 token 上预训练,性能对标 PaLM-2 Large。文章提供了 Transformers 集成代码、量化部署方案及硬件需求参考。
推荐理由:Hugging Face 上线了 180B 参数开源模型,提供了量化部署指南与硬件需求,方便开发者评估与接入。
OpenAI 宣布 GPT-3.5 Turbo 支持微调,开发者现在可以使用自有数据对模型进行定制,以适配其特定的使用场景。
推荐理由:GPT-3.5 Turbo 开放微调能力,开发者可利用自有数据定制模型以适配特定业务场景。
OpenAI 宣布 API 更新,包括更可控的模型、函数调用功能、更长的上下文窗口以及更低的价格。
推荐理由:官方宣布API更新,涵盖函数调用、更长上下文及降价,开发者可据此评估功能升级与成本优化。
Hugging Face 发布基于 StarCoder 微调的编程助手 StarChat Alpha,采用 ChatML 格式与 OpenAssistant 数据集训练,提供代码、数据集及模型下载。
推荐理由:文章展示了基于StarCoder微调出StarChat Alpha的过程,提供了ChatML格式和DeepSpeed训练代码供开发者复用。
Hugging Face 发布 StarCoder 和 StarCoderBase 代码大语言模型,在 HumanEval 等基准上达到开源 SOTA。模型基于 The Stack 数据集训练,提供完整训练数据、PII 移除工具及 BigCode OpenRAIL-M 许可证。
推荐理由:模型在HumanEval等基准上达到开源SOTA,提供完整训练数据与治理工具,适合二次开发。