Mistral 联合 NVIDIA 发布 12B 开源模型 Mistral NeMo
Mistral 联合 NVIDIA 发布 Mistral NeMo，这是一款 12B 参数的开源模型，支持 128k 上下文窗口，在推理、世界知识和编码方面表现优异。该模型采用 Apache 2.0 协议，支持 FP8 推理且无性能损失，并内置了更高效的 Tekken tokenizer。
推荐理由：12B 模型在同等规模下表现优异，且支持 FP8 推理，为开发者提供了高性价比的开源替代方案。
NVIDIA 英伟达
全部主题英伟达的 AI 芯片与生态动态：GPU 新品、CUDA 生态、机器人平台与 AI 算力市场的风向。
最新精选
第 61–63 条 · 共 63 条Mistral AI精选AI 评分8282
Hugging Face Blog精选AI 评分7373 BigCode 发布 StarCoder2 模型及 The Stack v2 数据集
BigCode 发布 StarCoder2 系列开源代码大模型，包含 3B、7B 和 15B 三种参数规模。旗舰版 StarCoder2-15B 基于 4 万亿 tokens 的 The Stack v2 数据集训练，在多项评测中表现匹敌 33B 级别模型。同时开源了 The Stack v2 数据集及全部训练代码。
推荐理由：StarCoder2 提供 3B 至 15B 三种尺寸，15B 模型在多项评测中匹敌 33B 级别模型，为开发者提供了高效的开源代码生成选择。
Hugging Face Blog精选AI 评分6868 Hugging Face 发布 Optimum-NVIDIA 库，一行代码解锁极速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，利用 NVIDIA FP8 格式和 TensorRT-LLM 技术，通过修改一行代码即可实现最高 28 倍的吞吐量提升和 1200 tokens/秒的推理速度。
推荐理由：通过一行代码切换即可利用FP8和TensorRT-LLM实现最高28倍吞吐提升，为LLM部署提供了极简的高性能方案。