Mistral 发布 Mathstral 数学推理模型
Mistral AI 发布 Mathstral，这是一个基于 Mistral 7B 微调的数学推理模型，旨在解决需要复杂多步逻辑推理的高级数学问题。该模型在 MATH 基准上达到 56.6%，在 MMLU 上达到 63.47%，并在其尺寸类别中实现了最先进的推理能力。
推荐理由：基于Mistral 7B微调的数学推理模型，在MATH等基准上表现优异，适合端侧部署与特定领域推理。
端侧 AI
全部主题跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
最新精选
第 41–46 条 · 共 46 条Mistral AI精选AI 评分6565 Mistral AI精选AI 评分7272 Mistral 发布 Codestral Mamba 代码模型
Mistral 发布 Codestral Mamba，这是一款基于 Mamba 架构的 7B 参数代码模型，支持 Apache 2.0 开源协议。该模型具备线性时间推理能力，可处理长达 256k tokens 的上下文，在代码生成与推理任务上表现媲美 SOTA Transformer 模型。
推荐理由：Mistral 发布基于 Mamba 架构的 7B 代码模型，提供线性推理与长上下文优势，支持本地部署。
Hugging Face Blog精选AI 评分6060 在Intel Meteor Lake笔记本上运行Phi-2
Hugging Face与Intel合作演示如何在搭载Core Ultra处理器的笔记本上本地运行Phi-2模型。通过Optimum Intel集成OpenVINO对Phi-2进行4-bit量化，在保留生成质量的同时实现低延迟推理，并提供了完整的代码配置与性能视频。
推荐理由：提供在Intel Meteor Lake笔记本上量化部署Phi-2的完整代码与配置，展示端侧推理的隐私与延迟优势。
Hugging Face Blog精选AI 评分6868 Hugging Face 发布 Swift Transformers 工具链，支持在 Apple 设备上运行 LLM
Hugging Face 发布 Swift Transformers 工具链，包含 swift-transformers 库、swift-chat 演示应用及 Core ML 转换工具，支持在 Apple 设备上本地运行 Llama 2 等大语言模型。
推荐理由：Hugging Face 发布 Swift Transformers 工具链，提供从模型转换到本地推理的完整方案，降低端侧部署门槛。
Hugging Face Blog精选AI 评分7272 Stable Diffusion XL 支持 Core ML 混合位量化，可在 Mac 端侧运行
Hugging Face 与 Apple 联合发布 Stable Diffusion XL 的 Core ML 版本，支持在 Mac 端侧运行。引入混合位调色板量化技术，将模型体积从 4.8 GB 压缩至 1.4 GB，同时保持较高生成质量。
推荐理由：提供了混合位调色板量化技术，在显著压缩模型体积的同时保持生成质量，支持在 Mac 端侧高效运行。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布支持 6-bit 量化的 Stable Diffusion Core ML 模型
Hugging Face 发布了四个官方 Stable Diffusion 模型的 6-bit palettized 版本，支持在 iPhone、iPad 和 Mac 上更高效地运行。配合更新的 coremltools 和 ml-stable-diffusion 仓库，开发者可轻松转换自定义模型并享受更低的内存占用与更快的推理速度。
推荐理由：提供了6-bit量化模型下载与转换代码，帮助开发者在苹果设备上高效部署图像生成模型。