跳到正文
原文
Hugging Face Blog·· 2024-08-13AI 评分30

ggml 入门指南

Introduction to ggml

AI 导读

ggml 是一个专注于 Transformer 推理的 C/C++ 开源机器学习库,具有极简、轻量且兼容性好的特点。该库核心代码少于 5 个文件,编译后二进制体积小于 1MB,支持量化张量以节省内存。本文面向开发者介绍 ggml 的基础概念、编译方法及核心 API 使用,涵盖上下文、计算图及后端接口等关键术语。

来源:Hugging Face Blog · huggingface.co