Hugging Face 发布 Optimum-NVIDIA 库，一行代码解锁极速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，利用 NVIDIA FP8 格式和 TensorRT-LLM 技术，通过修改一行代码即可实现最高 28 倍的吞吐量提升和 1200 tokens/秒的推理速度。
推荐理由：通过一行代码切换即可利用FP8和TensorRT-LLM实现最高28倍吞吐提升，为LLM部署提供了极简的高性能方案。
英伟达的 AI 芯片与生态动态：GPU 新品、CUDA 生态、机器人平台与 AI 算力市场的风向。
Hugging Face 发布 Optimum-NVIDIA 推理库，利用 NVIDIA FP8 格式和 TensorRT-LLM 技术，通过修改一行代码即可实现最高 28 倍的吞吐量提升和 1200 tokens/秒的推理速度。
推荐理由：通过一行代码切换即可利用FP8和TensorRT-LLM实现最高28倍吞吐提升，为LLM部署提供了极简的高性能方案。