在Intel Meteor Lake笔记本上运行Phi-2

Hugging Face与Intel合作演示如何在搭载Core Ultra处理器的笔记本上本地运行Phi-2模型。通过Optimum Intel集成OpenVINO对Phi-2进行4-bit量化，在保留生成质量的同时实现低延迟推理，并提供了完整的代码配置与性能视频。