Hugging Face Blog·· 2023-11-07AI 评分30
使用 LoRA 微调 RoBERTa、Llama 2 和 Mistral 7B 进行灾难推文分析的性能对比
Comparing the Performance of LLMs: A Deep Dive into Roberta, Llama 2, and Mistral for Disaster Tweets Analysis with Lora
AI 导读
本文对比了 RoBERTa-large、Llama 2-7b 和 Mistral 7B v0.1 在灾难推文分类任务中的性能。研究利用 PEFT 技术中的 LoRA 对这三个预训练模型进行微调，以显著减少可训练参数。实验在单张 A6000 GPU 上进行，旨在评估不同规模模型在序列分类任务中的表现。
来源：Hugging Face Blog · huggingface.co