Mistral AI 发布 Mistral 7B 开源模型

Mistral AI 发布 Mistral 7B，这是一个 7.3B 参数的大语言模型，采用分组查询注意力（GQA）和滑动窗口注意力（SWA）技术。该模型在 Apache 2.0 协议下开源，在多项基准测试中表现优于 Llama 2 13B，接近 Llama 1 34B 水平，并在代码和推理任务上展现出显著优势。