深入解析视觉-语言模型

视觉-语言模型通过结合图像和文本编码器，利用对比学习、PrefixLM、交叉注意力融合及 MLM/ITM 等策略进行预训练，以实现零样本泛化。Hugging Face 博客介绍了这些核心训练方法，并展示了如何利用 🤗 Transformers 库进行实验。