BigCode 大规模近重复数据去重技术解析

BigCode 团队分享了大规模近重复数据去重的实践经验，旨在提升代码模型训练效率并防止基准测试污染。文章详细解析了 MinHash + LSH 等去重方法，并提供了针对 InCoder、CodeGen 等模型及 The Stack 数据集的去重参数与效果对比数据。