PyArrow 新增 Parquet CDC 功能，配合 Xet 存储层提升数据去重效率

Hugging Face 宣布 PyArrow 和 Pandas 现已支持 Parquet Content-Defined Chunking (CDC) 功能，配合 Xet 存储层可实现基于内容的数据去重。该功能通过减少 Parquet 文件在内容变更时的字节级差异，显著降低数据上传、下载及存储成本。