A Data Cartography based MixUp for Pre-trained Language Models

MixUp MixUp 是一种数据增强策略，其中通过组合训练样本的随机对及其标签在训练期间生成额外的样本。但是，选择随机对可能不是最佳选择。在这项工作中，我们提出了 TDMixUp，这是一种新颖的 MixUp 策略，它利用 TrainingDynamics 并允许组合更多信息样本以生成新数据样本。我们提出的 TDMixUp 首先测量置信度、可变性（Swayamdipta 等人，2020）和边际下面积（AUM）（Pleiss 等人，2020），以识别训练样本的特征（例如，易于学习或模棱两可的样本），然后对这些特征样本进行插值。我们凭经验验证，与强基线相比，我们的方法不仅使用较小的训练数据子集实现了有竞争力的性能，而且在域内和域外设置上的预训练语言模型 BERT 上产生了更低的预期校准误差在广泛的 NLP 任务中。我们公开发布我们的代码。

《A Data Cartography based MixUp for Pre-trained Language Models》

论文地址:http://arxiv.org/abs/2205.03403v1