AETTA: Label-Free Accuracy Estimation for Test-Time Adaptation

1. Motivation：

  利用TTA（test time adaptation）来将在训练数据上的原始预训练的模型适应到新的未标注的测试据，传统的很多方法都做了一些不现实的假设，比如需要借助标注的数据/重新训练模型，为了解决这个问题，本论文提出了AETTA的方法，不需要任何的标注，借助TTA来实现表现得预测。这个方法的最牛的地方就是，主流的AGL/ACL都需要借助ID的数据以及他们的标注，根据他们的真实ACC预测OOD的ACC，而且相比较ACL/AGL需要多个训练模型来得到线性的关系，但是这篇论文只是需要一个base model，而且不需要ID的标注。

2. 介绍：

  TTA是为了将预训练的模型适应到未标注的测试集上，但是TTA本身固有的缺陷是盲目地适应到没有见过的无标注测试样本，从而使得非常的脆弱，没有真实标注会使得难以检测适应的正确性。各种OOD表现预测的方法被提出来了，但是很多都需要标注的训练数据，这对于TTA来说不现实。本论文提出AETTA的基于TTA的方法不需要接触训练数据，它是利用在是印度个模型和dropout推理预测之间的不一致性来作为表现评估的基础的，为了增强这个方法对适应失败的情况下的稳健性，作者还提出了一种robust disagreement equality来动态的调整准确率的估计。本方法的关键思想是超出良好校准的假设（良好校准就是预测得到的概率不是过度自信