[TTA] CAFA: Class-Aware Feature Alignment for Test-Time Adaptation

[TTA] CAFA: Class-Aware Feature Alignment for Test-Time Adaptation

• paper : https://arxiv.org/pdf/2206.00205.pdf

• CoRR 2022 accepted (‘23.07.25, 인용수 02회)

• downstream task : Test-Time Adaptation for Classification

• 문제제기 : inter-class distance는 늘리고, intra-class distance는 줄이도록 해야 하는데, 기존 Global feature alignment를 수행할 경우, 둘다 감소하게 되어, accuracy가 줄어드는 현상을 발견함

  

• Contribution

  • CAFA (Class-Aware Feature Alignment) : class별로 Pre-calculated Source feature distribution 기준으로 target image의 feature를 align시키는 CAFA Loss을 추가함으로써, target sample과 source class 분포간의 inter-class간의 거리를 멀게 하면서 intra-class 거리를 줄이는데 성공함

• Mahalanobis distance

  • 평균과 분산을 이용하여 target sample과 source distribution간의 거리를 정의함

    

  • Intra-class distance : target sample x_t와 그 sample의 class에 대한 source distribution간의 Mahalanobis distance

    

    • $y_t$ : target sample의 ground-truth label (prediction label, pseudo label)

  • Inter-class distance : target sample x_t와 그 sample의 class외의 class에 대한 source distribution간의 Mahalanobis distance

    

  • Mahalanobis distance을 활용 시 장점 : test sample이 class별로 매우 적은 경우, 사전 통계정보를 활용해서 feature를 align하므로 좋음

• CAFA : Class-Aware Feature Alignment

  • Pre-calculation of source statistics

    

    

    

    • $N_c$ : Number of source samples for class c

  • Loss

    

• Overview of CAFA