[UDA][CLS] CORAL: Return of Frustratingly Easy Domain Adaptation

[UDA][CLS] CORAL: Return of Frustratingly Easy Domain Adaptation

MARRS에서 인용하여 보게된 논문

• paper : https://arxiv.org/pdf/1511.05547.pdf

• AAAI 2016 accpeted (인용수 : 1789회, ‘23.11.01 기준)

• downstream task : UDA for object recognition (classification)

• Contribution

  • Simple한 Target like Source transform 기법인 CORAL을 제안함 (CORrelation ALignment)
  • 2nd order statistics인 feature의 분산값을 align함으로써 UDA에서 성능 향상을 냄

• Overview

  

  • 최적의 Linear Transform Matrix A를 SVD기법으로 유도함 : Whitening → Recoloring
    • a. Original feature 분포
    • b. Source만 whitening한 분포
    • c. Target으로 re-coloring한 분포
    • d. Source & Target 모두 whitening한 분포

• CORAL

  • 목적 : Target like Source를 구하고자 Source feature를 linear transform하는 최적의 A를 찾고자 함 ( $\to$ Diffusion-TTA처럼 source-like target을 해보면 어떨까?)

    

    • $C_S$, $C_T$ : Source feature, Target feature

    • _F : Frobenious norm

    • A : 구하고자 하는 Linear Transform Matrix
      • Symmetric
      • Linear transform
      • Lower rank dimension

  • 가설 1. min $|X-Y|_F$은 SVD의 max value로 얻은 Y로 X를 대체했을 때다.

    

    • Proof

      

• CORAL 해석

  

  • 첫째항 : Source domain whitening
  • 둘째항 : Target domain re-coloring
  • $\Sigma_S^+$ : Psuedo-inverse of Sigma_S

• Algorithm