[UDA][CLS] CORAL: Return of Frustratingly Easy Domain Adaptation

less than 1 minute read

MARRS에서 인용하여 보게된 논문

paper : https://arxiv.org/pdf/1511.05547.pdf
AAAI 2016 accpeted (인용수 : 1789회, ‘23.11.01 기준)
downstream task : UDA for object recognition (classification)
Contribution
- Simple한 Target like Source transform 기법인 CORAL을 제안함 (CORrelation ALignment)
- 2nd order statistics인 feature의 분산값을 align함으로써 UDA에서 성능 향상을 냄
Overview
- 최적의 Linear Transform Matrix A를 SVD기법으로 유도함 : Whitening → Recoloring
  - a. Original feature 분포
  - b. Source만 whitening한 분포
  - c. Target으로 re-coloring한 분포
  - d. Source & Target 모두 whitening한 분포
CORAL
- 목적 : Target like Source를 구하고자 Source feature를 linear transform하는 최적의 A를 찾고자 함 ( $\to$ Diffusion-TTA처럼 source-like target을 해보면 어떨까?)
  - $C_S$, $C_T$ : Source feature, Target feature
  - _F : Frobenious norm
  - A : 구하고자 하는 Linear Transform Matrix
    - Symmetric
    - Linear transform
    - Lower rank dimension
- 가설 1. min $|X-Y|_F$은 SVD의 max value로 얻은 Y로 X를 대체했을 때다.
  - Proof
CORAL 해석
- 첫째항 : Source domain whitening
- 둘째항 : Target domain re-coloring
- $\Sigma_S^+$ : Psuedo-inverse of Sigma_S
Algorithm