[UDA][OD] Unsupervised Domain Adaptation for One-stage Object Detector using Offsets to Bounding Box

[UDA][OD] Unsupervised Domain Adaptation for One-stage Object Detector using Offsets to Bounding Box

• paper : https://arxiv.org/abs/2207.09656

• ICCV 2022 paper, (‘22.07, 인용수 : 4회 (‘23.08.24 기준))

• downstream task : UDA for OD

• Contributions

  • Anchor-free one-stage Object Detector을 분석 후, 이에 적합한 DA 방법을 제시
  • Offset-aware feature를 통해 alignment를 수행하는 OADA (Offset-Aware Domain-Adaptation) 제시
  • SVD 등 수학적 분석을 통해 OADA의 효과성을 입증 (실험)
  • Cityscapes → Foggy CS, KITTI → CS에서 SOTA

• 시작 동기

  

  • FCOS Backbone feature의 category-wise & offset-wise TSNE 분포를 분석함
    • Category-wise 밀집함 확인
    • Offset-wise 밀집함 확인 → offset-aware enhanced feature를 alignment해볼까?
      • (b) : offset b/w bbox top & current pixel’s position
      • (c) : offset b/w bbox bottom & current pixel’s position

• Overall

  

  • FCOS : Review

    

  • Global Alignment : 이전 논문에서 따옴

    

  • Offset-aware Alignment : 제안 방식

    

    • $F^T_{u,v}$ → $G^t_{u,v}, F^S_{u,v}$ → $G^S_{u,v}$만 달라짐

  • Offset-aware Feature 생성 방법

    

    

    • Continuous 값인 offset value를 discrete한 N_bin개의 bin에 mapping될 probability vector로 치환

    • Offset value at (u,v) 인 $z^n_{u,v}$가 normal distribution N~($\mu$, $\sigma^2$)를 갖는다 가정

    • $N_bin$에 따라 평균값 (m1,m2,..,m_{bin})이 결정 → object scale에 따라 lv번째 feature의 평균 값이 달라짐

      

    • 초기에는 q를 신뢰할 수 없으므로 warm-up iteration에는 uniform 분포 → 점차 가중치를 높임

      

    • Offset-aware feature → Outer product하여 계산 (Concat보다 성능이 좋아짐을 실험적으로 입증)

      

      • Dimension : D → N_bin x D

    • 이해를 돕는 예시

      

  • Confident offset value를 구하는 방법

    

    • $\rho$ : confience threshold
    • Source는 GT 활용, Target은 probability score 가 높은 것만 사용

  • Overall loss