[UDA][SS] TransDA: Smoothing Matters-Momentum Transformer for Domain Adaptive Semantic Segmentation

[UDA][SS] TransDA: Smoothing Matters-Momentum Transformer for Domain Adaptive Semantic Segmentation

• paper: https://arxiv.org/pdf/2203.07988.pdf
• github: https://github.com/alpc91/TransDA
• archived : ‘24.01.23기준 16회 인용
• downstream task : UDA for SS

1. Motivation

• CNN기반에는 없는 현상: Transformer 기반 DA에서 high-frequency problem을 발견함

  • High-frequency problem : teacher의 feature, prediction결과가 이전 step에 비해 편차가 심해 학습 성능에 악영향을 미치는 현상 → Smoothing Filter (EMA)를 사용하여 이를 해결해보자!

    

    

    • D: Discriminator (Source, target)
    • C : Classifier (classification task)

2. Contribution

• High-frequency problem을 해결하기 위한 방안 제시

  • Transformer 기반 ST (Self-Training) + AT (Adversarial Traning) 을 적용한 DA task에 최적화된 Momentum Network (Mo) 제안

    

  • Dynamic Discrepancy Measurement 제안

    

3. TransDA

• overall diagram

  

• Formulation

  • UDA format

  • Common label

    

• Momentum Network

  • Student

    

  • Teacher: EMA of student

    

• Dynamic Discrepancy Measurement

  

  • False sample의 영향을 최소화하기 위해 weight를 dynamic하게 업데이트

  • S : Non-adversarial domain similarity Network

    

    • 1에 가까울수록 source sample에 유사
    • 0에 가까울수록 target sample에 유사

  • Weight

    

    • E: Entropy

    • $log

      K^c

      $: Entropy Max Value

• Full Training Procedure

  • Warm-up Phase

    

  • Train Phase

    

4. Experiments

• Smoothing Filter 효과