[SSL][OD] Efficient Teacher: Semi-Supervised Object Detection for YOLOv5

1 minute read

1. Contribution

1 stage Dense Object Detector 기반 (Yolo-v5) SSL을 최초로 제안한 논문
1 stage DOD의 약점 (low quality pseudo label, Pseudo label inconsistency problem)을 보완하기 위한 2가지 접근 제시
- PLA (Pseudo-Label Assigner) : $\tau_1$ ~ $\tau_2$ 사이의 uncertain한 object에 대해 ignore하는 것보다, objectness score에 대해 soft-label loss를 가하는 것이 성능 향상을 보임
- EA (Epoch Adaptor) : Burn-in stage에서 Domain Adaptation에서 사용하는 adversarial alignment loss를 label / unlabel간의 distribution alignment로 활용함 → 학습 속도 향상
MS-COCO, Pascal VOC 등에서 SSOD SOTA 성능을 보임

Overall Diagram
- BaseLine : Dense Detector
  - RetinaNet에서 ResNet-50-FPN backbone으로 교체
  - FPN output은 5 → 3개 사용
  - weight sharing b/w detection header 제거
  - resolution 1333 → 640 변경
  - 3 output branch
    - classification
    - objectness score : Objectness score가 추가적 정보를 제공하므로 location quality 향상에 기여한다고 함
    - bbox offset
PSA (Pseudo Label Assigner)
- Supervised Loss
  - CIoU b/w prediction & GT
- Unsupervised Loss
  - $\tau_2$보다 큰 경우, one-hot loss
  - $\tau_1$ ~ $\tau_2$ 인 경우 (uncertain), soft-loss
- Distribution Adaptation
  - LabelMatch에서 영감을 받아, dynamic threshold ($\tau_1$, $\tau_2$)를 계산함
    - $P_c^k$ : psuedo label score for c class k epoch
    - $\alpha$ : 60 (reliable label percentage)
    - $N_l$, $N_u$ : Number of labeled image, unlabeled image
    - $n_c^k$ : Number of GT for c class k epoch counted by EA
EA (Epoch Adaptor)
- label, unlabel의 data distribution을 align시켜, Network가 두 domain(?)을 헷갈리게 만드는 역할 → Domain adaptation 에서 영감
- GRL (Gradient Reversal Layer) 사용
- Supervised loss에 적용
  - Labeled data에 overfitting 방지 및 학습 속도 향상