[VLM] Reinforcement Learning with Robust Rubric Rewards: verifiability를 task가 아닌 criterion 단위 속성으로
[VLM] Reinforcement Learning with Robust Rubric Rewards (RLR$^3$)
- paper: https://arxiv.org/pdf/2605.30244
- EMNLP 2026 accepted (인용수: 3회, 26-11-20 기준)
- 저자: Huawei Technologies (Ya-Qi Yu, Hao Wang, Fangyu Hong, Xiangyang Qu 외 / Project Leader: Ya-Qi Yu)
- downstream task: Vision-Language 모델의 online RL post-training (math VQA, general VQA, counting, document VQA)
- 정답 하나로 채점되지 않는 partially verifiable VLM 태스크를 rubric 기반 criterion-level reward로 학습
- 주요 용어
- partially verifiable task: 최종 답은 exact match로 채점 가능하지만 중간 perceptual fact, reasoning step, instruction-following 디테일은 결정론적으로 채점할 수 없는 태스크. RLVR의 task-level 가정이 깨지는 구간
- criterion-level verifiability: verifiability를 “태스크 속성”이 아니라 “rubric 항목 하나하나의 속성”으로 재정의. rubric 항목 $c_k^x = \langle d_k^x, t_k^x, w_k^x, V_k, z_k^x\rangle$ 에서 verifier $V_k \neq \emptyset$ 이면 verifiable, $V_k = \emptyset$ 이면 fuzzy
- minimal exposure: 채점자에게 최소한의 증거만 노출. extractor에게는 target argument $z_k^x$ 를 숨기고, judge에게는 source image $x^i$ 를 숨겨서 “베껴쓰기 / 이미지 보고 스스로 답 맞히기” shortcut을 차단
- decoupled normalization: rollout group 내 criterion 점수가 좁은 구간에 몰려 ranking 해상도가 죽는 saturation을 막기 위해, threshold $\tau$ 기준 위/아래 여부는 보존한 채 group 내부만 remapping
- hierarchical aggregation: essential criteria를 만족하지 못하면 additional criteria 점수가 보상으로 환산되지 않게 하는 masking. additional은 essential 위에서만 reward를 “refine” 함
- GenRM (Generative Reward Model): rubric을 실제로 실행(경로 선택 + verifier 호출 + credit 부여)하는 reward model. 본 논문은 이 GenRM 자체를 RLVR로 학습시킴
1. Motivation
-
RLVR은 결정론적 verifier가 있는 math/code에서 잘 동작했고, 최근 OCR/counting/grounding 같은 VLM 태스크로도 확장됨
- 하지만 task-level 가정에 묶여 있음: 최적화 대상 행동 전체가 verifiable 해야 함
-
많은 VLM 태스크는 그 사이에 있음 (partially verifiable)
- 최종 답은 exact match 가능하지만, 중간 perceptual fact / reasoning step / instruction-following은 추가 supervision이 필요함
- 태스크 전체를 하나의 verifiability 관점으로 채점하면 이 구분이 coarse reward 하나로 붕괴됨
$\to$ rubric(instance-specific 채점 기준)이 자연스러운 인터페이스
-
그런데 rubric은 온라인 RL에서 정확히 실행될 때만 쓸모가 있음
- offline 평가에서 rubric mis-execution은 고정된 응답 집합에 noise를 더하는 수준
- online RL에서는 systematic한 rubric mis-execution이 곧 policy에 대한 인센티브가 됨 (= reward hacking 통로)
$\to$ (Research Question) criterion마다 적절한 실행 경로를 붙이고(verifiable $\to$ 추출 + 결정론적 검증, 나머지 $\to$ semantic judgment), 실행 자체를 robust하게 만들면 rubric reward로 안정적인 online RL이 가능한가?
RLR$^3$ 전체 구조: Teacher가 checklist-style rubric 생성 $\to$ policy rollout $\to$ verifiable 경로(Extractor + Limited Exposure + Verifier) / fuzzy 경로(Judge + No-Image + Credit) 분기 $\to$ aggregation $\to$ GRPO

2. Contribution
- partially verifiable VLM 태스크를 rubric 기반 RL의 자연스러운 적용 지점으로 정의
- RLR$^3$ 제안: verifiable criteria는 extraction + 결정론적 verification으로, fuzzy criteria는 text-only judgment로 라우팅하는 robust rubric reward framework. 양쪽 모두 minimal exposure 적용
- reward informativeness 개선: score remapping (decoupled normalization) + hierarchical aggregation으로 multi-criteria 보상의 해상도와 우선순위를 동시에 확보
- reward reliability 개선: minimal exposure 전략 + GenRM 자체를 RLVR로 학습
- 검증: Qwen3-VL-30B-A3B 기반, 3개 오픈소스 training mix $\times$ 15개 벤치마크에서 RLVR 대비 일관된 macro average 향상. GenRM reliability 평가와 failure-mode audit까지 수행
핵심 주장 한 줄: verifiability를 criterion-level 속성으로 두면, fully verifiable 태스크와 partially verifiable 태스크를 하나의 GRPO 루프에서 같이 학습할 수 있다. (RLVR 전용 stage와 general RL stage를 분리할 필요가 없음)
3. Related Works
- RLVR: DeepSeek-R1 계열. math/code에서 exact match / unit test로 검증. 최근 OCR, counting, grounding 등 multimodal로 확장되었으나 verifiable ground truth 존재에 근본적으로 의존
- Rubric-based evaluation & alignment: open-ended generation, research replication, professional reasoning 등에서 expert rubric 사용. non-verifiable LLM 도메인의 post-training/alignment에도 활용. 최근에는 synthetic rubric generation, pairwise comparison으로부터의 rubric elicitation 등 자동 rubric 구축 연구
- multimodal 쪽은 fixed rubric / input-specific rubric 평가, offline visual preference 구축(rDPO), multimodal reward modeling 정도가 선행 연구
$\to$ 본 논문의 차별점은 online RL 중의 rubric 실행 신뢰도를 1급 문제로 다룬다는 점
4. Preliminaries: GRPO 셋업
- strict on-policy, KL penalty 없음
- 입력 $x$ 마다 $G$개 응답 ${y_1, \dots, y_G}$ 샘플링, 각각 최종 스칼라 reward $\tilde r_i$ 부여
- $\hat A_i = (\tilde r_i - \text{mean}({\tilde r_j}))/\text{std}({\tilde r_j})$
- 길이 규칙: 태스크별 max response length 초과 시 final reward $= 0$
5. Methodology
RLR$^3$의 세 가지 원칙:
- verifiability를 우선 $\to$ exploitation 공간을 축소
- evidence exposure를 제한 $\to$ unintended shortcut 차단
- multi-reward distinction을 보존 $\to$ coarse reward로 붕괴시키지 않음
5.1 Rubric Design
-
입력 $x$ 에 대한 rubric $C^x = {c_1^x,\dots,c_K^x}$, 각 항목은 5-tuple
\[c_k^x = \langle d_k^x,\; t_k^x,\; w_k^x,\; V_k,\; z_k^x \rangle\]- $d_k^x$: criterion description
- $t_k^x \in {Essential, Additional}$
- $w_k^x$: non-negative weight (3단계 정수 — 1 Auxiliary / 2 Important / 3 Key)
- $V_k$: verifier tag (실행 경로를 결정)
- $z_k^x$: reference object
-
Verifiable criteria ($V_k \neq \emptyset$): 응답에서 해당 값을 추출해 known target과 결정론적으로 대조 가능한 경우. $z_k^x$ 는 verifier 함수에 넘길 target argument
-
Fuzzy criteria ($V_k = \emptyset$): language understanding이 필요해 결정론적 matching으로 환원 불가. $z_k^x$ 는 judge가 쓰는 textual reference
-
verifier library는 작고 고정됨: text, expression, time, list, bounding box, point
- rubric 생성 시 현재 태스크에 허용된 verifier tag만 노출 $\to$ rubric generator가 verifier를 남용하지 못하게 함
- ex. OCR 태스크는 text verifier, grounding 태스크는 bbox/point verifier만 노출
- 금지되는 패턴: 복잡한 criterion을 Boolean judgment로 바꿔 쓰고 expression verifier로 체크하기 (ex. “the response correctly states that the man is wearing a red hat and standing to the left of the bicycle”)
- 원칙: verifier는 “응답에서 추출된 값”을 체크해야지, “extractor가 만들어낸 판단”을 체크하면 안 됨
verifier interface 6종: text_verify / expr_verify / time_verify / list_verify / bbox_verify / point_verify의 rubric-side & scoring-side signature와 반환 범위

- rubric 생성은 multi-teacher aggregation: 여러 frontier 모델이 독립적으로 criterion 후보를 제안 $\to$ 2단계 aggregation 모듈이 majority-vote filtering + dedup + reference 검증으로 최종 checklist 병합
- ground truth annotation이 믿을 만한 경우 dual verification 단계 추가: 제공된 ground truth가 모든 essential criteria를 만족하는지 먼저 확인 $\to$ 잘못된 check item 때문에 정답 응답이 벌점 받는 일 방지
5.2 Criterion Execution
두 경로 모두 minimal exposure 원칙을 따르고, 둘 다 text-only LLM이며 파라미터 $\phi$ 를 공유함.
5.2.1 Verifiable: LLM-as-an-Extractor + 결정론적 verifier
- $x = (x^t, x^i)$ (text prompt, source image)로 분해
- extractor: $(\eta_k, \hat a_k) = E(x^t, y, d_k^x, V_k; \phi)$ — criterion-level reasoning + 추출값
- verifier: $s_k = V_k(\hat a_k, z_k^x)$
- extractor는 $z_k^x$ 를 보지 못함 $\to$ target을 그대로 베껴 쓸 수 없고, 응답 $y$ 에서 값을 실제로 찾아내야 함
5.2.2 Fuzzy: LLM-as-a-Judge
- $(\eta_k, s_k) = J(x^t, y, d_k^x, z_k^x; \phi)$, $s_k \in {0, 0.5, 1}$ (rDPO의 discrete rubric scoring 따름)
- judge는 source image를 보지 못함 $\to$ 응답이 답을 말하지 않았는데 judge가 이미지를 보고 스스로 답을 유추해 credit을 주는 self-answering 차단
5.2.3 Structured Outputs
- 두 경로 모두 global reasoning field + criterion record list를 담은 단일 JSON 객체를 출력
- rubric 구축 / reward 실행 / RL training 사이 인터페이스가 단순해짐
5.3 Reward Aggregation
5.3.1 Decoupled Normalization
- 문제: verifiable criteria의 raw score $s_{k,i}$ 가 좁은 구간에 몰림. ex. edit-distance similarity에서 오타 1개짜리 응답과 10개짜리 응답이 둘 다 0.9 이상 $\to$ group-wise ranking에 거의 기여 못 함
- 해결: group 내부에서 remapping하되, group 전체가 threshold $\tau$ 의 위/아래 어느 쪽인지는 바꾸지 않음
- 그냥 group normalization하면 “모든 응답이 essential criterion을 실패한 group”이 인위적으로 full credit까지 늘어남
5.3.2 Hierarchical Aggregation
- base content reward: $r = \sum_{k=1}^{K} w_k^x \bar s_k$ (가중합)
- 문제: 가중합은 모든 gain이 상호 보상적(mutually compensatory) $\to$ additional criteria에서 잘하면 essential 실패를 상쇄함
- 해결: criterion type으로 base reward를 gating
- 채점 convention: 0.5 미만 = failure, $[0.5, 1)$ = partial satisfaction
- 즉 essential 하나라도 fail이거나, 애매한 essential이 2개 이상이면 content reward 전체가 0
- repetition loop / language mixing 같은 response-level 위반은 binary format mask $m_{\text{format}} \in {0,1}$ 로 hard constraint 처리
- 최종 reward: $\tilde r = m_{\text{content}} \cdot m_{\text{format}} \cdot r$
5.4 GenRM을 RLVR로 학습
- 중간 크기 LLM은 복잡한 instruction + multi-field structured output을 잘 못 다룸 $\to$ rubric 실행자(GenRM) 자체를 먼저 학습
- 데이터: 후보 응답 샘플링 $\to$ 여러 frontier 모델이 각각 독립적으로 rubric 실행 $\to$ criterion별 median credit을 retain (verifiable은 median credit과 일치하는 teacher의 추출값도 함께 보관)
- multi-teacher 구성으로 단일 모델 실행의 noise 완화
- 두 종류의 verifiable reward로 RLVR 학습
- Format reward: 출력이 valid JSON이고 모든 필드가 기대 타입일 때만 1, 아니면 0
- Content reward: 전체 criterion 평균. verifiable은 추출값을, fuzzy는 예측 credit을 체크
- 결정론적으로 체크 가능한 필드만 supervise하고 free-form reasoning field는 unsupervised $\to$ 이 단계가 순수 RLVR objective로 학습 가능
5.5 Policy Model RL + RLVR as a special case
- 입력 $x$ 마다 $G$개 응답 샘플링 $\to$ rubric 실행 $\to$ $\tilde r_i$ $\to$ group normalize $\to$ GRPO
- fully/partially verifiable 태스크가 같은 GRPO 루프에서 최적화되므로 RLVR stage와 general RL stage를 분리하지 않아도 됨
- RLVR은 특수 케이스: rubric의 모든 criterion이 verifiable이면 verifier score만 aggregate하면 됨. 단일 criterion이면 $\tilde r = V(E(y), z^x)$ 로 환원 (여기서 $E$ 는 non-parametric extractor)
6. Experiments
6.1 Setup
- Base model: Qwen3-VL-30B-A3B
- Data: 오픈소스 3종 training split — ViRL, OpenMMR, DeepVision
- MCQ 일부를 open-ended로 변환 (VLM judge가 “선택지 없이도 well-posed이고 정답이 유일한가” 확인한 경우만)
- image-question level dedup $\to$ 각 instance에 verifiable + fuzzy criteria 포함 instance-specific rubric 부착
- offline filtering: base model로 8 rollout 샘플링 $\to$ 최소 1개 rollout이 (any criterion / essential criterion)에서 no credit인 예제만 유지. policy training은 “Essential” rule 사용
전처리 후 training corpora 통계: raw / de-dup / filtered 개수, MCQ ratio, initial reward

-
filtering 후 initial reward가 절반 가까이 떨어짐 $\to$ 쉬운 예제가 제대로 걸러졌다는 신호
- Training: Adam, constant lr $1\times10^{-6}$, weight decay 0.01, $\beta_1=0.9$, $\beta_2=0.999$. max prompt/response = 2K/6K (DeepVision은 visual puzzle + 긴 입력 때문에 4K/12K). global batch 128, 8 rollouts, 1,000 steps, 100 step마다 checkpoint. 15개 벤치마크 macro-average 기준 best checkpoint 보고. RLVR / RLR$^3$ 에 동일한 early-stopping protocol 적용 (late-stage overfitting은 RLVR 쪽이 더 심함)
- Benchmarks (15개): We-Math, DynaMath, MathVision, MathVerse, MathVista, MMMU-Pro, RealWorldQA, MMStar, SimpleVQA, CountBenchQA, InfoVQA, DocVQA, ChartQA, CharXiv (DQ/RQ)
- MCQ / open-ended 두 종류 prompt template, 둘 다 step-by-step 후 마지막 boxed span에 최종 답
- fixed-form 답은 rule-based matching, open-ended QA는 GPT-4o-mini judge
6.2 Main Results
15개 visual benchmark에서 RLVR vs RLR$^3$ 비교, 3개 training mix + Official/GPT-5 mini 레퍼런스

Macro average (15 benchmarks)
| Training mix | RLVR | RLR$^3$ | $\Delta$ |
|---|---|---|---|
| ViRL | 76.4 | 77.7 | +1.3 pp |
| OpenMMR | 76.4 | 78.1 | +1.7 pp |
| DeepVision | 77.4 | 78.2 | +0.8 pp |
- 레퍼런스: Base(instruct) 자체 평가 73.5, Qwen3-VL 테크리포트의 official instruct 72.5 / official thinking 76.8, GPT-5 mini high 75.5 / minimal 62.5
RLR$^3$ > RLVR, 벤치마크 레벨에서도 대부분 우세
- 대표적 gain: OpenMMR We-Math 67.3 $\to$ 74.3, DeepVision MathVerse 73.9 $\to$ 79.6, ViRL CountBenchQA 87.3 $\to$ 93.2, OpenMMR MathVista 83.5 $\to$ 83.9
- RLR$^3$ 가 RLVR을 못 이기는 벤치마크에서는 격차가 대체로 작음 (ex. OpenMMR MMStar 77.8 $\to$ 76.9, ViRL SimpleVQA 54.0 $\to$ 53.4)
오픈소스 데이터만으로 더 큰 post-training gain
- 자체 평가 base 73.5 $\to$ best RLR$^3$ 78.2 = +4.7 points
- 이는 공식 리포트의 instruct $\to$ thinking gain인 4.3 points보다 큼
- 자체 평가 base(73.5)와 official instruct(72.5) 간 gap은 1.0 point로 작음 $\to$ 평가 셋업이 과도하게 유리하지 않다는 방증
한계 신호 (저자 서술): OpenMMR에서의 margin이 ViRL/DeepVision보다 작음
- OpenMMR은 visual puzzle이 많은데, outcome-level ground truth만 가진 automatic rubric generator는 여기서 제한적인 supervision밖에 못 만듦
- 저자 제안 방향: outcome label + 더 세밀한 perceptual annotation을 같이 가진 synthetic visual puzzle 구축
6.3 Long-Term Training Stability
15개 벤치마크별 checkpoint-wise training trajectory, RLVR vs RLR$^3$, 점선은 base model

- RLVR은 초기에 오르다가 plateau 또는 degrade
- RLR$^3$ 는 trajectory의 더 넓은 구간에서 성능을 유지하거나 계속 개선 $\to$ 더 fine-grained하고 robust한 reward modeling이 RL 학습을 안정화하고 scaling을 쉽게 만든다는 해석
- 다만 저자들도 인정: gain이 아직 단일 최종 정책으로 통합되지 않음. future work로 model merging 또는 online policy distillation 제안
6.4 GenRM Reliability
RM 데이터 통계: train 18,251 / test 1,000 instance, 평균 criterion 3.19개/3.15개, verifier 사용 비율

- RM 데이터: train 18,251 instance (ViRL 25.4% / OpenMMR 25.8% / DeepVision 48.9%), criterion 58,224개 (instance당 3.19개), verifier 사용은 instance 기준 85.3% / criterion 기준 61.1%
- test 1,000 instance, criterion 3,148개. “criterion이 하나라도 credit을 잃는지”로 balance를 맞추고 input overlap 없이 split

- Base model은 coarse schema는 잘 따르지만 실행 단계에서 무너짐: execution 82.0%, credit 77.0% $\to$ sample-level 51.9%
- SFT가 instruction-following 에러는 전부 해결 (format 3종 모두 100.0)
- RLVR은 format은 동일하게 100.0이고, 실행에 결정적인 content field에서 추가 개선: arguments 96.1 $\to$ 96.3, credit 91.4 $\to$ 93.1
- criterion-level 94.3 $\to$ 95.0, sample-level 85.5 $\to$ 87.3
- 해석: RLVR이 GenRM으로 하여금 teacher 패턴을 흉내내는 대신 rubric 위에서 추론하고 credit을 배분하는 법을 배우게 함
6.5 Ablation: Failure-Mode Audit
- GenRM test set 1,000개의 regular 응답 + 4종 abnormal 응답 1,000개 (카테고리당 250개)
- no-final-answer: 분석은 하지만 최종 답을 명시하지 않음
- irrelevant: 유창하지만 질문과 무관
- wrong-but-plausible: 형식은 맞지만 중요한 답 요소를 바꿈
- adversarial: 부당한 credit을 유도하도록 설계 (red-team으로 발견한 3개 패턴 — authoritative circumlocution, symbolic-equivalence bluff, incorrect final selection)
- 두 명의 독립 LLM judge가 품질 검수 + 정답이 우연히 포함된 응답은 결정론적 체크로 제거
GenRM의 potential failure mode: regular accuracy와 4종 abnormal 응답의 FPR

세 가지 결론
- 이미지 접근은 self-answering 위험을 키움. VLM-as-a-Judge는 no-final-answer FPR 11.5 $\to$ 14.1, wrong-but-plausible 5.6 $\to$ 6.6. 응답 자체가 불완전/오답이어도 judge가 이미지에서 정답을 유추해 argument를 채워 넣음
- target leakage는 shortcut 위험을 키움. unlimited exposure는 no-final 11.5 $\to$ 15.7, plausible 5.6 $\to$ 7.5, adversarial 18.0 $\to$ 22.4. 응답에서 값을 추출하는 대신 reference에 anchoring 함
- 결정론적 verification이 exploitable false positive를 줄임. w/o Verifier는 regular accuracy는 비슷(95.3 vs 95.0)한데 no-final 15.1, adversarial 21.2로 FPR이 오름
- 절대 격차는 작지만 online training에서는 exploitable false positive가 반복 강화되기 때문에 치명적
- verifier가 없으면 정답을 명시적으로 포함하지 않은 adversarial 응답도 부당한 credit을 받을 수 있음 - 특히 regular-response accuracy는 모든 세팅에서 94.9 ~ 95.3으로 거의 동일 $\to$ minimal exposure와 verifier는 채점 정확도를 희생하지 않고 FPR만 줄임
case study: 화력발전소 도식 — “boiler”를 끝까지 명시하지 않는 ‘blind reasoner’ 응답. extractor는 text_verify(predict='') $\to$ 0, judge는 기능 설명이 비슷하다고 credit 1 오인

case study: symbolic-equivalence bluff — 가격표를 수식 더미로 포장해 “book about Asia”를 끝내 말하지 않음. extractor $\to$ 0, judge $\to$ 1

7. Conclusion & Limitations
Conclusion
- verifiability를 criterion-level 속성으로 취급함으로써, RLVR을 task-level outcome checking에서 rubric criterion 단위 검증(결정론적 verification 또는 semantic judgment)으로 확장
- execution routing + minimal exposure + score remapping + hierarchical aggregation + RLVR로 학습한 GenRM 조합이 online 최적화 아래에서 criterion-level 채점을 더 faithful하고 더 informative하게 만듦
- 3개 training mix 모두에서 RLVR 대비 macro average 개선. audit은 결정론적 verification과 minimal exposure가 채점 정확도를 깎지 않고 exploitable false positive를 줄임을 확인
Limitations (저자 명시)
- rubric generator가 루프 밖에 있음. RLR$^3$ 는 frontier 모델이 생성한 rubric에 여전히 의존하고, 그 generator는 policy optimization 루프 외부라 online training으로 개선되지 않음 $\to$ generator가 중간 perceptual evidence나 reasoning requirement를 under-specify하면 rubric 품질이 병목이 됨
- training trajectory가 여전히 checkpoint마다 비자명하게 흔들림 $\to$ online RL로 얻은 gain이 단일 최종 정책으로 안정적으로 통합되지 않음. 저자들은 online policy distillation을 다음 스텝으로 제시
- (실험적 한계) OpenMMR처럼 visual puzzle 비중이 높고 outcome-level GT만 있는 데이터에서는 margin이 작아짐
Takeaways
- “이 태스크는 verifiable한가?”가 아니라 “이 체크 항목은 verifiable한가?”로 질문을 바꾼 것이 이 논문의 핵심. 덕분에 RLVR stage / general RL stage 분리가 필요 없어짐 (RLVR은 모든 criterion이 verifiable인 degenerate case)
- rubric RL의 실제 적은 “rubric이 좋은가”보다 “rubric이 online에서 정확히 실행되는가”. offline 평가에서는 noise지만 online에서는 policy가 학습해버리는 인센티브가 됨
- minimal exposure가 생각보다 중요: judge에게 이미지를 주면 self-answering, extractor에게 target을 주면 copying. 두 shortcut 모두 FPR로 측정되며, 막아도 regular accuracy는 그대로 (95.0 vs 94.9/94.6)
- reward 설계 디테일 2개가 실질적: (a) group 내 saturation을 푸는 decoupled normalization, (b) essential 실패를 additional 성과로 상쇄 못 하게 하는 hierarchical gating. 둘 다 “가중합 하나로 뭉개기”의 실패 모드를 직접 겨냥함
- GenRM을 RLVR로 한번 더 학습하는 게 SFT 대비 sample-level accuracy를 85.5 $\to$ 87.3으로 올림. reward model도 학습 대상이라는 관점
- 재현성 측면에서 아쉬운 점: 코드/모델 공개 언급이 없고, rubric generator로 쓰인 frontier 모델이 특정되지 않음