PLC-DPO: 노이즈 선호 라벨을 스스로 보정하는 DPO

배경

Direct Preference Optimization(DPO)은 별도의 보상 모델을 학습하지 않고도 응답 쌍의 선호 비교를 이용해 언어 모델을 정렬할 수 있어 널리 사용됩니다. 하지만 선택된 응답이 거부된 응답보다 항상 우수하다는 가정이 필요합니다. 실제 선호 데이터에서는 이 가정이 자주 흔들립니다. 사람마다 판단이 다를 수 있고, 두 응답의 차이가 매우 작을 수도 있으며, 기록된 선호 방향 자체가 뒤집혀 있을 수도 있습니다. 이런 사례를 모두 확실한 정답처럼 학습하면 정책이 잘못된 방향으로 업데이트될 위험이 있습니다.

PLC-DPO의 접근

PLC-DPO는 선호 쌍을 무조건 사용하거나 삭제하는 대신, 각 쌍의 감독 신호를 어떻게 처리할지 추정합니다. 고려하는 잠재 상태는 다음과 같습니다.

• clean: 관측된 선호가 신뢰할 만하므로 기존 방향을 강화합니다.
• flip: 라벨 방향이 반대일 가능성이 있으므로 업데이트 방향을 뒤집습니다.
• tie: 뚜렷한 우열을 확인하기 어려우므로 방향성 업데이트를 약화합니다.

핵심 단서는 정책과 참조 모델이 두 응답에 부여하는 로그 확률 차이, 즉 정책–참조 마진입니다. PLC-DPO는 이 마진을 보정한 뒤 세 상태에 대한 사후확률과 유사한 라우팅 가중치를 계산합니다. 따라서 의심스러운 샘플을 단순히 버리는 대신, 정상적인 방향으로 학습할지, 반대 방향으로 수정할지, 동률에 가깝게 억제할지를 결정할 수 있습니다.

학습 과정에서는 정방향 손실, 역방향 손실, 동률 정규화 손실을 함께 사용합니다. 안정적인 라우팅을 위해 지수이동평균 기반 보정, 워밍업 단계, 신뢰도 게이팅도 적용합니다. 필요한 로그 확률은 DPO가 원래 계산하는 값을 재사용하므로 보조 모델이나 추가적인 인간 감독이 필요하지 않습니다.

결과와 의미

57개의 데이터셋·모델·벤치마크 조합에서 PLC-DPO는 DPO를 상대로 평균 60.5%의 승률을 보고했습니다. 다음으로 높은 방법의 수치는 55.5%였습니다. 연구진은 인위적으로 노이즈를 주입한 테스트, 동률 상황을 강조한 스트레스 테스트, 인간 판단 불일치 분석, 자기확인 진단도 수행했습니다. 제공된 자료에 따르면 라우팅은 안정적으로 유지됐고, 라벨이 뒤집힌 쌍과 단순히 선호 방향이 약한 쌍을 구분하는 결과를 보였습니다.

이 연구의 중요한 점은 노이즈가 있는 선호 데이터를 처리하는 방법을 단순한 필터링 이상으로 확장했다는 데 있습니다. 문제가 있는 샘플도 정보의 일부를 포함할 수 있으므로, 감독의 방향과 업데이트 강도를 분리해 조정하려는 것입니다. 다만 판단의 근거가 보정된 마진인 만큼 보정 품질, 워밍업 설정, 모델의 오류가 스스로 강화되는 현상은 실제 적용에서 계속 점검해야 합니다.

출처: Hugging Face Daily Papers