확산 모델의 강화학습(RL) 후학습은 이미지 품질, 글자 렌더링, 여러 객체를 함께 배치하는 능력을 높일 수 있습니다. 이런 능력은 프롬프트에 따라 달라지므로, 모델이 입력별로 복잡한 변환을 새로 학습해야 한다고 생각하기 쉽습니다. 이번 연구는 다른 설명을 제시합니다. 개선의 상당 부분은 사전학습 모델이 이미 가진 능력을 더 적절한 방향으로 유도한 결과일 수 있다는 것입니다.
동결 모델에 고정 벡터 적용
연구진은 모델 전체를 업데이트하는 대신 동결된 확산 Transformer의 각 블록 출력에 고정 조향 벡터를 더했습니다. 이 벡터는 프롬프트, 텍스트 토큰, 샘플링 시드가 달라도 동일하게 적용됩니다. 따라서 입력마다 별도의 조정을 수행할 수 없습니다. 연구진은 먼저 공개된 RL 조정 체크포인트의 속도 예측을 따라가도록 벡터를 맞췄으며, 이 과정의 목적 함수에는 보상 신호를 넣지 않았습니다.
SD3.5-M에서 벡터의 파라미터 수는 0.29M으로, RL 조정에 사용된 18.8M 파라미터 LoRA보다 약 65배 적습니다. 그럼에도 RL 조정된 이미지 모델 6종에서 보상 향상의 90.0~96.3%를 재현했다고 보고했습니다. 비디오 모델 2종에서는 각각 89.8%와 111.9%를 기록했습니다. 111.9%는 해당 평가에서 비교 대상보다 높은 향상을 냈다는 의미이지, 비디오 생성의 모든 측면에서 우월하다는 뜻은 아닙니다.
연구진은 벡터를 0으로 초기화해 온라인 RL로 학습하는 방식도 시험했습니다. SD3.5-M에서 이 방법은 글자 렌더링을 평가하는 OCR과 사람의 선호를 반영하는 PickScore에서 가중치 기반 RL보다 더 큰 보상 향상을 보였습니다.
의미와 한계
이 결과는 프롬프트에 민감한 능력을 개선하려면 반드시 입력 의존적인 새 연산을 학습해야 한다는 통념에 의문을 제기합니다. 고정된 개입만으로도 출력이 크게 달라질 수 있다면, 기반 모델이 필요한 능력의 상당 부분을 이미 갖췄고 후학습은 그 능력이 생성 과정에 드러나는 방식을 조정하는 것일 수 있습니다. 이는 적은 파라미터로 모델 행동을 분석하고 학습하는 방법을 검토할 근거가 됩니다.
다만 모든 RL 성과가 고정 벡터로 설명된다는 증거는 아닙니다. 보고된 결과는 특정 모델과 보상 지표에 관한 것이며, 다른 작업이나 프롬프트 분포에서는 입력별 적응이 필요할 수 있습니다. 보상 점수가 올랐다는 사실만으로 다른 품질 요소나 생성 다양성이 유지된다고 단정할 수도 없습니다. 신중한 결론은 이번 실험에서 고정 활성화 조향이 측정된 향상의 대부분을 재현했다는 것이며, 이 설명이 어디까지 적용되는지는 추가 평가가 필요합니다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…