아티클 목록으로

확산 모델 RL 후학습, 핵심은 활성화 조향일 수 있다

약 3분 소요

확산 모델의 강화학습(RL) 후학습은 이미지 품질, 글자 렌더링, 여러 객체를 함께 배치하는 능력을 높일 수 있습니다. 이런 능력은 프롬프트에 따라 달라지므로, 모델이 입력별로 복잡한 변환을 새로 학습해야 한다고 생각하기 쉽습니다. 이번 연구는 다른 설명을 제시합니다. 개선의 상당 부분은 사전학습 모델이 이미 가진 능력을 더 적절한 방향으로 유도한 결과일 수 있다는 것입니다.

동결 모델에 고정 벡터 적용

연구진은 모델 전체를 업데이트하는 대신 동결된 확산 Transformer의 각 블록 출력에 고정 조향 벡터를 더했습니다. 이 벡터는 프롬프트, 텍스트 토큰, 샘플링 시드가 달라도 동일하게 적용됩니다. 따라서 입력마다 별도의 조정을 수행할 수 없습니다. 연구진은 먼저 공개된 RL 조정 체크포인트의 속도 예측을 따라가도록 벡터를 맞췄으며, 이 과정의 목적 함수에는 보상 신호를 넣지 않았습니다.

SD3.5-M에서 벡터의 파라미터 수는 0.29M으로, RL 조정에 사용된 18.8M 파라미터 LoRA보다 약 65배 적습니다. 그럼에도 RL 조정된 이미지 모델 6종에서 보상 향상의 90.0~96.3%를 재현했다고 보고했습니다. 비디오 모델 2종에서는 각각 89.8%와 111.9%를 기록했습니다. 111.9%는 해당 평가에서 비교 대상보다 높은 향상을 냈다는 의미이지, 비디오 생성의 모든 측면에서 우월하다는 뜻은 아닙니다.

연구진은 벡터를 0으로 초기화해 온라인 RL로 학습하는 방식도 시험했습니다. SD3.5-M에서 이 방법은 글자 렌더링을 평가하는 OCR과 사람의 선호를 반영하는 PickScore에서 가중치 기반 RL보다 더 큰 보상 향상을 보였습니다.

의미와 한계

이 결과는 프롬프트에 민감한 능력을 개선하려면 반드시 입력 의존적인 새 연산을 학습해야 한다는 통념에 의문을 제기합니다. 고정된 개입만으로도 출력이 크게 달라질 수 있다면, 기반 모델이 필요한 능력의 상당 부분을 이미 갖췄고 후학습은 그 능력이 생성 과정에 드러나는 방식을 조정하는 것일 수 있습니다. 이는 적은 파라미터로 모델 행동을 분석하고 학습하는 방법을 검토할 근거가 됩니다.

다만 모든 RL 성과가 고정 벡터로 설명된다는 증거는 아닙니다. 보고된 결과는 특정 모델과 보상 지표에 관한 것이며, 다른 작업이나 프롬프트 분포에서는 입력별 적응이 필요할 수 있습니다. 보상 점수가 올랐다는 사실만으로 다른 품질 요소나 생성 다양성이 유지된다고 단정할 수도 없습니다. 신중한 결론은 이번 실험에서 고정 활성화 조향이 측정된 향상의 대부분을 재현했다는 것이며, 이 설명이 어디까지 적용되는지는 추가 평가가 필요합니다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
GRPO의 밀집 보상은 추가 연산 비용만큼 가치가 있을까
강화학습
cctest.ai
강화학습

GRPO의 밀집 보상은 추가 연산 비용만큼 가치가 있을까

1668개 실행과 6개 모델을 분석한 연구에서 생성 토큰과 GPU 시간을 맞추자 몬테카를로 방식의 밀집 과정 보상은 표준 GRPO를 앞서지 못했다. 모델이 가장 불확실한 프롬프트를 선택하는 방법은 작지만 재현 가능한 개선을 보였다.

더 보기
CCTest · Blog
FewStepRL: 소수 단계 확산 모델을 위한 강화학습 미세 조정
강화학습
cctest.ai
강화학습

FewStepRL: 소수 단계 확산 모델을 위한 강화학습 미세 조정

FewStepRL은 소수의 샘플링 단계로 동작하는 확산 모델에 기존 강화학습 목적함수를 적용하는 체계적인 방법을 제시합니다. 미분 가능한 보상에는 보상 그래디언트 기반 방법이 효과적이며, 그렇지 않은 경우에는 DiffusionNFT 계열이 실용적인 대안으로 나타났습니다.

더 보기
CCTest · Blog
비동기 강화학습의 안정성을 좌우하는 커널 정렬
강화학습
cctest.ai
강화학습

비동기 강화학습의 안정성을 좌우하는 커널 정렬

vLLM Blog는 rollout과 learner의 계산 커널을 비트 단위로 맞춘 뒤, 클리핑하지 않은 중요도 샘플링으로 오래된 정책의 영향을 보정하는 REINFORCE Zero를 소개했다. 이 방식은 높은 정책 지연에서도 비동기 학습을 안정적으로 유지하는 것을 목표로 한다.

더 보기