DiffusionART, 확산 모델 강화학습의 효율성과 안정성을 높이다

들어가며

확산 모델은 고품질 이미지와 영상을 생성하지만, 시각적 품질이나 움직임의 품질, 프롬프트 부합도 같은 목표를 더 개선하려면 일반적인 우도 학습만으로는 한계가 있습니다. 온라인 강화학습은 모델이 샘플을 생성하고 블랙박스 보상으로 이를 평가한 뒤, 평가 결과에 따라 모델을 조정하는 방법을 제공합니다. 그러나 하나의 결과물이 여러 디노이징 단계를 거쳐 만들어지기 때문에 최종 보상을 각 단계에 어떻게 배분할지가 어려운 문제로 남습니다.

KlingAI Research의 새 논문은 이 문제를 겨냥한 DiffusionART를 제안했습니다. 이 방법은 확산 모델 강화학습을 더 효율적이고 안정적이며 확장 가능하게 만드는 것을 목표로 하며, 이미지와 영상 생성에서 평가되었습니다.

핵심 내용

• 신용 할당 방식을 재구성. Flow-GRPO와 같은 역과정 기반 방법은 샘플 수준의 보상을 여러 디노이징 단계에 나눠야 합니다. 논문은 이 구조가 비효율적인 학습과 불충분한 신용 할당으로 이어질 수 있다고 설명합니다. DiffusionART는 대신 순방향 과정의 상태를 중심으로 보상 신호를 구성합니다.
• 보상을 먼저 집계. 긍정 샘플과 부정 샘플에 별도의 업데이트를 적용하는 대신, 같은 프롬프트에서 나온 보상 정보를 먼저 모아 보상을 높이는 공통 방향을 만듭니다. 저자들은 이를 통해 NFT 계열 목적 함수에 숨어 있는 순방향-역방향 일관성 힘을 구조적으로 제거할 수 있다고 주장합니다.
• EMA 조정 없이 복원. DiffusionNFT는 오프폴리시 학습을 안정화하기 위해 지수이동평균 EMA를 신중하게 설정해야 합니다. DiffusionART는 신뢰 영역으로 마스킹한 두 번째 업데이트를 추가해, 작업별 EMA 설정 대신 모델 드리프트 크기에 따라 복원하도록 설계했습니다.
• 다양한 보상 방식 지원. 미분 가능한 보상 모델이 필요하지 않고, 프롬프트당 샘플 수가 적은 상황에서도 효과를 유지한다고 보고되었습니다. 쌍별 보상 모델을 위한 DiffusionART-Pairwise 버전도 제시됐습니다.

결과와 의미

논문에 따르면 DiffusionART는 작업별 세밀한 튜닝 없이 이미지와 영상 생성에서 효율성과 안정성을 유지했습니다. HunyuanVideo-13B에서 시각 품질과 움직임 품질 보상을 동일한 비중으로 사용했을 때, DiffusionNFT의 후반부 평균 보상 수준에 도달하는 데 필요한 GPU 시간은 12.02배 적었고, Flow-GRPO-Fast의 해당 수준에 도달할 때는 11.72배 적었습니다. 평균 학습 보상은 두 기준선보다 각각 28.8%, 53.0% 높았다고 보고됐습니다.

영상 확산 모델의 강화학습은 매 샘플마다 여러 단계의 생성 계산이 필요하고, 보상을 최적화하기 위해 반복 샘플링도 수행해야 합니다. 따라서 각 프롬프트와 배치에서 얻은 정보를 더 유용한 업데이트로 바꾸는 능력은 전체 학습 비용에 직접 영향을 줄 수 있습니다. DiffusionART는 샘플 수를 단순히 늘리는 대신, 보상 집계 방식과 모델 드리프트 복원 방식을 개선했다는 점에서 의미가 있습니다.

현재 제공된 자료는 방법의 핵심 동기와 주요 실험 결과를 중심으로 구성되어 있습니다. 세부적인 실험 설정, 보상 구성, 구현 방식은 전체 논문과 코드에서 추가로 확인할 필요가 있습니다. 그럼에도 이 연구는 확산 모델 강화학습의 안정성이 EMA나 외부 제약만으로 결정되는 것이 아니라, 모델 업데이트 전에 보상 정보를 어떻게 구조화하느냐에 따라서도 달라질 수 있음을 보여줍니다.

출처: Hugging Face Daily Papers