확산 모델

GroundAnything은 시각적 그라운딩을 순차적 텍스트 생성이 아니라 시각적 증거를 함께 추출하는 문제로 재정의한다. 4B 모델에 양방향 확산을 적용해 최대 4.51배의 추론 가속을 탐색했다.

SoloQ는 보정 데이터 없이 확산 언어 모델의 가중치와 활성값을 저비트로 양자화하는 프레임워크입니다. 구조화 회전, 재스케일링, KV 캐시 압축을 결합해 4비트와 NVFP4 기반 추론 효율을 높이는 것을 목표로 합니다.

MC-Sparse는 장기 시퀀스 확산 생성에서 희소 어텐션의 품질 저하 원인을 분석하고, 세밀한 KV 토큰 선택과 메타데이터 재사용을 결합한 학습 불필요 프레임워크를 제안한다. 비디오와 3D 생성에서 밀집 어텐션에 가까운 품질을 유지하면서 디노이징을 가속한다.

Inverse Distillation Unlearning(IDU)은 확산 모델이나 플로 매칭 모델을 1단계 생성기로 증류하면서, 지정한 학습 데이터 부분집합에 해당하는 출력을 억제하는 방법이다. 전체 데이터로 학습한 교사 모델과 삭제 대상 샘플만 필요하다.

ALoDLM은 확산 언어 모델에 토큰 적응형 잠재 재귀를 도입합니다. 쉽게 결정할 수 있는 토큰은 먼저 확정하고, 어려운 토큰은 추가 계산으로 계속 정제해 병렬 디코딩과 품질 개선을 함께 노립니다.

HC-DLM은 이산 토큰 출력과 지속적인 연속 잠재 상태를 결합해 병렬 확산 디코딩에서 끊기기 쉬운 토큰 간 의존성을 다루는 방법입니다. 논문은 스도쿠, Countdown, LM1B에서 같은 규모의 이산·연속 확산 기준선보다 나은 결과를 보고합니다.

알리바바 통이첸원 팀이 7B 규모의 이미지 생성 모델 Qwen-Image-2.1을 오픈소스로 공개했습니다. 텍스트-이미지 생성, 투명 이미지 생성, 이미지 편집을 하나의 모델로 통합한 것이 특징입니다.

3B 파라미터 block diffusion 모델을 비교한 연구에서 상태공간 시퀀스 믹서가 정확하면서도 크기가 일정한 캐시를 제공할 수 있다는 결과가 나왔다. 긴 컨텍스트에서 Mamba는 어텐션보다 메모리와 지연 시간, 처리량 면에서 큰 이점을 보였다.

LLaDA-Image는 처음부터 학습한 6B 파라미터 DiT와 동결된 비전·언어 이해 모듈을 결합해 이미지 생성과 편집을 지원합니다. 증류된 Turbo 버전은 추론을 2~4 샘플링 단계로 줄이며, 모델 가중치와 코드, 학습 레시피가 함께 공개됩니다.

EditBridge는 초고해상도 이미지 편집을 위한 확산 브리지 프레임워크다. 저해상도 편집 결과를 별도의 초해상도 모델에 맡기는 대신 원본 고해상도 이미지를 조건으로 사용해 실제 디테일을 보존한다.

DiffusionGemma는 텍스트를 한 토큰씩 생성하는 대신 256토큰 블록을 병렬로 반복 보정하는 실험적 오픈웨이트 언어 모델이다. Gemma 4를 미세조정해 만들어졌으며, 생성 속도와 모델 능력 사이의 새로운 절충점을 제시한다.

이 논문은 텍스트-이미지 생성에서 프롬프트의 길이가 아니라 구조화된 언어 정보가 확산 모델의 학습 손실과 어떤 관계를 갖는지 분석한다. 저자들은 이 관찰을 바탕으로 구조화 프롬프트와 전용 prompter를 설계해 생성 성능을 개선했다.

Explorative Modeling은 모델 출력과 데이터 사이의 후보 매칭을 여러 개 탐색한 뒤 가장 좋은 후보로 학습하는 방식입니다. 논문은 이 탐색 규모가 파라미터와 데이터에 이은 세 번째 사전학습 스케일링 축이 될 수 있다고 주장합니다.

Chimera는 고해상도 이미지와 긴 비디오 생성을 위해 전체 어텐션의 계산 비용을 줄이려는 하이브리드 시각 확산 아키텍처다. KDA, MLA, 짧은 합성곱, 희소 MoE, HeteroP 스케일링을 결합한 점이 핵심이다.

Parallel Decoding Distillation(PDD)은 확산 모델과 플로 매칭 모델의 느린 반복 샘플링을 줄이기 위해 제안된 궤적 기반 증류 방법이다.

소니 연구진은 확산 모델과 플로 매칭 모델의 추론 과정에서 발생하는 주파수 의존적 오차를 보정하는 Spectral Alignment(SPA)를 제안했다. 이 방법은 사전 계산한 스펙트럼 prior와 FFT 기반 가이던스를 이용해 중간 예측을 보정한다.

TBSM은 GAN의 판별기나 확산 모델의 고정된 노이즈 제거 경로 대신, 생성 샘플이 실제 데이터 분포로 이동해야 할 방향을 직접 학습하는 접근법입니다.

Mage-Flow는 이미지 생성 모델의 경쟁력이 단순한 파라미터 확대만으로 결정되지 않는다는 점을 보여준다. 4B 규모에서 토크나이저, 확산 Transformer, CUDA 최적화를 함께 설계해 생성과 편집을 모두 겨냥한다.

새 논문은 텍스트-이미지 Diffusion Transformer에서 구조적 텍스트 템플릿 토큰이 단순한 자리표시자가 아니라고 주장한다. 이 토큰들은 생성 과정에서 객체 정체성을 유지하는 암묵적 의미 레지스터로 작동한다.

이 논문은 확산 언어 모델이 명시적인 타임스텝 없이도 내부에서 디노이징 진행 상태를 추적하는지 분석한다. 연구진은 잔차 스트림에서 시간과 관련된 잠재 신호를 디코딩할 수 있음을 보였다.

DiFA는 확산 모델의 추론 중 생성되는 과거 예측을 단순한 적분 보조값이 아니라 상관된 관측으로 활용하는 재학습 불필요 프레임워크입니다. 전방 확산 과정과 정렬된 시간적 합의를 통해 안정성과 세부 묘사를 높이는 것이 목표입니다.