월드 모델

Tencent ARC Lab이 플레이어·그룹·글로벌의 3단계 통신을 활용하는 멀티플레이어 영상 생성 프레임워크 Multics를 제안했다. 모든 플레이어를 직접 연결할 때 발생하는 계산량 증가와 중앙 표현의 간섭을 줄이는 것이 핵심이다.

RSI-Anything은 예측형 세계 모델을 활용해 행동과 학습 데이터를 선택하고, AI 정책과 워크플로를 지속적으로 개선하는 프레임워크입니다. 코드 수정, GUI 작업, 실험 계획, 반응 최적화 등에서 평가됐습니다.

화웨이 노아의 방주 연구실 등이 개발한 Memento 3는 모델 가중치를 갱신하거나 게임별 미세조정을 하지 않고 ARC-AGI-3의 25개 게임과 183개 레벨을 모두 통과했다. 발견한 규칙을 실행 가능한 세계 모델로 바꾸고 계속 검증한 것이 핵심이다.

바이트댄스의 전 인턴 연구원 톈커위가 학습 클러스터 논란과 소송을 겪은 지 2년 만에 스텔스 스타트업으로 약 3,000만 달러를 조달한 것으로 전해졌다. 투자 후 기업가치는 2억 달러이며, 핵심 분야는 세계 모델이다.

DreamTrue는 입력된 행동을 더 정확히 반영하고 물리적으로도 타당한 미래 영상을 생성하도록 설계된 다중 시점·이기종 로봇 대응 월드 모델입니다. 이미지 공간 보정, 반사실적 후속 학습, 인간 평가 기반 보상 모델을 결합합니다.

WorldGuide는 절차적 동영상 생성을 폐루프 작업 실행 문제로 다룬다. 현재 시각 상태에서 다음 원자 행동을 계획하고, 해당 행동을 동영상으로 생성한 뒤 결과를 바탕으로 다음 행동이나 종료 여부를 결정한다.

Trace2Env는 원래 실행 시스템을 다시 구현하는 대신 과거 상호작용 기록에서 환경을 재구성한다. 월드 모델 에이전트가 관찰과 지속적인 상태 변화를 추론해 에이전트 훈련과 평가를 지원한다.

WorldSonus는 월드 모델을 위해 영상에서 제어 가능한 스테레오 음향을 실시간으로 생성하는 인터랙티브 비디오-오디오 프레임워크입니다. 논문은 0.41의 실시간 계수와 오픈 도메인 벤치마크에서의 높은 일반화 성능을 보고합니다.

RoboJEPA는 12개 로봇 형태의 실제 데이터를 활용해 잠재 세계 모델이 연산량에 따라 어떻게 발전하는지 연구했다. 잠재 롤아웃의 상상 오차는 실제 로봇의 계획 성능과 강한 상관관계를 보였다.

새로운 벤치마크는 기준 영상과의 시각적 유사성 대신 영상에서 관찰 가능한 물리 관계를 직접 측정한다. 8개 영상 생성 모델을 평가한 결과, 시각적으로 설득력 있는 출력에서도 물리적 불일치가 지속적으로 나타났다.

HLA-WM은 카메라 기하 기반 검색과 순환 선형 어텐션을 결합해 추가 학습 없이 장기 비디오 생성의 장면 재방문 일관성과 카메라 제어를 개선한다.

RealtimeWAM은 세계 행동 모델의 다단계 행동 디노이징과 비디오 전문가·행동 전문가 사이의 대기 시간을 함께 줄인다. 논문은 H100에서 최대 25배의 엔드투엔드 가속과 1% 미만의 정확도 저하를 보고했다.

비디오 월드 모델은 장기 시간 일관성을 위해 KV 캐시를 계속 저장하지만, 낮은 비트 양자화는 화면 깜빡임을 유발할 수 있습니다. QuantWM은 단순한 수치 오차가 아니라 어텐션의 동작을 보존하는 방식으로 이 문제를 다룹니다.

JEPA-TTT는 학습 환경과 다른 동역학이 나타났을 때 사전 학습된 JEPA 세계 모델을 테스트 중에도 계속 조정하는 방법입니다. 시각 인코더와 보상 헤드는 고정하고 잠재 동역학 예측기만 자기지도 방식으로 업데이트합니다.

ProWAM은 세계 행동 모델에 순서가 있는 희소 시각 하위 목표를 추가해 전체 미래 영상을 생성하지 않고도 로봇에 단계별 행동 지침을 제공한다. 여러 시뮬레이션 벤치마크에서 분포 밖 환경에 대한 강건성이 개선된 결과가 보고됐다.

HelixWorld는 시각 정보만 생성하던 기존 인터랙티브 월드 모델에 카메라 위치와 연동되는 스테레오 공간 음향을 결합한다. 사용자 조작과 시점 이동에 따라 영상과 음장이 함께 변하도록 설계하고, 음향 일관성을 평가하는 HelixBench도 제안했다.

World Embedding Benchmark는 영상 임베딩이 물리 개념과 정렬되고 정량적 정보를 보존하는지 평가한다. 연구 결과는 표현 안에 물리 신호가 남아 있는 것과 그 신호를 다른 모달리티에서 안정적으로 활용하는 것이 별개의 문제임을 보여준다.

World Observer는 행동 주체의 시점과 관찰자 시점을 분리해 여러 시점을 함께 생성합니다. 물체가 행동 주체의 시야를 벗어난 뒤에도 관찰자 화면에서 계속 변화하도록 해, 다시 시야에 들어왔을 때 상태와 외관의 일관성을 높입니다.

AutoGUIWorld는 이미지 생성 모델의 시각적 사전지식과 작업 플래너를 결합해 실제 소프트웨어를 실행하지 않고도 GUI 상호작용 궤적을 합성한다. 연구진은 여러 운영체제와 브라우저를 아우르는 데이터로 컴퓨터 사용 에이전트의 성능 향상을 확인했다.

LOCI는 키-값 캐시와 순환 선형 메모리를 결합해 카메라가 이전에 보았던 장소로 돌아왔을 때 장면을 더 충실하게 재현하도록 설계됐다. 카메라의 투영 기하를 메모리 검색과 기록에 활용해 긴 영상의 메모리 부담도 줄인다.

NVIDIA 연구진이 객체, 원인, 상호작용, 시간적 변화와 결과를 설명하는 물리 언어를 데이터 정제·모델 학습·비디오 생성의 공통 표현으로 사용하는 Physis-Lang을 제안했습니다. 원자적 주장 평가와 언어 기반 검색을 통해 물리적으로 더 타당한 영상을 생성하는 것이 목표입니다.