Multics, 계층형 통신으로 멀티플레이어 월드 모델 확장

들어가며

멀티플레이어 월드 모델은 여러 영상을 동시에 생성하는 문제보다 훨씬 복잡하다. 각 플레이어의 시점은 같은 환경과 사건을 묘사해야 하지만, 플레이어별 행동과 카메라 제어는 서로 독립적이어야 한다. 플레이어 수가 늘어나면 정보 교환 비용이 커지고, 서로 관련 없는 사건이 하나의 표현 안에서 섞이는 문제도 심해진다.

Tencent ARC Lab이 제안한 Multics는 이 문제를 플레이어, 그룹, 글로벌의 3단계 통신 구조로 다룬다. 모든 플레이어가 서로 직접 연결되는 대신, 먼저 지역적으로 관련된 정보를 묶고 필요한 정보만 상위 단계로 전달하는 방식이다.

핵심 설계

• 그룹 토큰 도입. 그룹 토큰은 서로 관련된 플레이어의 정보를 모아 지역 사건과 시각적 맥락을 나타내는 중간 표현으로 작동한다.
• 계층형 정보 흐름. 플레이어 정보는 우선 그룹 내부에서 교환되고, 그룹 토큰은 글로벌 토큰과 연결되어 그룹 간 정보를 전달한다. 이를 통해 무관한 플레이어 사이의 직접적인 정보 혼합을 제한한다.
• 그룹 간 파라미터 공유. 그룹 토큰의 파라미터를 여러 그룹 슬롯에서 공유하므로, 플레이어 수나 그룹 배치가 달라져도 그룹별 전용 파라미터를 새로 추가할 필요가 없다.
• 동적 그룹화와 예산 제약. 최근 카메라 궤적을 사용해 서로 관련될 가능성이 높은 플레이어를 묶고, 통신 예산을 제한해 불필요한 연결을 줄인다. 모델이 항상 모든 플레이어와 같은 강도로 통신하지 않도록 하는 장치다.

결과와 의미

논문에 따르면 Multics는 4인과 6인 설정에서 좋은 성능을 보였으며, 플레이어 간 시점 일관성, 플레이어별 행동 및 카메라 제어, 간섭에 대한 강건성에서 개선을 보였다. 또한 4인 데이터로 학습한 모델을 재학습하지 않고 6인, 8인, 10인 추론에 사용할 수 있다고 보고했다. 완전 연결형 통신보다 자기주의 계산량도 낮다.

이 연구의 의미는 멀티플레이어 월드 모델의 확장 문제를 단순히 모델 규모가 아닌 통신 구조의 문제로 바라봤다는 데 있다. 중앙집중형 표현은 무관한 사건을 서로 오염시킬 수 있고, 완전 연결형 구조는 플레이어 수가 증가할수록 비용이 커진다. Multics는 지역 정보는 가깝게 묶고, 그룹 간 조정은 상위 표현을 통해 선택적으로 수행하는 절충안을 제시한다.

다만 공개된 자료만으로는 훨씬 복잡한 장면, 긴 시간의 생성, 대규모 플레이어 환경에서의 안정성을 판단하기 어렵다. 카메라 궤적이 시각적으로 떨어져 있지만 의미적으로 연결된 상호작용까지 충분히 포착할 수 있는지도 추가 검증이 필요하다. 그럼에도 Multics는 확장 가능한 멀티에이전트 영상 세계 모델을 위한 유의미한 설계 방향을 보여준다.

출처: Hugging Face Daily Papers