Mental World Modeling: 장면을 넘어 사람의 마음까지 모델링하기

도입

세계 모델은 보통 외부 환경을 내부적으로 시뮬레이션하는 장치로 이해된다. 무엇이 있고, 어디에 있으며, 다음 순간 장면이 어떻게 변할지 예측하는 것이다. 이는 계획과 행동 생성에 중요하지만, Mental World Modeling 논문은 여기에 인간 행동을 설명하는 핵심 요소가 빠져 있다고 지적한다. 어떤 모델이 물리적 장면을 정확히 복원하더라도, 사람의 다음 행동은 틀리게 예측할 수 있다. 인간은 보이는 사물만이 아니라 자신이 무엇을 알고 믿는지, 무엇을 원하고 의도하는지, 어떤 감정을 느끼는지, 무엇이 사회적으로 허용된다고 생각하는지에 따라 움직이기 때문이다.

핵심 요점

• 물리적으로 같은 장면도 다른 행동을 낳는다: 겉으로 보기에는 동일한 상황이라도, 당사자의 지식, 오해, 목표, 감정, 사회적 의무가 다르면 선택은 완전히 달라질 수 있다.
• MWM은 정신 변수를 세계 상태에 포함한다: Mental World Modeling은 믿음, 욕구, 의도, 감정, 사회적 제약을 사후 설명이 아니라 세계 모델의 핵심 구성 요소로 다룬다.
• 대상 인물별 부분 관측이 필요하다: 한 사람이 실제로 본 것, 들은 것, 아는 것, 추론할 수 있는 것은 전체 물리 장면과 다를 수 있다. MWM은 특정 인물의 관점에서 관측 가능한 세계를 재구성한다.
• 행동은 물리 세계와 정신 세계를 함께 바꾼다: 어떤 행동은 물체의 위치를 바꿀 뿐 아니라, 타인의 지식, 기대, 감정, 관계도 변화시킨다. 따라서 후보 행동을 평가할 때 물리 상태와 정신·사회 상태를 결합해 갱신해야 한다.
• MENTIS는 검사 가능한 구현이다: 저자들은 MWM을 MENTIS로 구체화했다. 이는 추가 학습 없이 작동하며, 상태 파싱, 대상 관측 생성, 행동 분해, 결합 전이 시뮬레이션, 분기별 가치 평가, 최종 결정으로 과정을 나눈다.

실험이 보여주는 것

논문은 텍스트, 이미지, 소리가 포함된 비디오 스토리를 아우르는 상황적 의사결정 데이터셋에서 이 접근을 평가했다. 해당 데이터셋은 수작업으로 구성되고 품질 관리가 이루어진 것으로 설명된다. 8개의 최신 LLM 기반 세계 모델을 대상으로 한 실험은 공통된 결론을 제시한다. 인간의 결정을 예측하려면 정신 상태를 명시적으로 모델링하는 과정이 필수적이라는 것이다.

이는 현재 대규모 언어 모델이 믿음이나 의도를 전혀 추론하지 못한다는 뜻은 아니다. 문제는 그런 정보를 안정적이고 구조화된 상태로 유지하며 갱신하는 능력이다. MENTIS의 장점은 중간 단계를 드러내어 오류가 어디서 발생했는지 확인할 수 있게 한다는 점이다. 장면 이해가 잘못됐는지, 대상 인물의 부분 관측을 잘못 만들었는지, 믿음 갱신이나 행동 평가에서 실패했는지를 분석할 수 있다.

의미와 영향

MWM은 세계 모델 연구의 초점을 물리적 장면 시뮬레이션에서, 그 장면 안에서 행동하는 사람의 마음을 함께 시뮬레이션하는 방향으로 넓힌다. 이는 AI 에이전트, 체화 지능, 인간-AI 협업, 비디오 이해, 사회적 추론에 중요한 변화다. 가정, 사무실, 교육, 돌봄 같은 실제 환경에서 AI가 사람과 상호작용하려면 객관적인 세계 상태만으로는 부족하다. 각 사람이 그 세계를 어떻게 이해하고 있는지도 추적해야 한다.

이 연구의 메시지는 행동 예측의 어려움이 단순히 인식 정확도나 긴 추론 과정의 문제가 아니라는 데 있다. 더 유용한 세계 모델은 외부 세계가 어떻게 변할지와, 그 안의 사람들이 그 변화를 어떻게 해석하고 반응할지를 동시에 다뤄야 할 가능성이 크다.

출처: Hugging Face Daily Papers