JEPA-Anything: 서로 다른 세계를 위한 인자 분해형 월드 모델

들어가며

월드 모델의 핵심은 현재 상태를 설명하는 데 그치지 않고, 어떤 행동이나 개입 이후에 무엇이 일어날지 예측하는 것입니다. 문제는 모델이 다뤄야 할 세계가 영역마다 크게 다르다는 점입니다. 이미지에는 시각적 구조가 중요하고, 임상 기록에는 환자의 시간적 경과가 담깁니다. 분자 시스템과 물리장은 상호작용과 연속적인 동역학을 따르며, 날씨는 장기 예측에서 오차가 빠르게 누적될 수 있습니다.

기존 예측 모델은 대체로 한 영역에 맞춰 설계되므로, 서로 다른 세계를 하나의 원리로 모델링하기가 쉽지 않습니다. Hugging Face Daily Papers에 소개된 JEPA-Anything은 이 문제를 Joint-Embedding Predictive Architecture, 즉 JEPA를 확장하는 방식으로 다룹니다. 핵심은 Orthogonal Predictive Factorization, OPF입니다.

무엇을 바꾸는가

JEPA 계열 모델은 미래 관측을 픽셀이나 완전한 상태로 직접 생성하기보다, 잠재 공간에서 미래 표현을 예측합니다. JEPA-Anything은 미래의 잠재 목표가 하나의 뒤섞인 표현이 아니라 서로 보완적이면서도 구분 가능한 여러 요인으로 이뤄질 수 있다고 가정합니다.

• 잠재 목표 분해: OPF는 미래의 잠재 표현을 상호 보완적인 인자로 나눕니다.
• 전용 예측 경로: 각 인자를 별도의 경로에서 학습해 서로 다른 변화 패턴을 분리하도록 유도합니다.
• 공유 구조에서 재결합: 예측된 인자들을 공통 예측 설계 안에서 다시 결합해 전체 미래 상태를 표현합니다.
• 다양한 평가 목적: 표현 학습뿐 아니라 개입 결과 예측, 분포 외 일반화, 장기 동역학 예측을 함께 평가합니다.

따라서 이 프레임워크는 모든 영역을 하나의 단일 표현에 억지로 맞추는 방식과, 영역마다 완전히 별도 모델을 구축하는 방식 사이에 놓입니다. 공통 구조를 유지하면서도 변화 요인별 전문화를 허용하는 것이 특징입니다.

보고된 실험 결과

논문은 비전, 생물학, 임상 궤적, 제어, 분자 동역학, 물리장, 날씨 등 일곱 영역을 다룹니다. 초록에 따르면 10개의 대응 동역학 과제 모두에서 매칭된 JEPA 기준선보다 보고 지표가 개선됐습니다. Interventional Pong에서는 단일 개입 예측 오차가 34.8% 줄었습니다.

분자 동역학 실험은 짧은 한 단계 예측뿐 아니라 반복 예측의 안정성도 살펴볼 수 있는 사례입니다. 논문은 네 개의 분자 시스템 모두에서 비교 방법 중 가장 낮은 1단계 및 100단계 오차를 기록했다고 보고합니다. 또한 1,000건이 넘는 임상 사건 예측도 포함하지만, 제공된 소재만으로는 데이터 구성과 통계 검정의 세부 내용을 확인할 수 없습니다.

연구는 예측 성능을 넘어 과학적 활용 가능성도 제시합니다. 초록에 따르면 학습된 인자가 제안한 생물학적 개입은 세포 공배양, 환자 유래 오가노이드, 종양 조직 절편, 생쥐 실험에서 지지를 받았습니다. 잠재 궤도 모드에서는 케플러 법칙의 스케일링 지수도 복원됐다고 합니다. 다만 원문이 일부 잘려 있으므로, 이 결과의 범위와 재현성은 정식 논문을 통해 확인해야 합니다.

의미와 남은 과제

인자 분해가 안정적으로 작동한다면 월드 모델은 단순히 미래를 잘 맞히는 도구를 넘어, 어떤 변화 요인이 예측에 기여했는지 분석하는 도구가 될 수 있습니다. 이는 개입을 설계하거나 과학적 가설을 세울 때 특히 유용합니다.

그러나 잠재 인자가 발견됐다는 사실만으로 인과 요인이나 해석 가능한 물리량이 보장되는 것은 아닙니다. 인자의 유일성, 보지 못한 시스템으로의 전이, 분포 변화에 대한 강건성, 장기 롤아웃에서의 오차 누적은 여전히 검증해야 할 문제입니다. 현재 JEPA-Anything은 모든 세계를 해결한 단일 모델이라기보다, 서로 다른 영역을 공통 예측 원리로 연결하려는 중요한 프레임워크 제안으로 보는 편이 타당합니다.

출처: Hugging Face Daily Papers