LimiX-2, 표 형식 데이터 학습을 예측에서 메커니즘 모델링으로

들어가며

표 형식 데이터 모델은 보통 입력 특성 x를 바탕으로 목표값 y를 예측하도록 설계됩니다. 이 방식은 실용적이지만, 데이터셋 안의 변수들이 서로 연결된 생성 과정의 일부라는 점을 충분히 반영하지 못할 수 있습니다. LimiX-2는 표를 단순한 특성 열과 목표 열의 조합이 아니라, 여러 변수의 관계가 담긴 구조로 바라보려는 모델입니다.

타깃 중심에서 메커니즘 중심으로

LimiX-2는 Contextual Mechanism Networks(CMNs)라는 패러다임을 채택하고 Context-Conditional Masked Modeling(CCMM)으로 사전 학습됩니다. 기존의 표 형식 PFN 계열 접근은 문맥 데이터셋을 바탕으로 p(y | x, D_context)를 학습하는 것으로 설명할 수 있습니다. 즉, 지정된 목표값 y를 입력 x에서 예측하는 데 초점을 둡니다.

CMNs는 이 목표를 p(x, y | D_context)로 확장합니다. 문맥에 따라 변수들의 결합 구조를 모델링하고, 관측된 열과 가려진 열의 조합에 따라 서로 다른 미지의 값을 추론하려는 것입니다. 따라서 하나의 고정된 타깃 열에 모델이 묶이지 않습니다. 프로젝트는 이 설계를 분류, 회귀, 결측값 대치에 적용할 수 있다고 설명하며, 추가 기능으로 인과 골격 복원도 제시합니다.

학습 방식과 성능

사전 학습 데이터는 구조적 인과 모델(SCM)로 생성됩니다. 다양한 그래프 구조, 함수적 메커니즘, 관측 과정을 포함해 모델이 특정 데이터셋의 표면적 패턴만 익히는 것을 줄이려는 구성입니다. 이는 표 형식 데이터의 생성 방식이 서로 다를 수 있다는 점을 학습 단계부터 반영하려는 시도입니다.

제공된 자료에 따르면 LimiX-2는 TabArena에서 1935 Elo, TALENT에서 1506 Elo, BCCO에서 1432 Elo를 기록했습니다. 세 벤치마크 모두에서 1위를 차지했으며, 기존 표 형식 파운데이션 모델과 데이터셋별 모델보다 높은 성능을 보였다고 보고됩니다. 모델 규모를 1,250만 개에서 4억 620만 개 파라미터로 키운 실험에서는 다섯 개 스케일링 시리즈 전반에 걸쳐 성능이 계속 향상됐고, 측정 범위에서는 뚜렷한 포화가 나타나지 않았습니다.

의미와 남은 질문

LimiX-2의 핵심 의미는 표 형식 AI의 목표를 넓힌 데 있습니다. 하나의 목표값을 잘 맞히는 모델을 넘어 변수 사이의 구조를 학습한다면, 동일한 사전 학습 모델을 여러 추론 작업에 활용할 가능성이 생깁니다. 또한 다운스트림 예측에서 태스크별 파라미터 업데이트를 요구하지 않는다는 점은 적용 비용을 낮출 수 있는 요소입니다.

다만 인과 능력에 대해서는 과도한 해석을 피해야 합니다. 자료는 특성 어텐션이 직접적인 인과 관계를 인코딩하고 인과 골격을 복원할 수 있다고 설명하지만, 숨은 교란, 분포 변화, 불완전한 관측이 있는 실제 환경에서 얼마나 안정적인지는 제공된 정보만으로 판단하기 어렵습니다. SCM 기반 합성 데이터와 실제 데이터 사이의 차이도 별도로 검증해야 합니다.

결국 LimiX-2는 표를 단순한 예측 입력이 아니라 데이터 생성 메커니즘을 담은 구조로 학습하려는 방향을 보여줍니다. 이 접근이 실제 데이터에서도 재현된다면, 범용 표 형식 파운데이션 모델의 역할을 한 단계 확장할 수 있습니다.

출처: Hugging Face Daily Papers