RSI-Anything: 세계 모델로 구현하는 재귀적 자기개선

개요

AI가 한 번 더 나은 답을 내놓는 것과, 반복적인 경험을 축적해 장기적으로 성능을 높이는 것은 다른 문제입니다. 재귀적 자기개선(Recursive Self-Improvement, RSI)은 환경과의 상호작용에서 얻은 경험을 이후에도 활용할 수 있는 지속적인 업데이트로 바꾸는 것을 목표로 합니다. 하지만 실제 환경에서는 외부 평가 비용이 높고, 정책이 변화하면 기존 세계 모델의 예측이 더 이상 정확하지 않을 수 있습니다.

RSI-Anything은 예측형 세계 모델을 중심에 둔 범용 프레임워크로 이 문제를 다룹니다. JEPA-Anything을 기반으로 후보 행동의 결과를 예측하고, 그 예측을 행동 선택과 학습 데이터 선택에 활용합니다. 관찰된 피드백은 정책이나 워크플로 개선에 사용되며, 필요할 경우 세계 모델도 조정됩니다.

핵심 구조

• 예측 기반 행동 선택: 세계 모델을 사용해 유망하거나 정보 가치가 높은 행동을 우선시하고, 제한된 테스트와 실제 상호작용을 효율적으로 배분합니다.
• 피드백 기반 업데이트: 결과 관찰값을 단일 정책뿐 아니라 여러 단계로 구성된 워크플로 개선에도 반영합니다.
• 조건부 세계 모델 적응: 정책이 바뀌어 예측 신뢰도가 낮아질 때 세계 모델을 적응시키며, 모든 반복에서 무조건 업데이트하지는 않습니다.
• 업데이트 유지 여부 검증: 구성 요소 검사와 호환성 검사를 통해 새로운 정책-모델 조합을 보존할지 결정합니다.

실험 결과

코드 수정 실험에서 코더를 고정한 조건의 성공률은 정적 검증기를 사용할 때 26.3%였습니다. 예측 기반 선택을 추가하면 29.2%, 세계 모델 적응까지 적용하면 31.2%로 높아졌으며, 테스트 사용량은 대체로 비슷했습니다. GUI 평가에서는 작업 완료도가 향상되는 동시에 평균 행동 수가 39.4% 감소했습니다. 이는 예측 모델이 행동의 방향을 제시할 뿐 아니라 불필요한 조작도 줄일 수 있음을 시사합니다.

실험실 계획에서는 5개의 연속 정책 버전을 거치며 점수가 21.80%에서 46.01%로 상승했습니다. 반응 최적화에서는 동일한 40회 실험 예산 아래 평균 최고 관측 수율이 96.15%로, 베이지안 최적화의 82.16%보다 높았습니다. 또한 워크플로 진화와 예측 모델을 치료 가설 생성으로 연결하는 면역과학 엔드투엔드 사례도 제시했습니다.

의미와 한계

이 연구의 핵심은 특정 벤치마크 하나의 수치보다 세계 모델, 실제 피드백, 업데이트 선별을 하나의 개선 루프로 통합했다는 점입니다. 탐색 비용을 줄이면서 유효한 경험을 시스템 버전으로 축적할 수 있다면, 코딩 에이전트와 실험 자동화, 과학 연구 지원 시스템에 적용할 여지가 있습니다.

다만 제공된 자료만으로는 데이터셋, 학습 절차, 실험 프로토콜, 통계적 유의성까지 확인하기 어렵습니다. 따라서 모든 분야에서 일반적으로 효과가 입증됐다고 보기보다는, 범용 프레임워크의 가능성을 보여준 결과로 해석하는 편이 적절합니다. 장기 반복 과정에서의 예측 드리프트와 정책-모델 호환성, 시스템 안정성은 앞으로 검증해야 할 과제입니다.

출처: Hugging Face Daily Papers