AGI 확장은 System-1이 System-2에 무엇을 실행시킬지에 달렸을까

들어가며

지금까지 인공지능의 성능 향상은 더 큰 모델, 더 많은 데이터와 연산, 더 긴 추론 과정, 더 많은 에이전트를 투입하는 방식으로 이뤄져 왔습니다. 이런 전략은 능력을 높일 수 있지만, 추론 비용과 응답 지연도 함께 키웁니다. *Does Scaling Toward AGI Depend on What System-1 Lets System-2 Execute?*라는 연구는 System-2를 계속 확장하는 것만큼이나, 어떤 계산을 System-2에 맡길지 결정하는 일이 중요할 수 있다고 봅니다.

무거운 추론 앞에 가벼운 평가기를 둔다

연구에서 System-2는 자원 집약적인 실행 및 추론 모듈입니다. 실제 문제 해결, 의사결정, 도구 호출과 같은 작업을 수행합니다. 반면 System-1은 의미 정보를 활용하면서 후보 상호작용의 예상 효용을 먼저 판단하는 가벼운 예측기입니다.

제안된 구조는 ‘예측—게이트—실행—업데이트’ 순환으로 정리됩니다.

• 예측: 각 후보 행동이 어느 정도의 효용을 낼지와 비용 대비 가치가 있는지를 추정합니다.
• 게이트: 적응형 임계값을 사용해 실행할 후보만 통과시킵니다.
• 실행: 선택된 후보에 대해서만 System-2가 고비용 추론이나 작업을 수행합니다.
• 업데이트: 실제 결과를 이용해 System-1의 다음 판단을 개선합니다.

이 구조는 특정 작업에만 한정되지 않습니다. 학습 과정, 테스트 시점 추론, 적응형 의사결정, 에이전트의 도구 사용에 적용할 수 있습니다. 다만 효용과 비용의 정의는 응용 분야에 따라 달라집니다. 도구를 사용하는 에이전트라면 답변을 바꾸거나 불확실성을 줄일 가능성이 높은 호출이 우선될 수 있습니다. 긴 추론 과정에서는 결과에 거의 기여하지 않을 것으로 예상되는 중간 단계를 생략할 수 있습니다.

핵심 지표인 유용한 상호작용 밀도

논문의 중심 개념은 유용한 상호작용의 밀도인 ρ_u입니다. 이는 모든 후보 상호작용 가운데 실제로 과제의 효용과 관련된 후보가 차지하는 비율을 뜻합니다. 상호작용마다 실행 비용이 다르다면 비용을 반영한 밀도를 사용해야 합니다.

모든 실행 비용이 같고 System-1의 선별이 이상적이라면, System-2가 처리하는 실행 계산량은 모든 후보를 실행하는 경우보다 1/ρ_u에 가까운 비율로 줄어들 수 있습니다. 그러나 이는 이상적인 조건에서의 분석입니다. System-1이 가치 있는 후보를 거부하거나 가치가 낮은 후보를 통과시키면 절감 효과가 감소합니다. 불확실한 후보를 시험하기 위한 탐색도 필요하며, 학습 데이터와 실제 배포 환경의 분포가 달라질 경우 예측 성능이 흔들릴 수 있습니다.

연구는 선택으로 인한 후회가 예측기 오류와 후보 사이의 효용 차이에 의해 제한될 수 있다고 설명합니다. 가치가 높은 후보와 낮은 후보의 차이가 뚜렷할수록 선별이 쉽고, 두 후보의 가치가 비슷할수록 잘못된 선택의 위험이 커집니다.

의미와 한계

이 연구의 핵심은 새로운 대형 모델의 벤치마크 기록이 아니라, 추론 시스템을 설계하는 관점의 전환입니다. 모든 계산을 동일하게 세는 대신, 실제 목표에 기여하는 계산을 ‘유익한 계산’으로 구분하고 이를 측정하자는 것입니다. ρ_u는 이러한 확장 효율을 비교하고 최적화하기 위한 하나의 좌표가 될 수 있습니다.

실제 시스템에서는 System-1 자체의 비용이 충분히 낮아야 합니다. 선별에 드는 비용이 절약되는 실행 비용을 상쇄해서는 안 되기 때문입니다. 동시에 드물지만 중요한 행동을 놓치지 않을 만큼 신뢰도도 높아야 합니다. 따라서 도입을 위해서는 작업별 효용, 잘못된 거부의 손실, 탐색 전략, 분포 변화에 대한 평가가 필요합니다.

결국 이 연구는 System-2의 규모를 키우는 것과 함께, System-2가 실행하는 경계를 더 정교하게 설계하자는 제안입니다. 확실한 비용 절감의 약속이라기보다, 계산을 더 가치 있는 상호작용에 집중시키기 위한 연구 방향으로 이해하는 편이 적절합니다.

출처: Hugging Face Daily Papers