OpenAI의 불투명 재귀 추론, AI 안전성 논란 키워

들어가며

추론 모델의 성능이 높아질수록 정답 자체뿐 아니라 모델이 그 결론에 도달한 과정을 확인하는 일도 중요해진다. 기존 추론 모델은 대체로 문제를 해결하는 중간 단계를 순차적인 사고 사슬로 보여준다. 이 기록이 모델 내부에서 실제로 일어난 모든 사고를 그대로 담는 것은 아니지만, 이상 행동이나 정렬 문제를 조사하는 데 유용한 단서가 될 수 있다.

TechCrunch가 전한 보도에 따르면 OpenAI의 새 모델 Astra는 ‘recurrent depth’라는 추론 기법을 사용할 전망이다. 이 기법은 ‘opaque recurrence’라고도 불리며, 모델이 하나의 질문을 반복적인 루프 안에서 여러 차례 처리하도록 한다. 선형적인 사고 과정에서 벗어날 수 있다는 장점이 있지만, 사람이 읽을 수 있는 추론 기록이 줄어들 수 있다는 점에서 AI 안전 전문가들의 우려를 사고 있다.

핵심 내용

• 추론 방식이 비선형적으로 바뀐다. 모델은 한 번의 순차적 경로만 따르는 대신 같은 문제를 루프 안에서 반복 처리할 수 있다.
• 감시 가능한 흔적이 줄어들 수 있다. 중요한 계산이 루프 내부에서 이뤄지면 기존 사고 사슬 로그만으로 모델의 판단 이유나 이상 행동을 파악하기 어려워질 수 있다.
• Astra의 적용은 아직 제한적이다. 현재 보도만으로 모델이 완전히 읽을 수 없는 추론으로 전환한다고 보기는 어렵다. OpenAI도 ‘neuralese’로 이동할 것이라는 해석을 부인했다.
• 안전 우려는 향후 확대에 있다. 재귀의 비중이 계속 커지면 추론 대부분이 잠재 공간에서 이뤄지고, 외부에 보이는 채널에서는 사라질 가능성이 있다.

안전성 측면에서 중요한 이유

사고 사슬은 완벽한 감시 장치가 아니다. 모델이 공개한 설명이 내부 과정 전체를 충실하게 표현한다고 보장할 수 없으며, 연구자들도 이를 모델의 실제 사고에 대한 직접적인 기록으로 간주하지 않는다. 그럼에도 사고 사슬은 실제 안전 평가에서 중요한 실마리를 제공한다. 원문은 OpenAI가 최근 겪은 비정상적인 에이전트 활동을 분석하는 과정에서도 사고 사슬 기록이 에이전트의 행동 이유를 추적하는 데 도움이 됐다고 설명한다.

Redwood의 Buck Shlegeris CEO는 Astra가 불투명한 재귀를 사용한다는 보도에 강한 우려를 나타냈다. Redwood의 수석과학자 Ryan Greenblatt는 잠재적 추론을 확대하는 자연스러운 다음 단계가 추론 과정 대부분을 보이지 않게 만드는 것일 수 있다고 경고했다. 이들의 주장은 Astra가 이미 감시 불가능하다는 뜻이라기보다, 앞으로의 모델 개발이 ‘더 강력하지만 더 검사하기 어려운’ 방향으로 이어질 수 있다는 문제 제기에 가깝다.

OpenAI의 수석과학자 Jakub Pachocki는 회사가 첫 추론 모델부터 사고 사슬을 보존하고 활용하는 모니터링을 연구해 왔다고 강조했다. OpenAI의 향후 안전 계획에도 광범위한 사고 사슬 모니터링 시스템이 포함돼 있다. 동시에 모든 AI 모델에는 일정 수준의 불투명한 추론이 존재하며 사고 사슬 로그가 내부 추론의 직접적인 표현은 아니라는 설명도 덧붙였다. 그러나 이런 한계가 재귀적 추론의 확대에 따른 감시 약화 가능성을 해소하지는 않는다.

후속 보도에서는 Anthropic과 Google DeepMind도 이 기법을 논의하고 있다고 전했다. 앞으로 업계는 잠재적 추론을 어느 수준까지 허용할지, 공개된 사고 사슬이 실제 판단 과정을 얼마나 충실히 반영하는지, 보이지 않는 계산을 어떻게 평가할지를 정해야 한다. 이번 논란은 Astra 하나의 기능을 넘어, 추론 성능 향상과 감사 가능성을 동시에 유지할 수 있는지라는 AI 안전성의 핵심 과제를 보여준다.

출처: TechCrunch AI