물리적 인지에서 자기참조 인지까지: 에이전트 AI의 인지 리스크

들어가며

대규모 언어 모델 기반 에이전트는 단순히 질문에 답하는 도구에서 벗어나 환경을 해석하고, 계획을 세우고, 도구를 사용하며, 여러 단계의 작업을 이어서 수행하는 시스템으로 발전하고 있다. 이들이 업무와 사회의 다양한 영역에 깊이 연결될수록 안전성의 기준도 달라져야 한다. 중요한 질문은 모델이 과제를 수행할 수 있는지가 아니라, 그 과정에서도 인간이 의사결정과 행동의 주도권을 유지할 수 있는지다.

상하이 인공지능 연구소와 관련된 논문 《Understanding Cognition-Induced Risks in Agentic AI Systems》는 이러한 문제를 인지 범위의 확장이라는 관점에서 살핀다. 개별 오류 사례를 단순히 나열하는 대신, 인지 능력의 확대가 인간의 주체성, 자율성, 통제력에 어떤 위험을 만들 수 있는지 세 단계의 틀로 정리한다.

세 가지 인지 수준

• 물리적 인지: 환경, 사물, 행동의 결과를 이해하고 처리하는 능력이다. 에이전트가 도구, 장치, 업무 프로세스와 연결되면 오류는 잘못된 문장에 머물지 않고 외부 작업에 영향을 줄 수 있다. 인간이 그 행동을 감독하고 수정할 수 있는지가 핵심 과제가 된다.
• 사회적 인지: 인간의 의도, 관계, 규범, 상호작용의 맥락을 다루는 능력이다. 에이전트가 협업, 서비스, 의사결정 지원에 참여하면 사람들의 판단과 역할 분담, 독립적인 선택에 영향을 줄 수 있다. 위험은 노골적인 조작뿐 아니라 인간이 시스템에 지나치게 의존하면서 주도권을 잃는 과정에서도 발생할 수 있다.
• 자기참조 인지: 자신의 상태, 목표, 능력, 행동을 처리하는 능력이다. 이 수준에서는 시스템이 자신의 운영과 관련된 정보를 다룰 때에도 인간이 정한 목표와 경계 안에 행동을 유지하도록 보장하는 일이 더 어려운 통제 문제가 된다.

이 분류의 장점은 능력의 성장과 위험의 성장을 하나의 경로에서 볼 수 있다는 데 있다. 위험은 모델의 출력이 틀렸을 때만 생기는 것이 아니다. 에이전트가 물리적 환경, 사회적 관계, 그리고 자신의 작동 과정에 관여하는 범위를 넓히면서 새로운 위험이 나타날 수 있다.

의미와 한계

논문이 주목하는 인간의 핵심 이익은 주체성, 자율성, 통제력이다. 주체성은 중요한 행동의 발의자와 결정자가 여전히 인간인지에 관한 문제다. 자율성은 불투명한 시스템의 행동이나 과도한 의존 때문에 인간의 선택이 사실상 제한되지 않는지를 뜻한다. 통제력은 필요할 때 에이전트의 행동을 이해하고, 제한하고, 수정하거나 중단할 수 있는 능력이다.

이 관점은 정확도, 작업 성공률, 유해 요청 거부 여부만으로는 에이전트의 안전성을 충분히 평가하기 어렵다는 점을 보여준다. 인지 범위가 넓어질수록 평가도 현실 행동, 인간과의 상호작용, 시스템의 목표와 상태를 둘러싼 행동까지 다뤄야 한다. 논문은 인지 수준별 위험에 맞춘 완화 전략과 장기적인 제어 가능성 향상을 제안하는 방향을 제시한다.

다만 현재 공개된 소재에는 논문 전체의 실험 설계, 구체적인 사례, 세부 대응책이 포함되어 있지 않다. 따라서 이 연구를 특정 시스템이 이미 현실의 피해를 일으켰다는 실증 보고서로 보기보다는, 향후 평가와 시스템 설계, 거버넌스 연구를 위한 문제 정리로 이해하는 것이 타당하다.

에이전트 AI의 안전성은 모델이 유해한 콘텐츠를 생성하는지에만 달려 있지 않다. 실제 환경에서도 인간이 시스템을 지시하고 통제할 수 있는지가 함께 평가되어야 한다. 물리적 인지에서 사회적 인지, 자기참조 인지로 이어지는 이 틀은 그 논의를 시작하기 위한 유용한 기준을 제공한다.

출처: Hugging Face Daily Papers