AI 조언은 사람을 더 자신 있게 만들지만, 더 부정확하게 한다

서론

프랑스와 이탈리아의 여러 대학 연구진은 AI가 인간의 판단을 돕기만 하는 것은 아니라는 점을 보여줬다. 참가자들이 AI 조언에 접근할 수 있을 때, “모르겠다”고 답하는 비율은 44%에서 3%로 급감했다. 정확도는 27%에서 9%로 떨어졌지만, 자신감은 30%에서 76%로 뛰어올랐다.

핵심 내용

• 불확실성을 인정하는 태도가 약해졌다.
• AI 조언이 있으면 정답률이 크게 낮아졌다.
• 틀린 답을 내도 자신감은 더 높아졌다.
• 연구는 AI가 자주 틀리는 문제를 의도적으로 사용했다.
• 금전적 보상은 도움이 됐지만 효과는 제한적이었다.

연구가 보여준 것

연구팀은 AI가 보통 잘 못 맞히는 질문을 골랐다. 예를 들어 영화 Bend It Like Beckham 속 팀 유니폼 색처럼 시각적 세부를 묻는 문제다. 또한 Step 3.5 Flash를 사용했는데, 이 모델은 해당 유형의 질문에서 대체로 틀리는 편이었다. 이렇게 설계한 이유는, 참가자들이 신뢰할 만한 도구에 복잡한 작업을 맡겼기 때문에 결과가 나빠진 것이 아니라는 점을 분명히 하기 위해서였다.

흥미로운 점은, 원래는 스스로 맞힐 수 있었던 일부 참가자도 AI에 묻고 나서 틀렸다는 것이다. 즉 문제는 단순히 “AI가 틀렸다”가 아니라, AI가 옆에 있다는 사실 자체가 사람의 판단 습관을 바꾼다는 데 있다.

왜 중요한가

공동 저자인 Valerio Capraro는 사람들의 정확도는 3분의 1 수준으로 떨어졌지만 자신감은 두 배가 됐다고 지적했다. 이는 단순한 오답 문제가 아니라, 자신의 지식 한계를 인식하는 능력이 약해진다는 뜻이다. Wharton 연구진이 올해 사용한 “cognitive surrender”라는 표현도 비슷한 현상을 가리킨다. 사람들은 잘못된 AI 답을 높은 비율로 받아들이면서도, 스스로 작업할 때보다 더 자신감 있게 반응한다.

특히 우려되는 대상은 어린이다. 비판적 사고가 충분히 형성되기 전에 이런 시스템을 일상적으로 접하기 때문이다. 검색 결과를 AI가 단정적으로 요약하는 방식도 같은 흐름에 있다. 즉, 제품은 점점 더 “답을 주는 것”에 최적화되고, 사용자는 점점 더 “모르겠다”고 말하지 않게 된다.

결론

이 연구는 AI를 쓰지 말라는 뜻이 아니다. 다만 AI가 너무 쉽게 답을 주는 환경에서는 인간의 판단 능력, 특히 불확실성을 인정하는 습관이 약해질 수 있다는 경고다. AI 시대에 중요한 것은 항상 답을 아는 것이 아니라, 모를 때 모른다고 말할 수 있는 힘일지도 모른다.

출처: Hacker News