아티클 목록으로
모델 평가

언어를 넘는 서사 격차: LLM은 다양한 관점을 안내할 수 있을까

약 3분 소요

들어가며

대규모 언어 모델은 뉴스와 공공 정보를 찾는 중요한 관문이 되고 있다. 하지만 정치, 분쟁, 공공정책처럼 논쟁적인 주제에서 모델은 사실만 검색하지 않는다. 어떤 설명을 먼저 보여주고, 어떤 집단의 관점을 생략하는지가 사용자가 접하는 정보의 범위를 결정한다. 한 지역이나 언어에서 널리 공유되는 서사가 다른 언어에서는 약하게 다뤄지거나 전혀 보이지 않을 수 있다.

연구 논문 The Narrative Gap은 LLM이 이런 차이를 넘어 다양한 서사를 안내할 수 있는지 조사했다. 연구진은 답변이 중립적으로 들리는지만 보는 대신, 실제로 여러 관점을 포괄하는지 평가하기 위해 NarrativeBench를 제시했다.

핵심 내용

  • 다양한 다국어 정보 탐색에는 6가지 능력이 필요하다. 세 가지 기초 능력은 포함해야 할 서사, 제외해야 할 서사, 자료에서 빠진 서사를 식별하는 것이다. 상위 능력은 다양한 서사를 제시하고, 사용자가 자신의 결론을 확인하려는 질문을 해도 범위를 유지하며, 언어 간 정보 형평성을 유지하는 데 해당한다.
  • 벤치마크는 다국어 뉴스 환경을 다룬다. NarrativeBench에는 23개 출판 언어로 작성된 23개 논쟁적 주제의 기사 1,333개와 Reddit 기반 질의 460개가 포함된다. 연구진은 24개 질의 언어를 사용해 14개 LLM을 평가했다.
  • 다양성을 요청하는 프롬프트만으로는 충분하지 않다. 연구 요약에 따르면 현행 모델은 경쟁하는 서사를 안정적으로 탐색하는 데 필요한 능력이 부족하다. 여러 관점을 보여 달라고 명시해도 중요한 설명이 답변에서 빠질 수 있다.
  • 질문의 표현과 언어가 정보 접근을 바꾼다. 같은 주제라도 질문의 틀과 질의 언어에 따라 모델이 보여주는 서사의 범위가 달라질 수 있다. 이는 단순한 답변 품질 문제가 아니라 사용자가 서로 다른 정보 환경에 놓이는 문제다.

의미와 영향

이 연구의 핵심 기여는 “답변이 균형 있어 보이는가”라는 평가를 구체적인 능력으로 나눴다는 점이다. 모델이 “다른 견해도 있다”고 덧붙인다고 해서 중요한 누락 서사를 찾아냈다는 뜻은 아니다. 또한 한 언어로 번역된 답변이 원래 정보 공간과 같은 증거와 해석의 범위를 보장하는 것도 아니다. 서사의 다양성은 표현의 중립성만이 아니라 포괄 범위, 누락 여부, 언어 간 일관성으로 평가해야 한다.

모델 개발자에게 NarrativeBench는 실제 정보 탐색에 가까운 평가 관점을 제공한다. 모델이 무엇을 빠뜨리는지, 사용자가 특정 결론을 유도할 때 답변의 시야를 좁히는지, 질의 언어의 차이가 체계적인 격차를 만드는지를 확인할 수 있기 때문이다. 검색 서비스와 뉴스 제품은 출처의 언어, 서사의 포괄 범위, 아직 확인되지 않은 정보의 공백을 더 분명하게 보여주는 방식을 검토할 필요가 있다.

LLM이 공공 정보 인프라의 일부가 된다면 질문에 답하는 능력은 출발점에 불과하다. 어떤 관점이 포함됐고, 무엇이 논쟁 중이며, 사용자가 무엇을 놓치고 있을 수 있는지를 이해하게 하는 것이 더 demanding한 기준이 될 것이다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
TurtLES: 3D 난류 신경 PDE 대리모델을 위한 대규모 벤치마크
모델 평가
cctest.ai
모델 평가

TurtLES: 3D 난류 신경 PDE 대리모델을 위한 대규모 벤치마크

TurtLES는 현실적인 3차원 난류 원통 후류를 활용해 신경 PDE 대리모델을 평가하는 14TB 규모의 벤치마크입니다. 불규칙 메시와 장기 롤아웃에서 시간적 불안정성, 소규모 에너지 손실, 대규모 영역 학습의 한계를 점검합니다.

더 보기