U-Space: 언어 모델의 불확실성을 해석하는 방법

들어가며

대규모 언어 모델은 틀린 결론도 유창하고 권위적인 문체로 설명할 수 있습니다. 의료, 연구, 의사결정 지원처럼 오류의 대가가 큰 환경에서는 정답을 생성하는 능력만큼이나 특정 답변이 신뢰할 만한지 판단하는 능력이 중요합니다. 하지만 기존의 불확실성 정량화 방식은 여러 차례 생성하거나 별도의 학습 모듈을 필요로 하는 경우가 많습니다. 하나의 숫자만 제공하는 방식은 불확실성이 어디에서 발생했고 추론 과정에서 어떻게 변했는지도 설명하기 어렵습니다.

Hugging Face Daily Papers에 소개된 연구는 모델의 중간 표현에서 이런 신호를 읽어내는 U-Space를 제안합니다.

의심을 모델의 표현 공간으로 옮기기

연구진은 먼저 확신과 의심을 나타내는 의미적 앵커를 선정합니다. 그런 다음 관련 언임베딩 방향을 잔차 공간으로 되돌리고, 서로 대비되는 방향을 직교하는 저차원 기저로 구성합니다. 생성 중 U-Lens는 각 토큰의 상태를 이 기저에 투영해 답변이 진행될수록 변화하는 불확실성을 읽어냅니다.

논문은 불확실성을 다음 네 가지로 구분합니다.

• 모호성: 질문이나 표현이 여러 가지 타당한 해석을 허용함
• 정보 부족: 확정적인 결론을 뒷받침할 자료가 충분하지 않음
• 증거 충돌: 서로 다른 단서가 양립하기 어려운 답을 가리킴
• 일반적 불확실성: 모델 전반의 확신 수준이 낮은 상태

U-Lens는 사람이 이해하기 쉬운 언어적 신호만 사용하지 않고 예측 엔트로피도 결합합니다. 이를 통해 모델의 출력 분포에 담긴 불확실성을 활용하면서도 결과를 보다 해석 가능한 형태로 제시하려 합니다. 제시된 방법은 여러 번의 포워드 패스, 정답 라벨, 특정 작업을 위한 별도 학습을 요구하지 않습니다.

실험에서 확인된 점

평가는 세 가지 추론 모델과 네 가지 벤치마크에서 진행됐으며, 지식 질문, 수학 추론, 종합 능력 평가를 포함합니다. 제공된 연구 요약에 따르면 U-Lens는 답변 신뢰도를 예측하는 방법으로 높은 성능을 보였습니다.

답변 길이의 영향은 특히 중요한 관찰입니다. 길이는 정답 여부와 불확실성 점수를 예측하는 강한 변수로 나타납니다. 하지만 길이를 통제하면 다수의 기준 방법은 성능이 낮아졌습니다. 반면 U-Lens의 하락폭은 상대적으로 작았고 비교 대상 중 강한 결과를 유지했습니다. 이는 U-Lens의 예측력이 단순히 답변이 긴지 여부에만 의존하지 않을 가능성을 보여줍니다.

토큰 단위 판독은 불확실성이 언제 나타났는지, 어떤 유형에 가까운지도 보여줍니다. 또한 식별된 방향을 따라 표현을 조정하면 쉬운 질문에서도 모델이 망설이도록 만들 수 있다는 개입 실험이 보고됐습니다. 이는 해당 방향이 사후적인 상관 신호에 그치지 않고 모델 행동과도 관련될 수 있음을 시사합니다.

의미와 남은 과제

U-Space의 핵심 가치는 불확실성 추정을 최종 점수에만 머무르지 않고 생성 과정의 분석으로 확장했다는 데 있습니다. 모델이 질문을 해석하는 단계에서 모호성을 겪었는지, 정보가 부족했는지, 증거를 합치는 과정에서 충돌을 만났는지 살펴볼 수 있다면 자동 보류, 사람의 검토, 위험도별 운영에 활용할 여지가 있습니다.

다만 제공된 자료만으로 모든 모델과 언어, 실제 서비스 환경에서의 일반화를 보장할 수는 없습니다. 서로 다른 구조와 작업으로 안정적으로 이전되는지는 추가 검증이 필요합니다. 감정 및 보상 해킹 탐지로의 확장 역시 초기 실험으로 제시됐으므로 성숙한 기능으로 단정해서는 안 됩니다.

U-Space는 모델이 불확실한지 여부뿐 아니라 불확실성의 원인과 변화 과정을 추적하고, 필요하다면 내부 표현에 개입할 수 있는지 탐구하는 방향을 제시합니다.

출처: Hugging Face Daily Papers