비전-언어 모델은 이미지에 관한 질문에 답할 수 있지만, 최종 응답만으로는 이미지 속 개념을 내부적으로 어떻게 표현하는지, 특정 과제에 필요한 정보를 실제로 골라 쓰는지 알기 어렵습니다. 새 연구는 전역 작업 공간 이론(GWT)의 관점을 빌려 다중 모달 모델 내부에서 개념 접근 가능성, 과제에 따른 선택, 접근된 정보가 이후 계산에 미치는 영향을 살펴봅니다. 이를 위해 연구진은 Multimodal Concept Lens(MC-Lens)를 제안했습니다. 여기서 ‘의식’은 이론적 비유이며, 모델이 주관적 경험을 한다는 주장은 아닙니다.
시각과 언어를 공통 의미 공간에서 비교
GWT는 병렬 처리 과정의 정보가 선택·통합된 뒤 전문화된 처리 과정에 제공될 수 있다고 설명합니다. 연구진은 이를 모델에서 검증할 수 있는 질문으로 바꿉니다. 특정 개념이 내부 표현에 존재하는가? 질문에 따라 해당 개념에 접근하는가? 그렇게 접근된 정보가 다음 계산에 영향을 주는가?
MC-Lens는 다중 모달 야코비안 렌즈입니다. 비전 인코더와 언어 디코더의 중간 상태를 각각 읽어 디코더의 출력 어휘로 정의한 공통 의미 공간에 매핑합니다. 덕분에 최종 답변에만 의존하지 않고 서로 다른 모달리티의 개념을 같은 좌표계에서 비교할 수 있습니다. 또 개념을 포착하고 표현하는 ‘읽기 캐리어’를 단일 이름 토큰에서 토큰 집합으로 확장했습니다. 개념 정보를 더 잘 담고 반사실적 개입 실험을 지원하기 위한 설계입니다.
표현 가능성과 실제 활용은 다르다
논문이 보고한 주요 결과는 다음과 같습니다.
- 중간 상태에서 다중 모달 개념 정보를 읽어낼 수 있으며, 모델은 과제에 따라 접근할 정보를 선택합니다. 내부에 개념이 표현되어 있다는 사실이 매번 그 개념을 사용한다는 뜻은 아닙니다.
- 반사실적 실험에서 접근된 개념 정보를 바꾸면 후속 계산과 추론이 영향을 받았습니다. 이는 개념 정보가 처리에 관여함을 뒷받침하지만, 모델의 추론 메커니즘 전체를 설명하지는 않습니다.
- 통제된 학습 과정에서 교차 모달 개념 정렬을 추적하기 위해 두 가지 J-space 지표를 제안했습니다. 연구진은 이 지표가 은닉 상태 코사인 유사도보다 정렬의 발달을 더 분명히 보여준다고 보고합니다. 또한 개념 접근 가능성이 먼저 생기고, 신뢰할 수 있는 선택적 접근은 나중에 발달하는 것으로 나타났습니다.
- 내부 구성에는 차이가 있지만, 여러 모델 계열과 규모에서 개념 접근 가능성, 질의에 따른 선택, 과제를 넘는 개입 효과에 공통된 패턴이 관찰됐습니다.
의미와 해석의 경계
이 연구의 핵심 가치는 모델이 무엇을 표현할 수 있는지와 특정 과제에서 실제로 무엇을 활용하는지를 구분해 살펴보는 데 있습니다. 공통 의미 공간과 개입 실험은 이미지-텍스트 유사도나 최종 응답만으로는 놓칠 수 있는 정보 흐름을 분석할 도구를 제공합니다. 제안된 지표가 교차 모달 정렬 연구에 도움이 될 가능성도 있지만, 제공된 자료만으로 해당 지표를 최적화하면 실제 과제 성능이 향상된다고 단정할 수는 없습니다.
해석에는 중요한 한계가 있습니다. GWT는 의식 연구에서 나온 이론이지만, 이를 인공 시스템 분석에 적용했다고 해서 의식을 감지한 것은 아닙니다. 이번 실험이 다루는 것은 읽어낼 수 있는 개념 표현, 과제에 따른 접근, 후속 계산에 미치는 영향입니다. 이 연구는 다중 모달 시스템을 실험적으로 분석할 틀을 제시하지만, 주관적 경험의 증거나 모델 추론 과정 전체에 대한 설명은 아닙니다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…