벡터 대신 기호를 공유하다: 이기종 LLM을 학습 없이 연결하는 SYNC

들어가며

여러 언어 모델이 협력하는 시스템에서는 한 모델이 관찰한 정보를 다른 모델이 얼마나 효율적으로 활용할 수 있는지가 중요하다. 텍스트는 가장 보편적인 통신 수단이지만, 컨텍스트를 많이 사용하고 단순한 속성 전달에도 불필요한 표현이 붙을 수 있다. 반대로 은닉 상태를 직접 공유하면 더 압축적일 수 있지만, 모델마다 차원, 레이어 구조, 표현 공간이 달라 그대로는 호환되지 않는다. 기존 접근법은 대개 모델 간 변환기를 학습하거나, 참여 모델들이 비슷한 구조를 가진다는 가정을 필요로 했다.

난양공과대학교 연구팀이 제안한 SYNC(Symbol-Indexed Neural Communication)는 이 문제를 다른 방식으로 다룬다. 모델 내부의 벡터를 공유하는 대신, 공통 단어 목록의 인덱스를 전송하고 수신 모델이 자신의 표현 공간에서 그 의미를 복원한다.

작동 방식

• 벡터가 아니라 인덱스를 보낸다. 송신 모델은 자신이 볼 수 있는 객체 설명에서 속성을 나타내는 단어를 공유 목록에서 선택하고, 객체별로 해당 단어의 인덱스를 전송한다. 이후 질문은 보지 않기 때문에, 정답을 암기한 것이 아니라 재사용 가능한 사실을 전달하는지가 평가된다.
• 수신 모델의 고유한 방향을 사용한다. 연구진은 수신 모델의 활성값에서 공유 단어에 대응하는 방향을 한 번 추정한다. 전달된 인덱스는 송신 모델의 벡터를 번역하는 대신, 수신 모델 고유의 방향을 통해 은닉 상태에 기록된다. 통신 과제에 대한 미세 조정이나 별도의 학습된 변환기는 사용하지 않는다.
• 기록 레이어를 미리 고정한다. 네 개의 개발용 수신 모델에서 적절한 레이어를 고른 뒤, 새로운 모델을 평가할 때 다시 조정하지 않았다. 이 설계는 모델마다 재학습하지 않고 통신 인터페이스를 적용할 수 있는지를 확인하기 위한 것이다.
• 선택적 정보 사용을 검사한다. 두 객체의 속성 하나를 서로 바꾼 다음, 변경된 속성과 변경되지 않은 속성을 교환 전후에 각각 묻는다. 총 네 개의 답을 요구해 모델이 전달된 사실을 실제로 선택해 사용하는지 확인한다.

결과와 한계

세 개의 송신 모델과 다섯 개 계열에서 나온 아홉 개의 새로운 수신 모델을 대상으로 한 실험에서, 새로운 장면의 네 문항 모두 정답인 비율은 72.0~98.3%였다. 중간 레이어에 정보를 기록하는 방식과 비교하면 최대 96%포인트 향상됐고, 가장 큰 두 수신 모델은 일반 텍스트 통신과 비슷한 결과를 냈다. 특정 과제에 의존하지 않는 프로브는 새로운 수신 모델이 활용할 수 있는 기록 깊이도 미리 예측했으며, 45개 사례 모두에서 올바른 판단을 보였다.

모든 사실을 나열하는 메시지를 새로운 배치에 적용했을 때도 재조정 없이 89.6100%의 성공률을 유지했다. 이는 SYNC가 하나의 고정된 배치만 외운 결과는 아닐 가능성을 보여준다. 다만 여러 토큰으로 이뤄진 기호를 사용하는 랜드마크 과제에서는 23.964.0%에 머물렀다. 메시지가 없을 때의 0%보다는 높았지만, 텍스트 통신보다는 낮았다. 따라서 SYNC는 이산적이고 구조화된 속성 전달에는 적합하지만, 풍부한 조합적 언어를 완전히 대체한다고 보기는 어렵다.

의미와 영향

SYNC의 중요한 점은 모델의 전체 은닉 상태를 공개하거나 모델 간 벡터 번역기를 학습하지 않고도 통신 계층을 만들 수 있다는 데 있다. 공유 어휘는 간단한 공통 프로토콜 역할을 하고, 수신 모델 고유의 단어 방향은 서로 다른 아키텍처의 차이를 유지하면서 정보를 받아들인다.

이 방식은 객체 상태나 구조화된 사실을 주고받는 이기종 에이전트 시스템의 도입 비용을 낮출 가능성이 있다. 그러나 개방형 어휘, 복잡한 관계, 장거리 추론, 모호성, 설명과 불확실성 전달까지 같은 방식으로 처리할 수 있는지는 아직 확인되지 않았다. 실제 시스템에서는 SYNC로 압축된 사실을 전달하고, 예외와 근거는 텍스트로 보완하는 혼합형 구성이 더 현실적일 수 있다. 그럼에도 이 연구는 서로 다른 모델을 추가 학습 없이 연결하는 실용적 방향을 제시한다.

출처: Hugging Face Daily Papers