언어 모델이 스스로 볼 곳을 정한다: Declarative Attention

배경

장문맥 모델의 비용은 단순히 얼마나 많은 토큰을 저장할 수 있느냐로 결정되지 않습니다. 새로운 토큰을 생성할 때마다 긴 문맥을 얼마나 다시 읽어야 하는지도 중요합니다. 표준적인 전역 어텐션은 실제 답변에 필요한 정보가 일부에 불과해도 전체 KV 캐시를 훑을 수 있습니다. 대화 길이가 100만 토큰에 가까워지면 이 비용은 출력 토큰마다 반복됩니다.

KAIST AI 연구진은 이 문제를 위해 Declarative Attention, 줄여서 DA를 제안했습니다. 핵심 발상은 모델이 다음 단계에서 어느 부분을 봐야 하는지 스스로 알리고, 추론 엔진이 그 신호에 따라 읽기 범위를 줄이는 것입니다. 별도의 검색기를 추가하는 방식이라기보다 모델과 엔진 사이의 접근 제어 프로토콜에 가깝습니다.

작동 방식

DA는 생성 과정을 세 가지 모드로 나눕니다.

• global: 전체 문맥을 읽는 모드
• focus: 지정된 특정 영역에 집중하는 모드
• local: 최근 생성 결과만 읽는 모드

모델은 추론 과정에서 이러한 선언을 출력합니다. 추론 엔진은 이를 도구 호출과 비슷하게 해석하고, 필요한 KV 캐시만 읽습니다. 현재 단계가 최근 출력만으로 충분하다면 긴 대화 전체를 다시 스캔하지 않아도 됩니다.

기존의 한 접근법은 가벼운 대리 점수로 후보 토큰의 관련성을 외부에서 계산한 뒤 일부만 선택합니다. 이 방식은 실제 읽기량을 줄일 수 있지만, 매 단계 길이 N인 문맥을 점수화하는 비용이 남을 수 있습니다. DA는 모델이 이미 가진 관련성 판단을 이용해 문맥 범위 선택 자체를 생성 과정에 포함하려고 합니다.

결과와 한계

제공된 자료는 15개 장문맥 과제에서 Gemma-4-31B와 Qwen-3.6-27B를 제로샷 평가했다고 설명합니다. 전체 주의 토큰은 각각 52.0%와 31.1% 감소했습니다. 논문 요약에 제시된 정확도 하락은 Gemma가 1.27%포인트, Qwen이 2.75%포인트입니다. 다만 자료에 포함된 별도 페이지 발췌문은 Gemma의 하락 폭을 1.52%포인트로 적고 있어, 최종 논문에서 수치를 확인할 필요가 있습니다.

이 방법은 비용을 공짜로 줄이는 것은 아닙니다. 모델이 잘못된 영역을 선언하면 답변에 필요한 정보를 놓칠 수 있습니다. 또한 자료는 모델 규모가 커질수록 정확도 손실이 줄어드는 경향을 언급하지만, 이번 평가는 제로샷입니다. 전용 학습을 적용했을 때 선언의 정확성과 안정성이 얼마나 좋아지는지는 아직 확인되지 않았습니다.

의미와 전망

DA의 의미는 희소 어텐션의 선택권 일부를 모델에게 넘겼다는 데 있습니다. 긴 대화, 대규모 문서 분석, 생성 길이가 길어 KV 캐시 읽기가 주요 병목이 되는 작업에서 메모리 대역폭과 추론 비용을 줄일 가능성이 있습니다.

그러나 실제 서비스에 적용하려면 잘못된 선언에서 복구하는 절차, 범위 지정의 견고성, 그리고 줄어든 읽기 토큰이 실제 지연 시간과 비용 감소로 이어지는지에 대한 검증이 필요합니다. 읽기 작업이 다른 부분으로 이동할 가능성도 배제할 수 없습니다.

따라서 현재 DA는 장문맥 추론 비용을 일반적으로 해결한 완성형 기법이라기보다, 언어 모델이 필요한 문맥을 스스로 요청할 수 있음을 보여준 연구 프로토타입으로 보는 편이 정확합니다. 향후 학습 기반 방법과 결합된다면 속도와 정보 보존 사이의 균형을 더 안정적으로 조절할 수 있을지가 핵심 과제가 될 것입니다.

출처: Hugging Face Daily Papers