언어 모델의 지시 용량 측정하기: 부하가 커질 때의 성능 저하

들어가며

언어 모델은 지시가 많아질수록 이를 따르는 품질이 떨어지는 경향을 보인다. 하지만 모델이 “몇 개의 지시까지 처리할 수 있는가”를 하나의 비교 가능한 수치로 표현하기는 쉽지 않다. 실제 지시는 복잡도가 서로 다르고, 지시끼리 상호작용하거나 충돌할 수도 있기 때문이다. 논문 「Instruction Capacity: Behavior and Degradation of Language Models under Controlled Load」는 이 문제를 통제된 실험으로 바꾸는 측정 도구를 제시한다.

지시를 계산 가능한 부하로 만들기

이 도구는 의미가 없는 텍스트와 여러 개의 단어 치환 규칙을 사용한다. 각 규칙은 한 단어를 다른 단어로 바꾸는 단순하고 원자적인 지시이며, 규칙들은 설계상 서로 독립적이다. 따라서 복잡한 의미 이해나 지시 간 충돌 해결보다는, 모델이 규칙을 기억하고 적절한 위치에 적용하는 능력을 집중적으로 측정할 수 있다.

정답은 프로그램으로 계산할 수 있다. 모든 치환에 대해 기대되는 위치와 해당 규칙 번호가 미리 정해져 있으므로, 각각을 성공 또는 실패로 판정되는 베르누이 시행으로 취급할 수 있다. 전체 답변을 주관적으로 평가하는 대신, 부하 조건별로 단일 치환이 올바르게 수행될 확률을 추정하는 방식이다.

측정 결과의 핵심

연구는 단순히 규칙 개수만 세지 않고 여러 부하 요인을 나눠 분석했다.

• 규칙 수가 늘어날 때 치환 정확도는 규칙 수의 로그에 대해 일정한 형태로 변한다.
• 치환 밀도를 높이면 정확도가 포화되는 양상이 나타나며, 이후 답변 전체의 붕괴로 이어진다.
• 규칙 목록에서 규칙이 놓인 위치도 결과에 영향을 주며, 그 변화는 멱법칙으로 설명된다.
• 텍스트 길이와 답변 안에서 치환이 발생하는 위치는 독립적인 제약이 아니라 서로 상호작용한다.
• 전체 답변의 성능 저하는 규칙 개수만이 아니라 텍스트가 지닌 부하와 생성 진행도에 따라 별도의 규칙성을 보인다.

GPT-4o mini 측정에는 2958개의 요청과 642430회의 치환 시행이 사용됐다. 연구진은 여러 변수 사이의 관계를 매끄러운 법칙으로 근사한 뒤, 특정 수준의 올바른 치환 비율을 유지할 수 있는 규칙 수를 “지시 용량”으로 정의했다. 이 값은 단일한 임계값이 아니라 불확실성과 함께 제시된다. 올바른 치환 비율을 0.95로 설정했을 때 지시 용량은 약 3738개였다. 치환 밀도가 완전한 조건에서는 약 1819개로 내려갔다.

의미와 한계

이 연구의 가장 큰 의미는 “지시가 너무 많으면 모델이 실패한다”는 관찰을 재현 가능한 측정 문제로 바꿨다는 데 있다. 규칙 수, 규칙의 순서, 출력에서의 위치 중 어떤 요인이 성능 저하를 유발하는지 살펴볼 수 있으며, 향후 모델 비교나 프롬프트 구성, 에이전트 작업의 분할 기준에도 활용될 가능성이 있다.

다만 이 수치를 일반적인 지능, 추론 능력, 또는 실제 업무에서의 지시 처리 한계로 해석해서는 안 된다. 규칙을 표현하는 방식, 텍스트 분포, 지시의 종류가 달라지면 결과도 달라질 수 있다. 연구진은 데이터셋과 측정 도구 설명, 코드를 공개했으며, 발표된 결과를 공개 데이터에서 다시 계산할 수 있도록 했다. 이는 후속 재현과 비판적 검증을 가능하게 한다.

출처: Hugging Face Daily Papers