제약 디코딩은 정말 LLM 추론을 저해할까

들어가며

제약 디코딩은 구조화된 출력, 도구 호출, 자동 평가 시스템에서 중요한 구성 요소로 자리 잡았습니다. 문법이나 스키마를 위반하는 토큰을 생성 단계에서 차단하면 후속 시스템이 읽고 처리하기 쉬운 결과를 얻을 수 있기 때문입니다. 하지만 후보를 미리 제거하면 복잡한 문제를 풀 때 필요한 추론 경로까지 사라질 수 있다는 우려도 꾸준히 제기되어 왔습니다.

논문 Constrained Decoding: Harmful or Beneficial? Revisiting Its Impact on LLM Performance는 이러한 통념을 다시 검토합니다. 연구진의 핵심 주장은 제약 디코딩을 하나의 동일한 개입으로 취급해서는 안 된다는 것입니다. 어떤 대상을 출력 공간에서 제거하는지에 따라 효과가 달라집니다.

세 가지 제약 유형

연구는 제약을 다음 세 가지로 구분합니다.

• 형식 제약: 정해진 문법, 구조 또는 답변 형식을 지키게 합니다. 주된 목적은 기계가 읽을 수 있는 출력을 만드는 것이며, 의미 추론을 직접 제한한다고 볼 수는 없습니다.
• 유효성 제약: 과제의 정의에 맞지 않는 답변을 후보에서 제외합니다. 무효하거나 사용할 수 없는 결과를 줄여 신뢰성과 추출 가능성을 높입니다.
• 추론 제약: 문제를 해결하는 과정에서 선택할 수 있는 추론 경로를 제한합니다. 유용한 경로를 제거하면 해가 될 수 있지만, 잘못된 경로나 불필요한 탐색을 없애면 도움이 될 수 있습니다.

이론적으로 탐색 공간을 줄이는 일이 항상 성능 손실을 의미하는 것은 아닙니다. 제거되는 경로가 애초에 유효하지 않다면, 남은 후보에 모델의 확률을 집중시킬 수 있습니다. 따라서 핵심은 제약이 가치 있는 경로를 잘못 삭제하는지 여부입니다.

실험이 보여준 재해석

연구진은 네 개의 모델 계열과 열한 개의 오픈소스 모델, 다양한 벤치마크를 대상으로 인과적 절제 실험을 진행했습니다. 여러 최신 제약 디코딩 전략도 함께 비교했습니다.

가장 중요한 결과는 방법론에 관한 것입니다. 제약 디코딩 때문에 발생했다고 여겨진 성능 저하 중 상당 부분은 실제로 프롬프트와 출력 형식이 서로 동등하지 않았기 때문에 나타날 수 있습니다. 제약을 추가하면서 지시문, 답변 공간, 평가 방식을 동시에 바꾸면 디코더 마스킹의 효과만 분리해 측정할 수 없습니다.

유효성 제약은 실용적인 이점이 비교적 분명합니다. 모델이 과제 범위를 벗어나거나 형식상 사용할 수 없는 답변을 내놓는 일을 줄이기 때문입니다. 반면 추론 제약의 효과는 설계에 따라 달라집니다. 무차별적인 제한은 해로울 수 있지만, 유익한 추론 경로를 유지하면서 잘못된 경로를 제거하는 제약은 추론과 최종 정확도를 함께 높일 가능성이 있습니다.

의미와 영향

이 연구가 제약을 많이 적용할수록 좋다고 말하는 것은 아닙니다. 형식 준수, 답변 유효성, 추론 과정의 제어를 구분하고, 비교 실험에서는 프롬프트와 출력 조건, 평가 절차를 동등하게 맞춰야 한다는 점을 강조합니다.

실제 시스템에서는 형식 제약이 파싱 가능성을 높이고, 유효성 제약이 결과의 신뢰성을 보완하며, 추론 제약이 탐색 방향을 조정할 수 있습니다. 제약 디코딩을 단순한 성능 저하 요인이나 성능 향상 도구로 단정하기보다, 어떤 경로를 남기고 어떤 경로를 안전하게 제거할지 관리하는 방법으로 이해하는 것이 더 정확합니다.

출처: Hugging Face Daily Papers