SteerDistill, 폐루프 증류로 저비트 LLM 에이전트의 실패를 교정

배경

대규모 언어 모델을 저비트로 양자화하면 추론에 필요한 메모리와 계산량을 줄일 수 있습니다. 그러나 도구 호출과 환경 상호작용을 수행하는 LLM 에이전트에서는 작은 행동 오류도 전체 작업 실패로 이어질 수 있습니다. 작업 요구사항을 하나 놓치거나 현재 환경을 잘못 해석하면, 이후의 상태 전이가 성공 경로에서 벗어나 되돌리기 어려워지기 때문입니다.

SteerDistill은 이러한 문제를 단순한 언어 생성 품질 저하가 아니라, 양자화 학생 모델에서 발생한 행동의 편차로 보고 교정합니다.

실패에서 시작하는 폐루프 교사 지도

일반적인 오프라인 증류 데이터에는 학생 모델이 실제로 실패하는 상황이 충분히 포함되지 않을 수 있습니다. 반대로 학생 모델 스스로 올바른 답을 생성하게 하면, 저비트 양자화로 인해 해당 맥락에서 성공적인 대안을 거의 만들지 못할 수도 있습니다.

SteerDistill의 절차는 다음과 같습니다.

• 실패 궤적 탐색: 양자화 학생을 환경에서 실행하고, 정밀도 높은 기준 모델의 성공 경로와 달라지는 응답이나 환경 전이를 찾습니다.
• 교사의 재시도 유도: 동결된 BF16 교사 모델이 실패 당시의 맥락을 살펴 학생이 관련 응답을 다시 작성하도록 안내합니다.
• 실행 피드백 반영: 수정된 응답을 환경에서 실제로 실행합니다. 문장이 그럴듯한지만 보는 것이 아니라 행동과 상태가 개선됐는지 확인하며, 여전히 실패하면 교사가 새로운 결과를 바탕으로 지침을 다시 조정합니다.
• 교정 결과 내재화: 문맥 증류 단계에서 교정된 턴은 지도받은 학생의 예측을 학습하고, 나머지 턴은 정밀도 높은 교사의 예측을 학습합니다. 최종 추론에서는 교사나 별도의 steering prompt가 필요하지 않습니다.

이 접근법의 핵심은 교사가 모든 작업에 대해 완전한 이상적 궤적을 제공하는 데 있지 않습니다. 학생이 실제 실행에서 드러낸 문제에 국소적으로 개입하고, 그 수정이 환경에서 작동하는지를 확인하는 데 있습니다. 따라서 텍스트가 비슷한지를 넘어, 특정 행동이 환경 상태에 어떤 결과를 만드는지를 반영한 감독이 가능합니다.

결과와 의미

5개 에이전트 벤치마크와 3개 모델을 평가한 결과, W4A16에서 SteerDistill은 가장 강력한 양자화 기준선보다 평균 점수가 1.67~2.18포인트 높았고 BF16과의 차이는 1포인트 이내였습니다. τ²-Bench에서는 QeRL보다 성공률이 1.84포인트 높았으며, 학습에 사용한 GPU 시간은 67% 적었습니다. 성공한 궤적도 양자화 기준선보다 짧았습니다. Qwen3-8B의 W2A16 실험에서는 비교된 양자화 방법 가운데 가장 높은 평균 점수를 기록했습니다.

이는 양자화로 인한 실패가 항상 지식 자체의 손실을 뜻하지는 않음을 시사합니다. 중요한 순간에 요구사항을 놓치거나 부적절한 행동을 선택해 발생하는 행동 편차라면, 학생의 실제 실패 맥락에서 이를 찾아 수정하고 증류할 수 있습니다.

다만 학습 과정에는 정밀도 높은 교사와 실행 가능한 환경이 필요하므로, 추가 비용과 적용 가능성은 작업의 검증 가능성에 좌우됩니다. 그럼에도 저비용 에이전트를 구축할 때 최종 답변만 모방하는 대신, 실패를 만든 의사결정을 먼저 교정한 뒤 독립 실행 능력으로 전환한다는 설계는 의미 있는 방향을 제시합니다.

출처: Hugging Face Daily Papers