Interlock: 장기 에이전트를 국소적 정답에서 실제 작업 완료로

들어가며

장기 작업을 수행하는 에이전트는 각 단계를 그럴듯하게 처리하고도 전체 작업을 끝내지 못할 수 있다. 올바른 자료를 찾고 합리적인 판단을 내리며 파일을 수정했더라도, 그 판단이 필요한 후속 변경으로 이어지지 않거나 환경 상태가 갱신되지 않으면 최종 결과는 불완전하다.

Interlock은 바로 이 ‘국소적으로는 맞지만 전체적으로는 미완성인’ 문제를 다룬다. 논문은 작업 합성을 자연어 지시문을 만드는 과정으로만 보지 않는다. 어떤 증거가 판단을 뒷받침하는지, 판단이 어떤 결과를 만들어야 하는지, 무엇을 완료로 인정할지를 함께 설계해야 한다는 접근이다.

완료 그래프로 작업 구조화

Interlock의 핵심은 유형화된 완료 그래프다. 이 그래프는 단순한 행동 순서가 아니라 작업을 구성하는 요소와 그 사이의 제약을 표현한다.

• 근거 연결은 환경에서 공개된 증거와 에이전트가 내려야 할 결정을 연결한다.
• 결합 하이퍼엣지는 여러 구성요소에 동시에 적용되는 공동 제약을 표현한다. 각각은 맞지만 함께는 성립하지 않는 요구사항을 다루는 장치다.
• 실현 연결은 결정을 필요한 모든 후속 효과와 연결한다. 선택만 하는 것이 아니라 파일, 상태, 기타 산출물에 실제로 반영하도록 만든다.

Interlock은 이 그래프를 재설정 가능한 작업공간, 에이전트에게 공개되는 요청, 그리고 평가 루브릭으로 컴파일한다. 환경과 지시, 합격 기준을 따로 만들지 않고 하나의 작업 명세로 연결하는 것이 핵심이다.

평가가 실행 전에 타당한지 확인

생성 과정에는 두 가지 검토가 포함된다. 원천 범위 검토는 처음의 요구사항이 작업 생성 과정에서 빠지지 않았는지 확인한다. 공개 입력 검토는 평가 루브릭이 실제로 문제 해결자에게 제공된 자료에 근거하는지 점검한다. 평가자가 숨겨진 정보를 사용한다면, 에이전트가 합리적으로 행동했더라도 접근할 수 없는 근거 때문에 실패 판정을 받을 수 있기 때문이다.

실행이 끝나면 에이전트 심판이 궤적과 결과물을 살펴보고 검증 스크립트를 실행한다. 모든 필수 요구사항을 만족한다고 판단된 궤적만 후속 학습에 사용한다. 논문은 이렇게 승인된 궤적으로 두 개의 Qwen3.6 백본을 미세 조정했다. 제공된 초록에 따르면 AutomationBench 작업 통과율은 4.00~4.50%포인트 높아졌다. 다만 소재에는 초록에 언급된 다른 벤치마크의 전체 결과가 포함되어 있지 않으므로, 모든 환경에서 동일한 효과가 있다고 확대 해석해서는 안 된다.

의미와 한계

Interlock은 작업 완료를 단순히 최종 답변을 내놓는 일로 보지 않는다. 공개된 증거가 결정을 뒷받침하고, 결정이 필요한 모든 결과로 이어졌는지가 핵심이다. 이는 사무 자동화, 도구 사용, 상태 기반 환경에서 누락된 업데이트와 검증 불가능한 산출물을 줄이는 데 유용한 관점이 될 수 있다.

동시에 완료 그래프를 설계하는 비용, 심판의 신뢰성, 검증 스크립트의 범위는 여전히 중요한 변수다. 따라서 Interlock은 추론 능력을 단독으로 해결하는 모델 기법이라기보다, 장기 작업의 설계와 검수 절차를 체계화하는 작업 엔지니어링 프레임워크로 이해하는 편이 적절하다. 에이전트가 여러 애플리케이션을 넘나드는 업무를 맡게 될수록 이러한 관계와 검증 기준의 명시가 중요해질 가능성이 크다.

출처: Hugging Face Daily Papers