성공한 궤적이 곧 좋은 학습 자료는 아니다
에이전트 후학습에서는 과제를 완료한 궤적을 유용한 시범으로 간주하기 쉽다. 하지만 성공한 과정에도 근거가 부족한 가정, 성과 없는 반복, 형식적인 검증이 들어갈 수 있다. 최종 성공 여부만으로 데이터를 고르면 유용한 행동과 함께 이런 습관까지 모델이 익힐 가능성이 있다.
AutoMaster가 던지는 질문은 교사 모델 자체를 바꾸지 않고도 더 나은 시연을 만들 수 있느냐는 것이다. 이를 위해 제안된 Skill-FT(Skill-Guided Fine-Tuning)는 자연어 스킬 지시문으로 교사 모델의 롤아웃을 유도한다. 바람직하지 않은 습관은 줄이고, 데이터에서 상대적으로 드물지만 효과적인 행동은 끌어낸다. 이후 대상 모델은 이렇게 유도된 궤적을 사용해 지도 미세조정된다.
분석과 피드백을 잇는 반복 과정
AutoMaster는 LLM 에이전트를 활용해 기존 궤적의 행동 패턴을 분석하고, 스킬을 설계·수정하며, 가치 있는 시범을 선택한다. 새로운 교사 롤아웃과 대상 모델 평가에서 얻은 피드백은 다음 단계의 개선에 반영된다. 즉 성공 사례를 골라내는 데 그치지 않고, 그 사례가 어떤 행동을 보여주는지도 다듬으려는 접근이다.
이 차이는 중요하다. 과제 성공이라는 표지만으로는 모델이 가정을 점검했는지, 불필요한 작업을 되풀이했는지 알기 어렵다. 자연어 스킬은 이런 과정상의 선호를 명시해 교사의 시연에 반영할 수 있는 수단이다.
실험 결과와 지시문 유지의 효과
논문은 Terminal, Search, 소프트웨어 엔지니어링 과제를 평가했으며 대상 모델은 4B와 9B 규모다. 성공했지만 별도 유도가 없었던 교사 궤적으로 학습한 일반 SFT와 비교했을 때, AutoMaster의 평균 성능은 1.42~8.99%포인트 높았다. 교사 모델, 과제 풀, 학습 데이터 크기, SFT 방식은 고정해 시연을 유도한 효과를 비교했다.
또 다른 실험은 미세조정 데이터에서 스킬 지시문을 유지할지 살폈다. 평가 때는 지시문을 제공하지 않고 지도 출력도 동일했지만, 지시문을 유지한 방식이 여섯 설정 모두에서 제거한 방식보다 좋았다. 보고된 차이는 2.15~4.01포인트다. 이는 시연 주변의 맥락이 궤적을 생성할 때만 쓰이는 임시 프롬프트가 아니라, 행동 패턴을 학습하는 데 관여할 수 있음을 시사한다.
의미와 남은 질문
AutoMaster는 성공한 궤적을 더 모으거나 선별하는 데서 한 걸음 나아가, 좋은 궤적이 보여야 할 행동을 먼저 구체화하는 후학습 방식을 제시한다. 여러 단계를 거치는 에이전트에서는 최종 답뿐 아니라 검증의 충실도와 행동의 효율도 중요하므로 의미 있는 관점이다.
다만 결과는 논문에 보고된 과제, 모델 규모, 실험 설정에 한정된다. 모든 에이전트에서 효과가 나타난다거나 학습된 행동이 모든 운영 환경에서 유지된다고 단정할 수는 없다. 신중하게 읽으면 핵심은 분명하다. 성공 여부만으로 시연의 질을 판단하기 어렵고, 교사가 보여주는 행동을 명시적으로 설계할 가치가 있다는 것이다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…