S³Gym: LLM은 자기 테스트와 자기 평가로 실제 개선할 수 있을까

들어가며

대규모 언어 모델은 게임, 도구, 기타 외부 환경에서 행동하는 에이전트로 점점 더 많이 사용되고 있습니다. 이 과정에서 상당한 행동 경험이 쌓이지만, 경험을 축적한다고 해서 에이전트가 자동으로 더 나은 전략을 배우는 것은 아닙니다. 성공한 행동을 관찰하더라도 왜 성공했는지, 어떤 상태에서 다시 사용해야 하는지 이해하지 못하면 다음 의사결정에 제대로 활용할 수 없습니다.

S³Gym은 이 간극을 측정하기 위한 대화형 벤치마크입니다. 한 번의 점수로 고정된 정책을 평가하는 대신, 에이전트가 스스로 행동을 시험하고 결과를 판단하며 그 경험으로 이후 행동을 개선할 수 있는지를 살펴봅니다. 연구는 이 과정을 Self-Testing, Self-Judging, Self-Improvement라는 세 가지 연결된 능력으로 나눕니다.

핵심 내용

• 탐색과 평가를 분리합니다. 비교적 허용적인 환경에서 탐색한 뒤 엄격한 홀드아웃 환경에서 평가합니다. 이미 본 경로나 답을 단순히 기억한 효과를 줄이기 위한 설계입니다.
• 7개의 텍스트 게임을 사용합니다. 각 환경에는 실행 가능한 검증기가 있어 행동이나 행동 시퀀스의 성공 여부를 확인할 수 있습니다.
• 세 가지 경험 활용 경로를 비교합니다. History ICL은 상호작용 기록을 그대로 문맥에 넣고, Summary Memory는 점수 정보를 포함한 요약으로 압축합니다. Parameter Training은 경험을 모델의 파라미터에 반영합니다.
• 모든 과제에 통하는 방법은 없습니다. 문맥에 경험을 추가하는 방식은 일부 모델과 게임에서 효과가 있었지만, 최적의 방식은 과제 구조에 따라 달라졌습니다.
• 요약이 항상 더 좋은 것은 아닙니다. 경험을 재사용 가능한 전략 규칙으로 표현할 수 있는 과제에서는 요약이 유리합니다. 반대로 정확한 상태별 정보가 중요한 과제에서는 원시 기록이 더 나은 성능을 보일 수 있습니다.
• 파라미터 학습에는 위험이 따릅니다. 일부 과제에서는 큰 향상을 만들지만, 다른 과제에서는 개선이 불안정하거나 심각한 부정적 전이가 나타날 수 있습니다.

의미와 영향

S³Gym의 핵심 메시지는 성공한 행동을 알아보는 것과 재사용 가능한 정책을 학습하는 것이 다르다는 점입니다. 안정적인 자기 개선을 위해서는 결과만 기억하는 것이 아니라, 성공을 만든 조건을 파악하고 새로운 상태에서 그 이해를 올바르게 적용해야 합니다.

에이전트 개발자는 더 긴 문맥, 자동 요약, 추가 학습 중 하나를 모든 문제의 해법처럼 다뤄서는 안 됩니다. 규칙 형태로 압축할 수 있는 경험에는 요약이 적합할 수 있지만, 세부 정보가 중요한 과제에서는 원래의 상호작용 궤적을 보존해야 합니다. 여러 과제를 파라미터 학습에 함께 넣는 경우에는 망각과 과제 간 간섭도 함께 점검해야 합니다.

평가 관점에서도 이미 성공한 사례를 외운 것과 새로운 상황에 전략을 일반화하는 능력을 구분할 필요가 있습니다. 향후 자기 개선 에이전트 벤치마크는 최종 점수뿐 아니라 탐색의 질, 자기 판단의 신뢰성, 홀드아웃 환경의 성능, 과제 간 전이까지 함께 측정해야 합니다. 그래야 자기 테스트와 자기 평가가 실제의 지속적 개선으로 이어졌다고 판단할 수 있습니다.

출처: Hugging Face Daily Papers