LLM 에이전트는 파라미터를 바꾸지 않고 튜토리얼 영상에서 배울 수 있을까

들어가며

사람은 책이나 튜토리얼 영상을 본 뒤 배운 내용을 기억하고, 나중의 문제 해결에 활용한다. 반면 대규모 언어 모델(LLM) 에이전트는 학습이 끝나면 파라미터가 고정되는 경우가 많다. 새로운 교육 자료를 반영할 때마다 모델을 다시 학습하는 일은 비용이 크다. 논문 「Can Large Language Model Agents Learn by Watching Tutorial Videos?」는 모델의 파라미터를 업데이트하지 않고도 에이전트가 영상에서 지속적으로 배울 수 있는지 살펴본다.

TAL의 작동 방식

연구진이 제안한 **Tutorial Agentic Learning(TAL)**은 비파라미터적 지속 학습 프레임워크다. 영상 내용을 한 번만 컨텍스트에 넣는 대신, 재사용 가능한 구조화 지식인 tutorialbook 메모리로 통합한다.

핵심 과정은 다음과 같다.

• 지식 구조화: 영상 정보를 단순한 자막이나 전사문으로 남기지 않고, 이후 검색 가능한 지속 메모리로 정리한다.
• 지식 공백 탐색: 영상에 근거한 까다로운 질문을 만들어 현재 메모리가 놓친 내용을 드러낸다.
• 선택적 메모리 개선: 질문에 답하지 못하거나 설명이 부족한 부분을 중심으로 메모리를 수정한다.
• 추론과 연결된 검색: 추론 단계에서는 임베딩 유사도에만 의존하지 않고, 목차 트리(TOC tree)를 따라 현재 사고 과정과 관련된 지식을 찾는다.

즉, TAL은 영상을 요약해 저장하는 데 그치지 않는다. 어려운 질문으로 메모리를 시험하고, 그 결과를 다시 지식 정리에 반영하는 학습 순환을 만든다.

실험 결과

이 설정을 평가하기 위해 연구진은 12개 체스 오프닝을 다루는 72개 튜토리얼 영상으로 멀티모달 QA 벤치마크 VidLearn을 구축했다. TAL은 비교 대상으로 사용된 기준선보다 높은 성능을 보였고, 더 많은 영상을 학습할수록 성능이 꾸준히 향상됐다. 대응하는 일반 멀티모달 언어 모델과 비교한 상대적 향상 폭은 학습 분할에서 최대 113%, 테스트 분할에서 최대 91%로 보고됐다.

실제 게임 평가도 진행됐다. TAL을 적용한 에이전트는 일반 모델과의 맞대결에서 69%의 게임에서 더 강한 오프닝 단계의 포지션을 만들었다. 논문은 두 번째 분야에서도 평가를 진행했다고 설명하며 체스 외 영역으로의 가능성을 제시한다. 다만 제공된 자료에는 해당 분야와 세부 결과가 공개되지 않았으므로, 이를 폭넓은 일반화의 확정적 증거로 해석하기는 이르다.

의미와 남은 과제

TAL이 보여주는 중요한 방향은 에이전트의 지식을 늘리기 위해 반드시 모델 가중치를 수정할 필요는 없다는 점이다. 튜토리얼 영상을 장기 외부 메모리로 축적하고, 목차 구조를 통해 추론 중 필요한 부분을 불러오는 방식은 소프트웨어 사용법, 직무 교육, 전문 지식 훈련 등에 활용될 여지가 있다.

그러나 외부 메모리는 정답뿐 아니라 오류도 보존할 수 있다. 서로 다른 영상의 충돌, 영상에 생략된 전제, 데이터 출처의 편향을 관리해야 한다. 또한 체스 오프닝에서의 개선이 곧바로 다른 문제에서의 전이 가능한 이해를 뜻하지는 않는다. 향후에는 더 다양한 분야와 긴 학습 순서, 복잡한 상호작용 과제를 통해 영상 기반 지속 학습의 신뢰성과 범위를 확인해야 한다.

출처: Hugging Face Daily Papers