Interactive Training 2: 실행 중인 모델 학습을 제어하고 감사하는 방법

도입

모델 학습을 모니터링하는 도구는 이미 널리 쓰이고 있다. 손실 곡선, 평가 지표, 실행 기록을 보며 학습이 어떻게 진행되는지 확인하는 일은 어렵지 않다. 하지만 문제를 발견한 뒤 실행 중인 학습을 안전하게 수정하는 것은 여전히 별개의 문제다. 학습률이나 최적화 관련 설정을 조정하거나 특정 동작을 트리거하려면, 많은 경우 사용하는 trainer에 맞춘 별도 코드가 필요하다. Interactive Training 2는 이 지점을 겨냥한 오픈소스 제어 평면이다.

핵심 내용

• 공통 제어 프로토콜: 각 프로젝트마다 임시 훅을 만드는 대신, 실행 중인 학습을 조정하기 위한 공유 인터페이스를 제공한다.
• 명시적인 기능 선언: 학습 애플리케이션은 외부에 노출할 설정과 액션을 선언한다. 이를 통해 무엇을 바꿀 수 있는지 경계가 분명해진다.
• 사람과 자동화 컨트롤러의 동일한 경로: 연구자뿐 아니라 자동화된 agent도 같은 인터페이스를 통해 요청을 제출할 수 있다.
• 안전한 제어 지점에서 적용: 요청은 학습 루프의 아무 시점에나 끼어들지 않고, 적절한 지점에서 검증된 뒤 반영된다.
• 감사 가능한 기록: 맞춤형 Aim workspace는 실시간 지표, 제어 요소, 요청과 결과의 시간순 기록을 함께 보여준다.

의미와 영향

이 작업은 새로운 모델 구조나 특정 성능 향상을 내세우는 연구라기보다, 학습 인프라의 빈틈을 메우는 시도에 가깝다. 특히 NLP와 강화학습, 그리고 agent가 실험을 보조하는 환경에서는 학습이 한 번 실행하고 기다리는 과정이 아니라, 중간에 관찰하고 판단하며 필요하면 조정하는 과정으로 바뀌고 있다.

Interactive Training 2의 중요한 점은 이러한 조정을 표준화하고 기록한다는 데 있다. 기존 방식에서는 실행 중 개입이 callback, 수정된 스크립트, 혹은 별도의 메모 속에 흩어질 수 있었다. 반면 이 시스템에서는 어떤 설정이 열려 있는지, 어떤 요청이 들어왔는지, 학습 루프가 이를 어떻게 처리했는지, 결과가 무엇이었는지를 하나의 흐름으로 남길 수 있다.

저자들은 NLP와 강화학습에 걸친 다섯 가지 워크플로에서 시스템을 시연했고, 코드와 traces도 공개했다. 앞으로 agent-guided training이 더 일반화된다면, 학습 대시보드는 단순한 관찰 도구를 넘어 안전한 조작과 사후 검토를 지원하는 제어 표면으로 발전할 가능성이 크다. Interactive Training 2는 그 방향을 보여주는 인프라형 연구로 볼 수 있다.

Source: Hugging Face Daily Papers