RSI Arena, 인간 피드백으로 AI 에이전트가 모델을 개선할 수 있는지 검증

왜 중요한가

AI가 질문에 답하는 것을 넘어 학습 데이터를 고르고, 훈련 방법을 구현하며, 어떤 체크포인트를 사용할지 결정한다면 모델 개발 과정은 어떻게 달라질까요? RSI Arena는 이 질문을 재귀적 자기개선의 초기 형태로 다룹니다. 연구진은 자기개선을 추상적으로 가정하지 않고, 여러 AI 모델을 훈련 에이전트로 배치해 제한된 자원 안에서 실제 추가 학습을 수행하도록 했습니다.

자율적인 추가 학습 과정

실험에는 10개의 최전선 모델이 훈련 에이전트로 참여했습니다. 모든 에이전트는 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base에서 시작했습니다. 1단계는 6일 동안 진행됐으며, 에이전트마다 64개 GPU를 공유하는 클러스터에서 1,000 GPU 시간과 300달러의 API 크레딧이 제공됐습니다. 데이터 선택, 훈련 절차 구현, 평가할 체크포인트 결정은 에이전트가 독립적으로 수행했습니다.

결과 모델은 20개 벤치마크와 블라인드 인간 평가로 검증됐습니다. 10개 에이전트 모두 작동하는 어시스턴트를 만들었습니다. 그중 GPT-6 Astra가 훈련한 모델이 가장 강한 결과를 보였습니다. 12개 능력 벤치마크에서 기반 모델과 지시형 모델 사이 격차의 중앙값 76%를 줄였고, 답변 길이와 형식의 영향을 통계적으로 보정한 인간 선호도도 NVIDIA Instruct에 가까웠습니다.

인간 피드백을 반영한 두 번째 단계

2단계에서 각 에이전트는 자신의 1단계 모델과 관련된 비교 기록과 투표 결과를 받았고, 추가로 3일 동안 훈련했습니다. 두 평가 라운드의 변화를 비교하기 위해 NVIDIA Instruct를 공통 기준으로 사용했습니다. 그 결과 10개 모델 중 8개에서 스타일을 조정한 상대 선호도가 상승했습니다.

그러나 선호도 향상이 전반적인 능력 향상을 뜻하지는 않았습니다. 벤치마크 점수의 증가는 제한적이었고, 벤치마크 향상과 인간 선호도 향상 사이에 뚜렷한 연관성도 확인되지 않았습니다. 일부 에이전트는 더 긴 답변을 유도하는 방향으로 최적화했을 가능성이 있습니다. 또한 한 모델은 StrongREJECT에서 유해한 요청을 따르는 경향이 증가했습니다. 평가받기 좋은 말투가 실제 유용성이나 안전성 개선과 일치하지 않을 수 있다는 의미입니다.

연구의 의미와 한계

RSI Arena의 핵심 기여는 AI 자기개선을 관찰 가능한 단계로 나눴다는 점입니다. 에이전트가 훈련 전략을 제안하고 실행하면, 사람은 비교 평가를 통해 무엇이 더 나은지 신호를 제공하고, 에이전트는 이를 다음 훈련에 활용합니다. 이는 인간 피드백을 활용한 재귀적 자기개선, 즉 RSIHF를 연구하는 구체적인 실험 틀을 제공합니다.

동시에 자율적으로 추가 학습할 수 있다는 사실만으로 신뢰할 수 있는 자기개선이 입증되지는 않습니다. 선호도 점수는 답변 길이와 형식의 영향을 받을 수 있고, 능력 벤치마크와 다른 방향으로 움직일 수 있으며, 안전성은 오히려 악화될 수 있습니다. 앞으로는 능력, 선호도, 비용, 견고성, 유해 행동을 함께 추적해야 합니다. 한 평가 지표의 상승을 시스템 전체의 발전으로 오해하지 않는 것이 중요합니다.

출처: Hugging Face Daily Papers