집합 단위 강화학습으로 더 다양한 과학 아이디어를 만드는 모델

들어가며

대규모 언어 모델에 논문을 읽히고 새로운 연구 방향을 제안하게 하는 방식은 AI 기반 과학 연구의 중요한 응용 분야가 되고 있다. 그러나 그럴듯한 아이디어 하나를 만드는 일과, 서로 겹치지 않는 유망한 아이디어 여러 개를 만드는 일은 다르다. 개별 답변의 품질만 최적화하면 모델은 가장 익숙한 접근법을 반복하기 쉽다. 표현은 달라도 핵심 가설이나 실험 경로는 비슷한 결과가 쌓일 수 있다.

Hugging Face Daily Papers에 소개된 연구는 이 문제를 출력 집합 전체에 대한 강화학습으로 다룬다. 핵심은 좋은 아이디어 하나만 보상하는 것이 아니라, 다음 아이디어가 앞선 제안에 얼마나 새로운 선택지를 더하는지도 함께 평가하는 데 있다.

방법: 이전 아이디어와 다른 방향을 찾도록 학습

모델은 입력된 논문들을 바탕으로 한 번에 K개의 구조화된 아이디어 카드를 생성한다. 각 카드는 원문헌과 연결되어 있어야 하며, 연구 가치가 있는 방향을 제시해야 한다. 이후 각각을 독립적으로 채점하는 대신 전체 카드를 하나의 집합으로 평가한다.

평가에는 두 가지 요소가 들어간다.

• 개별 품질: 아이디어가 논리적이고 유망한지, 입력 문헌에 근거하는지 여부;
• 상대적 차별성: 이미 생성된 아이디어들과 얼마나 다른지 여부.

이 방식에서는 첫 번째 아이디어와 비슷한 경로를 조금 바꾼 제안만 계속 내놓아서는 높은 보상을 받기 어렵다. 모델은 문헌과의 연결을 유지하면서 연구 질문, 방법론, 전제, 검증 방식 가운데 하나 이상을 다른 방향으로 전환해야 한다. 강화학습의 목표가 단일 답변의 최고점에서, 더 넓은 탐색 범위를 가진 후보 묶음으로 이동하는 셈이다.

결과: 다양성이 늘어도 실행 가능성은 유지

연구진은 8B 모델을 훈련하고, 품질과 다양성을 함께 반영하는 ‘creative utility’ 지표로 평가했다. 논문이 보고한 결과에 따르면 오염이 없는 벤치마크에서 이 모델은 Claude Opus 4.8과 GPT-6 Astra보다 높은 성능을 보였다. 이를 작은 모델이 언제나 더 큰 모델보다 뛰어나다는 주장으로 해석하기보다는, 여러 방향을 탐색하는 작업에서는 모델 규모만큼 보상 함수의 설계도 중요하다는 결과로 보는 편이 적절하다.

사람을 대상으로 한 평가는 네 명의 전문가가 참여한 파일럿 연구였다. 이들은 모델이 만든 아이디어 집합을 Claude Opus 4.8의 결과와 비슷한 수준으로 유망하다고 판단했으며, 독창적인 아이디어는 조금 더 많이 포함된 것으로 평가했다. 또한 코딩 에이전트가 각 아이디어를 바탕으로 개념 검증 실험을 수행하도록 했을 때 success@k는 Claude Opus 4.8과 비슷했다. 적어도 이 실험에서는 다양성을 높였다고 해서 실행 가능성이 뚜렷하게 희생되지는 않았다.

의미와 남은 과제

실제 연구자가 필요한 것은 고립된 ‘최고의 답’보다 여러 가설과 방법을 비교할 수 있는 후보 목록인 경우가 많다. 따라서 이런 집합 단위 학습은 연구 계획 수립, 실험 설계, 신소재 탐색, 신약 연구처럼 여러 경로를 동시에 검토해야 하는 작업에 활용될 여지가 있다.

다만 결과를 일반화하기에는 아직 이르다. 전문가 네 명만 참여한 평가는 규모가 작고, 품질과 차이의 판단은 평가 기준에 영향을 받는다. 개념 검증의 성공도 실제 과학적 발견이나 완성된 연구 결과를 의미하지 않는다. 앞으로는 더 많은 평가자와 장기 실험, 그리고 단어만 바꾼 형식적 다양성이 아닌 실질적 연구 방향의 차이를 확인하는 검증이 필요하다. 그럼에도 이 연구는 과학 추론 모델이 좋은 아이디어를 찾는 능력뿐 아니라, 언제 새로운 방향으로 전환해야 하는지도 학습해야 한다는 점을 보여준다.

출처: Hugging Face Daily Papers