ScienceDiscovery, 트리 탐색으로 과학 코드 자율 개선

도입

과학 연구에서 첫 번째로 생성된 프로그램이 곧바로 완성되는 경우는 드물다. 구현하고 실행한 뒤 결과를 확인하고 다시 수정하는 과정을 수십 차례 반복해야 실용적인 코드에 도달하는 일이 많다. OpenJiuwen의 ScienceDiscovery는 이 반복 과정을 검색 시스템에 맡기려는 시도다. 모델을 다시 학습하거나 파라미터를 조정하는 대신, 매 반복에서 바뀌는 것은 생성된 연구 코드다.

코드 진화를 트리로 관리

ScienceDiscovery는 각 프로그램 버전을 트리의 노드로 취급한다. 기존 버전 하나를 선택해 모델에 수정을 요청하고, 후보 코드를 격리된 샌드박스에서 실행한 뒤 점수를 매겨 새로운 자식 노드로 저장한다. 실행 실패, 무한 루프, 시간 초과도 실패 노드로 기록되므로 검색 전체를 중단할 필요가 없다.

선택 규칙은 현재 최고 버전만 계속 고치는 방식이 아니다. 점수가 높은 노드에는 더 많은 수정 기회를 주지만, 같은 노드가 반복 선택되면 가중치를 낮춰 이전에 보류된 가지로 돌아간다. 좋은 방향을 깊게 파고들면서도 다른 가능성을 다시 살펴보는 구조다. 플랫폼은 후보 병렬 생성, 샌드박스 평가, 결과 병합도 제공하므로 과제별로 초기 산출물과 평가 함수만 바꿔 적용할 수 있다.

보고된 사례

• 반무한 구간의 진동 적분에서는 약 2시간 동안 236개 버전이 생성됐다. 최종 프로그램은 247줄이며, 발산과 진동 특성을 먼저 판별한 뒤 적절한 수치 방법을 선택한다. 자료에 따르면 평가용 19개 문제의 평균 상대 오차는 0.07%였다.
• 가우스 초월함수의 배정밀도 계산에서는 48회 확장에 598초가 걸렸다. 보지 못한 1,000개 점에서 평균 유효 정답 자릿수는 9.836에서 11.771로 높아졌다.
• AlgoTune의 154개 코드 최적화 과제에서는 두 번의 실행으로 평균 2.279배 속도 향상을 기록했다.
• 숫자 표만으로 방정식을 추론하는 과제에서는 111개 문제 중 41.4%에서 올바른 방정식을 생성했다. 문제당 모델 호출은 평균 16.5회였다.

의미와 한계

핵심은 모델이 한 번에 획기적인 알고리즘을 발명했다는 데 있지 않다. 후보를 만드는 모델, 실행 가능한 평가 기준, 과거 분기를 보존하는 검색을 결합해 수작업 시행착오를 자동 탐색으로 바꿨다는 점이 중요하다. 정확도나 실행 시간을 수초에서 수십 초 안에 확인할 수 있는 수치 계산 분야에서 특히 유리하다.

하지만 실험과학에서는 검증에 며칠에서 몇 달이 걸릴 수 있고, 대리 점수가 실제 과학적 목표를 제대로 반영하지 못할 수도 있다. 재료과학, 생명과학, 실험물리로 확대하려면 고속 시뮬레이션, 대리 모델, 자동화 실험실, 더 엄격한 검증 체계가 필요하다. 과학용 RSI의 확장성은 코드를 얼마나 잘 고치는지뿐 아니라, 결과의 좋고 나쁨을 얼마나 빠르고 믿을 만하게 판단하는지에 달려 있다.

퀀텀비트