언어 모델이 분자 최적화기를 개선해 힘 계산을 줄인 AutoSella

도입

양자화학 계산에서 분자의 안정적인 구조를 찾으려면 원자 위치를 반복적으로 업데이트하면서 에너지와 힘을 다시 계산해야 합니다. 기하 최적화의 각 단계에는 보통 한 번의 힘 평가가 필요하며, 밀도범함수이론(DFT)을 사용할 때는 이 평가가 전체 실행 시간의 대부분을 차지할 수 있습니다. 따라서 힘 호출 횟수를 줄이는 것은 전체 계산을 직접적으로 단축하는 방법입니다.

《Optimizing the Optimizer: Language Models Discover Faster Molecular Relaxation》 연구는 언어 모델 에이전트가 최적화 알고리즘 자체를 개선할 수 있는지 살펴봤습니다. 연구진은 모델에게 분자 구조를 직접 예측하게 한 것이 아니라, 오픈소스 분자 기하 최적화기 Sella의 코드를 수정하게 했습니다. 목표는 비슷한 수준의 구조 완화와 에너지 감소를 더 적은 힘 평가로 달성하는 것이었습니다.

핵심 내용

• Sella에서 시작: 제공된 자료는 Sella를 가장 빠른 오픈소스 최적화기라고 설명합니다. 탐색의 목표는 최적화 품질을 유지하면서 힘 호출 수를 줄이는 것이었습니다.
• 저비용 계산으로 탐색: 후보 변경은 비교적 저렴한 GFN2-xTB 계산으로 시험했습니다. 탐색 과정에서는 DFT 그래디언트를 사용하지 않았습니다.
• 두 단계의 수용 기준: 너무 일찍 멈추는 후보와 탐색에 사용한 분자에서만 효과를 보이는 후보는 거부했습니다. 이를 통해 약한 수렴이나 과적합을 실제 속도 향상으로 오인하는 문제를 줄였습니다.
• 두 가지 AutoSella 변형: 탐색 결과 두 개의 최적화기가 만들어졌습니다. 두 변형 모두 보류된 분자 벤치마크와 탐색에 사용하지 않은 퍼텐셜에서 Sella보다 적은 힘 평가를 사용했습니다.
• DFT로의 전이: r2SCAN-3c DFT 테스트에서 가장 좋은 변형은 Sella 힘 호출의 40.2%에서 77.2%만 필요로 했습니다. 이는 약 22.8%에서 59.8%의 감소에 해당하며, 에너지 감소 수준은 동일했습니다.

의미와 한계

이 연구의 핵심은 언어 모델이 단순히 더 빠른 코드를 작성했다는 데 있지 않습니다. 에이전트가 알고리즘 변경을 제안하고, 자동으로 실험을 수행하며, 신뢰성과 일반화 성능을 확인한 뒤 기준을 통과한 변경만 남기는 폐쇄형 탐색 과정을 만들었다는 점이 중요합니다. 계산 자원과 수렴 결과로 성능을 비교하기 쉬운 수치 최적화기는 이런 방식과 특히 잘 맞습니다.

저비용 퍼텐셜에서 찾은 개선이 DFT 테스트에도 나타났다는 점도 주목할 만합니다. 다만 제공된 자료는 벤치마크 결과를 제시할 뿐, 모든 분자와 퍼텐셜, 수렴 조건에서 AutoSella가 항상 우수하다고 주장하지는 않습니다. 실제 적용에서는 최종 구조의 품질과 수렴 안정성을 별도로 확인해야 합니다.

앞으로 언어 모델은 과학 코드 작성뿐 아니라 업데이트 규칙, 종료 조건, 계산 자원 배분과 같은 수치 알고리즘의 설계 공간도 탐색할 수 있습니다. AutoSella는 후보 생성은 에이전트에 맡기되, 재현 가능한 실험과 보지 못한 데이터에 대한 검증으로 최종 채택 여부를 결정하는 접근법의 구체적인 사례입니다.

출처: Hugging Face Daily Papers