InfraRSI, 재귀적 자기 개선을 LLM 학습 인프라에 적용

들어가며

재귀적 자기 개선(Recursive Self-Improvement, RSI)은 그동안 알고리즘 탐색, 프로그램 합성, GPU 커널 생성에 주로 적용됐습니다. 하지만 분산 LLM 학습은 훨씬 더 복잡한 대상입니다. 실행 인자, 메모리 배치, 연산자 커널, 컴파일러 동작, 통신 스케줄이 서로 강하게 연결되어 있기 때문입니다. 한 부분만 바꿔도 전체 작업이 느려지거나 OOM이 발생할 수 있으며, 측정 잡음이나 손실만으로는 확인하기 어려운 수치 드리프트가 나타날 수도 있습니다.

Hugging Face Daily Papers에 소개된 InfraRSI는 이 문제를 에이전트형 검증 워크플로로 다룹니다. AI 에이전트가 학습 스택을 자유롭게 수정하도록 두는 것이 아니라, 제약을 정의하고 기준선을 측정한 뒤 후보를 탐색하고 재검증한 다음 변경 사항을 적용하는 방식입니다.

핵심 구성

• 편집 범위와 평가 계약 고정. 초기화 단계에서 수정 가능한 코드 범위를 정하고, 워크로드와 손실, 실행 시간에 대한 불변 조건을 고정합니다. 학습 조건을 바꿔 가짜 속도 향상을 만드는 보상 해킹을 막기 위한 장치입니다.
• 탐색 전 기준선 진단. 실행 단계를 프로파일링하고 클러스터의 변동성을 보정합니다. 이후 실험에서 실제 개선과 실행 간 흔들림을 구별할 수 있도록 합니다.
• 설정과 코드의 공동 탐색. 실행 설정과 코드 패치를 따로 최적화하지 않고 함께 탐색합니다. 또한 하나의 현재 최적 해를 조금씩 수정하는 대신, 과거 경험에서 얻은 다양한 초기 구성을 사용합니다.
• 실패도 학습 데이터로 활용. 실행 시간과 최대 메모리 모델을 만들 때 OOM 실험도 포함합니다. 실패한 시도를 버리지 않고 각 설정의 메모리 비용을 추정하는 자료로 활용하는 것입니다.
• 재검증과 추적성 확보. 유망한 후보는 기준선과 다시 비교하고, 소스 경로와 실패 실험 비용, 최종 채택 변경 사항을 기록합니다. 검증을 통과한 변경만 적용 대상으로 삼습니다.

의미와 영향

InfraRSI의 핵심은 자동 튜닝이나 코드 생성 자체가 아닙니다. 학습 인프라를 상호 의존적인 설정과 잡음이 있는 관측, 메모리 제약, 누적되는 경험으로 구성된 검색 공간으로 본다는 점입니다. 예를 들어 메모리를 많이 사용하는 속도 개선안에 검증된 메모리 절약 패치를 결합하면, 한 번에 하나의 변경만 시도하는 방식으로는 찾기 어려운 구성을 탐색할 수 있습니다.

논문 요약에 따르면 InfraRSI는 단일 노드와 다중 노드 환경의 dense 및 Mixture-of-Experts 학습 워크로드 네 가지에서 평가됐으며, 최대 2.75배의 속도 향상을 보고했습니다. 다만 제공된 요약에는 전체 결과 표와 워크로드별 세부 수치, 평균 MFU의 완전한 값이 포함되어 있지 않습니다. 따라서 이 수치는 방법의 잠재력을 보여 주는 보고 결과로 이해해야 하며, 모든 하드웨어와 프레임워크에서 보장되는 성능으로 해석해서는 안 됩니다.

실제 운영 환경에서는 손실과 시간 조건을 고정하는 것, 실패 비용을 기록하는 것, 변경 경로를 감사 가능하게 남기는 것이 중요합니다. AI 에이전트가 학습 시스템을 직접 최적화할수록 더 빠른 코드를 작성하는 능력뿐 아니라, 정확성을 훼손하지 않고 개선을 입증하는 관리 체계가 핵심 경쟁력이 될 가능성이 큽니다.

출처: Hugging Face Daily Papers