EvoUndo: 스스로 진화하는 LLM 에이전트의 안전한 복구 검증

들어가며

LLM 에이전트가 자신의 프롬프트, 도구, 미들웨어, 리소스, 실행 하니스를 수정할 수 있다면 성능을 높일 가능성이 있습니다. 그러나 능력이 좋아진 변경이 곧 안전한 변경을 의미하지는 않습니다. 변경이 지속적인 영향을 남기면, 생성 당시에는 작동하던 복구 절차가 환경이나 내부 상태가 달라진 뒤에는 실패할 수 있습니다.

EvoUndo는 이 문제를 단순한 오류 수정 생성의 문제가 아니라, 변경 이후에도 반사실적 상태를 포함한 여러 조건에서 검증 가능한 복구가 가능한지의 문제로 다룹니다. 연구는 자기 수정의 표현, 복구 절차 합성, 실패 진단, 독립 검증을 하나의 프레임워크로 묶었습니다.

핵심 결과

• 보지 못한 일회성 자기 진화 과제 600개에서, 능력은 향상했지만 복구성 검증에 실패한 변경 197개를 확인했습니다.
• 기존 복구 표현과 일반적인 수리 전략을 사용했을 때 자연 발생 실패 사례의 복구 성공은 0/197이었습니다.
• 결정론적 오라클 분석에서는 기존 복구 언어 L0로 48/197개를 복구했습니다. 확장된 복구 계산 체계는 경험적 오라클 복구를 191/197개까지 높였습니다.
• 프로토콜을 고정한 2×2 개입 실험은 두 가지 병목, 즉 정확한 상태 주소 지정과 복구 언어의 표현력을 분리했습니다.
• 기존 언어로 충분한 사례에서는 정확한 주소 진단을 추가하자 성공률이 0/48에서 38/48, 79.2%로 올랐습니다. 오라클이 정의한 S1 계층에서는 복구 언어 확장으로 142/143개, 99.3%의 실패를 처리했습니다.
• 주요 gpt-oss-120b 실험에서 풍부한 복구 언어와 정확한 주소 진단을 함께 사용한 결과는 133/143, 93.0%였습니다. Qwen3.8-27B 재현 실험에서는 상태 식별과 표현력의 효과는 유지됐지만 이 부정적 상호작용은 재현되지 않아, 해당 현상이 모델 의존적일 가능성을 보여줍니다.

의미와 영향

EvoUndo의 핵심 메시지는 자기 진화를 더 나은 변경을 만드는 능력만으로 평가해서는 안 된다는 것입니다. 신뢰할 수 있는 에이전트는 변경이 적용된 상태를 정확히 가리키고, 복구를 입증하는 증거가 무엇인지 정의하며, 필요한 되돌리기 작업을 표현할 수 있는 언어와 독립 검증기를 갖춰야 합니다.

에이전트 프레임워크를 설계할 때는 변경 API만 제공하는 것으로 충분하지 않습니다. 상태 주소 지정, 복구 연산, 증거의 의미, 검증 프로토콜을 함께 설계해야 합니다. 평가에서도 일회성 성능 향상뿐 아니라 이후 상태 변화와 반사실적 조건에서 시스템을 안전하게 되돌릴 수 있는지를 확인해야 합니다.

두 모델의 결과 차이는 진단 정보와 복구 언어의 조합이 모델마다 다르게 작동할 수 있음을 보여줍니다. 따라서 복구 기능을 사후적으로 덧붙이기보다는, 능력 향상과 복구 가능성을 하나의 시스템 요구사항으로 공동 설계하는 접근이 필요합니다.

출처: Hugging Face Daily Papers