CAPA: 코딩 어시스턴트는 사용자의 애매한 표현을 기억할 수 있을까

도입

코딩 어시스턴트는 이제 자연스럽고 불완전한 요청을 실행 가능한 코드로 바꾸는 데 널리 쓰이고 있다. 하지만 실제 개발자의 요청은 자주 모호하다. “에러 처리를 고쳐줘”, “출력을 정리해줘”, “이 함수를 최적화해줘” 같은 말은 사용자와 프로젝트 맥락에 따라 서로 다른 의미를 가질 수 있다. 기존 접근은 대체로 현재 세션 안에서 추가 질문을 던져 모호성을 해소하는 방식에 머물렀다.

이 논문은 더 장기적인 사용 환경에 가까운 문제를 다룬다. 같은 사용자가 과거 세션에서 이미 비슷한 모호성을 해결한 적이 있다면, 새로 열린 세션의 어시스턴트가 그 기록을 기억처럼 활용할 수 있을까. 저자들은 이를 “개인화된 모호성 적응”이라는 과제로 정의한다. 즉, 사용자의 이전 해결 세션과 새로운 모호한 코딩 요청이 주어졌을 때, 어시스턴트는 반복되는 패턴을 파악하고 의도에 맞는 실행 가능한 해법을 만들며 확인 질문을 줄여야 한다.

핵심 내용

• 새로운 과제 설정: 모호성을 단일 대화의 문제가 아니라, 동일 사용자와의 장기 상호작용에서 나타나는 개인화 문제로 본다.
• CAPA 벤치마크: CAPA는 개인화된 코딩 모호성을 여섯 가지 메커니즘으로 특징짓고, 통제된 3단계 생성 파이프라인을 통해 원래 명확한 실행 가능 과제에 이를 주입한다.
• 데이터 구성: CAPA는 60개의 균형 잡힌 사용자–모호성 셀에 걸친 600개 코딩 세션을 포함하며, 300개 세션은 평가용으로 보류된다.
• 평가 조건: 논문은 12개 최신 LLM을 기록이 없는 조건과 동일 사용자 기록이 제공되는 조건에서 비교한다.
• 평가 지표: 실행 가능한 성공, 첫 턴 성공, 완료까지 필요한 턴 수를 사용해 코드 정확도와 대화 비용을 함께 살핀다.
• 메모리 관리: 과제 난이도, 사용자 정체성, 기록 활용 방식을 분석하고, 추론 시 적용할 수 있는 가벼운 동일 사용자 기록 게이팅 방법도 제안한다.

의미와 영향

CAPA의 의미는 단순한 벤치마크 추가에 그치지 않는다. 개발자가 자주 겪는 “매번 같은 설명을 반복해야 한다”는 문제를 측정 가능한 연구 과제로 만들었다는 점이 중요하다. 예를 들어 사용자가 과거에 “에러 처리 수정”이라는 표현으로 재시도 로직 추가를 의미했다면, 어시스턴트는 이후 비슷한 요청에서 그 확인된 의도를 참고할 수 있어야 한다.

다만 장기 기억을 무조건 적용하는 것은 위험하다. 사용자의 선호는 변하고, 코드베이스도 계속 바뀐다. 오래된 기록을 그대로 적용하면 기록이 없는 것보다 나쁜 결과가 나올 수도 있다. 따라서 어떤 기록을 쓸지, 언제 잊을지, 어떤 순서로 재평가할지를 결정하는 게이팅·망각·재랭킹 메커니즘이 중요해진다.

종합하면 CAPA는 사용자별로 더 오래 적응하는 코딩 어시스턴트를 만들기 위한 평가 기반을 제공한다. 더 나은 코드 생성은 더 큰 모델만의 문제가 아니라, 기억을 안전하고 적절하게 활용하는 인프라와 평가 체계의 문제이기도 하다.

출처: Hugging Face Daily Papers