Deep Interaction: LLM 추론 오류를 직접 편집해 고치는 방식

도입

Chain-of-Thought(CoT) 추론은 대규모 언어모델이 복잡한 다단계 문제를 푸는 데 중요한 역할을 해왔다. 수학 문제, 과학적 추론, 단계별 분석에서 모델의 성능을 끌어올렸지만, 중간 단계에서 오류가 발생했을 때의 사용 경험은 여전히 불안정하다. 사용자는 보통 전체 답변을 다시 생성하게 하거나, 다음 대화에서 어느 부분이 틀렸는지 설명해야 한다. 그러나 재생성은 맞았던 부분까지 버릴 수 있고, 후속 지적은 모델이 비슷한 오류를 반복하는 결과로 이어질 수 있다.

arXiv 논문 “Deep Interaction: An Efficient Human-AI Interaction Method for Large Reasoning Models”는 이 문제를 다른 방식으로 다룬다. Deep Interaction은 사용자가 모델의 원래 추론 결과에서 오류가 있는 부분을 직접 편집하도록 하고, 그 수정된 CoT를 정제된 프롬프트로 만들어 모델이 올바른 추론 경로를 따르도록 유도한다.

핵심 요점

• 전체 재생성 대신 부분 수정: 기존 방식은 모델에게 답을 처음부터 다시 쓰게 하는 경우가 많다. Deep Interaction은 이미 맞는 추론 단계는 보존하고, 오류가 있는 지점만 정밀하게 고치는 데 초점을 둔다.
• 원래 답변을 직접 편집: 사용자는 새 메시지로 오류를 설명하는 대신, 모델이 생성한 추론 체인 안에서 잘못된 부분을 직접 고친다. 이는 피드백의 모호성을 줄이고 수정 신호를 더 분명하게 만든다.
• 수정된 CoT를 프롬프트로 정제: 논문에 따르면 이 방법은 편집된 긴 추론을 그대로 다시 넣는 것이 아니라, distilled prompt로 정리해 이후 모델 출력을 제어한다.
• STEM 추론에서 성능 보고: 저자들은 STEM 과제 추론에서 기준 방법보다 오류 수정 성공률이 25% 이상 향상됐고, 토큰 사용량은 약 40% 감소했다고 밝혔다.

의미와 영향

Deep Interaction의 의의는 단순히 새로운 추론 기법을 추가하는 데 있지 않다. 핵심은 인간이 추론 모델의 오류를 어떻게 더 정확하게 고칠 수 있는가에 있다. 복잡한 문제에서 최종 답이 틀리는 원인은 종종 하나의 중간 단계에 있다. 조건을 잘못 읽었거나, 수식 변환이 틀렸거나, 부적절한 가정을 했을 수 있다. 그 지점을 직접 고칠 수 있다면 전체 풀이를 다시 시작하지 않고도 올바른 방향으로 이어갈 수 있다.

이는 LLM 제품 설계에도 중요한 시사점을 준다. 더 큰 모델이나 더 긴 컨텍스트만이 추론 품질을 높이는 방법은 아니다. 사용자의 피드백을 정밀하고 구조화된 방식으로 반영하는 인터페이스 역시 결과 품질과 비용 효율에 큰 영향을 줄 수 있다. 교육, 연구 보조, 공학 계산 같은 영역에서는 사용자가 매번 새 답을 원하기보다, 기존 풀이를 고쳐 계속 진행하길 원하는 경우가 많다.

물론 공개된 요약만으로는 구현 세부사항, 사용자의 편집 부담, 과제 유형별 안정성을 모두 판단하기 어렵다. 그럼에도 Deep Interaction은 현재 추론형 LLM 사용에서 뚜렷하게 드러나는 문제를 짚는다. 오류 수정은 항상 처음부터 다시 시작하는 일이 아니라, 맞는 부분은 남기고 틀린 부분만 고쳐 더 효율적으로 나아가는 과정일 수 있다.

출처: arXiv