검색 없이 문서 질문에 답하게 하는 IAR의 3단계 학습법

배경

기업 규정, 기술 매뉴얼, 내부 지식베이스처럼 범위가 정해진 문서에 답해야 할 때 보통은 검색증강생성(RAG)을 사용한다. 하지만 추론 시 검색된 구절을 모델에 전달할 수 없다면, 모델은 학습한 문서 정보를 파라미터에서 직접 꺼내야 한다. 논문 「Inject, Align, Recover」는 이를 문서 지식 내재화 문제로 정의하고, 고정 코퍼스를 검색 없는 질의응답에 활용 가능한 지식으로 바꾸는 후학습 방식을 연구한다.

문서에 노출되는 것과 질문에 답하는 것은 같은 능력이 아니다. 모델이 학습 과정에서 문서 내용을 접했더라도 질문 형식에 맞춰 지식을 호출하지 못할 수 있다. 반대로 도메인 데이터에 강하게 파인튜닝하면 문서 QA는 좋아지지만, 지시 따르기나 폭넓은 일반 과제 성능이 떨어질 수 있다. IAR는 이 두 문제를 하나의 학습 목표로 묶지 않는다.

세 단계로 나눈 설계

• Inject(주입): 원문을 이어쓰기, 재작성, 지시 조건부 재구성 과제로 변환한다. 일반적인 QA 예시만 사용하는 대신 여러 형태로 문서 내용을 학습시켜 지식 노출을 넓힌다.
• Align(정렬): 지식이 주입된 모델에 답변만을 대상으로 하는 QA 감독을 적용한다. 이미 내부화된 정보가 질문에 맞는 답변 행동으로 연결되도록 만드는 단계다.
• Recover(회복): 도메인에 적응한 체크포인트를 원래의 지시 모델과 병합한다. 전문화 과정에서 손상될 수 있는 일반 능력을 되찾는 것이 목적이다.

이 구조의 핵심은 문서 지식의 흡수, QA 형식으로의 접근, 일반 능력 보존에 서로 다른 역할을 부여하는 데 있다. 지식을 얼마나 많이 보았는지와 실제로 얼마나 잘 답하는지를 구분하고, 마지막에는 모델 병합을 통해 전문성과 범용성 사이의 균형을 시도한다.

실험 결과

연구진은 Common Corpus와 CCI 두 문서 코퍼스에서 Llama, Phi, Qwen, SmolLM 네 모델 계열을 평가했다. Vanilla SFT와 비교했을 때, 8개의 데이터셋-모델 설정 중 7개에서 보고된 네 가지 지표가 모두 개선됐다. 평균적으로 도메인 QA 정확도는 3.6%포인트 높아졌고, IFEval·MMLU·MSBench의 평균 일반 성능은 12.1포인트 향상됐다.

다만 이 결과를 IAR가 모든 개별 지표에서 항상 최고였다는 뜻으로 해석해서는 안 된다. 확장된 Common Corpus 비교에서는 LoRA와 FAPM이 일부 일반 성능 지표에서 더 나은 결과를 보일 수 있다. 그럼에도 문서 내재화 성능까지 함께 고려하면 IAR는 높은 수준의 균형을 보이는 방법 중 하나로 제시된다.

의미와 한계

이 연구가 제시하는 중요한 관점은 문서 노출, QA 접근성, 일반 능력 유지가 별도로 평가되고 최적화되어야 한다는 점이다. 문서가 자주 바뀌지 않고, 추론 때 검색 비용이나 외부 검색 경로를 줄여야 하는 상황에서는 RAG와 다른 설계 선택지가 될 수 있다.

하지만 파라미터에 지식을 저장하면 문서 갱신, 출처 추적, 오류 수정은 외부 검색보다 어려워질 수 있다. 또한 보고된 개선 폭은 사용한 코퍼스, 모델 계열, 비교 방법, 평가 프로토콜에 의존한다. 따라서 IAR는 RAG를 보편적으로 대체하는 기술이라기보다, 검색 없는 지식 습득에서 각 학습 목표를 분리해 검증하는 프레임워크로 보는 편이 타당하다.

출처: Hugging Face Daily Papers