DR Pixel, OCR 대신 논문 페이지를 직접 읽는 딥리서치 에이전트

들어가며

과학 논문의 핵심 정보는 문장만으로 구성되지 않습니다. 표의 수치, 그림의 추세, 수식의 기호, 그리고 페이지 안에서 요소들이 배치된 방식이 함께 의미를 만들어냅니다. 하지만 많은 딥리서치 시스템은 문서를 먼저 OCR 텍스트로 변환한 뒤 검색합니다. 이 과정은 검색을 쉽게 만들지만, 시각적 구조와 정보 사이의 공간적 관계를 잃을 수 있습니다.

“DR Pixel: Page-Native Deep Research with Vision-Language Models”는 이 전제를 바꿉니다. 논문을 텍스트로 평탄화하는 대신, 렌더링된 페이지 이미지를 직접 검색하고 비전-언어 모델이 그 위에서 추론하도록 설계했습니다.

핵심 내용

• 페이지 이미지가 기본 단위: DR Pixel은 OCR 결과를 유일한 표현으로 사용하지 않고, 페이지 이미지를 검색·증거 확인·답변 생성에 활용합니다.
• 복합적인 과학 문서 평가: 연구진은 본문, 그림, 표, 수식을 함께 이해해야 하는 질문으로 DRPixelBench를 만들었습니다. 시스템은 약 106만 페이지 규모의 코퍼스에서 작동합니다.
• 추가 학습 없이도 강한 결과: 자료에 언급된 여러 최신 모델에서 페이지 기반 방식은 OCR 기준선보다 높은 성능을 보였고, 필요한 도구 호출 수도 더 적었습니다. 이는 시각 입력이 텍스트 파이프라인의 보조 수단을 넘어 연구 인터페이스가 될 수 있음을 의미합니다.
• 에이전트 학습의 잡음 완화: 교사 궤적에는 유용한 추론뿐 아니라 반복 검색과 실패한 행동도 섞여 있습니다. 반사실적 기여도 재가중은 각 추론·행동 단계가 최종 답변에 기여한 정도를 기준으로 학습 가중치를 조정합니다.
• 검색과 답변 모두 개선: DRPixelBench에서 검색 재현율은 약 15포인트, 최종 정확도는 10포인트 이상 향상되었습니다. 분포 밖 데이터셋인 ViDoRe-V3에서도 정답 페이지를 직접 제공받는 오라클과의 차이는 1.8포인트였습니다.

의미와 영향

이 연구의 핵심은 문서 연구에서 어떤 중간 표현을 사용해야 하는지 다시 묻는 데 있습니다. OCR은 색인 구축에 유용하지만, 2차원 레이아웃과 도표의 의미, 수식 구조를 완전히 보존하지는 못합니다. 페이지 이미지를 그대로 사용하면 문자와 공간적 맥락을 한 입력 안에서 함께 처리할 수 있습니다.

검색의 목표도 달라집니다. 단순히 질문과 일치하는 단어를 찾는 것이 아니라, 특정 주장을 뒷받침할 시각적 증거가 포함된 페이지를 골라야 합니다. 논문 조사, 특허 분석, 기술 보고서 검토처럼 여러 정보 형식을 함께 다루는 업무에서 특히 중요한 차이입니다.

물론 이미지 인코딩 비용, 긴 문서 관리, 근거 추적성은 여전히 해결해야 할 과제입니다. 따라서 이번 결과를 OCR 파이프라인의 종말로 해석할 필요는 없습니다. 다만 비전-언어 모델의 비용과 처리 능력이 개선된다면, 페이지를 직접 검색하는 방식이 딥리서치 에이전트의 주요 기본 구조가 될 가능성은 충분히 보여줍니다.

출처：Hugging Face Daily Papers