PANINI-DR, 검증 가능한 공유 작업공간으로 심층 연구를 통제하다

들어가며

심층 연구는 검색을 여러 번 수행한 뒤 요약을 생성하는 작업만을 뜻하지 않습니다. 어려운 문제를 풀려면 어떤 하위 질문부터 조사할지 결정하고, 중간 발견을 연결하며, 모델 호출 사이에서도 연구 상태를 유지해야 합니다. 또한 근거가 부족한 결론이 후속 추론으로 퍼지기 전에 이를 점검해야 합니다. PANINI-DR은 연구를 일회성 답변 생성이 아니라 지속적이고 검토 가능한 조사 과정으로 설계합니다.

작동 방식

PANINI-DR은 전체 조사 조정과 개별 연구를 분리한 멀티 에이전트 프레임워크입니다. 조정 에이전트는 핵심 목표를 하위 질문으로 나누고, 질문 사이의 의존 관계를 관리하며, 기존 발견을 바탕으로 다음 작업을 배정합니다. 연구 에이전트는 각 하위 질문을 조사합니다. 별도의 검증 에이전트는 제안된 답변이 해당 질문에 답하는지, 인용된 근거가 결론을 실제로 뒷받침하는지를 확인합니다.

에이전트들은 Generative Semantic Workspace를 통해 협력합니다. 이 공간에는 최종 답변만 저장되는 것이 아니라 하위 질문, 의존 관계, 연구 결과, 뒷받침하는 증거가 함께 기록됩니다. 후속 작업은 앞서 얻은 발견을 활용할 수 있고, 검증 과정에서 문제가 발견되면 추가 조사가 실행됩니다. 이러한 영속적 표현은 모델 호출이 끝날 때 연구 상태가 사라지는 문제를 줄이고, 오류가 어느 단계에서 발생했는지 추적하기도 쉽게 만듭니다.

평가 결과

논문은 BrowseComp-Plus, FRAMES, MoNaCo에서 PANINI-DR을 7개의 심층 연구 프레임워크와 비교했습니다. 모든 시스템은 동일한 언어 모델 백본과 고정된 코퍼스를 사용해 기반 모델이나 외부 정보 접근성의 차이를 줄였습니다.

BrowseComp-Plus에서 PANINI-DR은 73.3%의 정확도를 기록해 다음으로 좋은 프레임워크보다 16%포인트 앞섰습니다. 어려운 문제에서는 격차가 더 컸습니다. 50개의 어려운 질문 중 26개를 맞혀 다음 시스템의 거의 두 배에 해당하는 결과를 냈습니다. 다만 이러한 성능 향상에는 더 높은 추론 비용이 따르므로, 에이전트를 단순히 늘리면 항상 성능이 좋아진다는 뜻은 아닙니다.

절제 실험은 구조화된 계획과 영속적 상태 관리가 모두 성능 향상에 기여한다는 점을 보여줍니다. 각 발견을 다시 사용하기 전에 인용된 증거와 대조하는 과정도 추가적인 개선을 이끌었습니다. 연구진은 정답률뿐 아니라 저장된 증거만으로 최종 답변을 복원할 수 있는지도 평가했습니다. PANINI-DR은 세 벤치마크 모두에서 가장 높은 답변 복원성을 보였고, 주장과 근거의 연결을 검사한 감사에서도 증거에 기반한 답변이 더 강한 것으로 나타났습니다.

의미와 과제

PANINI-DR의 중요한 점은 점수 향상만이 아닙니다. ‘정답을 맞혔는가’와 ‘근거로 뒷받침되는가’를 구분해 평가할 수 있다는 데 의미가 있습니다. 검토와 감사, 협업이 필요한 연구에서는 구조화된 작업공간이 중간 판단과 출처를 기록해 줍니다. 모델이 기억만으로 정답을 제시하면서도 그 결론의 근거를 설명하지 못하는 위험을 줄일 수 있습니다.

대신 계획 수립과 검증, 추가 추론에 따른 비용과 지연이 발생합니다. 실제 배포에서는 문제의 난도와 필요한 증거 수준에 따라 비용, 속도, 신뢰성 사이의 균형을 정해야 합니다. 그럼에도 PANINI-DR은 연구 에이전트가 검색하고 글을 쓰는 데 그치지 않고, 상태와 의존 관계를 관리하며 결론의 출처를 계속 입증해야 한다는 방향을 제시합니다.

출처: Hugging Face Daily Papers