PatEx-Gym, 특허 신규성 심사를 에이전트 장기 과제로 전환

특허의 신규성 심사는 문서 두 개를 단순히 비교하는 작업이 아닙니다. 심사자는 청구항의 기술적 특징을 파악하고 검색어를 설계한 뒤, 결과가 충분하지 않으면 검색 방향을 바꿔야 합니다. 이후 후보 문헌을 직접 열어 관련 기술을 확인하고, 판단을 뒷받침하는 근거를 정리해 공식 심사 의견을 작성합니다. PatEx-Gym은 이 전체 과정을 AI 에이전트가 수행해야 하는 장기·상호작용형 과제로 제시합니다.

고정된 후보 목록을 넘어

기존 특허 평가 벤치마크는 제한된 후보 문서를 제공하고 모델이 문서를 분류하거나 비교하도록 하는 경우가 많았습니다. 이런 방식은 읽기와 판단 능력을 측정할 수 있지만, 실제 선행기술 검색의 불확실성을 충분히 반영하기 어렵습니다. 핵심 문헌이 매우 적을 수 있고, 청구항에 사용된 표현과 과거 문헌의 표현이 다를 수도 있습니다. 따라서 에이전트는 어떤 검색 결과를 열어볼지, 어떤 기술 내용을 증거로 확보할지, 다음 검색어를 어떻게 수정할지를 스스로 결정해야 합니다.

PatEx-Gym은 반복 검색, 문서 방문, 추론, Office Action 생성을 하나의 실행 환경에서 지원합니다. 검색 대상은 100만 건이 넘는 특허와 5만 2,000편의 과학 논문으로 구성됩니다. 평가도 최종 신규성 판단의 정답 여부에만 머물지 않습니다. 유용한 선행기술을 발견했는지, 기술적 증거를 추출했는지, 결론을 근거와 연결했는지를 함께 살핍니다.

세 가지 핵심 구성

• PatEx-Bench：1,000개의 현실적인 심사 과제와 검색, 문서 확인, 추론, 의견 생성을 지원하는 런타임을 제공합니다.
• PASS：Prior-Art Agentic Search Trajectory Synthesis의 약자로, 대규모 검색 궤적을 일일이 수작업으로 주석 처리하지 않고 문서 방문을 암묵적 관련성 신호와 증거 확보의 기준점으로 사용합니다. 한 검색 턴 안의 질의 변화, 여러 턴에 걸친 검색 진행, 궤적 전체의 증거와 결과 품질을 모델링합니다.
• PatEx-Agent：선별된 합성 궤적 데이터로 지도 미세조정을 수행한 4B 규모의 경량 기준 모델입니다.

왜 중요한가

이 연구의 핵심 메시지는 최종 결정의 정확도만으로는 심사 품질을 설명할 수 없다는 것입니다. 모델이 우연히 올바른 결론을 내리더라도 결정적인 선행문헌을 찾지 못했거나, 어떤 기술적 특징이 판단을 뒷받침하는지 설명하지 못할 수 있습니다. 또한 강력한 최신 범용 모델도 희소한 선행기술을 찾아내는 데는 여전히 어려움을 보입니다. 반면 PatEx-Agent의 결과는 특정 업무의 검색 궤적으로 학습하면 비교적 작은 모델도 훨씬 큰 범용 에이전트와 경쟁할 가능성이 있음을 시사합니다.

PatEx-Gym의 더 넓은 의미는 검색, 독해, 추론, 문서 작성을 각각 따로 평가하지 않고 감사 가능한 하나의 업무 흐름으로 묶었다는 데 있습니다. 법률 조사와 과학 정보 검색에도 적용할 수 있는 관점입니다. 다만 제공된 자료에는 상세한 수치가 포함되어 있지 않으므로, 성능 차이의 규모는 논문 본문과 공개 구현을 통해 추가로 확인해야 합니다.

출처: Hugging Face Daily Papers