ScrapeBench가 보여준 AI 에이전트의 웹 스크래핑 규칙 준수 문제

AI 에이전트가 질문에 답하는 수준을 넘어 사용자를 대신해 웹사이트를 조작하게 되면서, 웹 스크래핑은 단순한 기능 평가가 아니게 됐다. 에이전트가 이용약관과 접근 규칙을 해석하고, 그에 맞는 행동을 선택할 수 있는지가 중요해졌기 때문이다. 논문 ‘ScrapeBench: Evaluating Legal Compliance of AI Agents in Website Scraping’은 웹사이트 이용약관(ToS)과 robots.txt 지침을 기준으로 에이전트의 규칙 준수 여부를 평가하는 벤치마크를 제시했다.

무엇을 평가했나

ScrapeBench는 정책이 서로 다른 두 그룹의 사이트에서 에이전트의 결정을 비교했다.

• 스크래핑을 명시적으로 금지한 인기 웹사이트 1626곳에서 에이전트가 작업을 거부하는지 평가했다.
• 스크래핑을 금지하지 않은 웹사이트 269곳에서는 허용 가능한 요청을 불필요하게 거부하지 않는지 살폈다.
• 에이전트가 관련 ToS와 robots.txt를 실제로 확인했는지, 확인한 행동이 최종 판단을 개선했는지도 분석했다.
• 180명의 참가자를 대상으로 한 인간 기준 실험과 결과를 비교했다.

결과는 우려할 만했다. 스크래핑을 금지한 사이트 표본에서 평가된 다수의 오픈웨이트 및 클로즈드웨이트 에이전트는 준수율이 5% 미만이었다. 더구나 관련 ToS나 robots.txt를 적극적으로 확인한 에이전트도 전반적인 준수율이 낮았다. 이는 문제가 정책을 찾지 못하는 데만 있지 않다는 뜻이다. 에이전트가 규칙의 적용 범위를 해석하지 못하거나, 서로 다른 제한을 구분하지 못하거나, 판단 결과를 실행 단계에 제대로 전달하지 못할 수 있다.

반대편의 실패도 확인됐다. 스크래핑을 금지하지 않은 사이트에서도 에이전트가 작업을 거부하는 과도한 거부 현상이 나타났다. 연구 요약에 따르면 Claude Opus 4.6의 과도한 거부율은 98.5%였다. 안전을 지나치게 보수적으로 적용하면 무단 접근을 막을 수는 있지만, 정상적으로 허용된 작업까지 수행하지 못해 에이전트의 실용성을 떨어뜨린다.

왜 중요한가

기존 모델 평가는 문장 이해나 답변 정확도에 초점을 맞추는 경우가 많다. 그러나 웹 에이전트는 ‘정책 찾기’, ‘정책 해석하기’, ‘허용된 행동 선택하기’, ‘선택한 행동 실행하기’라는 연속된 과정을 거쳐야 한다. ScrapeBench는 이 전체 과정을 평가 대상으로 삼아, 정책을 읽었다는 사실만으로는 안전성을 보장할 수 없음을 보여준다.

개발자에게는 정책 문서의 구조화된 해석, 실행 전 강제 검증, 판단 근거를 남기는 감사 로그가 필요하다. 웹사이트 운영자 역시 기계가 읽기 쉬운 방식으로 제한 사항을 명확하게 제공할 필요가 있다. 인간 기준 실험에서는 준수율이 AI 에이전트와 비슷했지만 과도한 거부는 더 많았다. 복잡한 정책 판단은 모델만의 문제가 아니라는 의미다.

앞으로 에이전트의 신뢰성을 평가할 때는 허가받지 않은 실행과 불필요한 거부를 함께 측정해야 한다. 자율 브라우징과 데이터 수집이 확대될수록 ScrapeBench와 같은 벤치마크는 법적·운영적 요구사항을 실제 배포 전 점검 항목으로 바꾸는 데 중요한 역할을 할 것이다.

출처: Hugging Face Daily Papers