LLM 번역은 문장 단위를 넘어설 수 있을까: RAG 기반 PAT의 실험

들어가며

CAT 도구와 기계번역 시스템의 대부분은 번역을 문장 단위 작업으로 다뤄 왔다. 이 방식은 정렬과 검수에는 유리하지만, 글 전체의 전개 방식, 수사적 흐름, 문단 구성, 독자에게 맞는 화용적 선택을 충분히 반영하기 어렵다. arXiv 논문 “Can an Old Dog Be Taught New Tricks? Taking LLMs Beyond Sentence Level Translation”은 대형 언어 모델을 이 문장별 번역 관성에서 벗어나게 할 수 있는지 묻는다.

핵심 내용

• 목표는 단순한 문장 번역 개선이 아니다. 연구는 미국 영어 장문을 라틴아메리카 및 멕시코 스페인어 맥락에 맞게 바꾸는 전문 검수용 초안 번역에 초점을 둔다.
• PAT(Pragmatic Auto-Translator)를 제안한다. PAT는 RAG 기반 시스템으로, 사용자가 설정한 번역 명세와 실제 장문 텍스트로 구성된 비교 말뭉치의 문맥을 함께 활용한다.
• 검색 문맥은 문장보다 넓다. 시스템은 단락, 섹션, 문서 수준의 예시를 LLM에 제공해 목표 언어의 담화 구조, 수사 스타일, 화용 규범을 반영하도록 유도한다.
• 평가는 맞춤형 MQM 유형 체계를 사용했다. 생성형 AI에 관한 에세이의 자동 번역 6건을 3개 프로젝트에 걸쳐 평가했으며, 훈련된 평가자 2명이 미국 영어에서 LATAM 및 멕시코 스페인어 방향으로 검토했다.
• 결론은 가능성과 한계를 함께 보여준다. 제한적인 프롬프트만으로는 의미 있는 재구성이 거의 나타나지 않았다. 반면 명세와 말뭉치 정보를 넣으면 상당한 재구성이 생기기도 했지만, 그 변화가 항상 효과적이지는 않았다.

의미와 영향

이 연구의 의미는 LLM 번역을 단순히 “문장이 맞는가”의 문제가 아니라 “목표 언어권에서 자연스럽고 설득력 있는 글인가”의 문제로 확장했다는 데 있다. 전문 번역과 로컬라이제이션에서는 원문 문장을 충실히 옮기는 것만으로 충분하지 않을 수 있다. 언어권에 따라 설명의 순서, 문단의 길이, 논증 방식, 독자에게 기대하는 배경지식이 달라질 수 있기 때문이다.

다만 논문은 신중한 해석을 요구한다. 모델이 더 많이 고쳐 쓰도록 만든다고 해서 곧바로 품질이 좋아지는 것은 아니다. 번역 명세를 어떻게 설계하는지, 비교 말뭉치를 어떻게 구성하는지, 어떤 수준의 예시를 검색해 제공하는지, 그리고 품질을 어떻게 평가하는지가 모두 결과에 영향을 준다. PAT는 전문 번역가를 대체하는 완전 자동화 시스템이라기보다, 사람이 검토할 수 있는 초안을 만드는 도구에 가깝다.

결국 이 논문은 향후 LLM 번역 시스템의 방향을 제시한다. 더 나은 번역을 위해서는 생성 모델의 능력뿐 아니라 검색 기반 문맥, 명시적인 번역 브리프, 문서 전체를 고려하는 설계가 필요하다. LLM을 문장 단위 패러다임 밖으로 밀어낼 수는 있지만, 그 재구성을 안정적이고 효과적으로 만드는 일은 여전히 남은 과제다.

출처: arXiv