Jeva, 의사결정 구조에서 다시 설계한 System One 모델

들어가며

System One 모델은 긴 설명을 생성하기보다 낮은 지연 시간으로 직접 결정을 내리는 시스템을 뜻한다. 요청과 여러 후보가 주어졌을 때 하나를 선택하는 작업은 흔하지만, 기존 구현은 후보들을 하나의 텍스트 시퀀스로 직렬화한 뒤 언어 모델이 답을 생성하도록 하는 경우가 많았다.

이 방식은 기존 생성 모델 인터페이스를 활용하기 쉽지만, 의사결정 문제의 구조를 충분히 반영하지 못할 수 있다. 후보 순서를 바꿨을 뿐인데 결과가 달라지거나, 실제 정답 후보가 없는데도 모델이 하나를 억지로 고르는 문제가 대표적이다. 논문 「Jeva: System One Models from First Principles」는 이런 문제를 설계 단계에서 해결하려는 decision-native 아키텍처를 제안한다.

네 가지 핵심 요구사항

• 정답 없음 인식: 어떤 후보도 맞지 않는 상황과 후보 사이에서 불확실한 상황을 구분한다. Jeva는 별도의 coverage estimate를 사용해 명시적인 null 결과를 지원한다.
• 순열 불변성: 후보의 나열 순서를 바꿔도 결정이 바뀌지 않아야 한다. 대칭적 집계를 통해 위치가 아니라 후보 내용에 기반한 확률 계산을 지향한다.
• 후보 규모 확장성: 후보 수가 달라질 때마다 출력 공간을 새로 정의하지 않는다. 공유 스코어링으로 다양한 크기의 후보 집합을 처리한다.
• 캐시 가능성: 현재 요청과 무관한 후보 표현은 여러 요청에서 재사용한다. 같은 문서나 선택지가 반복되는 검색·랭킹 시스템에서 계산량과 지연을 줄일 수 있다.

Jeva의 구조

Jeva는 공유 인코더를 사용해 요청과 각 후보를 독립적으로 표현한다. 이후 컴팩트한 decision stack이 변경되지 않는 후보 메모리와 상호작용하면서 요청 상태만 업데이트한다. 전체 후보 목록을 임의의 텍스트로 이어 붙이지 않고, 요청 표현과 후보 표현을 분리하는 것이 핵심이다.

출력 측면에서는 Choice, Noul, Score 형식을 하나의 체계로 통합한다. 제공된 자료에 따르면 4B 모델은 최대 2,048개 후보를 처리하며, 테스트한 후보 순열에서 의사결정 뒤집기는 0건이었다. 장문 후보를 완전히 사전 캐시할 수 있는 조건에서는 중앙값 지연 시간이 20배 이상 개선됐다고 저자들은 보고한다.

의미와 남은 과제

Jeva의 중요성은 특정 작업의 점수 하나보다, 정답 없음 처리와 순서 강건성, 가변 후보 수, 캐시 재사용을 프롬프트나 후처리가 아닌 모델 구조의 속성으로 다룬다는 데 있다. 후보 집합의 일부가 요청 사이에서 반복되는 검색, 라우팅, 랭킹, 추천 시스템에 적용할 여지가 있다.

다만 현재 제공된 소재만으로는 전체 벤치마크 구성, 비교 모델의 세부 설정, 실제 서비스 환경에서의 결과를 확인할 수 없다. 후보 품질이 불균일하거나 의미 추론이 어려운 경우, 혹은 후보 수가 훨씬 커졌을 때도 장점이 유지되는지는 완전한 논문과 공개 코드, 독립적인 평가를 통해 검증해야 한다.

그럼에도 Jeva는 빠른 의사결정 모델을 단순히 후보 목록을 프롬프트에 덧붙인 소형 생성 모델로 보지 않고, 고유한 불변성과 계산 재사용 패턴을 가진 시스템으로 설계하자는 방향을 제시한다.

출처: Hugging Face Daily Papers