RIBOSPAN, 전체 RNA 전사체를 위한 네이티브 장문맥 모델

들어가며

RNA 파운데이션 모델은 지금까지 완전한 전사체보다 짧은 입력 창에서 학습되는 경우가 많았습니다. 특히 메신저 RNA가 모델의 문맥 길이를 넘으면, 하나의 전사체를 여러 조각으로 나눠 처리해야 합니다. 이때 코딩 영역과 비코딩 영역 사이의 관계, 또는 서열상 멀리 떨어진 위치의 정보를 한 번에 활용하기 어려워집니다. RIBOSPAN은 짧은 문맥 모델을 추론 시점에 확장하는 대신, 사전학습부터 긴 RNA를 처리하도록 설계했습니다.

핵심 내용

• 최대 10,240개 뉴클레오타이드 학습. RIBOSPAN은 16억 1천만 개 파라미터를 가진 양방향 모델입니다. 각 위치가 서열의 앞뒤 정보를 모두 참고할 수 있으며, 최대 10,240개 뉴클레오타이드의 문맥에서 네이티브 사전학습을 수행했습니다.
• 단일 염기 해상도 유지. RNA를 더 큰 단위로 묶지 않고 한 뉴클레오타이드를 기본 토큰으로 사용합니다. 전체 전사체를 입력하면서도 국소적인 염기 수준의 정보를 보존하려는 접근입니다.
• 시퀀스 간 어텐션 격리. 여러 시퀀스를 한 번에 패킹해 학습 효율을 높이되, 서로 다른 시퀀스 사이의 어텐션은 차단합니다. 이를 통해 무관한 예제가 표현을 서로 오염시키는 문제를 줄입니다.
• 다각도 장문맥 평가. 연구진은 뉴클레오타이드 복원, 통제된 장문맥 표현 벤치마크, 다양한 RNA 유형을 대상으로 한 동결 표현 평가를 진행했습니다. 네이티브 10K 모델은 가장 긴 평가 길이에서도 복원 성능을 유지했고, 문맥 변화에 반응하면서도 서로 다른 문맥의 표현을 구분했습니다.
• 높은 마스킹 비율에서 복원 개선. 마스킹 비율을 40%로 설정한 추가 사전학습은 입력이 크게 손상된 상황에서 복원 능력을 높였습니다. 보고된 결과에서는 표현 품질도 함께 유지되었습니다.
• 추론 확장과 네이티브 학습의 차이. YaRN 기반 추론 시점 확장은 짧은 문맥 모델을 직접 외삽할 때 사라지는 문맥 구조를 상당 부분 회복합니다. 하지만 먼 위치까지 표현 변화가 퍼지는 현상은 더 크게 나타났습니다. 이는 단순히 입력 길이만 늘리는 것과, 장문맥을 학습 과정에서 습득하는 것이 다르다는 점을 보여줍니다.
• 생성과 재설계로 확장. 같은 백본을 기반으로 다차원 조건부 이산 확산 프레임워크를 만들고, 전체 길이 mRNA 생성과 재설계를 다뤘습니다. 단백질 서열은 유지하면서 동의 코돈을 확산 방식으로 최적화하는 작업도 포함됩니다.

의미와 한계

RIBOSPAN의 핵심은 단순히 더 긴 입력을 허용하는 데 있지 않습니다. 완전한 전사체를 모델링의 기본 단위로 삼고, 긴 서열 안에서 정보가 얼마나 안정적으로 조직되는지를 평가했다는 점이 중요합니다. 국소적인 교란이 표현 공간 전체로 무제한 확산되지 않고 비교적 국소적으로 남는다는 결과는 장문맥 RNA 모델의 실용성을 판단하는 기준이 될 수 있습니다.

또한 이 연구는 RNA 표현 학습을 생성과 설계로 연결하는 경로를 제시합니다. 전체 전사체를 함께 표현하는 모델은 짧은 조각 중심의 모델보다 전역적인 제약을 고려하는 mRNA 설계에 적합한 기반이 될 가능성이 있습니다. 다만 이번 자료가 직접 보여주는 것은 복원, 표현 품질, 모델 기반 생성 및 재설계 프레임워크의 성능입니다. 생성된 mRNA나 최적화된 서열의 실제 생물학적 기능은 별도의 실험 검증이 필요합니다.

Source: Hugging Face Daily Papers