OlmoEarth Platform, 지구 관측 모델을 대륙 규모 추론 인프라로 확장

도입

지구 관측 AI의 병목은 모델 성능만이 아니다. Ai2가 Hugging Face Blog에서 소개한 OlmoEarth Platform은 공개된 위성 파운데이션 모델을 실제 업무에 쓰기 위해 필요한 데이터 처리와 대규모 추론 인프라를 제공한다. 대상은 정부, NGO, 환경 분야 조직처럼 문제 정의에는 강하지만 위성 데이터 파이프라인과 분산 컴퓨팅을 직접 운영하기 어려운 사용자들이다.

핵심 내용

• 모델을 운영 가능한 시스템으로 확장: OlmoEarth 모델군은 약 10TB의 멀티모달 위성 데이터로 사전학습됐다. Platform은 미세조정, 평가, 대규모 추론, 지도 형태의 결과 생성까지 이어지는 흐름을 담당한다.
• 위성 추론은 데이터 준비가 크다: 하나의 작업이 여러 스펙트럼 밴드, 센서, 시간 구간, 넓은 지역을 포함할 수 있다. 제공자마다 투영, 해상도, 형식, 공개 지연이 달라 정렬과 보정이 필수다.
• CPU와 GPU의 역할 분리: 데이터 수집, 재투영, 정렬, 정규화는 CPU와 높은 I/O 환경에서 처리하고, GPU는 모델의 순전파 추론에 집중한다. 이후 CPU 기반 후처리로 결과를 이어 붙이고 GeoTIFF, Zarr, GeoJSON 같은 형식으로 내보낸다.
• 분할과 병렬화: OlmoEarth Run은 요청된 지리 영역을 워커가 처리할 수 있는 파티션으로 나누고, 다시 모델 입력 창으로 세분화한다. 인접 파티션은 약간 겹치게 만들어 최종 래스터에서 이음새를 줄인다.
• 메타데이터 인덱스 운영: 대규모 작업이 외부 STAC API에 동시에 많은 질의를 보내지 않도록, Platform은 자체 메타데이터 인덱스를 유지한다. 알림이 가능한 데이터셋은 이를 활용하고, 그렇지 않은 경우 주기적으로 상위 인덱스를 확인한다.

의미와 영향

이 사례가 보여주는 것은 지리공간 AI가 점점 추론 서빙과 데이터 인프라의 문제로 이동하고 있다는 점이다. 환경 애플리케이션에서는 모델이 패턴을 인식하는 능력뿐 아니라, 적절한 영상을 찾고 필요한 바이트만 읽고 좌표계를 맞추며, 분산 처리 실패를 복구하고 신뢰할 수 있는 지도로 반환하는 능력이 중요하다.

Ai2는 이 Platform이 대륙 규모 영역에 대해 대략 하루 수준의 추론을 수행하고, 수십 TB의 영상을 제곱킬로미터당 매우 낮은 비용으로 처리할 수 있다고 설명한다. 이는 오픈 모델의 잠재력이 실제 현장 영향으로 이어지려면, 모델 배포만큼이나 견고한 실행 인프라가 필요하다는 점을 잘 보여준다.

출처: Hugging Face Blog