Ramp, 기업용 AI 모델 라우터 ‘Router’ 출시

개요

기업이 대규모 언어 모델을 도입할 때 어려운 점은 특정 모델 하나를 고르는 데 그치지 않는다. 응답 품질, 지연 시간, 안정성, 요청별 추론 비용을 지속적으로 조정해야 한다. 기업 지출 관리 플랫폼 Ramp는 여러 언어 모델을 하나의 API로 연결하고 전환할 수 있는 AI 모델 라우팅 서비스 ‘Router’를 출시했다.

핵심 내용

• 여러 공급업체 연결: OpenAI, Anthropic, DeepSeek, Moonshot, Minimax, Nvidia, xAI, Z.ai의 모델을 제공한다.
• 라우팅 전략 설정: 공급업체의 플렉스 사용 등급을 우선하거나, 사용자가 지정한 최대 3개의 벤치마크를 기준으로 모델을 선택하게 할 수 있다.
• 작업 난이도별 분배: 어려운 문제만 더 비싼 모델로 보내고, 일반적인 요청에는 다른 모델을 사용할 수 있다. 통합 방식을 바꾸지 않고 모델을 시험하는 것도 지원한다.
• 사용량 모니터링: 대시보드에서 토큰 사용량, 비용, 지연 시간, 폴백 시도 등을 확인할 수 있다.
• 제한적인 초기 조건: 현재 미국에서만 이용 가능하다. 2026년 말까지 Router 이용료는 무료지만 모델 추론 비용은 별도로 부담해야 하며, 다음 해 가격은 공개되지 않았다.

Ramp는 이 라우터를 외부에 출시하기 전 약 3년 동안 자체 AI 사용을 위해 운영했다고 설명했다. 기본적인 방향은 OpenRouter와 유사하지만, 현재 지원하는 모델 수는 OpenRouter보다 적다. 개발자와 기업은 공급업체별 API를 각각 연동하는 작업을 줄이고, 모델 교체와 비교 테스트, 장애 발생 시 대체 처리까지 하나의 운영 계층에서 관리할 수 있다.

의미와 영향

Router의 핵심은 요청을 단순히 다른 모델로 전달하는 데 있지 않다. 모델마다 가격과 성능이 다른 상황에서 어떤 요청을 어디로 보낼지를 반복 가능한 규칙으로 관리할 수 있다는 점이 중요하다. 복잡한 문제만 고가 모델에 할당하면 품질을 유지하면서 비용을 낮출 가능성이 있다. 벤치마크를 활용하면 모델 선택이 담당자의 주관적인 경험에만 의존하는 것도 줄일 수 있다.

이번 출시는 Ramp의 기존 AI 토큰 사용량 모니터링 및 지출 관리 제품과 직접 연결된다. Ramp는 기존 고객에게 모델 접근, 사용량 파악, 비용 관리를 묶은 서비스를 제안할 수 있다. 또한 AI 연구소와 추론 제공업체를 만나는 접점을 확보해 기업 지출 관리에서 인접한 AI 인프라 조달 시장으로 영역을 넓힐 가능성도 있다.

기업 도입에서 데이터 처리는 중요한 검토 항목이다. Router는 기본적으로 모델 입력, 출력, 도구 호출 기록을 1년 동안 보존한다. 사용자는 보존을 거부할 수 있으며, Ramp는 제품 개선에 해당 데이터를 사용하기 전에 개인 식별 정보를 제거한다고 밝혔다. 민감한 데이터를 다루는 기업은 보존 기간, 비식별화의 실제 수준, 옵트아웃이 적용되는 범위를 사전에 확인해야 한다.

Router는 모델 게이트웨이가 개발 편의 기능을 넘어 기업 AI 운영의 기반 계층으로 확장되는 흐름을 보여준다. 향후 경쟁력은 지원 모델의 폭, 무료 기간 이후의 가격, 데이터 통제 수준, 그리고 실제 비용과 안정성 개선 효과를 얼마나 입증하느냐에 달려 있다.

출처: TechCrunch AI