구글 LiteRT Tensor API, 엣지 AI 최적화를 계산 그래프로 확장
엣지 AI의 성능은 모델의 연산량만으로 결정되지 않는다. 전처리와 추론, 후처리 사이의 데이터 복사, Metal·OpenCL·Vulkan 등 백엔드별 차이, CPU·GPU·NPU 사이의 동기화가 실제 지연 시간과 전력 사용량에 영향을 준다. 구글이 공개한 LiteRT Tensor API는 이런 배포 문제를 계산 그래프 수준에서 다루려는 시도다.
주요 기능
LiteRT Tensor는 연산자를 하나씩 조합해 계산 그래프를 만들 수 있는 경량 C++ API다. 개발자는 모델 구조와 최적화 방식, 가속기 실행을 세밀하게 제어하면서도 LiteRT를 통해 동일한 그래프를 CPU, GPU, NPU에서 실행할 수 있다. 특정 하드웨어를 추가할 때마다 Metal, OpenCL, Vulkan용 구현을 새로 작성해야 했던 부담을 줄이려는 접근이다.
실제 배포를 고려한 기능도 포함된다.
- 가중치 직접 로딩: 체크포인트에서 파라미터를 직접 불러오며 Hugging Face의
.safetensors파일도 지원한다. - 제로카피 버퍼 상호운용: 전처리, 추론, 후처리 단계에서 가속기 버퍼를 공유해 불필요한 복사를 줄인다.
- 코딩 에이전트 연동: 에이전트가 C++ 코드를 생성해 그래프를 구성·수정·검증하고 벤치마크할 수 있다.
- 멀티플랫폼 실행: 기기나 백엔드별로 모델 코드를 다시 작성해야 하는 필요성을 줄인다.
구글은 SAM 2를 활용한 다중 객체 분할 및 추적 애플리케이션으로 이 방식을 시연했다. macOS 노트북, iOS 스마트폰, Android 스마트폰에서 동일한 C++ 코드를 각각 Metal, Metal, OpenCL 기반으로 실행했다는 설명이다. 구글의 테스트에 따르면 MacBook Pro에서 이미지 인코더와 마스크 디코더를 fp16으로 실행한 구현은 Apple MLX보다 약 1.5배 빨랐다. 또한 코딩 에이전트가 SAM 2의 프레임별 판단, 예를 들어 객체가 계속 보이는지 여부를 계산 그래프로 옮겼고, WebGPU에서 CPU 폴백을 유발하던 연산을 GPU 호환 산술 연산으로 바꿨다고 밝혔다. 512×512 해상도에서는 프레임률이 10fps 미만에서 30fps 이상으로 높아졌다는 설명이다.
의미와 한계
LiteRT Tensor의 핵심은 단순히 C++로 모델을 작성하는 데 있지 않다. 백엔드별 접착 코드를 줄이고 전처리와 후처리를 포함한 전체 흐름을 검증 가능한 그래프로 설계할 수 있다는 점이 중요하다. 실시간 영상처럼 버퍼 복사가 누적되는 작업에서는 핵심 모델의 연산을 줄이는 것만큼 가속기 내 실행과 데이터 이동 최소화가 중요할 수 있다. 구조화된 그래프는 코딩 에이전트가 여러 구현을 시험하고 성능을 비교하기 위한 명확한 작업 공간도 제공한다.
다만 Arm AI의 Laurence Moroney는 먼저 모델 변환을 시도하고, 그래프 수준의 제어가 필요하거나 전처리·후처리를 가속기에서 계속 실행해야 할 때 C++ API를 고려해야 한다고 조언했다. LiteRT Tensor는 모든 엣지 프로젝트의 기본 진입점이라기보다 고급 최적화를 위한 보완 계층에 가깝다.
구글은 향후 ML Drift 백엔드의 네이티브 지원, NPU 친화적 연산 확대, 전체 그래프 자동 양자화, 이미지 크기·배치 크기·시퀀스 길이를 위한 동적 형태 지원 확대를 계획하고 있다. 실제 경쟁력은 백엔드 범위와 연산자 성숙도, 실기기에서의 개발 도구 경험에 달려 있다.
출처: InfoQ 중국어
댓글
로그인 상태 확인 중…
댓글 불러오는 중…