AMD, Taalas 인수로 ‘모델 가중치 내장’ AI 칩 전략 강화

도입

AMD가 8월 6일 장 마감 후 토론토의 AI 칩 스타트업 Taalas를 인수한다고 발표했다. 거래 금액은 공개되지 않았고, 완료 시점은 2026년 4분기로 예상된다. Taalas는 2023년에 설립된 젊은 회사지만, 접근 방식은 기존 GPU 확장이나 HBM 용량 경쟁과는 다소 다르다.

제공된 요약에 따르면 Taalas는 AI 모델의 가중치를 HBM이나 다른 메모리 시스템에 저장하는 대신 실리콘에 직접 배치하는 기술을 추진하고 있다. 같은 요약에는 Llama 3.1 8B가 단일 칩에서 초당 16960토큰을 처리했다는 내용도 포함돼 있다. 다만 원문 전체와 세부 테스트 조건을 확인할 수 없기 때문에, 이 수치는 정밀도, 컨텍스트 길이, 전력, 배치 크기, 측정 방식 등을 함께 고려해 신중히 해석해야 한다.

핵심 포인트

• 초기 단계 스타트업 인수: Taalas는 2023년 설립된 회사로, AI 추론용 특수 칩 아키텍처에 집중하고 있다.
• 장기 전략에 가까운 일정: 거래 완료가 2026년 4분기로 예상되는 만큼, 즉각적인 제품 변화보다는 중장기 기술 확보 성격이 강하다.
• 가중치를 칩에 넣는 발상: 외부 메모리에서 모델 가중치를 반복적으로 읽어오는 비용을 줄이는 것이 핵심이다.
• 추론 효율이 목표: 대규모 언어 모델 서비스에서는 연산 성능뿐 아니라 메모리 대역폭, 지연 시간, 전력 효율이 중요한 병목으로 작용한다.

의미와 영향

AI 반도체 경쟁은 그동안 GPU, 가속기, 고속 인터커넥트, HBM을 중심으로 전개됐다. Taalas의 방식은 모델이나 워크로드가 어느 정도 고정될 수 있다면, 더 전용화된 칩으로 더 나은 효율을 얻을 수 있는지를 묻는다. 특히 대량의 추론 요청을 처리하는 서비스에서는 토큰당 비용과 전력 효율의 작은 차이도 큰 운영 비용 차이로 이어질 수 있다.

물론 한계도 분명하다. 모델 가중치를 칩에 내장하면 업데이트와 유연성이 문제가 될 수 있다. AI 모델은 빠르게 바뀌고, 양자화 방식이나 모델 구조도 계속 변화한다. 따라서 실제 경쟁력은 효율 향상이 이러한 제약을 얼마나 상쇄하느냐에 달려 있다.

AMD 입장에서 이번 인수는 AI 경쟁의 무게중심이 학습용 대형 클러스터를 넘어 추론 비용, 지연 시간, 에너지 효율로 확장되고 있음을 보여준다. Taalas는 AMD가 향후 추론 시장에서 활용할 수 있는 또 하나의 아키텍처 선택지가 될 수 있다.

출처: OSChina