인공지능(AI) 기술 경쟁의 최전선에 있는 구글 '제미나이' 훈련에는 AI 칩 하면 가장 먼저 떠오르는 엔비디아의 그래픽처리장치(GPU)가 아닌 구글의 자체 칩 텐서처리장치(TPU)가 사용됐다.

22일 구글 클라우드 넥스트 행사에서 8세대 제품군이 공개된 TPU를 구글이 개발하기 시작한 것은 무려 13년 전인 2013년이다.

챗GPT가 출시된 2022년보다 9년 앞서고, 오픈AI가 설립된 2015년과 비교해도 2년의 격차가 있다.

당시 AI를 이용한 실시간 음성 인식 서비스를 준비 중이던 구글은, 모든 구글 이용자 음성을 30초간 인식하는 연산을 수행하려면 중앙처리장치(CPU)로는 '답이 나오지 않는다'는 사실을 깨달았다.

TPU 개발을 총괄하는 아민 바닷 구글 수석부사장은 "그런 연산을 CPU로 처리하려면 구글 같은 회사가 2∼3개는 있어야 한다는 계산이 나왔다"고 설명했다.

이를 해결하기 위해 맞춤형 반도체를 개발하려 했지만, 내부 반대에 부딪혔다고 한다.

그는 "당시 똑똑한 엔지니어들은 모두 맞춤형 반도체 개발이 형편없는 생각이라고 했다"며 "그들은 CPU가 점점 빨라지고 있으니 그 발전을 기다리면 된다는 입장이었다"고 회상했다

그럼에도 구글은 기다리는 대신 '논란이 많은' 선택을 했다. AI 연산의 핵심인 행렬 곱셈에 특화한 자체 칩을 직접 설계하겠다는 것이었다.

이렇게 수천만 달러와 30∼40명의 소수 인력으로 시작한 TPU는 이후 구글 AI 인프라의 초석이 됐고, 나아가 AI 군비 경쟁의 핵심이 됐다.

이세돌 9단과의 바둑 대결로 AI 붐의 시작점이 된 2016년 '알파고'에도 TPU가 쓰였다.

최근 들어 매년 새로운 TPU를 출시해왔던 구글은 올해는 학습용과 추론용으로 칩을 이원화하는 전략적 변화를 가했다.

바닷 부사장은 이런 변화가 갑작스러운 것이 아니라 이미 2년 전부터 준비해오던 것이라고 설명했다.

그는 "2년 전에 이미 1년에 단 하나의 칩을 출시하는 것으로는 충분치 않다는 것을 깨달았다"고 전했다.

AI 업계에서조차 AI 에이전트를 이야기하는 사람이 드물었던 그때부터 구글 내부에서는 에이전트에 대해 구체적인 예측이 있었다고 바닷 부사장은 소개했다.

추론 전용 칩을 출시한 것도 스스로 생각하고 행동하는 에이전트를 대량으로 구동하려면 지연시간을 줄이는 것이 필수적이었기 때문이다.

바닷 부사장은 AI 반도체 시장의 미래에 대한 예측도 내놨다. "중앙처리장치(CPU)가 '컴백'할 것"이라는 예상이다.

AI 모델 경쟁 과정에서 행렬 연산을 빠르게 처리할 수 있는 GPU와 TPU가 핵심이 됐지만, 수많은 에이전트의 작업을 관현악단을 이끌듯 지휘하는 데는 다시 CPU의 능력이 필요하다는 것이다.

실제로 구글은 이번 8세대 TPU 시스템에 자체 설계한 CPU인 '액시온'을 탑재하며 이와 같은 방향성에 맞춰가는 모습을 보여주기도 했다.

이는 엔비디아가 지난달 '베라' CPU로만 구성된 서버 랙을 선보인 것과도 일맥상통하는 변화다.

바닷 부사장은 CPU의 반대편에서는 하드웨어 전문화가 지속할 것이라고도 내다봤다.

AI 연산 수요가 폭증하면서 효율성을 높이기 위해 범용그래픽처리장치(GPGPU)와 같은 칩보다는 특정 작업에 최적화한 전문 칩의 시대가 가속하리라는 것이다.

그는 "미래에는 TPU를 넘어 새로운 형태의 전문 칩이 등장할 수 있다"고 강조했다.

<연합뉴스>