인공지능(AI) 도구 사용이 급증하면서 수요 폭등으로 컴퓨팅 파워가 부족해져 기업들이 치열한 확보전에 나섰다.

일부 업체들은 서비스가 수시로 다운되고 피크 시간대에 일종의 배급제를 실시하기도 해 사용자들의 불만을 사고 있다.

미국 일간 월스트리트저널(WSJ)은 12일 "우리가 AI를 워낙 많이 사용해서 컴퓨팅 파워가 바닥나고 있다"는 제목의 기사로 이런 상황을 짚었다.

최근 몇 달간 '어젠틱(agentic·에이전트형) AI', 즉 사람의 상시적 감독 없이 독립적으로 소프트웨어 코드 작성, 재무회계 처리 등 다양한 업무를 해내는 AI 도구들의 사용이 폭발적으로 늘어났다.

로스앤젤레스 지역에서 활동하는 엔지니어이며 기술 투자자인 벤 풀라디안은 "모두가 석유 이야기를 하지만, 세상에 주로 부족한 것은 토큰이라고 생각한다"고 말했다.

'토큰'은 AI로 특정 작업을 하는 데 필요한 컴퓨팅 리소스의 양을 추적하는 측정 단위다.

WSJ은 이런 상황을 19세기 철도 확장으로부터 2000년대 초 통신과 인터넷 폭발에 이르는 역사적 기술 붐의 양상과 유사하다며 "기업들이 자원을 확보하고 인프라를 구축하는 속도보다 수요가 훨씬 빠르게 증가하고 있다"고 지적했다.

역사적 사례를 보면 가격 인상이 공급 부족 문제를 해결하는 몇 안 되는 방법 중 하나였으나, 치열한 사용자 확보 경쟁을 벌이고 있는 첨단 AI 기업들이 택하기는 쉽지 않은 길이다.

AI 모델 훈련과 구동에 필요한 그래픽처리장치(GPU)의 시간당 임차 가격은 작년 가을 이래 치솟았다.

인기 있는 '클로드' 챗봇과 코딩 앱 '클로드 코드'를 만든 앤트로픽은 최근 서비스 장애가 수시로 발생하고 있다.

앤트로픽은 피크 시간대에 사용자의 기본 사용량 한도를 더 빨리 소진하도록 3월 하순에 요금제를 개편했으며, 이 때문에 추가 요금을 부담하거나 작업 시간을 옮겨야 하는 사용자들로부터 불만이 나오고 있다.

앞서 2월 중순부터는 앤트로픽 서비스 장애가 너무 잦아지면서 일부 사용자들은 다른 기업의 AI 모델들로 전환하기도 했다.

오픈 AI의 월별 업타임(정상 서비스 작동) 비율은 작년 10월부터 올해 2월까지 99.82%, 99.73%, 99.81%, 99.53%, 99.24% 등으로 조금씩 낮아지다가 3월에는 98.32%까지 떨어졌고 4월 1∼11일에는 99.35%였다.

클라우드 정보기술(IT) 서비스 업체들 사이에서 표준적인 업타임 비율은 99.99% 이상이다.

다만 이런 서비스 장애가 앤트로픽의 매출이 급증하는 데 따른 불가피한 성장통이라는 관측도 있다.

'챗GPT'를 개발한 오픈AI는 비디오 생성 앱인 '소라'를 폐쇄하기로 지난달 하순에 급작스럽게 결정했다.

이는 '스퍼드'(Spud)라는 코드명으로 불리는 새 AI 모델로 작동하는 코딩 및 기업용 제품들에 사용할 컴퓨팅 파워를 마련하기 위해서였다.

오픈AI의 응용프로그램인터페이스(API)에 사용되는 토큰의 수는 작년 10월 분당 평균 60억개에서 올해 3월말 평균 150억개로 늘었다.

API는 소프트웨어간 연동 규격으로서, 기업 업무용 AI 서비스 접근은 대부분 이 방식으로 이뤄진다.

오픈AI의 최고재무책임자(CFO) 새라 프라이어는 최근 한 투자자와의 공개 영상 인터뷰에서 "사용 가능한 컴퓨팅 자원이 혹시 막판에 나오는지 보려고 많은 시간을 쓰고 있다"며 컴퓨팅 자원이 모자란 탓에 우선순위 목표가 아닌 것들은 아쉽지만 포기할 수밖에 없다는 취지로 설명했다.

나스닥에 상장된 AI 클라우드 기업 코어위브는 작년 말에 가격을 20% 넘게 올렸으며, 사용량이 적은 고객들에게는 사용 계약 기간을 3년 이상으로 해달라고 요구하기 시작했다. 전에는 사용 계약 기간이 '1년 이상'이었다.

뱅크오브아메리카는 지난달 말에 코어위브의 투자 추천 등급을 '매수'로 조정하면서, 적어도 2029년까지는 이 회사 서비스에 대한 수요가 공급보다 많을 것이라고 전망했다.

엔비디아 GPU의 현물 시장 가격은 모든 모델에 걸쳐 최근 몇 달간 급격히 상승했다.

'온 컴퓨트 가격 지수' 데이터에 따르면 엔비디아 GPU 중 최고 제품인 블랙웰 하나를 임차하는 데 드는 시간당 비용은 요즘 4.08 달러로, 2개월 전의 2.75 달러에서 48% 올랐다.

이런 일이 일어나는 것은 수요 폭증에 대응하기 위해 데이터 센터를 짓는 데에 적어도 몇 년의 시간이 걸리기 때문이다.

<연합뉴스>