AI 칩 전문기업 세레브라스시스템(Cerebras Systems)이 중국 스타트업 문샷 AI(Moonshot AI)의 초거대 오픈웨이트 모델 ‘키미(Kimi) K2.6’을 기업 고객 대상으로 서비스하며 GPU 기반 AI 인프라 대비 압도적인 성능 우위를 강조하고 나섰다.

세레브라스는 최근 기업 시험 운영 환경에서 키미 K2.6을 구동한 결과, 벤치마크 기업 Artificial Analysis 기준 초당 981개 출력 토큰(tokens per second)을 기록했다고 밝혔다. 이는 GPU 기반 클라우드 서비스 가운데 가장 빠른 경쟁사 대비 6.7배, 업계 평균과 비교하면 약 23배 빠른 속도다.

특히 에이전트 기반 코딩 작업에서는 체감 성능 차이가 더욱 극적이라고 설명했다. 세레브라스 시스템은 1만개 입력 토큰과 500개 출력 토큰이 포함된 복합 코딩 요청을 처리하는 데 단 5.6초가 걸렸다. 반면 키미 공식 엔드포인트에서는 동일한 작업에 163.7초가 소요됐다. 최종 응답 시간을 기준으로 세레브라스 시스템이 약 29배 빠른 셈이다. 세레브라스는 이러한 성능 우위의 배경으로 독자적인 하드웨어 구조를 꼽았다.

현재 AI 추론 시장은 대부분 NVIDIA GPU 클러스터 기반으로 운영된다. 하지만 초거대 모델에서는 여러 GPU 간 데이터 전송 과정에서 병목 현상이 발생하는 문제가 있다.

반면 세레브라스의 ‘WSE-3(Wafer-Scale Engine 3)’는 웨이퍼 전체를 하나의 거대한 칩으로 활용하는 구조다. 접시 크기에 가까운 단일 칩 내부에 대용량 SRAM 메모리를 직접 집적해 지연 시간을 최소화했다. 키미 K2.6은 20대 규모의 CS-3 시스템 클러스터 위에서 동작하며, 모델 가중치는 4비트로 저장하고 연산은 16비트 부동소수점 방식으로 처리한다.

세레브라스는 칩 내부 네트워크 대역폭이 엔비디아 ‘NVL72’ 시스템 대비 200배 이상 높다고 설명했다. 이를 통해 전문가 혼합(MoE·Mixture of Experts) 구조 기반 초거대 모델도 초당 1000토큰 수준으로 처리할 수 있다는 것이다.

이번 서비스는 일반 소비자 대상 API 형태로는 공개되지 않았다. 세레브라스는 현재 포춘 500대 기업 중심의 엔터프라이즈 고객을 대상으로 우선 제공하고 있으며, 소프트웨어·금융·헬스케어 분야 주요 기업들이 실제 업무 환경에서 시험 운영 중이라고 밝혔다.

한편 세레브라스는 지난 14일 상장 직후 주가가 68% 급등하며 2019년 Uber 이후 최대 규모 테크 IPO 가운데 하나로 기록됐다. 현재는 차익 실현 매물 영향으로 첫날 고점 대비 약 17% 하락하며 조정을 받고 있다.

강푸름 기자