인공지능 연구기관 앨런 인공지능 연구소(Allen Institute for AI·AI2)가 트랜스포머와 순환신경망(RNN)을 결합한 하이브리드 구조의 언어모델 ‘올모 하이브리드(Olmo Hybrid)’를 오픈소스로 공개했다. AI2는 지난 5일 70억(7B) 파라미터 규모의 완전 오픈 하이브리드 언어모델을 발표하며, 기존 트랜스포머 모델과 비교해 데이터 효율성과 장문 컨텍스트 처리 능력이 개선됐다고 밝혔다. 연구진에 따르면 올모 하이브리드는 기존 모델인 ‘올모 3(Olmo 3)’ 7B 모델과 동일한 성능을 달성하는 데 필요한 학습 데이터가 약 49% 적은 것으로 나타났다. 이는 하이브리드 아키텍처가 기존 트랜스포머 모델보다 약 두 배 높은 데이터 효율성을 제공할 수 있음을 보여주는 결과라고 연구진은 설명했다.

▲트랜스포머와 RNN 장점 결합

최근 언어모델 연구에서는 트랜스포머 구조의 한계를 보완하기 위해 다양한 하이브리드 모델 아키텍처가 등장하고 있다. 트랜스포머는 2017년 등장 이후 대규모 언어모델의 핵심 구조로 자리 잡았지만, 문맥 길이가 길어질수록 계산 비용이 급격히 증가하는 한계가 있다. 반면 RNN은 시간 흐름에 따른 상태 변화를 추적하는 데 강점이 있지만 병렬 처리에 어려움이 있다는 단점이 있었다. 올모 하이브리드는 이러한 두 구조의 장점을 결합해 문맥 회상 능력과 상태 추적 능력을 동시에 확보하도록 설계됐다.

▲델타넷 기반 하이브리드 구조

모델 내부에는 게이티드 델타넷(Gated DeltaNet)이라는 선형 RNN 구조가 적용됐다. 구조적으로는 델타넷 서브레이어 3개와 어텐션 레이어 1개를 결합한 3대1 패턴이 반복되도록 설계됐다. 이 방식은 전체 어텐션 연산의 약 75%를 RNN 기반 연산으로 대체하면서도 일정 간격으로 어텐션을 유지해 문맥 정보를 안정적으로 보존한다.

▲6조 토큰 데이터로 학습

올모 하이브리드는 총 6조(6T) 토큰 데이터를 사용해 사전 학습이 진행됐다. 모델 학습에는 512개의 GPU가 활용됐으며 초기 단계는 엔비디아 H100 GPU에서 시작해 이후 HGX B200 GPU 환경으로 전환됐다. 해당 인프라는 AI 클라우드 기업 ‘람다(Lambda)’가 제공했다. AI2는 올모 하이브리드가 B200 GPU에서 학습된 최신 오픈 모델 가운데 하나라고 설명했다.

▲장문 컨텍스트 처리 성능 개선

연구진이 진행한 실험에서 올모 하이브리드는 장문 환경에서 뚜렷한 성능 향상을 보였다. 64K 토큰 문맥 길이에서 RULER 벤치마크 점수 85.0을 기록하며 기존 올모 3 모델의 70.9보다 높은 성능을 나타냈다. 또한 일반 지식과 추론 능력을 평가하는 MMLU 벤치마크에서도 동일 성능을 달성하는 데 필요한 학습 데이터가 크게 줄어든 것으로 나타났다.

▲수학·과학 추론 능력도 향상

연구진은 특히 수학 문제 해결과 과학 분야 추론 성능에서 기존 모델보다 개선된 결과가 확인됐다고 밝혔다. 초기 학습 단계에서는 코딩 작업과 일반 질문응답 분야에서 일부 성능 차이가 있었지만 학습이 진행되면서 대부분 해소됐으며, 최종 평가에서는 전반적인 성능이 기존 모델을 넘어섰다고 설명했다.

▲차세대 언어모델 구조 가능성

AI2 연구진은 이번 연구를 통해 하이브리드 모델이 기존 트랜스포머 모델보다 더 높은 표현력(expressivity)을 가질 수 있다고 주장했다. 연구진은 “올모 하이브리드는 동일한 조건에서 트랜스포머 모델과 직접 비교해 성능 개선을 입증한 사례”라며 “하이브리드 아키텍처가 더 효율적인 사전 학습 스케일링을 가능하게 할 수 있다”고 설명했다. AI2는 모델과 함께 기술 보고서, 실험 데이터, 구현 세부사항을 모두 공개했으며 향후 다양한 생성형 AI 및 추론 벤치마크에서 추가 평가를 진행할 계획이다. 전문가들은 향후 AI 산업에서 트랜스포머, 상태공간모델(State Space Model), RNN 등을 결합한 복합 아키텍처 연구가 더욱 활발해질 것으로 전망하고 있다.