OpenAI가 실시간 음성 기반AI(인공지능) 시대를 겨냥한 차세대 오디오 모델 3종을 공개했다. 이번에 발표된 모델은 ▲GPT 리얼타임 투(이하GPT-Realtime-2) ▲GPT 리얼타임트랜슬레이트(이하 GPT-Realtime-Translate) ▲GPT 리얼타임위스퍼(이하 GPT-Realtime-Whisper )등으로, 단순 음성 응답을 넘어 실시간 추론과 번역, 전사, 도구 실행까지 수행하는 차세대 음성 인터페이스 기술이라는 평가를 받고 있다.

오픈AI는 “새 모델들은 자연스럽고 지능적이며 실시간으로 행동할 수 있는 새로운 클래스의 음성 애플리케이션을 가능하게 한다”고 밝혔다. 핵심 모델인GPT-Realtime-2는 GPT-5급 추론 능력을 갖춘 첫 실시간 음성 모델이다. 기존 음성 AI가 단순히 질문에 답하는 수준이었다면, 새 모델은 대화 흐름을 유지하면서 사용자의 의도를 이해하고 상황 변화에 대응하며 각종 외부 도구를 동시에 활용할 수 있도록 설계됐다. 또한 오픈AI는 “유용한 음성 제품을 만들기 위해서는 단순한 빠른 응답만으로는 부족하다”며 “AI는 맥락을 유지하고 요청 변경에 대응하며 대화 중에도 실제 작업을 수행할 수 있어야 한다”고 설명했다.

특히 GPT-Realtime-2는 ‘실시간 음성 추론’ 기능을 강화했다. AI는 작업 수행 중 “확인해보겠습니다” “잠시만 기다려 주세요”와 같은 자연스러운 프리앰블(Preamble)을 삽입해 사용자가 현재 작업 진행 상황을 인지할 수 있도록 지원한다. 또 일정 확인과 정보 검색 등을 동시에 처리하는 ‘병렬 툴 호출(Parallel Tool Calls)’ 기능도 탑재됐다. 예를 들어 AI가 여러 작업을 동시에 수행하면서 “지금 일정을 확인하고 있습니다” “관련 정보를 찾고 있습니다”와 같은 실시간 음성 피드백을 제공할 수 있다는 설명이다. 오류 복구 능력도 크게 향상됐다. 기존 음성 AI가 오류 상황에서 침묵하거나 대화를 중단했던 것과 달리, GPT 리얼타임 투는 “현재 해당 작업 처리에 문제가 있습니다”와 같이 자연스럽게 상황을 설명하며 대화를 이어간다.

장시간 대화를 위한 문맥 처리 능력도 강화됐다. 컨텍스트 윈도 크기는 기존 32K에서 128K로 확대돼 복잡한 대화와 장기 에이전트 작업 흐름도 안정적으로 유지할 수 있게 됐다. 전문 용어와 고유명사 인식 성능도 개선됐다. 의료·기업·산업 환경에서 사용하는 특수 용어 처리 정확도가 높아졌다는 것이 회사 측 설명이다.

감정 표현 기능 역시 한층 정교해졌다. 사용자가 불만을 제기할 경우 공감하는 말투를 사용하고, 작업 완료 시에는 밝고 긍정적인 음성 톤으로 응답하는 등 상황별 감정 표현 조절이 가능해졌다. 개발자는 추론 수준도 직접 조절할 수 있다. 최소(minimal)부터 최고(xhigh)까지 총 5단계 설정을 지원하며, 간단한 작업은 빠르게 처리하고 복잡한 요청은 더 깊게 추론하는 방식이다.

오픈AI는 성능 테스트 결과도 함께 공개했다. GPT-Realtime-2(high)는 오디오 추론 벤치마크 ‘Big Bench Audio’에서 기존 GPT-Realtime-1.5보다 15.2% 높은 성능을 기록했고, GPT-Realtime-2(xhigh)는 음성 대화 지능 평가인 ‘Audio MultiChallenge’에서 13.8% 향상된 결과를 보였다. 함께 공개된 GPT-Realtime-Translate는 실시간 음성 번역 모델이다. 70개 이상의 언어 입력을 지원하며 이를 13개 언어로 즉시 번역할 수 있다. 특히 화자의 말하는 속도와 흐름을 유지한 채 자연스럽게 번역이 이어지는 것이 특징이다.

오픈AI는 이 기술이 글로벌 고객 지원과 다국어 커뮤니케이션 시장에 큰 영향을 미칠 것으로 전망했다. 실제로 ‘도이치 텔레콤(Deutsche Telekom)’은 사용자가 원하는 언어로 말하면 AI가 실시간 번역을 수행하는 고객 지원 시스템을 개발 중인 것으로 소개됐다.

세 번째 모델인 GPT-Realtime-Whisper는 스트리밍 기반 음성 전사 모델이다. 사용자가 말하는 동시에 실시간으로 텍스트 변환이 가능하며 기존 음성 전사 시스템보다 더 빠르고 자연스러운 처리를 지원한다. 이에 따라 오픈AI는 음성 인터페이스가 향후 소프트웨어 사용 방식 자체를 바꿀 것으로 전망했다. 오픈AI는 “사람들DL 운전 중 도움을 요청하고, 이동 중 여행 일정을 변경하며, 자신이 원하는 언어로 지원받게 될 것”이라며 “음성은 가장 자연스러운 소프트웨어 인터페이스 가운데 하나가 되고 있다”고 강조했다.

실제 다양한 기업들도 차세대 음성 AI 상용화에 나서고 있다. 질로우(Zillow)는 사용자가 “예산 범위 내에서 교통량이 적은 지역의 집을 찾고 토요일 투어를 예약해 달라”고 말하면 이를 이해하고 실행하는 AI 부동산 비서를 개발 중이다. 또 프라이스 라인(Priceline)은 항공권 검색과 호텔 예약, 일정 변경, 공항 정보 안내 등을 음성만으로 처리하는 AI 여행 플랫폼을 준비하고 있다.

한편 오픈AI는 “실시간 오디오 AI는 이제 단순히 듣고 답하는 수준을 넘어 대화가 진행되는 동안 듣고, 추론하고, 번역하고, 전사하고, 행동하는 단계로 이동하고 있다”고 밝혔다.

최연철 과학 전문기자