실시간 음성 AI API 비교 2026: 제미나이 3.1 플래시 라이브와 GPT 리얼타임 2.1 사양과 비용 정리

2026-08-23 · AI & 바이브코딩

■ 1. 음성 대 음성 구조가 바꾼 것

과거의 음성 비서는 세 단계를 거쳤습니다. 사람의 말을 글자로 바꾸고(STT), 그 글자를 언어 모델이 읽고 답을 만들고, 그 답을 다시 소리로 합성했습니다(TTS). 단계마다 시간이 쌓이고, 글자로 바뀌는 순간 목소리의 높낮이와 머뭇거림 같은 정보가 사라집니다.

실시간 음성 API는 오디오를 그대로 토큰으로 바꿔 모델에 넣고, 모델이 오디오를 직접 만들어 냅니다. 중간 변환이 줄어드니 반응이 빨라지고, 말투나 속도 같은 정보도 일부 유지됩니다. 다만 모델이 감정을 정확히 판별한다고 단정할 근거는 없으므로, 감정 인식이 필요한 서비스라면 별도 검증이 필요합니다.

■ 2. 구글: 제미나이 라이브 API

- 모델: 2026년 3월부터 제공된 제미나이 3.1 플래시 라이브(gemini-3.1-flash-live-preview)가 현재의 실시간 음성 모델입니다. 이름에서 알 수 있듯 아직 프리뷰 단계입니다.

- 컨텍스트: 입력 131,072 토큰, 출력 65,536 토큰입니다. 일반 텍스트 모델보다 짧으므로 긴 대화는 요약해 이어 가는 설계가 필요합니다.

- 입력 형식: 16비트 PCM, 16kHz, 리틀 엔디언 오디오입니다.

- 출력 형식: 16비트 PCM, 24kHz, 리틀 엔디언 오디오입니다.

- 입력 모달리티: 텍스트, 이미지, 오디오, 비디오를 받습니다. 이미지는 초당 1프레임 이하의 JPEG 형태로 넣습니다.

- 기능: 사용자가 말을 끊고 들어오는 바지인(barge-in), 함수 호출, 검색 결과 연동을 지원합니다. 캐싱, 코드 실행, 구조화 출력, 이미지 생성은 지원 대상이 아닙니다.

- 언어: 라이브 API는 70개 이상의 언어를 지원한다고 안내합니다.

- 이전 세대인 2.5 플래시 라이브에서 옮겨 올 경우 모델 식별자 변경, thinkingBudget에서 thinkingLevel로의 설정 변경, 대화 중 send_realtime_input 사용 등 코드 수정이 필요합니다.

세션을 관리하는 상위 인터페이스인 인터랙션스(Interactions) API가 정식 출시되어, 최신 기능은 이쪽을 통해 제공된다고 안내하고 있습니다.

■ 3. 오픈AI: 리얼타임 API

- 모델: 2026년 7월 6일 공개된 gpt-realtime-2.1과 gpt-realtime-2.1-mini가 현재 세대입니다.

- 연결 방식: 브라우저용 WebRTC, 서버 파이프라인용 WebSocket, 전화망 연동용 SIP를 지원합니다. 전화 상담 시스템에 붙일 계획이라면 SIP 지원이 중요한 차이가 됩니다.

- 요금(100만 토큰 기준): gpt-realtime-2.1은 텍스트 입력 4달러, 오디오 입력 32달러, 오디오 출력 64달러입니다. gpt-realtime-2.1-mini는 텍스트 입력 0.6달러, 오디오 입력 10달러, 오디오 출력 20달러입니다.

- 캐시 적용 시 입력 단가가 크게 내려갑니다. 반복되는 시스템 지시문이 길다면 캐시 활용 여부가 비용에 직접 영향을 줍니다.

- 성능: 캐싱 구조 개선으로 실시간 음성 모델의 p95 지연을 25% 이상 줄였다고 밝혔습니다.

- 추론 조절: 응답 전에 얼마나 생각할지를 최소부터 최대까지 단계로 설정할 수 있습니다. 생각을 많이 시키면 답변 품질은 올라가지만 첫 소리가 나오기까지의 시간이 길어집니다.

- 숫자와 영문자가 섞인 표현의 인식, 침묵과 소음 처리도 개선 항목으로 언급됐습니다.

■ 4. 비용을 좌우하는 요소

음성 API의 비용은 대화 시간이 아니라 오디오 토큰 수로 계산됩니다. 그래서 다음 항목이 청구액을 좌우합니다.

- 출력 오디오 길이: 출력 단가가 입력보다 높습니다. 답변을 짧고 명확하게 만들도록 지시문을 설계하면 비용이 눈에 띄게 줄어듭니다.

- 시스템 지시문 길이: 매 턴 반복 전송되므로 길수록 누적 비용이 커집니다. 캐시 지원 여부를 확인하세요.

- 대화 이력 관리: 이력을 통째로 계속 실어 보내면 턴이 늘어날수록 비용이 급격히 증가합니다. 일정 길이가 넘으면 요약으로 대체하는 구조가 필요합니다.

- 침묵 구간: 무음을 계속 전송하면 그만큼 토큰이 쌓입니다. 음성 활동 감지(VAD) 설정으로 조절합니다.

■ 5. 먼저 적용해 볼 만한 영역

- 단순 조회형 상담: 배송 상태, 예약 확인, 영업시간 안내처럼 답이 정해진 문의는 음성 에이전트가 처리하기 쉬운 영역입니다. 응답 문장이 짧아 비용도 낮게 유지됩니다.

- 야간 및 주말 1차 응대: 사람이 대기하기 어려운 시간대에 용건을 접수하고 정리해 두는 용도입니다. 처리 자체보다 접수 품질이 중요합니다.

- 차량이나 작업 현장의 핸즈프리 조작: 손을 쓸 수 없는 환경에서 음성 인터페이스의 이점이 큽니다. 다만 소음 환경에서의 인식률을 별도로 확인해야 합니다.

- 어학 연습 도구: 끼어들기와 발화 속도 조절이 가능해 대화 연습에 적합합니다. 발음 교정처럼 정밀한 판정이 필요한 기능은 전용 도구와 비교해 보고 결정하는 편이 좋습니다.

반대로 계약이나 결제처럼 되돌리기 어려운 처리, 그리고 민감한 개인정보를 음성으로 주고받아야 하는 절차는 초기 적용 대상에서 제외하는 것이 안전합니다. 통화 녹음과 전사 기록의 보관 기간, 저장 위치, 파기 절차를 먼저 정해 두어야 합니다.

■ 6. 도입 4단계

- 1단계: 개발용 키를 발급하고, 클라이언트에는 장기 키를 넣지 않도록 단기 세션 토큰을 서버에서 발급하는 구조를 먼저 만듭니다.

- 2단계: 연결 방식을 정합니다. 웹 브라우저 중심이면 WebRTC, 서버에서 오디오를 중계한다면 WebSocket, 전화 연동이면 SIP입니다. 각 모델이 지원하는 오디오 형식과 샘플링 레이트에 맞춰 마이크 입력을 변환합니다.

- 3단계: 음성 활동 감지 기준과 침묵 판정 시간을 조정합니다. 너무 민감하면 사용자가 잠깐 숨을 고를 때 AI가 끼어들고, 너무 둔하면 대화가 답답해집니다. 이 값은 서비스 성격에 따라 직접 시험해 정하는 수밖에 없습니다.

- 4단계: 함수 호출 스키마를 붙여 예약, 조회, 상태 확인 같은 실제 작업을 연결하고, 실패했을 때 무엇을 말할지 문구까지 미리 정합니다.

■ 7. 자주 묻는 질문

▶ 어느 쪽이 더 저렴한가요

사용 패턴에 따라 다릅니다. 출력 오디오가 긴 서비스라면 소형 모델의 출력 단가 차이가 크게 작용하고, 화면이나 카메라 영상을 함께 다뤄야 한다면 영상 입력 지원 여부가 선택을 좌우합니다. 예상 통화 시간과 답변 길이를 넣어 직접 계산해 보는 것이 정확합니다.

▶ 한국어 상담에 바로 쓸 수 있나요

두 API 모두 한국어를 지원하지만, 고유명사와 숫자 인식, 존댓말 처리 품질은 실제 상담 녹취로 검증해야 합니다. 특히 주소, 주문번호, 금액처럼 잘못 들으면 안 되는 항목은 확인 질문을 넣는 설계가 필요합니다.

▶ 상담원을 완전히 대체할 수 있나요

단순 조회와 예약 안내 같은 반복 문의에서는 처리 비중을 높일 수 있지만, 예외 상황과 불만 응대는 사람에게 넘기는 경로를 반드시 남겨 두어야 합니다. 넘기는 시점의 기준과 대화 맥락 전달 방법을 함께 설계하세요.

■ 8. 용어 정리

- 바지인(Barge-in): AI가 말하는 도중 사용자가 끼어들면 발화를 멈추고 듣는 동작입니다.

- VAD(음성 활동 감지): 소리 구간에서 사람이 말하는 부분을 판별하는 기능입니다.

- p95 지연: 요청 100건 중 느린 쪽 5건을 제외한 지점의 지연 시간입니다. 평균보다 체감 품질을 잘 나타냅니다.

- PCM: 압축하지 않은 원시 오디오 데이터 형식입니다.

- SIP: 인터넷 전화 연결에 사용되는 표준 프로토콜입니다.

- 함수 호출: 모델이 대화 중 외부 기능을 실행하도록 미리 정의한 인터페이스입니다.

■ 안내

이 글은 2026년 8월 기준으로 정리한 내용입니다. AI 모델과 서비스의 사양·요금·정책은 수개월 단위로 바뀌므로, 실제 도입 전에는 각 서비스의 공식 문서를 반드시 확인하시기 바랍니다.