Cartesia는 State Space Models(SSM)을 기반으로 한 음성 합성 모델 Sonic과 음성 인식 모델 Ink로 100ms 미만의 지연 시간에 음성을 처리하는 방법을 소개하고, AWS에서의 배포 방식을 설명했다. Sonic은 첫 음성 바이트까지 약 90ms가 걸리며, 44개 이상의 언어를 지원하고 10초 분량의 음성 샘플로 보이스 클론을 만들 수 있다. Ink는 네이티브 턴 감지 기능을 갖추고 있어 별도의 VAD 모델 없이 발화의 종료를 판단한다.
NVIDIA Nemotron Voice Agent를 활용해 할로윈용 대화형 캐릭터 「MonsterHouse」를 단일 워크스테이션에서 구동했다. 응답 생성에는 LoRA 어댑터를 탑재한 Nemotron 3.5 Bolt E4B 4GB를 사용했으며, 어댑터 학습에는 5000건 이상의 다중 턴 대화 데이터셋을 활용했다. 음성은 Magpie TTS Zeroshot, 입 모양은 Audio2Face-3D로 생성하고, Unreal Engine 5에서 렌더링했다.
AnySpeechRecognizer와 AnyDecisionModel은 Apple 플랫폼에서 오픈 모델을 사용해 음성 인식과 판단을 수행하는 Swift 패키지다. AnySpeechRecognizer는 SpeechAnalyzer와 동일한 API를 그대로 유지하면서, NVIDIA의 Parakeet이나 Alibaba의 Qwen3-ASR 등 여러 인식 엔진 중에서 선택할 수 있게 하며 화자 분리 기능도 추가한다. AnyDecisionModel은 예/아니오, 다지선다, 평가 척도 질문에 대해 텍스트를 생성하는 방식이 아니라 모델의 확률로부터 답을 도출하며, 타입이 지정된 결과와 확률을 반환한다.
NVIDIA RTX Spark 탑재 노트북을 위해 오픈 웨이트 음성 모델 「NVIDIA Nemotron 3.5 Transcribe」와 LFM3 오픈 모델 패밀리의 지원이 예정되어 있다. Nemotron 3.5 Transcribe는 40개 언어를 지원하며, 받아쓰기, 화자 식별, 번역을 하나의 모델로 처리한다.
NVIDIA는 전사, 화자 식별, 번역, 음성 Q&A를 하나의 체크포인트로 처리하는 오픈 웨이트 모델 Nemotron 3.5 Transcribe를 Hugging Face와 ModelScope에 공개했다. 40개 언어의 전사를 지원하며, Hugging Face Open ASR Leaderboard 영어 부문에서 오픈 웨이트 모델 중 1위인 평균 WER 5.33%를 기록했다. 학습 데이터 파이프라인 Granary v2와 파인튜닝 절차도 함께 공개됐다.
삼성전자가 갤럭시 최초의 클립형 이어폰 ‘갤럭시 버즈 온’을 출시했다. 뉴스룸은 귀를 막지 않는 디자인으로 운동, 업무, 출퇴근길을 하루 동안 체험하며 음성 명령으로 ‘제미나이 라이브’를 실행하고 음악과 음량을 제어하는 기능, 3개의 마이크를 활용한 ‘인텔리전트 클리어 콜’의 통화 품질을 소개했다. 다만 재생 음량과 주변 환경에 따라 소리가 밖으로 새어 나올 수 있다고 밝혔다.
의료 스타트업 Anima는 GPT-Live를 기반으로 한 AI 접수 담당 'Andi'를 도입한 진료소에서 전화 대기 시간이 40~50분에서 10분으로 줄어 75% 이상 감소했다고 밝혔다. 문서 처리에서는 시간당 약 15건이던 처리 건수가 30~45건으로 늘어난 것으로 전해졌으며, 이 업무에는 GPT-6 모델이 사용되고 있다. 환자 조사에서는 86%가 Andi를 다시 이용하고 싶다고 답했다.
OpenAI가 GPT-6 Luna 기반 Decisions API의 일반 제공을 시작했다. 경계가 있는 응답에 특화되어 있으며, Responses API를 통해 GPT-6 Luna로 텍스트, 이미지, 구조화된 입력에서 판단을 최대 10x 더 빠르게 수행한다. 요금은 입력 100만 토큰당 $0.10이며 출력 토큰에는 과금하지 않는다.
Amazon Polly가 Generative 엔진 업그레이드를 일반 제공(GA)으로 공개했다. 9개 로케일에 14개의 새 음성을 추가했으며, 힌디어와 핀란드어의 generative 음성이 처음으로 일반 제공되었다. 음성 이름과 API 호출 방식은 그대로여서 기존 앱은 코드 변경 없이 새로운 품질을 쓸 수 있고, 요금도 동일하다.
AWS Machine Learning Blog는 AI 에이전트가 문장을 생성할 때마다 그 문장을 Kokoro-82M TTS 모델로 보내, 전체 텍스트 생성을 기다리지 않고 음성 합성을 시작하는 방법을 소개했다. Kokoro-82M(8,200만 파라미터)은 SageMaker AI 실시간 엔드포인트에서 ml.g5.xlarge GPU 인스턴스로 동작하며, 컨테이너는 POST /invocations와 WS /invocations-bidirectional-stream 두 가지 라우트를 제공한다.
Amazon SageMaker AI에서 TTS 엔드포인트의 Auto Scaling 목표값을 추측이 아닌 실측으로 정하는 방법을 Kokoro-82M 커스텀 컨테이너 배포를 예로 보여준다. SLO를 충족하는 인스턴스당 최대 동시 실행 수 Q_max와 스케일아웃 소요 시간 T_total을 실제 환경에서 측정하고, 이를 바탕으로 스케일아웃·스케일인 임계값과 쿨다운을 산출한다. 스케일링 지표로는 SageMaker AI가 공개하는 ConcurrentRequestsPerModel을 사용한다.
IBM은 Granite Speech의 신모델 "granite-speech-5.0-2b"와 업데이트 버전인 "granite-speech-5.0-470m-turboctc", "granite-speech-4.1-2b-plus"를 공개했다. granite-speech-5.0-2b는 영어 단문의 평균 WER이 5.06%로 오픈 웨이트 ASR 모델 중 2위에 올랐으며, Apache 2.0 라이선스로 제공된다. Turbo CTC는 다국어를 지원하게 됐고, RTFx는 약 12,600에서 19,870으로 향상됐다.
ADK의 스트리밍 도구를 사용하면 음성 에이전트는 시간이 오래 걸리는 도구를 실행하는 동안에도 응답을 이어갈 수 있다. 사내 매출 보고서 벤치마크에서 gemini-3.8-live는 블로킹 도구에서 스트리밍 도구로 전환한 결과, 에이전트가 첫 발화를 시작하기까지의 시간이 14.4초에서 1.2초로 단축되었다. 도구는 함수를 async generator로 정의하고 return을 yield로 바꾸기만 하면 NON_BLOCKING으로 처리된다.
xAI가 단독으로 사용할 수 있는 음성 API인 Grok Speech to Text(STT)와 Grok Text to Speech(TTS)를 발표했다. Grok Voice, Tesla 차량, Starlink 고객 지원을 뒷받침하는 기술 기반 위에 구축되었다. 요금은 STT가 일괄 처리 시 시간당 $0.10, 스트리밍 시 시간당 $0.20이며, TTS는 100만 자당 $15.00이다.
xAI는 짧은 녹음으로 자신의 목소리를 복제해 Grok Text to Speech와 Voice Agent API에서 사용할 수 있는 Custom Voices를 발표했다. xAI 콘솔에서 약 1분 분량의 자연스러운 음성을 녹음하면 2분 이내에 실서비스에 쓸 수 있는 음성 모델이 만들어진다. Text to Speech와 Voice Agent API에서 사용해도 추가 요금은 없다.
선정 이유: 녹음으로 음성 클론을 만드는 절차와 본인 확인의 2단계 검증, 추가 요금이 없다는 조건이 구체적으로 제시되어 있어 도입 여부를 판단하기 쉽다.
xAI는 Grok Voice 기반으로 실서비스용 음성 에이전트를 설정할 수 있는 노코드 플랫폼 「Voice Agent Builder」를 베타 공개했다. 전화 회선, 지식 검색, 도구, 가드레일, MCP, 관측 기능을 한곳에서 사용할 수 있다. 요금은 API 요금 기준 분당 $0.08이며, 플랫폼 이용료는 별도로 부과되지 않는다.
선정 이유: 통화 구축부터 요금 체계까지 하나의 화면과 소수의 과금 항목으로 정리되어 있어, 기존 음성 기반 서비스와의 차이를 비교하는 자료로 활용할 수 있다.
xAI는 Grok Voice의 새로운 플래그십 음성 21종을 공개했다. 모두 다국어를 지원하며, 실시간 Voice Agent API, Text to Speech API, 새로운 Grok Voice Agent Builder에서 지금 바로 사용할 수 있다. 기존 5종(Ara, Eve, Leo, Rex, Sal)도 개선된 방식으로 재학습되어 말투, 표현, 강조가 더 자연스러워졌다. Grok Voice는 25개 이상의 언어를 지원하며, 약 1분 분량의 음성으로 자체 음성을 클론할 수도 있다.
xAI는 음성에서 음성으로 처리하는 모델 Grok Voice 2.0을 발표했다. Artificial Analysis의 종합 지표는 82.9%로, Grok Voice 1.0의 75.7%와 GPT-Realtime-2.1 (High)의 79.1%를 웃돈다. 요금은 음성 1분당 $0.08이며, 2026년 8월 5일에 grok-voice-latest가 2.0으로 전환된다.
Microsoft AI(MAI)는 자사 최초의 음성 생성 모델 MAI-Voice-1과 처음으로 엔드투엔드로 학습한 기반 모델 MAI-1-preview를 발표했다. MAI-Voice-1은 단일 GPU로 1분 분량의 음성을 1초 미만에 생성할 수 있으며, Copilot Daily와 Podcasts에서 사용되고 있다. MAI-1-preview는 LMArena에서 공개 테스트를 시작했다.
OpenAI Developers@OpenAIDevsAI 점수3131
AI at Meta@AIatMetaAI 점수2929
Granite Switch 4.1의 8B와 30B 모델은 범용 Decision aLoRA, 안전성 판정용 Guardian aLoRA, OpenASR Leaderboard에서 가장 빠른 것으로 알려진 ASR 모델 Granite-Speech-5.0-Turbo-CTC를 하나의 모델로 통합하여, 하나의 엔드포인트에서 채팅, 판정, 문자 변환을 처리한다. 필요한 VRAM은 베이스 모델 단독과 거의 같으며 KV 캐시도 재사용할 수 있다. vLLM에서는 플러그인으로 동작하고, llama.cpp도 네이티브로 지원한다.
OpenAI@OpenAIAI 점수4545
팀네이버의 연구 논문 24편이 자연어처리 분야 최정상 학회 EMNLP 2026에 채택됐다. 학회는 10월 24일부터 29일까지 헝가리 부다페스트에서 열리며, 팀네이버는 이 자리에서 주요 논문을 발표할 예정이다. 채택 논문에는 한국어 추론 데이터 합성, 장시간 영상 구간 탐색 벤치마크, LLM 추론 과정 해석 연구 등이 포함됐다.
삼성전자가 갤럭시 AI의 주요 기능 지원 언어를 24개로 늘린다. 콜 어시스트, 노트 어시스트, 통역, 텍스트 변환 어시스트는 말레이어와 헝가리어가 추가돼 22개 언어에서 24개 언어로 확대된다. 디바이스 에이전트 빅스비는 폴란드어, 태국어, 베트남어가 추가돼 12개 언어를 지원하며, 빅스비 신규 언어는 10월 14일부터, 갤럭시 AI 신규 언어는 10월말부터 순차 제공된다.
연구팀은 사전 학습된 음성 인코더의 언어 선택적 은닉 상태 차원을 활용해, 음성에서 직접 코드스위칭(발화 중 언어가 전환되는 현상)을 검출하는 경량 기법을 제안했다. CS-FLEURS의 14개 언어 쌍 실험에서 Whisper-small 인코더는 평균 F1 0.798을 기록해, CNN의 0.776과 단일 언어 식별용으로 학습한 HuBERT 선형 베이스라인의 0.751을 웃돌았다. 이 결과는 사전 학습된 음성 인코더가 코드스위칭 발화를 식별하는 데 필요한 정보를 이미 부호화하고 있음을 시사한다.
xAI는 speech-to-speech 모델 Grok Voice 3.0을 발표하고 같은 날부터 API로 제공을 시작했다. Artificial Analysis의 Speech-to-Speech Index에서 86.9점으로 1위를 차지했으며, 지연 시간은 1초 미만이라고 밝혔다. 요금은 이전 세대와 같은 $0.08 / min($4.80 / hr)이다.
선정 이유: 독립 평가 기관의 점수와 경쟁 모델과의 비교, 요금과 도입 실적이 함께 정리되어 있어 음성 에이전트를 선택할 때 참고하기 좋다.
TII는 에미리트 방언에 중점을 둔 아랍어 음성인식 모델 「Falcon-ASR」을 발표했다. 파라미터 수는 1.6B이다. 6개 아랍어 테스트셋의 평균 WER은 20.92%로, 공개된 최고 결과보다 2.25포인트 우수하다. Hugging Face Demo Space에서 체험할 수 있으며, API는 계획 중이다.
Google은 9월 AI 관련 발표를 정리하며 최신 프런티어 모델 Gemini 4 Argon을 가장 앞에 꼽았다. 출력 상한은 100만 토큰이며, 현재는 Fairwind Program을 통해 신뢰할 수 있는 사이버 방어 담당자에게 제공하고 있다. 이 밖에도 Gemini 3.8 Flash, Gemini 앱의 Connected Apps, WeatherNext 3, Googlebook 사전 예약 접수 등을 소개했다.
선정 이유: Gemini 4 Argon을 중심으로 음성, 연동 앱, 날씨 예보, 게놈 연구까지 9월 발표가 한눈에 정리되어 있어 전체 흐름을 파악하기 좋다.
Google이 지원 Android 기기의 Gemini Live에서 카메라 영상을 음성으로 실시간 설명하는 'Guided Vision'의 제공을 시작했다. 시각장애인과 저시력자를 주요 대상으로 하며, 주변 설명, 추가 질문에 대한 답변, 카메라 방향을 바로잡는 음성 안내를 지원한다. Android 9 이상에서 Gemini Live를 사용할 수 있는 지역과 언어에서 이용할 수 있다.
선정 이유: 시각장애인을 위해 카메라 공유 기반 음성 안내를 제공하며, 실행 방법과 이용 조건, 길 안내 용도로는 쓸 수 없다는 제한까지 구체적으로 보여준다는 점에서 추천한다.
Microsoft AI(MAI)는 스트리밍 전사 모델 MAI-Transcribe-2-Streaming과 음성 합성 모델 MAI-Voice-2.1, 그리고 고속 버전 MAI-Voice-2.1-Flash를 발표했다. MAI-Transcribe-2-Streaming은 60개 언어를 지원하며, Artificial Analysis에서 최종 전사와 부분 전사 모두 정확도 1위로 평가받았다. MAI-Voice-2.1은 23개 언어, 26개 로케일을 지원하며, 요금은 100만 자당 22달러다.
Hugging Face가 다국어 및 보이스 클로닝을 지원하는 오픈소스 TTS 모델을 객관적 지표로 평가하는 「Open TTS Leaderboard」를 공개했다. 인식 정확도를 나타내는 WER/CER, 추론 속도를 나타내는 RTFx/TTFA, 화자 유사도를 나타내는 SIM을 활용하며, 아레나형 평가에 비해 모델 평가 기간을 수 주에서 수 시간으로 단축할 수 있다고 밝혔다. 사람의 선호도를 측정하는 평가는 「Listen」 탭의 투표에 맡긴다.
Google은 Gemini 3.8 Live에 실시간 영상 아바타 기능 「Live Avatar」를 추가했다고 밝혔다. 음성 대화와 저지연 영상 생성을 결합해 입 모양과 표정을 수반하는 대화형 가상 담당자를 구현한다. Live Avatar는 현재 Gemini Enterprise에서 이용할 수 있으며, 97개 언어 지원과 도구 호출의 비동기 실행을 지원한다. 커스텀 아바타 제작은 엔터프라이즈용 허용 목록 방식으로, 현재는 일부 기업만 대상이다.
Google DeepMind는 음성 생성 모델 Gemini 3.8 Flash TTS와 Gemini 3.8 Flash-Lite TTS를 발표했다. Flash TTS는 자연어 프롬프트로 목소리를 새로 만들고 줄 단위 연기 지시를 지원하며, Flash-Lite TTS는 대량 처리와 비용 효율에 특화되어 있다. 두 모델은 오늘부터 Gemini API와 Google AI Studio에서 제공되고 있다.
Google이 음성 생성 모델 Gemini 3.8 Flash TTS와 Gemini 3.8 Flash-Lite TTS를 발표했다. 자연어 프롬프트로 새로운 목소리를 만들 수 있으며, 100개 이상의 언어와 방언을 지원한다. 오늘부터 Gemini API와 Google AI Studio에서 이용할 수 있고, Gemini Notebook과 Google Vids에도 순차적으로 제공된다.
선정 이유: 음성 설계, 복제, 줄 단위 연출 지시까지의 기능과 제공처가 정리되어 있어, TTS를 제작이나 개발에 도입할 때 비교 자료로 쓸 수 있다.
Ring은 GPT-5.6을 활용해 음성, 채팅, WhatsApp, 웹에 걸친 다국어 AI 에이전트를 구축하고 있다. GPT-4.1 대비 비용은 90% 적다고 한다. 고객 통화의 최대 65%를 해결하고 있다고 밝혔다.
Qwen@Alibaba_QwenAI 점수5555
Google AI Developers@googleaidevsAI 점수2323
xAI는 음성 전사 모델 'Grok Voice Transcribe 2.0'을 공개했으며, 같은 가격의 전 세대 'Grok Voice Transcribe 1.0'보다 정확도가 2배 높아졌다고 밝혔다. Artificial Analysis의 공개 리더보드에서는 스트리밍을 지원하는 32개 모델 가운데 정확도 1위를 차지했다. 요금은 배치 방식이 시간당 0.10달러, 스트리밍 방식이 시간당 0.20달러로 1.0과 동일하다.
