Rime, 기업용 파인튜닝 가능 음성-음성 모델 'Prism' 발표

Rime는 기업이 배포 위치, 발음, 응답 정책을 직접 제어할 수 있는 음성 대 음성 AI 모델 Prism을 발표했다. 공개 평가에서는 첫 음성 출력까지 약 570ms라고 밝혔다. Revmo의 주문 시험에서는 10시간 분량의 통화 데이터로 학습시킨 결과 주문 성공률이 90%에서 97%로 올랐다고 보고했다.

AWS에서 초저지연 음성 AI 애플리케이션 구축, Cartesia 사례

Cartesia는 State Space Models(SSM)을 기반으로 한 음성 합성 모델 Sonic과 음성 인식 모델 Ink로 100ms 미만의 지연 시간에 음성을 처리하는 방법을 소개하고, AWS에서의 배포 방식을 설명했다. Sonic은 첫 음성 바이트까지 약 90ms가 걸리며, 44개 이상의 언어를 지원하고 10초 분량의 음성 샘플로 보이스 클론을 만들 수 있다. Ink는 네이티브 턴 감지 기능을 갖추고 있어 별도의 VAD 모델 없이 발화의 종료를 판단한다.

Spotify, 논란 속 AI 리믹스 기능에 추가 요금 부과 계획

Spotify는 Believe와의 제휴를 통해 AI 리믹스·커버 생성 기능을 월 약 5달러의 추가 요금을 받고 제공할 계획이다. 대상 곡의 리믹스나 커버를 버튼 한 번으로 만들 수 있으며, 2027년 초 출시가 예정돼 있다. 원곡 아티스트와 권리자는 AI가 생성한 리믹스가 재생될 때 로열티를 받게 된다고 한다. 그러나 "아티스트에 대한 모욕"이라는 비판도 나오고 있다.

Apple Watch용 AI 기능 Audio Intelligence, iOS 27.3 개발자용 베타에서 제공 시작

Apple은 Apple Watch용 AI 기능 'Audio Intelligence'를 iOS 27.3 개발자 베타에서 제공하기 시작했다. Apple Watch Series 12에서 사용할 수 있는 4가지 옵트인 기능으로, 직전 대화를 글로 확인하는 Live Rewind와 대화를 요약하는 Siri Recaps가 중심이다. 공개 베타에서 폭넓은 테스트를 거친 뒤 정식 출시될 예정이다.

Suno 취재 기사, AI 음악이 음악 업계에 가져올 위협과 기대를 검증

Billboard는 AI 음악 스타트업 Suno를 약 한 달간 취재해, 이 회사가 업계의 위협인지 아니면 희망인지 검증했다. 공개되지 않은 피칭 자료에 따르면 Suno는 하루 700만 곡을 생성했고, 시리즈 C에서 2억 5000만 달러를 조달했다. 반면 저작권 소송은 여러 건 남아 있다. WMG와는 합의했으며, 라이선스를 받은 데이터로 학습한 새 모델을 올해 안에 출시할 방침이다.

Spotify, 2027년 1분기 AI 리믹스 서비스 출시 목표 FT 보도

Financial Times가 관계자의 말을 인용해 Spotify가 2027년 1분기에 AI 기반 음악 리믹스 서비스를 시작할 계획이라고 보도했다. 2월 Grammy Awards 전후 발표를 염두에 두고 월 4~5달러의 추가 요금을 검토하고 있다. 리믹스 수익은 원곡 아티스트에게 돌아가는 구조라고 한다.

NVIDIA Nemotron으로 구축한 할로윈용 대화형 유령의 집 「MonsterHouse」

NVIDIA Nemotron Voice Agent를 활용해 할로윈용 대화형 캐릭터 「MonsterHouse」를 단일 워크스테이션에서 구동했다. 응답 생성에는 LoRA 어댑터를 탑재한 Nemotron 3.5 Bolt E4B 4GB를 사용했으며, 어댑터 학습에는 5000건 이상의 다중 턴 대화 데이터셋을 활용했다. 음성은 Magpie TTS Zeroshot, 입 모양은 Audio2Face-3D로 생성하고, Unreal Engine 5에서 렌더링했다.

Granola, Wispr 대항 음성 입력 기능 출시

Granola가 회의록 작성 도구에 음성 입력(받아쓰기) 기능을 추가하고, 우선 Mac에서 제공을 시작했다. Fn 키를 누른 채 말하면 음성을 다듬어 텍스트로 입력할 수 있으며, 모든 앱에서 쓸 수 있다. 단어 수 제한 없이 무료로 제공되며, iOS와 Windows 지원도 곧 예정돼 있다. Granola와 Wispr의 기업 가치는 각각 15억 달러와 20억 달러다.

Deepgram, Pipecat 개발사 Daily 인수…음성 AI 기반 강화

Deepgram이 음성 AI 인프라 기업 Daily를 인수한다고 발표했다. 인수 금액은 공개되지 않았으며, 오픈소스 음성 AI 프레임워크 「Pipecat」은 계속 오픈소스로 유지된다. Deepgram은 이와 함께 음성 에이전트를 위한 오픈 프로토콜 「Real-Time Context Standard(RCS)」의 제공도 시작했다.

Hugging Face, Apple 플랫폼용 음성 인식 패키지 AnySpeechRecognizer와 판단 패키지 AnyDecisionModel 발표

AnySpeechRecognizer와 AnyDecisionModel은 Apple 플랫폼에서 오픈 모델을 사용해 음성 인식과 판단을 수행하는 Swift 패키지다. AnySpeechRecognizer는 SpeechAnalyzer와 동일한 API를 그대로 유지하면서, NVIDIA의 Parakeet이나 Alibaba의 Qwen3-ASR 등 여러 인식 엔진 중에서 선택할 수 있게 하며 화자 분리 기능도 추가한다. AnyDecisionModel은 예/아니오, 다지선다, 평가 척도 질문에 대해 텍스트를 생성하는 방식이 아니라 모델의 확률로부터 답을 도출하며, 타입이 지정된 결과와 확률을 반환한다.

Rime, 파인튜닝 가능한 음성 대 음성 모델 「Prism」 발표

Rime은 기업이 자사 온프레미스 환경이나 프라이빗 클라우드에서 운영할 수 있고 파인튜닝도 가능한 음성 대 음성(S2S) 모델 「Prism」을 발표했다. Revmo와 진행한 실증에서는 OpenAI의 GPT 모델과 비교해 주문 확인 성공률이 68%에서 100%로, AI 환각(hallucination) 없이 완료된 통화 비율이 35%에서 85%로 높아졌다. Prism은 음성을 생성하기 전에 텍스트를 먼저 생성하므로, 기업의 규칙과 가드레일로 고객에게 전달되기 전 내용을 확인할 수 있다.

Apriel Voice 27B Preview, 음성·추론·도구 활용을 통합한 오픈 모델

Apriel Voice 27B Preview는 음성 이해, 추론, 도구 호출을 공유 백본에서 처리하는 오픈 음성 언어 모델이다. 사고 모드에서 Big Bench Audio 98.90, Speech-BFCL 81.13, τ-Voice 과제 성공률 65.51%, 평균 지연 시간 1.91초를 기록했다. Gemma 4 26B-A4B의 사후 학습 체크포인트를 기반으로 하며, 별도의 대화 모델 없이 음성을 직접 처리해 응답과 도구 호출을 생성한다.

NVIDIA, 오픈 음성 인식 모델 Nemotron 3.5 Transcribe 공개… 전사·번역·화자 식별 통합

NVIDIA는 음성 받아쓰기, 번역, 화자 식별을 하나의 모델로 처리하는 오픈 음성 인식 모델 Nemotron 3.5 Transcribe를 공개했다. 40개 언어의 음성 받아쓰기를 지원하며, 31개 언어에서 영어로의 번역, 13개 언어에서 화자 식별이 가능하다. Hugging Face의 영어 Open ASR Leaderboard에서는 오픈 웨이트 모델 중 1위(평균 단어 오류율 5.33%)를 기록했으며, 약 844,000시간 분량의 학습 데이터셋 Granary v2도 함께 공개됐다.

NVIDIA RTX Spark 노트북, 신모델·에이전트용 도구·게임 지원 확대

NVIDIA RTX Spark 탑재 노트북을 위해 오픈 웨이트 음성 모델 「NVIDIA Nemotron 3.5 Transcribe」와 LFM3 오픈 모델 패밀리의 지원이 예정되어 있다. Nemotron 3.5 Transcribe는 40개 언어를 지원하며, 받아쓰기, 화자 식별, 번역을 하나의 모델로 처리한다.

Nvidia, 오픈 음성 인식 모델 「Nemotron 3.5 Transcribe」 공개

Nvidia가 40개 언어까지 음성을 전사할 수 있는 무료 오픈 웨이트 모델 「Nemotron 3.5 Transcribe」와 오픈소스 음성 데이터셋 「Granary」 제2판을 공개했다. Nemotron 3.5는 31개 언어와 영어 간 상호 번역, 최대 1시간 분량의 녹음 처리, 최대 8명 화자 식별을 지원하며, 회사 측은 Hugging Face의 Open ASR Leaderboard를 포함한 벤치마크에서 경쟁 모델을 앞섰다고 주장했다. 실시간 방송이 아니라 녹음된 음성이 대상이며, 파라미터 수는 30 billion으로 단일 칩에서 동작할 수 있다고 한다.

NVIDIA, 프롬프트로 제어하는 다국어 음성 전사 모델 Nemotron 3.5 Transcribe와 Granary v2 공개

NVIDIA는 전사, 화자 식별, 번역, 음성 Q&A를 하나의 체크포인트로 처리하는 오픈 웨이트 모델 Nemotron 3.5 Transcribe를 Hugging Face와 ModelScope에 공개했다. 40개 언어의 전사를 지원하며, Hugging Face Open ASR Leaderboard 영어 부문에서 오픈 웨이트 모델 중 1위인 평균 WER 5.33%를 기록했다. 학습 데이터 파이프라인 Granary v2와 파인튜닝 절차도 함께 공개됐다.

갤럭시 버즈 온 체험기, 귀를 막지 않는 클립형 이어폰 하루 사용기

삼성전자가 갤럭시 최초의 클립형 이어폰 ‘갤럭시 버즈 온’을 출시했다. 뉴스룸은 귀를 막지 않는 디자인으로 운동, 업무, 출퇴근길을 하루 동안 체험하며 음성 명령으로 ‘제미나이 라이브’를 실행하고 음악과 음량을 제어하는 기능, 3개의 마이크를 활용한 ‘인텔리전트 클리어 콜’의 통화 품질을 소개했다. 다만 재생 음량과 주변 환경에 따라 소리가 밖으로 새어 나올 수 있다고 밝혔다.

AI 라디오 진행자 Coyotec, 스페인어로 이민 옹호하며 청취자 확보

Entravision의 로스앤젤레스 방송국 José 97.5 FM에서 AI 아바타 라디오 공동 진행자 Coyotec이 프로그램 「Al Aire y Sin Permiso」에 출연하고 있다. 2025년 9월 단독 주말 프로그램으로 데뷔했으며, 현재는 인간 진행자 Geraldine "GeeGee" Guzman과 함께 평일 오전 8시부터 10시까지의 시간대를 맡고 있다. 8월 기준으로 이 프로그램은 캘리포니아주, 네바다주, 텍사스주의 신규 시장 5곳에서 신디케이트 방송되고 있으며, Nielsen 수치에 따르면 2026년 8월부터 9월까지 로스앤젤레스의 히스패닉계 누적 청취자 수는 21.6% 증가했다.

xAI의 Grok @Bot, 사용자 대신 전화를 걸 수 있는 기능 추가

일론 머스크는 10월 25일, Grok의 @Bot이 사용자를 대신해 전화를 걸고 통화 중 메모를 작성하며 텍스트 요약을 돌려줄 수 있게 됐다고 발표했다. 기반은 Grok Voice 3.0이며, xAI 자료에 따르면 10월 14일에 공개됐다. Grok Bot 0.77 릴리스로 지원되며, 통화 중 실시간 문자 변환도 확인할 수 있다.

Block, 로컬 실행 가능한 전이중 음성 모델 'Dessa' 발표

Jack Dorsey의 Block이 연구 부문에서 개발한 음성 모델 Dessa를 발표했다. 사람의 음성만으로 학습한 전이중(full-duplex) 모델로, 웃음·멈춤·울음 같은 표현을 갖추고 로컬에서 동작한다. 현재 일반 공개는 없으며, Block은 안전성 연구자들에게 테스트 참여를 요청하고 있다.

Block, 사람의 대화만으로 학습한 음성 AI 모델 “Dessa” 발표

Block은 사람의 대화만으로 “처음부터” 학습시킨 음성 AI 모델 “Dessa”를 발표했다. 회사는 Dessa가 “true speech-to-speech model”이며 MacBook Pro M4 Max “이상” 사양에서 로컬 실행이 가능하다고 설명했다. 회사는 소수의 AI 안전성 연구자에게 조기 접근 권한을 제공할 방침을 밝혔다.

Anima, GPT-6와 GPT-Live로 진료소 전화 대기 시간 75% 단축

의료 스타트업 Anima는 GPT-Live를 기반으로 한 AI 접수 담당 'Andi'를 도입한 진료소에서 전화 대기 시간이 40~50분에서 10분으로 줄어 75% 이상 감소했다고 밝혔다. 문서 처리에서는 시간당 약 15건이던 처리 건수가 30~45건으로 늘어난 것으로 전해졌으며, 이 업무에는 GPT-6 모델이 사용되고 있다. 환자 조사에서는 86%가 Andi를 다시 이용하고 싶다고 답했다.

OpenAI, Decisions API 일반 제공 시작… GPT-6 Luna로 빠른 판단 구현

OpenAI가 GPT-6 Luna 기반 Decisions API의 일반 제공을 시작했다. 경계가 있는 응답에 특화되어 있으며, Responses API를 통해 GPT-6 Luna로 텍스트, 이미지, 구조화된 입력에서 판단을 최대 10x 더 빠르게 수행한다. 요금은 입력 100만 토큰당 $0.10이며 출력 토큰에는 과금하지 않는다.

Falcon, 실환경 음향에 대응하는 효율적인 스트리밍형 오디오-비주얼 타깃 화자 추출

Falcon은 화자의 입술 영상을 활용해 잡음이나 겹쳐진 음성 속에서 목표 화자의 목소리를 추출하는 인과적(causal) 오디오-비주얼 타깃 화자 추출 모델이다. 인과형 AV-TFGridNet과 비교해 학습 가능한 파라미터는 91.9%, 연산량은 20.2배, GPU 추론 지연 시간은 11.1배 줄였다고 보고되었다. 또한 화자 수, 근거리 및 원거리 간섭, 잔향, 돌발적인 잡음을 포함하는 벤치마크 'RealSSA'도 제안되었으며, 코드와 모델 가중치 등은 프로젝트 페이지에서 공개되었다.

Amazon Polly, Generative 엔진 업그레이드…14개 음성 추가로 힌디어·핀란드어 지원

Amazon Polly가 Generative 엔진 업그레이드를 일반 제공(GA)으로 공개했다. 9개 로케일에 14개의 새 음성을 추가했으며, 힌디어와 핀란드어의 generative 음성이 처음으로 일반 제공되었다. 음성 이름과 API 호출 방식은 그대로여서 기존 앱은 코드 변경 없이 새로운 품질을 쓸 수 있고, 요금도 동일하다.

Amazon SageMaker AI의 Kokoro TTS로 AI 에이전트 음성을 저지연 스트리밍

AWS Machine Learning Blog는 AI 에이전트가 문장을 생성할 때마다 그 문장을 Kokoro-82M TTS 모델로 보내, 전체 텍스트 생성을 기다리지 않고 음성 합성을 시작하는 방법을 소개했다. Kokoro-82M(8,200만 파라미터)은 SageMaker AI 실시간 엔드포인트에서 ml.g5.xlarge GPU 인스턴스로 동작하며, 컨테이너는 POST /invocations와 WS /invocations-bidirectional-stream 두 가지 라우트를 제공한다.

TTS용 Amazon SageMaker AI Auto Scaling 목표값을 추측으로 정하지 않는다

Amazon SageMaker AI에서 TTS 엔드포인트의 Auto Scaling 목표값을 추측이 아닌 실측으로 정하는 방법을 Kokoro-82M 커스텀 컨테이너 배포를 예로 보여준다. SLO를 충족하는 인스턴스당 최대 동시 실행 수 Q_max와 스케일아웃 소요 시간 T_total을 실제 환경에서 측정하고, 이를 바탕으로 스케일아웃·스케일인 임계값과 쿨다운을 산출한다. 스케일링 지표로는 SageMaker AI가 공개하는 ConcurrentRequestsPerModel을 사용한다.

IBM, Granite Speech 5.0 발표… 다국어 ASR과 화자 식별 강화

IBM은 Granite Speech의 신모델 "granite-speech-5.0-2b"와 업데이트 버전인 "granite-speech-5.0-470m-turboctc", "granite-speech-4.1-2b-plus"를 공개했다. granite-speech-5.0-2b는 영어 단문의 평균 WER이 5.06%로 오픈 웨이트 ASR 모델 중 2위에 올랐으며, Apache 2.0 라이선스로 제공된다. Turbo CTC는 다국어를 지원하게 됐고, RTFx는 약 12,600에서 19,870으로 향상됐다.

ElevenLabs, 실시간 대화용 음성-음성 모델 'Eleven Realtime' 2종 공개

ElevenLabs는 음성-음성 모델 'Eleven Realtime'으로 v1 Max와 v1 Mini 두 종을 공개했다. v1 Max는 Big Bench Audio에서 98.8%, 응답 시간 0.57초를 기록했다고 한다. 두 모델은 ElevenAgents 플랫폼과 OpenAI 호환 Realtime API에서 이용할 수 있다.

Mistral AI, 실시간 음성 에이전트용 Voxtral 3 발표

Mistral AI가 실시간 음성 에이전트용 모델군 Voxtral 3를 발표했다. 음성 인식용 Voxtral Small Transcribe 3, 음성 합성용 Voxtral Mini TTS 3, LiveKit 기반 SDK로 구성된다. 전사는 50개 이상의 언어를 지원하며, 요금은 전사 기준 분당 $0.0035부터다.

Mistral AI@MistralAIAI 점수5252

Mistral AI가 Voxtral 3를 발표했다. 회사는 이 모델이 최첨단(state-of-the-art) 수준의 Transcribe 모델과 Speech 모델이며, Mistral의 새로운 음성 에이전트 API를 뒷받침한다고 설명했다.

macOS 27.2 Golden Gate 첫 번째 Release Candidate 제공 시작

Apple이 macOS 27.2 Golden Gate의 첫 번째 Release Candidate(RC1)를 개발자와 퍼블릭 베타 참가자를 대상으로 제공하기 시작했다. 정식 버전은 앞으로 수 주 이내에 공개될 예정이다. 이번 버전에서는 Siri AI의 지원 언어에 프랑스어, 일본어, 한국어, 포르투갈어, 스페인어 등 5개 언어가 추가됐다. 빌드 번호는 26B118이며, beta 4에서 보고된 Electron 기반 앱의 창이 드래그에 반응하지 않는 문제는 Mac을 재시작하면 일시적으로 해결되지만 다시 발생할 수 있다.

ADK와 Gemini 3.8 Live로 처리 중에도 무음이 되지 않는 음성 에이전트를 구축하는 방법

ADK의 스트리밍 도구를 사용하면 음성 에이전트는 시간이 오래 걸리는 도구를 실행하는 동안에도 응답을 이어갈 수 있다. 사내 매출 보고서 벤치마크에서 gemini-3.8-live는 블로킹 도구에서 스트리밍 도구로 전환한 결과, 에이전트가 첫 발화를 시작하기까지의 시간이 14.4초에서 1.2초로 단축되었다. 도구는 함수를 async generator로 정의하고 return을 yield로 바꾸기만 하면 NON_BLOCKING으로 처리된다.

xAI, Grok Speech to Text 및 Text to Speech API 공개

xAI가 단독으로 사용할 수 있는 음성 API인 Grok Speech to Text(STT)와 Grok Text to Speech(TTS)를 발표했다. Grok Voice, Tesla 차량, Starlink 고객 지원을 뒷받침하는 기술 기반 위에 구축되었다. 요금은 STT가 일괄 처리 시 시간당 $0.10, 스트리밍 시 시간당 $0.20이며, TTS는 100만 자당 $15.00이다.

xAI, Grok Text to Speech 및 Voice Agent API용 Custom Voices 발표

xAI는 짧은 녹음으로 자신의 목소리를 복제해 Grok Text to Speech와 Voice Agent API에서 사용할 수 있는 Custom Voices를 발표했다. xAI 콘솔에서 약 1분 분량의 자연스러운 음성을 녹음하면 2분 이내에 실서비스에 쓸 수 있는 음성 모델이 만들어진다. Text to Speech와 Voice Agent API에서 사용해도 추가 요금은 없다.

xAI, 노코드 Voice Agent Builder 베타 공개

xAI는 Grok Voice 기반으로 실서비스용 음성 에이전트를 설정할 수 있는 노코드 플랫폼 「Voice Agent Builder」를 베타 공개했다. 전화 회선, 지식 검색, 도구, 가드레일, MCP, 관측 기능을 한곳에서 사용할 수 있다. 요금은 API 요금 기준 분당 $0.08이며, 플랫폼 이용료는 별도로 부과되지 않는다.

「Grok Voice」, 다국어 지원 신규 음성 21종 공개

xAI는 Grok Voice의 새로운 플래그십 음성 21종을 공개했다. 모두 다국어를 지원하며, 실시간 Voice Agent API, Text to Speech API, 새로운 Grok Voice Agent Builder에서 지금 바로 사용할 수 있다. 기존 5종(Ara, Eve, Leo, Rex, Sal)도 개선된 방식으로 재학습되어 말투, 표현, 강조가 더 자연스러워졌다. Grok Voice는 25개 이상의 언어를 지원하며, 약 1분 분량의 음성으로 자체 음성을 클론할 수도 있다.

xAI, 음성 대화 모델 Grok Voice 2.0 발표

xAI는 음성에서 음성으로 처리하는 모델 Grok Voice 2.0을 발표했다. Artificial Analysis의 종합 지표는 82.9%로, Grok Voice 1.0의 75.7%와 GPT-Realtime-2.1 (High)의 79.1%를 웃돈다. 요금은 음성 1분당 $0.08이며, 2026년 8월 5일에 grok-voice-latest가 2.0으로 전환된다.

Microsoft AI, 자체 개발 MAI-Voice-1·MAI-1-preview 발표

Microsoft AI(MAI)는 자사 최초의 음성 생성 모델 MAI-Voice-1과 처음으로 엔드투엔드로 학습한 기반 모델 MAI-1-preview를 발표했다. MAI-Voice-1은 단일 GPU로 1분 분량의 음성을 1초 미만에 생성할 수 있으며, Copilot Daily와 Podcasts에서 사용되고 있다. MAI-1-preview는 LMArena에서 공개 테스트를 시작했다.

Heartbeat Thinking, 음성 에이전트가 발화 중에도 추론과 도구 실행을 선행하는 기법

음성 에이전트가 발화 중에도 추론과 도구 호출 준비를 계속하는 「Heartbeat Thinking」을 제안한 논문이다. 발화 갱신 때문에 진행 중인 처리를 중단하지 않고, 주기적인 Thinker 호출로 최신 부분 트랜스크립트와 완료된 추론·도구 결과를 공유해 의존 관계가 있는 호출을 시작한다. FDBench v3에서는 SHANKS형 윈도우 방식 베이스라인과 비교해 도구 커버리지가 16포인트 향상되었고, 최종 응답의 평균 레이턴시는 36.4% 줄었다.