Rime, 기업용 파인튜닝 가능 음성-음성 모델 'Prism' 발표

Prism는 입력 음성을 직접 이해하고, 응답을 텍스트로 써 내려가면서 대화를 이어가는 엔드투엔드 방식으로 학습된 모델이라고 한다. 텍스트 출력은 정책 확인, 수정, 발음 조건 설정, 외부 도구 연동을 위한 검사 지점이 된다. 도구 호출은 발화와 동시에 실행할 수 있다. 수백만 시간 분량의 사람 간 대화로 학습했으며, 온프레미스, 가상 사설 클라우드, 클라우드 중 어느 환경에도 배포할 수 있다.

커스터마이징은 목소리나 프롬프트 선택에 그치지 않는다. 고객사의 통화 예시를 활용해 어휘, 대화 패턴, 원하는 대화 방식에 맞게 조정할 수 있다. 이 과정에는 강화학습 기반의 사후 학습이 포함된다. 셀프서비스 강화학습과 지도 파인튜닝 API는 베타 고객과 함께 개발 중이다.

Revmo의 주문 테스트에서는 고객 통화 10시간 분량으로 학습한 Prism이 평가에 사용된 OpenAI 음성 시스템과 비교해 주문 성공률을 90%에서 97%로 끌어올렸다. 환각이 없다고 분류된 통화는 35%에서 85%로, 부자연스러운 침묵이 없는 통화는 66%에서 88%로 늘었다. 다만 이는 특정 용도에 대한 기업 보고 결과이며, 일반적인 성능 순위가 아니다. Dialpad가 설계 파트너로 참여해 자사 에이전트형 제품군에 도입할 계획이다.

Rime은 2022년에 설립됐으며, 2026년 초 2,400만 달러 규모의 시리즈 A 투자를 발표했다. Coda v2에서는 요청마다 발음을 제어하기 위해 X-SAMPA 음소를 사용하는 커스텀 사전을 요청당 최대 500개까지 지정할 수 있다. 음성 인식에서는 발화 종료부터 최종 스트리밍 전사까지의 중앙값이 105ms로 보고됐지만, 이는 에이전트 전체 응답 시간과 구분해야 하는 부분적인 측정값이다.