Block, 로컬 실행 가능한 전이중 음성 모델 'Dessa' 발표

Dessa는 말하면서 동시에 들을 수 있는 전이중(full-duplex) 음성 모델이다. Block에 따르면 학습은 인간의 음성만으로 진행했으며 NVIDIA GPU 1기를 사용했다고 한다. 기사는 OpenAI가 올해 상반기에 공개한 GPT-Live도 같은 전이중 방식이라고 설명한다. 일반적으로 음성 모델은 지식 습득을 위해 대규모 언어 모델과 결합되지만, Block은 Dessa의 지식이 대화 데이터에서 비롯되었다고 밝혔다.

Block은 기존 음성 AI가 텍스트를 거쳐 음성을 생성하기 때문에 부자연스러워지기 쉽다고 지적한다. 블로그에서는 음성을 텍스트로 변환하면 텍스트로는 전달할 수 없는 많은 정보가 사라진다고 주장한다. ElevenLabs v4나 Fish Audio Drama 3 등은 음성 태그로 감정을 제어하는 반면, Dessa는 감정이 모델에 내재되어 있다고 한다. 다만 태그와 같은 방식으로 제어되는지는 밝혀지지 않았다.

연구자들이 공개한 데모에는 목소리, 억양, 감정이 서로 다른 대화 예시가 담겨 있다. 일에 지쳤다고 말하자 실제로 피곤한 목소리가 되는 예, 감정이 격해져 울음이 터질 듯한 예, Block 팀원이 게임을 즐기는 예 등이 포함된다. MacBook M4 Max 이상의 소비자용 PC에서 로컬로 실행할 수 있다고 한다.

현재 Dessa는 일반에 공개되어 있지 않으며, Block은 안전성 연구자에게 테스트를 의뢰하고 있다. 기사는 음성 에이전트가 상대를 기만하는 사례를 검증하는 것이 목적이라고 본다. Block은 금융과 중소기업 대상 서비스를 운영하며, Square는 이미 주문 응대에 음성 AI를 사용하고 있다. 기사는 온디바이스로 작동하는 자체 모델이 있다면 더 낮은 비용으로 기업용과 소비자용 경험을 제공할 가능성이 있다고 전한다.