ElevenLabs v4, 목소리 10초면 복제해 90개 언어로 말한다

ElevenLabs가 글을 소리 내 읽어주는 텍스트 음성 변환 모델 Eleven v4를 공개했다. 작가가 원하는 대로 웃음이나 한숨을 넣고, 프랑스어 억양으로 화난 듯 말하게 할 수도 있다. 즉석 음성 복제에는 음성사서함에 메시지를 남기는 시간보다 짧은 녹음이면 충분하다. 이렇게 복제한 목소리는 고유한 음색을 유지한 채 수십 개 언어를 구사한다. 무료 ElevenLabs 계정만 있으면 누구나 사용할 수 있다.

소리를 활용해 콘텐츠를 만드는 사람이라면 작업 시간을 며칠씩 줄일 수 있다. 팟캐스터는 자기 목소리로 에피소드를 일본어로 더빙할 수 있고, 인디 게임 개발자는 스튜디오를 예약하지 않고도 단역 캐릭터마다 개성 있는 말투를 입힐 수 있다. 오디오북 낭독자는 대본에 멈춤이나 웃음소리를 바로 적어 넣으면 된다. 반대로 우려도 분명하다. 음성 메시지나 화상 통화 녹음, 공개 게시물에 올라온 몇 초짜리 영상만으로도 누군가의 목소리를 그럴듯하게 복제할 수 있게 됐다.

가장 큰 변화는 표현을 제어할 수 있다는 점이며, 목소리 복제에는 오디오가 단 10초만 필요하다. 이전 ElevenLabs 모델은 글을 매끄럽게 읽었지만 감정은 알아서 추측해야 했다. v4는 [웃음]이나 [프랑스 억양으로 화난 듯 말함]처럼 대괄호 안에 적은 연기 지시를 따르고, [약한 빗소리]나 [전화기 진동] 같은 배경음도 반영한다. 회사에 따르면 모델은 주변 맥락에서 어조와 말의 속도도 파악하기 때문에, 긴장감 넘치는 장면의 대사는 별도 지시가 없어도 긴박하게 들린다. 여러 화자가 등장하는 장면에서도 긴 대화 내내 목소리의 일관성을 유지한다. 장이 진행되는 동안 목소리가 달라지곤 했던 합성 음성의 약점을 보완한 것이다.

지원 언어는 이전 버전의 70개에서 90개 이상으로 늘었다. TechCrunch에 따르면 ElevenLabs는 일본어, 브라질 포르투갈어, 중국어 표준어, 광둥어에서 품질이 크게 향상됐다고 강조했다. 복제한 목소리는 언어를 바꿔도 정체성을 유지한다. 스페인어 사용자의 목소리를 복제해 독일어를 읽게 해도 그 사람의 목소리로 들리면서 독일어는 원어민 억양으로 구사한다. 두 번째 모델인 v4 Turbo는 음성 비서와 콜센터 상담원을 위해 설계됐다. 약 150밀리초 만에 말을 시작하는데, 이는 대화에서 서로 말을 주고받을 때 생기는 간격과 비슷한 수준이다. 뒤에서 작동하는 챗봇이 답변 작성을 마치기 전에 먼저 말을 시작할 수도 있다.

이 시장에 뛰어든 곳은 ElevenLabs만이 아니다. Google, OpenAI, Cartesia, Deepgram, Fish Audio도 같은 개발자들에게 합성 음성을 판매한다. 출시 몇 시간 만에 독립 벤치마크 업체 Artificial Analysis는 청취자들이 익명으로 제공된 음성 샘플을 나란히 듣고 평가하는 자사 음성 순위에서 v4를 1위에 올렸다. ElevenLabs는 경쟁사 제품과의 블라인드 비교에서 청취자 4명 중 3명꼴로 v4를 선호했다고도 밝혔다. 이 수치는 자체 테스트에서 나온 결과다.

주의할 점은 우선 ‘10초’라는 기준에 있다. ElevenLabs는 복제 대상자의 동의가 있어야 음성을 업로드할 수 있다고 안내하고, 자사 도구로 만든 오디오를 식별할 수 있는 공개 분류기도 운영하며, 일부 정치인의 목소리 복제는 아예 차단한다. 이런 조치는 가벼운 악용을 막을 수 있지만, 업로드한 사람이 사실대로 말한다는 전제에 기대고 있다. 사기꾼은 가족의 목소리가 담긴 짧은 샘플만 있어도 위급 상황을 가장한 전화를 걸 수 있다. 무료 이용량도 적다. Unite.AI가 요금제를 정리한 내용에 따르면 한 달에 생성할 수 있는 오디오는 약 10분이며, 유료 요금제는 월 6달러부터 시작한다.

Eleven v4와 v4 Turbo는 9월 28일 ElevenLabs의 크리에이터 앱과 에이전트 플랫폼, 개발자 API에 출시됐다. 런던에 본사를 둔 ElevenLabs는 2월 Sequoia로부터 기업가치 110억 달러를 인정받으며 5억 달러를 투자받았다. TechCrunch 보도에 따르면 연환산 매출은 6억 달러를 넘어섰다. 최고경영자 마티 스타니셰프스키(Mati Staniszewski)는 TechCrunch에 회사가 향후 몇 년 안에 증시 상장을 목표로 하고 있다고 밝혔지만, 구체적인 시점은 제시하지 않았다.

창작자에게 90개 언어로 제때 웃어주는 목소리는 브라우저 탭 하나에 들어온 녹음 스튜디오다. 다른 모든 사람에게는 전화기 너머의 익숙한 목소리가 돈을 요구할 때 전화를 끊고 다시 걸어 확인해야 할 이유가 하나 더 생겼다.

태그: Pelé, Raphael, Baker Mayfield, ElevenLabs, AI 음성, Eleven v4