Несколько дней назад речевой стартап ElevenLabs запустил бета-версию своей платформы, которая предоставляет пользователям возможность создавать новые голоса для преобразования текста в речь; также можно синтезировать чей-либо голос. Пользователи Сети уже через несколько дней начали использовать этот инструментарий в низменных целях, сообщает Engadget.
Как компания-разработчик сообщила в Twitter, наблюдается «всё больше случаев неправильного использования клонирования голоса». Также в твите добавляется, что сотрудники пытаются решить проблему путем «внедрения дополнительных мер предосторожности».
Хотя ElevenLabs не уточнила, что подразумевается под «случаями неправильного использования», пользователи веб-форума 4chan с помощью синтезатора речи начали создавать аудио, в которых используются голоса знаменитостей, говорящих что-то сомнительное. Так, известно о появлении аудио с голосом, похожим на голос актрисы Эммы Уотсон, читающей «Майн Кампф». Пользователи также публиковали голосовые ролики, которые отражают гомофобные и расистские настроения. Не совсем ясно, все ли клипы использовали технологию ElevenLab, но одно из сообщений на 4chan с большой коллекцией голосовых файлов содержало ссылку на платформу стартапа.
ElevenLabs сейчас собирает предложения о том, как предотвратить злоупотребления. Среди них — добавление дополнительных уровней к проверке учётной записи, например, требования ввода платёжной информации или идентификатора. Также рассматривается возможность того, чтобы пользователи подтверждали авторские права на голос, который они хотят клонировать. Кроме того, компания подумывает об отказе от своего инструмента Voice Lab, чтобы заставить пользователей отправлять запросы на клонирование голоса для проверки вручную.
Контекст
В 2021 году преступники похитили у банка в ОАЭ $35 миллионов, подделав голос с помощью технологий искусственного интеллекта. Используя дипфейк, злоумышленники обманули сотрудника банка, убедив его отправить им деньги.
