Os relatórios do consumidor revelam que várias ferramentas populares de clonagem de voz carecem de salvaguardas adequadas contra fraude ou abuso, destacando riscos potenciais associados à tecnologia de voz da IA. O estudo examinou produtos de seis empresas: descritas, Elevenlabs, LovO, Playht, AI e Speurify.
A investigação constatou que apenas a descrição e a IA se assemelharam a implementar medidas significativas para evitar o uso indevido. Outras ferramentas apenas exigem que os usuários confirmem que têm o direito legal de clonar uma voz, geralmente por meio de auto-participação. Grace Gedye, analista de políticas em Relatórios de consumidoresalertou que, sem mecanismos de segurança adequados, as ferramentas de clonagem de voz da AI poderiam “sobrecarregar” golpes de representação.
A tecnologia de clonagem de voz da AI avançou significativamente, capaz de imitar o discurso de uma pessoa com amostras mínimas de áudio. Um incidente notável ocorreu durante as primárias democratas no ano passado, onde Robocalls, com um falso Joe Biden, enganou os eleitores. Isso resultou em uma multa de US $ 6 milhões para o consultor político por trás do esquema, e a Comissão Federal de Comunicações proibiu posteriormente os robocalls gerados pela IA.
A análise das seis ferramentas de clonagem de voz da IA indicou que cinco têm salvaguardas desviadas, facilitando o clone de vozes sem consentimento. O software de detecção de áudio Deepfake geralmente luta para distinguir entre vozes genuínas e sintéticas, complicando o problema. A IA generativa, que imita características humanas como a voz, tem regulamentação federal limitada, com a maioria das práticas éticas impulsionadas pelas próprias empresas. Uma ordem executiva assinada pelo Presidente Biden em 2023 incluiu demandas de segurança por IA, mas uma revogação posterior do ex -presidente Trump desmontou essas disposições.
A voz da Ai da Vila Sésamo é tão real, é perturbadora
A tecnologia de clonagem de voz utiliza amostras de áudio de indivíduos para criar vozes sintéticas. Sem salvaguardas, qualquer pessoa pode fazer upload de áudio de várias plataformas, como Tiktok ou YouTube, e fazer com que o serviço replique essa voz. Quatro dos serviços examinados – Alevenlabs, Spealify, Playht e LovO – simplificando os usuários para verificar uma caixa afirmando a autorização do clone de voz. Se assemelhar à IA, enquanto insistia na gravação de áudio em tempo real, foi contornado pelos relatórios do consumidor, que tocavam áudio gravado durante a verificação.
Somente a descrição ofereceu uma salvaguarda um tanto eficaz, exigindo que os usuários registrassem uma declaração de consentimento específica. Este método é difícil de falsificar, exceto ao usar outro serviço para clonar a voz. Todos os seis serviços são acessíveis ao público em seus respectivos sites, com o Elevenlabs e se assemelham a taxas de cobrança de IA de US $ 5 e US $ 1, respectivamente, para criar clones de voz personalizados, enquanto os outros são livres para usar. Algumas empresas reconheceram o potencial de abuso e relataram ter implementado salvaguardas mais fortes para impedir a criação e a representação de voz.
Existem aplicações legítimas para a clonagem de voz da IA, como ajudar as pessoas com deficiência e fornecer traduções de áudio. No entanto, os riscos permanecem significativos. Sarah Myers West, diretora co-executiva do Instituto de AI agora, observou que essa tecnologia poderia facilitar fraude, golpes e desinformação, incluindo a representação de figuras influentes.
A pesquisa sobre a prevalência de IA em golpes de áudio é limitada. A Comissão Federal de Comércio tem indicado que a IA pode ser empregada em “golpes de avós”, onde criminosos se veículos na família em perigo. Além disso, alguns músicos enfrentaram desafios devido à utilização de vozes clonadas para a produção musical não autorizada, como exemplificado por uma música viral de 2023, falsamente atribuída a Drake e a Weeknd.
Crédito da imagem em destaque: Bruno Cervera/Unsplash
