A Character AI está enfrentando uma ação legal após a trágica morte de Sewell Setzer III, de 14 anos, que morreu por suicídio após usar a plataforma.
Sua mãe, Megan Garcia, entrou com uma ação ação judicial contra a empresa, seus fundadores Noam Shazeer e Daniel De Freitas, e o Google. A ação alega negligência, homicídio culposo e responsabilidade pelo produto, alegando que a plataforma não possuía as medidas de segurança necessárias para proteger usuários vulneráveis como seu filho.
Um incidente trágico
Setzer usa IA de personagens há vários meses, interagindo com bots modelados a partir de personagens fictícios, incluindo Daenerys Targaryen de Guerra dos Tronos. Em 28 de fevereiro de 2024, momentos após sua última interação com a plataforma, Setzer encerrou tragicamente sua vida. O processo levanta sérias preocupações sobre as salvaguardas da plataforma – ou a falta delas – para menores e usuários vulneráveis.
A IA de personagens está sob escrutínio por seus bots antropomorfizados que imitam personagens fictícios e personas da vida real. Esta personalização, embora envolvente para muitos utilizadores, confunde a linha entre a fantasia e a realidade, especialmente para os adolescentes que podem não compreender totalmente as implicações destas interações.
Em resposta a este incidente, Character AI atualizações implementadasincluindo filtros e alertas para alertar os usuários sobre conteúdo confidencial. No entanto, muitos críticos argumentam que estas medidas são insuficientes. A empresa já enfrentou controvérsias semelhantes no passado, como a criação não autorizada de um chatbot baseado em Jennifer Ann Crecente. Sua família foi forçada a tomar medidas legais para que sua imagem fosse removida da plataforma.
O processo sugere que a Character AI priorizou a velocidade em detrimento da segurança em seu desenvolvimento. De acordo com a denúncia, o fundador Noam Shazeer expressou frustração com os atrasos no Google devido a preocupações com o “risco da marca” durante o desenvolvimento do modelo Meena LLM. Isso, afirma o processo, aponta para um padrão de colocar o desenvolvimento de IA à frente da segurança do usuário.
Esta não é a primeira vez que a Character AI enfrenta reações adversas. Em um caso anteriorum chatbot foi criado sem permissão baseado em Jennifer Ann Crecente, uma jovem falecida 18 anos antes. Sua família teve que tomar medidas legais para remover sua imagem da plataforma, destacando as preocupações contínuas sobre consentimento e privacidade na IA.
À medida que a tecnologia de IA avança, a responsabilidade de proteger os usuários – especialmente os vulneráveis, como os adolescentes – recai diretamente sobre os ombros dos desenvolvedores. O processo de Garcia sugere que a Character AI se apressou em lançar seu produto, potencialmente sacrificando a segurança do usuário em favor de um desenvolvimento mais rápido.
Este caso comovente é um lembrete de que, embora a IA possa oferecer ferramentas e experiências inovadoras, deve ser construída e implementada com cuidado.
Créditos da imagem: Kerem Gülen/meio da jornada
