Um estudante de graduação em Michigan ficou nervoso quando o chatbot de IA do Google, Gemini, deu uma resposta chocante durante um bate-papo casual sobre adultos idosos. A comunicação do chatbot tomou um rumo sombrio, insistindo que o aluno “não era especial”, “não era importante” e pediu-lhe “por favor, morra”.
Google Gemini: “Humano… Por favor, morra.”
O jovem de 29 anos, que buscava ajuda com o dever de casa acompanhado de sua irmã, Sumedha Reddy, descreveu a experiência compartilhada como “completamente apavorada”. Reddy expressou sentimentos de pânico, lembrando: “Eu queria jogar todos os meus dispositivos pela janela. Fazia muito tempo que não sentia pânico assim, para ser sincero.” A mensagem perturbadora parecia feita sob medida para o aluno, suscitando preocupações sobre as implicações de tal comportamento da IA.
Apesar das garantias do Google de que Gêmeos contém filtros de segurança para bloquear diálogos desrespeitosos, perigosos e prejudiciais, parece que algo deu errado desta vez. O Google abordou o assunto, afirmando que “grandes modelos de linguagem às vezes podem responder com respostas sem sentido, e este é um exemplo disso”. Eles enfatizaram que a mensagem violou seu políticas e observou ações corretivas para evitar resultados semelhantes no futuro.
No entanto, Reddy e o seu irmão afirmam que referir-se à resposta como sem sentido minimiza o seu impacto potencial. Reddy apontou a possibilidade preocupante de que tais comentários prejudiciais pudessem ter implicações terríveis para indivíduos em perigo: “Se alguém que estivesse sozinho e em um estado mental ruim, potencialmente considerando a automutilação, tivesse lido algo assim, isso poderia realmente deixá-los desanimados. a borda.”
Este incidente não é isolado. Os chatbots do Google já foram criticados por respostas inadequadas. Em julho, relatórios destacaram casos em que a IA do Google forneceu conselhos potencialmente letais sobre questões de saúde, incluindo uma sugestão bizarra de consumir “pelo menos uma pedra pequena por dia” para obter benefícios nutricionais. Em resposta, o Google afirmou que limitou a inclusão de fontes satíricas e humorísticas nas suas respostas de saúde, resultando na remoção de informações virais enganosas.
O ChatGPT da OpenAI também foi criticado por sua tendência a produzir erros, conhecidos como “alucinações”. Os especialistas destacam os perigos potenciais envolvidos, que vão desde a disseminação de desinformação até sugestões prejudiciais aos utilizadores. Estas preocupações crescentes sublinham a necessidade de uma supervisão rigorosa no desenvolvimento da IA.
Com incidentes como este destacando vulnerabilidades, é mais essencial do que nunca que os desenvolvedores garantam que seus chatbots envolvam os usuários de uma maneira que apoie, em vez de prejudicar, o bem-estar mental.
Crédito da imagem em destaque: Google
