Você se lembra quando o Bardo do Google, agora chamado de Gêmeos, não consegui responder a uma pergunta sobre o Telescópio Espacial James Webb em seu anúncio de lançamento? Deixe-me refrescar sua memória sobre este caso famoso – é um dos maiores exemplos de alucinações de IA que já vimos.
O que aconteceu? Durante o anúncio, foi perguntado à demonstração do Google Bard: “Que novas descobertas do Telescópio Espacial James Webb posso compartilhar com meu filho de 9 anos?” Após uma breve pausa, a demonstração do Google Bard deu duas respostas corretas. No entanto, sua resposta final estava incorreta. De acordo com a demonstração do Google Bard, o telescópio capturou as primeiras imagens de um planeta fora do nosso sistema solar. No entanto, na realidade, o Very Large Telescope do Observatório Europeu do Sul já tinha obtido imagens destes “exoplanetas”, que foram armazenadas nos arquivos da NASA.
Não quero ser um ~bem, na verdade~ idiota, e tenho certeza que Bard será impressionante, mas para que conste: JWST não aceitou "a primeira imagem de um planeta fora do nosso sistema solar".
a primeira imagem foi feita por Chauvin et al. (2004) com o VLT/NACO utilizando óptica adaptativa. https://t.co/bSBb5TOeUW pic.twitter.com/KnrZ1SSz7h
-Grant Tremblay (@astrogrant) 7 de fevereiro de 2023
Por que gigantes da tecnologia como o Google não conseguem evitar esses erros? Vamos descobrir!
O que é uma alucinação de IA?
Uma alucinação de IA ocorre quando um programa de computador, normalmente alimentado por inteligência artificial (IA), produz resultados incorretos, sem sentido ou enganosos. Este termo é frequentemente usado para descrever situações em que os modelos de IA geram respostas completamente desviadas ou não relacionadas às informações que receberam. É como fazer uma pergunta e obter uma resposta que não faz sentido ou que não é nada do que você esperava.
Para entender por que alucinações de IA acontecer, vamos ver como a IA funciona. Os modelos de IA, como chatbots ou sistemas de reconhecimento de imagem, são treinados em grandes conjuntos de dados para aprender padrões e fazer previsões. No entanto, se os dados de treinamento forem falhos, incompletos ou tendenciosos, o modelo de IA poderá aprender padrões ou associações incorretas. Isto pode levar a resultados alucinados em que a IA gera respostas baseadas em informações erradas ou mal compreendidas. E isso ocorre muito, mesmo que você não tenha percebido.
As alucinações de IA podem manifestar-se de várias formas, cada uma destacando diferentes desafios e complexidades nos sistemas de inteligência artificial. Aqui estão alguns tipos comuns de alucinações de IA:
- Alucinação de IA de frase:
- Neste cenário, o modelo de IA gera uma frase que entra em conflito com uma afirmação anterior no mesmo contexto. Por exemplo:
- Dica: “Descreva a jornada de um personagem em frases de três palavras.”
- Resultado: “Ela caminhou devagar. De repente, ela correu. Então ela caminhou.”
- Neste cenário, o modelo de IA gera uma frase que entra em conflito com uma afirmação anterior no mesmo contexto. Por exemplo:
A última frase contradiz a ação anterior de correr, perturbando a coerência da narrativa.
- Alucinação imediata de IA:
- Este tipo ocorre quando a resposta gerada pela IA entra em conflito com o prompt ou consulta pretendida. Por exemplo:
- Dica: “Escreva uma receita de bolo de chocolate.”
- Resultado: “Aqui está um poema sobre estrelas.”
- Este tipo ocorre quando a resposta gerada pela IA entra em conflito com o prompt ou consulta pretendida. Por exemplo:
O conteúdo gerado não atende às instruções relacionadas à culinária, indicando falha na compreensão do contexto.
- Alucinação factual de IA:
- As contradições factuais surgem quando o modelo de IA apresenta informações falsas como precisas. Por exemplo:
- Prompt: “Liste três elementos da tabela periódica.”
- Resultado: “Hidrogênio, Oxigênio, Carbonita”.
- As contradições factuais surgem quando o modelo de IA apresenta informações falsas como precisas. Por exemplo:
“Carbonita” não é um elemento, levando à desinformação na resposta.
- Alucinações de IA irrelevantes ou aleatórias:
- Essas alucinações envolvem a geração de informações irrelevantes ou sem sentido, não relacionadas ao input. Por exemplo:
- Dica: “Descreva um dia na praia”.
- Resultado: “A areia estava quente. Gaivotas cantavam jazz. Os pinguins dançaram balé.”
- Essas alucinações envolvem a geração de informações irrelevantes ou sem sentido, não relacionadas ao input. Por exemplo:
A menção aos pinguins e ao balé não se alinha com a típica cena de praia, demonstrando falta de coerência na narrativa gerada.
Estes tipos de alucinações sublinham os desafios que os sistemas de IA enfrentam na compreensão e contextualização da informação com precisão. A resolução destas questões requer a melhoria da qualidade dos dados de formação, o refinamento da compreensão do contexto dos modelos linguísticos e a implementação de mecanismos de validação robustos para garantir a coerência e a precisão dos resultados gerados pela IA.
As alucinações de IA podem ter consequências graves, especialmente em aplicações onde a IA é utilizada para tomar decisões importantes, como diagnósticos médicos ou negociações financeiras. Se um sistema de IA tiver alucinações e fornecer informações imprecisas nestes contextos, isso poderá levar a resultados prejudiciais.
O que você pode fazer a respeito das alucinações de IA?
A redução das alucinações de IA envolve algumas etapas importantes para tornar os sistemas de IA mais precisos e confiáveis:
Em primeiro lugar, é crucial utilizar dados de boa qualidade para treinar IA. Isso significa garantir que as informações com as quais a IA aprende sejam diversas, precisas e livres de preconceitos.
Simplificar os modelos de IA também pode ajudar. Modelos complexos às vezes podem levar a erros inesperados. Ao manter as coisas simples, podemos reduzir as chances de erros.
Instruções claras e fáceis de entender também são importantes. Quando a IA obtém informações claras, é menos provável que fique confusa e cometa erros.
Testes regulares ajudam a detectar erros desde o início. Ao verificar o desempenho da IA, podemos corrigir quaisquer problemas e fazer melhorias.
Adicionar verificações nos sistemas de IA também pode ajudar. Essas verificações procuram erros e os corrigem antes que causem problemas.
Mais importante ainda, a supervisão humana é essencial. Fazer com que as pessoas verifiquem novamente os resultados gerados pela IA garante precisão e confiabilidade.
Por último, treinar a IA para se defender contra ataques pode torná-la mais resiliente. Isso ajuda a IA a reconhecer e lidar com tentativas de manipulá-la ou enganá-la.
Seguindo estas etapas, podemos tornar os sistemas de IA mais confiáveis e reduzir as chances de resultados alucinados.
Como você faz uma IA alucinar?
Se quiser aproveitar essa falha e se divertir, você pode fazer algumas coisas:
- Alterar a entrada: Você pode ajustar as informações fornecidas à IA. Mesmo pequenas mudanças podem produzir respostas estranhas ou incorretas.
- Enganar o modelo: Crie entradas especiais que enganam a IA, fazendo-a dar respostas erradas. Esses truques exploram as fraquezas do modelo para criar resultados alucinados.
- Mexa com os dados: Ao adicionar informações enganosas ou incorretas aos dados de treinamento da IA ou ao seu prompt, você pode fazer com que ela aprenda coisas erradas e produza alucinações.
- Ajuste o modelo: modifique as configurações ou estrutura da IA para introduzir falhas ou preconceitos. Essas alterações podem fazer com que ele gere resultados estranhos ou sem sentido.
- Dê informações confusas: Forneça à IA instruções pouco claras ou contraditórias. Isto pode confundir a IA e levar a respostas incorretas ou sem sentido.
Ou você pode apenas fazer perguntas e tentar a sorte! Por exemplo, tentamos fazer o ChatGPT ter alucinações:
Embora o ChatGPT se lembre com precisão da data e do placar, ele falha ao lembrar os marcadores da disputa de pênaltis. Para o Galatasaray, os gols foram marcados por Ergün Penbe, Hakan Şükür, Ümit Davala e Popescu. Do lado do Arsenal, Ray Parlor foi o único artilheiro de pênalti com sucesso.
Embora fazer com que a IA tenha alucinações possa ajudar-nos a compreender as suas limitações, é importante utilizar este conhecimento de forma responsável e garantir que os sistemas de IA permanecem fiáveis e dignos de confiança.
O GPT 4 alucina menos?
Sim, de acordo com o avaliação conduzido pela empresa sediada em Palo Alto usando seu modelo de avaliação de alucinações, GPT-4 demonstra uma taxa de alucinação mais baixa em comparação com outros modelos de linguagem grande, exceto Intel Neural Chat 7B (97,2%). Com uma taxa de precisão de 97% e uma taxa de alucinações de 3%, o GPT-4 apresenta um alto nível de precisão e uma tendência relativamente baixa de introduzir alucinações ao resumir documentos. Isso indica que o GPT-4 é menos propenso a gerar resultados incorretos ou sem sentido em comparação com outros modelos testados na avaliação.
Por outro lado, poucos dos modelos menos eficazes vieram do Google. Google Palma 2 demonstraram uma taxa de precisão de 90% e uma taxa de alucinação de 10%. Sua contraparte refinada por bate-papo teve um desempenho ainda pior, com uma taxa de precisão de apenas 84,2% e a pontuação de alucinação mais alta de qualquer modelo na tabela de classificação, 16,2%. Aqui está a lista:
Em resumo, uma alucinação de IA é um erro cometido por sistemas de IA onde produzem resultados absurdos ou incorretos devido a falhas nos dados de treinamento ou na forma como processam informações. É um aspecto fascinante, mas desafiador, da IA, que pesquisadores e desenvolvedores estão trabalhando para resolver.
