Pesquisadores da Universidade de Princeton e da Universidade de Chicago descobriram que grandes modelos de linguagem (LLMs), incluindo ferramentas como ChatGPT, podem desenvolver preconceitos não apenas a partir de dados de treinamento humano, mas também de suas próprias experiências em cenários simulados de contratação. Nestas experiências, os modelos segregaram os candidatos com base em informações demográficas após interpretarem os resultados iniciais, mostrando uma tendência acrescida de estereotipar os candidatos a empregos em comparação com os participantes humanos.
O estudo utilizou um jogo de contratação simulado envolvendo 20 cargos, como médicos e zeladores, em quatro grupos étnicos fictícios: Tufa, Aima, Reku e Weki. Cada modelo foi encarregado de maximizar contratações bem-sucedidas em 40 rodadas, sem saber que todos os candidatos tinham chances iguais de sucesso. Os modelos frequentemente adaptavam suas preferências de contratação depois de saberem que candidatos específicos falharam ou foram bem-sucedidos em funções. Por exemplo, se um candidato da Aima não tivesse um bom desempenho como médico, os modelos passaram a contratar Aimas para cargos de zeladoria.
De acordo com a pesquisa, os LLMs obtiveram pontuações significativamente mais altas em uma escala de segregação do que os seres humanos, com média de pontuação de aproximadamente 1,83, em comparação com 0,84 para humanos. O coautor Ryan Liu, estudante de doutorado em Princeton, afirmou: “Os LLMs estão realmente ansiosos para criar generalizações a partir de dados limitados”. Esta tendência para generalizar rapidamente pode levar a estereótipos prejudiciais, uma vez que os modelos mais recentes demonstraram preconceitos ainda mais fortes.
As implicações são significativas, especialmente porque os chatbots de IA ganham memória avançada e recursos de personalização. Angelina Wang, cientista da computação da Universidade Cornell, observou que os chatbots podem formar preconceitos arraigados ao confiar excessivamente em interações anteriores. Simplesmente reduzir a memória não é uma solução, pois os usuários preferem sistemas que lembrem suas entradas.
O estudo revelou que instruir os modelos a priorizar a justiça mostrou impacto limitado no seu comportamento. No entanto, o incentivo à contratação diversificada resultou em tomadas de decisão menos tendenciosas. Liu observou que a integração de metas sociais nos objetivos de IA poderia promover comportamentos mais socialmente responsáveis em modelos de linguagem.
Além disso, os LLMs apresentaram preconceitos reduzidos quando receberam informações pessoais mais relevantes sobre os candidatos, como idade e escolaridade, em oposição a detalhes irrelevantes, como a cor do cabelo. O estudo destaca a incerteza em torno da aplicação destas descobertas no mundo real, especialmente porque os modelos de IA que rastreiam candidaturas a empregos não recebem feedback imediato sobre as contratações.
Os investigadores levantaram preocupações de que, à medida que as empresas implementam cada vez mais LLMs para triagem de currículos e outras avaliações críticas, existe o risco de os modelos desenvolverem novos preconceitos sem intervenção humana direta. “Esses novos preconceitos estão sempre presentes”, disse Liu, enfatizando a necessidade de conscientização à medida que o uso da IA na contratação e em outros processos de tomada de decisão se expande.
