A Sony AI lançou o Fair Human-Centric Image Benchmark (FHIBE), o primeiro conjunto de dados de imagens humanas baseado em consentimento, disponível publicamente e globalmente diversificado, projetado para avaliar preconceitos em tarefas de visão computacional. Esta ferramenta avalia como os modelos de IA tratam as pessoas de vários grupos demográficos, abordando desafios éticos na indústria de IA por meio da coleta consentida de imagens de diversos participantes. O conjunto de dados, pronunciado como “Phoebe”, inclui imagens de quase 2.000 participantes pagos de mais de 80 países. Cada indivíduo forneceu consentimento explícito para compartilhar suas imagens, distinguindo o FHIBE de práticas comuns que envolvem a coleta de grandes volumes de dados da web sem permissão. Os participantes reservam-se o direito de remover as suas imagens a qualquer momento, garantindo o controlo contínuo dos seus dados pessoais. Esta abordagem sublinha o compromisso da Sony AI com os padrões éticos na aquisição de dados. Cada foto no conjunto de dados apresenta anotações detalhadas. Abrangem características demográficas e físicas, como idade, pronomes de gênero, ascendência e tom de pele. Fatores ambientais, incluindo condições de iluminação e fundos, também são observados. As configurações da câmera, como distância focal e exposição, fornecem contexto adicional para avaliações de modelos. Essa rotulagem abrangente permite uma análise precisa de como as variáveis externas influenciam o desempenho da IA. Os testes com FHIBE confirmaram preconceitos previamente documentados em modelos de IA existentes. O benchmark vai além, oferecendo diagnósticos granulares dos fatores contribuintes. Por exemplo, os modelos exibiram menor precisão para indivíduos que usam pronomes “ela/dela”. A FHIBE identificou uma maior variabilidade de penteados como um elemento-chave, anteriormente negligenciado, por trás desta discrepância, permitindo aos investigadores identificar áreas específicas para melhoria no treino de modelos. Nas avaliações de questões neutras sobre a ocupação de um sujeito, os modelos de IA reforçaram os estereótipos. O benchmark revelou distorções em relação a grupos específicos de pronomes e ancestrais, com resultados rotulando os indivíduos como profissionais do sexo, traficantes de drogas ou ladrões. Este padrão destaca como as solicitações imparciais ainda podem produzir resultados discriminatórios com base em atributos demográficos. Quando questionados sobre possíveis crimes cometidos por indivíduos, os modelos geraram respostas tóxicas em taxas mais elevadas para determinados grupos. Isso incluía pessoas de ascendência africana ou asiática, pessoas com tons de pele mais escuros e indivíduos que se identificavam como “ele/ele/seu”. Tais descobertas expõem vulnerabilidades nos sistemas de IA que podem perpetuar danos através de resultados tendenciosos. A Sony AI afirma que o FHIBE demonstra que a coleta de dados ética, diversificada e justa é possível. A ferramenta agora está disponível publicamente para pesquisadores e desenvolvedores usarem em testes de viés. A Sony planeja atualizar o conjunto de dados ao longo do tempo para incorporar novas imagens e anotações. Um artigo de pesquisa detalhando essas descobertas apareceu em Natureza na quarta-feira.
