OpenAI lançado um relatório divulgado recentemente na terça-feira detalhando a interrupção de mais de 40 redes maliciosas que violaram suas políticas de uso, resultado do monitoramento de conversas do ChatGPT com ferramentas automatizadas e revisores humanos para evitar o uso indevido do sistema. Embora os usuários de chatbots de IA, incluindo ChatGPT, possam ativar configurações de privacidade para evitar que suas conversas sejam usadas para treinar futuros modelos de IA, isso não impede todo o monitoramento. Empresas de IA como a OpenAI examinam os bate-papos para manter a segurança do usuário e a integridade da plataforma. Este processo envolve a implantação de sistemas automatizados e o uso de revisores humanos. O objetivo declarado é evitar o uso indevido do ChatGPT para atividades que possam causar danos, como a criação de malware ou o desenvolvimento de ferramentas de vigilância em massa e outras ameaças à segurança. Os usuários têm a opção de ajustar as configurações de privacidade para evitar que dados pessoais ou relacionados ao trabalho sejam absorvidos pelo pool de dados usado para treinar versões subsequentes de IA. O relatório da empresa detalhou a interrupção e relatórios de mais de 40 redes que violaram suas políticas de uso. Os atores maliciosos identificados como tentativas de uso indevido do ChatGPT incluíam uma série de entidades. A OpenAI os categorizou como “regimes autoritários para controlar populações ou coagir outros estados, bem como abusos como fraudes, atividades cibernéticas maliciosas e operações de influência secreta”. As conclusões da OpenAI indicam que estes agentes de ameaças utilizam principalmente inteligência artificial para acelerar e refinar as táticas existentes. A empresa observou que esses atores estão usando IA para melhorar “manuais antigos para avançar mais rápido”, mas não estão necessariamente adquirindo capacidades fundamentalmente novas diretamente do uso do ChatGPT. Além de combater agentes estatais mal-intencionados e criminosos, a OpenAI também monitora conversas em busca de indicações de automutilação para ajudar usuários que possam estar em perigo. Este foco na segurança individual do usuário foi descrito como uma prioridade fundamental, uma ênfase que foi intensificada após relatos de morte por suicídio de um adolescente, que havia sido associada a interações com o ChatGPT. Em conexão com este foco na segurança, a OpenAI também introduziu controles parentais para o serviço ChatGPT nas últimas semanas. O relatório da OpenAI não oferece uma explicação detalhada dos mecanismos específicos envolvidos na sinalização de possíveis abusos. A empresa reconheceu a existência de uma zona cinzenta, onde certas atividades poderiam ser interpretadas como benignas ou maliciosas dependendo do contexto. Exemplos de tais atividades ambíguas incluem “instruções e gerações que podem, dependendo do contexto, indicar atividades inócuas ou abusos, como tradução de textos, modificação de código ou criação de um site”. Para navegar nessa complexidade, a empresa afirmou que emprega uma “abordagem diferenciada e informada que se concentra em padrões de comportamento dos atores da ameaça, em vez de interações de modelos isolados”. Este método foi projetado para identificar ameaças genuínas sem interromper o uso legítimo da base mais ampla de usuários. Relatório de Gizmodo forneceu exemplos específicos de ameaças de alto nível que a OpenAI identificou e interrompeu. Um desses casos envolveu uma rede de crime organizado, que se acredita operar a partir do Camboja, que tentou utilizar o ChatGPT para agilizar as suas operações ilícitas. Outro caso envolveu uma operação de influência política russa que usou a IA para gerar avisos destinados ao uso com modelos de IA de geração de vídeo de terceiros. A OpenAI também bloqueou contas associadas ao governo chinês que procuravam assistência na concepção de sistemas para monitorizar conversas em plataformas de redes sociais. Mais detalhes sobre atividades interrompidas foram fornecidos por Reuters. De acordo com seu relatório, a OpenAI baniu um conjunto de contas em chinês que buscavam assistência com campanhas de phishing e malware. Essas contas também buscaram ajuda com automações que poderiam ser executadas por meio do DeepSeek, outra ferramenta de IA. Separadamente, contas ligadas a grupos criminosos russos que tentavam desenvolver malware com a ajuda do ChatGPT também foram bloqueadas. Em uma ação semelhante, usuários de língua coreana que usavam a plataforma para facilitar campanhas de phishing foram banidos do serviço. O relatório de outubro da OpenAI concentrou-se exclusivamente em atividades maliciosas e operações secretas e não incluiu dados ou detalhes sobre conversas sobre automutilação. No entanto, a empresa fez anúncios separados relacionados a este assunto. Em uma declaração recente na plataforma de mídia social X, a OpenAI disse que atualizou um modelo chamado GPT-5 Instant para “reconhecer e apoiar melhor as pessoas em momentos de angústia”. A empresa explicou que partes sensíveis das conversas agora são encaminhadas para este modelo especializado, projetado para fornecer respostas mais úteis. O ChatGPT agora também informará aos usuários qual modelo específico está sendo usado durante a conversa. https://twitter.com/OpenAI/status/1974234951928459450 Esta atualização faz parte de uma iniciativa mais ampla para melhorar a segurança do usuário. No final de agosto, a OpenAI anunciou que o ChatGPT foi treinado para não responder diretamente a solicitações que mencionassem intenções de automutilação. Em vez de atender a tais solicitações, a IA está programada para responder com empatia e direcionar os usuários para ajuda profissional, fornecendo informações para serviços de prevenção de suicídio e linhas diretas de crise. Para situações em que a IA detecta um risco potencial de danos físicos a outros indivíduos, um protocolo diferente é ativado. Essas conversas são encaminhadas para sistemas especializados que podem envolver revisão humana e podem levar a uma escalada junto às agências de aplicação da lei, se considerado necessário.
