O consultor científico da Casa Branca, Michael Kratsios alegou que a Moonshot, uma empresa chinesa, copiou o modelo de linguagem grande (LLM) Fable da Anthropic para criar o Kimi K3, que é o maior modelo de peso aberto atualmente disponível. Kratsios afirmou que o modelo da Moonshot utilizava chips não autorizados para exportação para a China, acrescentando que a destilação industrial secreta destinada a roubar tecnologia dos EUA é “inaceitável”. Ele observou as discussões em andamento sobre o potencial banimento dos modelos chineses abertos que se tornaram controversos no setor de IA.
O secretário do Tesouro, Scott Bessent, repetiu os comentários de Kratsios, revelando que grandes modelos de linguagem dos EUA foram detectados em muitos modelos chineses, que ele também descreveu como “inaceitáveis”. O Departamento do Tesouro não esclareceu a natureza exata das marcas d’água encontradas nesses modelos. Os especialistas, no entanto, expressaram ceticismo sobre se a destilação por si só poderia explicar as capacidades avançadas do Kimi K3, especialmente considerando a data de lançamento do Fable, 1º de julho.
Braden Hancock, pesquisador do Instituto Laude, destacou que é implausível desenvolver um modelo com a força do Kimi K3 em tão pouco tempo usando apenas técnicas de destilação. Ele afirmou: “Você não pode destilar tantos dados, treinar um modelo e liberá-lo em duas semanas”. Nathan Lambert, do Allen Institute for AI, observou a diminuição da eficácia da destilação ao longo do tempo e argumentou que métodos avançados, como o aprendizado por reforço, podem ser necessários para que tais modelos atinjam suas capacidades.
O processo de destilação envolve consultar sistematicamente um LLM para replicar suas funcionalidades. Este processo pode incluir ajuste fino supervisionado (SFT), onde o modelo alvo treina um novo modelo emulando seus comportamentos. Lambert avaliou que, embora o SFT tenha benefícios, eles estão diminuindo à medida que a complexidade do modelo aumenta. Para replicar as capacidades do Fable pode ser necessário um aprendizado por reforço, que pode consumir muitos recursos e pode não garantir um desempenho superior.
Existe um conflito contínuo na indústria de IA em relação às práticas de destilação. A Anthropic já havia acusado Moonshot de extrair sistematicamente dados de seus modelos, citando milhões de trocas suspeitas monitoradas por meio de endereços IP. Elon Musk testemunhou que a sua empresa, a SpaceXAI, também utilizou técnicas de destilação em modelos OpenAI para desenvolver o Grok, demonstrando o quão comum esta prática é em todo o setor.
Hancock ressaltou que as percepções americanas podem subestimar as habilidades técnicas das equipes chinesas de IA, referindo-se ao cofundador da Moonshot, doutorado pela Carnegie Mellon University. Moonshot supostamente aproveitou chips Nvidia proibidos ao acessar servidores equipados com GB300 na Tailândia para desenvolver o Kimi K3. Sam Bresnick, pesquisador do Centro de Segurança e Tecnologia Emergente de Georgetown, observou a existência de um mercado negro para esses chips, cuja exportação para a China continua proibida. Os esforços para fazer cumprir as regulamentações sobre o uso desses chips avançados ainda não tiveram progresso significativo.
O Departamento de Comércio do Presidente Biden propôs regras para os centros de dados estabelecerem medidas de identificação de clientes em 2024. No entanto, não ocorreram desenvolvimentos significativos nesta área durante a administração anterior e os exportadores devem garantir que os seus chips avançados são utilizados para aplicações legítimas.
