Amer S e Ryan McKenna, do Google Research, anunciaram o Vaultgemma em 12 de setembro de 2025, como o modelo de idioma mais capaz treinado do zero com privacidade diferencial. Este modelo aberto de 1 bilhão de parâmetros aborda os desafios de privacidade no treinamento de IA, incorporando ruídos calibrados, enquanto um novo artigo de pesquisa descreve as leis de escala para trade-offs de computação-privacidade-utilidade, com pesos liberados em abraçar rosto e kaggle. A privacidade diferencial adiciona ruído calibrado durante o treinamento para evitar a memorização de pontos de dados individuais, garantindo que as saídas do modelo permaneçam estatisticamente semelhantes, independentemente de qualquer exemplo de treinamento ou não estar incluído. Essa abordagem fornece uma estrutura matematicamente rigorosa para proteger os dados do usuário em grandes modelos de idiomas. No entanto, a implementação da privacidade diferencial no treinamento de modelos de idiomas introduz desafios específicos. O ruído interrompe as leis tradicionais de escala, que descrevem como o desempenho do modelo melhora com aumentos no tamanho do modelo, volume de dados e recursos computacionais. Em particular, o ruído reduz a estabilidade do treinamento, dificultando a aprender de forma consistente, sem encontrar problemas como picos repentinos em perda ou divergência completa durante a otimização. Para combater essa instabilidade, os profissionais devem usar tamanhos de lote significativamente maiores, que por sua vez exigem mais energia e memória computacional, elevando os custos gerais do treinamento. O artigo de pesquisa intitulado “Leis de dimensionamento para modelos de idiomas diferencialmente privados”, desenvolvido em parceria com o Google DeepMind, estabelece equações que modelam com precisão essas trocas de computação-privacidade-utilidade para modelos de idiomas grandes diferencialmente privados. Essas equações capturam as complexas relações entre a quantidade de computação, o nível de privacidade alcançado e o utilitário de modelo resultante, oferecendo uma ferramenta preditiva para otimizar as configurações de treinamento. O desenvolvimento do artigo envolveu uma análise extensa para quantificar como a privacidade diferencial altera a dinâmica do treinamento de modelos em comparação com os métodos não privados. Ao derivar essas leis, os autores fornecem uma base para projetar modelos privados eficientes, permitindo que os pesquisadores prevam desempenho sem experimentação exaustiva. Guiado pelas idéias dessas leis de escala, a equipe construiu o Vaultgemma como um modelo de 1 bilhão de parâmetros baseado na arquitetura Gemma 2, treinou inteiramente do zero sob restrições diferenciais de privacidade. Os pesos do modelo agora estão disponíveis ao público em plataformas como abraçar o rosto e o kaggle, acompanhados por um relatório técnico detalhado que explica o processo de treinamento, hiperparâmetros e resultados de avaliação. Este lançamento marca o maior modelo aberto até o momento, permitindo que desenvolvedores e pesquisadores em todo o mundo acessassem e construam um modelo de linguagem diferencial de qualidade de produção de produção. A própria série Gemma enfatiza a responsabilidade e a segurança no desenvolvimento da IA, que se alinham bem com os objetivos de incorporar proteções de privacidade desde o início. A metodologia experimental na pesquisa se concentrou em quantificar os impactos de tamanhos de modelos variados, tamanhos de lote e iterações de treinamento dentro da estrutura de privacidade diferencial. Para gerenciar o vasto número de combinações possíveis, os autores fizeram suposições simplificadoras, centralizando sua análise na proporção de ruído. Essa proporção mede a escala relativa do ruído induzido pela privacidade em relação ao tamanho do lote usado na ascendência estocástica do gradiente. A suposição é mantida porque o ruído deliberado adicionado para a privacidade domina sobre qualquer aleatoriedade inerente da amostragem de dados, permitindo que a eficácia do aprendizado do modelo seja determinada principalmente por essa única métrica. Através dessa lente, a metodologia permitiu a avaliação sistemática de como os ajustes nesses parâmetros afetam o desempenho geral. Experiências abrangentes avaliaram o desempenho do modelo em diversos tamanhos de modelos e taxas de ruído, gerando dados empíricos que, quando combinados com relações determinísticas entre variáveis como o orçamento de computação e o orçamento de dados, suporta consultas direcionadas. Por exemplo, as leis de dimensionamento podem determinar a configuração ideal de treinamento para minimizar a perda, dada os orçamentos fixo de computação, privacidade e dados. A perda prevista é modelada usando o tamanho do modelo, o número de iterações e a proporção de ruído, que simplifica a navegação de interações complexas entre os orçamentos. Essa estrutura fornece um caminho claro para os profissionais equilibrarem os recursos de maneira eficaz durante o treinamento de modelos privados. De uma perspectiva contábil de privacidade, a dinâmica entre o orçamento de computação, o orçamento de privacidade e o orçamento de dados revela interações importantes para um tamanho fixo do modelo e contagem de iteração. Aumentar o orçamento de privacidade, indicado pelo parâmetro ε, reduz o nível de ruído, mas os rendimentos diminuem os retornos se não forem emparelhados com expansões nos orçamentos de computação ou dados. Especificamente, sem aumentos correspondentes nas operações de ponto flutuante (flops) ou nos tokens processados, a relação de ruído melhora apenas marginalmente, limitando os ganhos de utilidade. Essa sinergia ressalta a necessidade de escala coordenada: o aumento da privacidade por si só não diminui suficientemente o ruído efetivo, a menos que seja apoiado por mais recursos computacionais ou dados de treinamento adicionais. As visualizações na pesquisa ilustram como as configurações ideais mudam com as mudanças nos orçamentos. Como as restrições de privacidade e computação variam, a alocação preferida se move entre tamanhos de modelo maiores, tamanhos de lote expandido ou iterações adicionais. Por exemplo, sob orçamentos de privacidade mais apertados, a priorização de lotes maiores geralmente se mostra mais eficaz do que escalar o tamanho do modelo, pois atenua diretamente o impacto do ruído. Esses gráficos detalham a perda mínima alcançável para várias combinações de orçamento, juntamente com quebras de hiperparâmetros, como iterações, tamanho do lote e dimensões do modelo. Essa granularidade ajuda a identificar não apenas a melhor configuração, mas também variações de alternativas viáveis que fornecem utilidade comparável, oferecendo flexibilidade em ambientes com restrição de recursos. Uma visão central das leis de escala é a recomendação de treinar modelos menores com tamanhos de lote substancialmente maiores em comparação com cenários não privados. Essa abordagem aproveita a importância de lotes de grandes dimensões na estabilização de descida de gradiente estocástico privado diferencial (DP-SGD), um método de otimização comum nesse domínio. O insight se aplica amplamente em diferentes configurações, embora o Aptima Ajuste exato com base em privacidade específica e orçamentos de dados. A compreensão dessas trade-offs garante o uso eficiente de alocações de computação e privacidade, impedindo configurações desnecessárias. A análise também destaca a flexibilidade nas opções, onde vários tamanhos de modelo podem obter perdas semelhantes quando correspondidas com iterações apropriadas e ajustes em lote. Para construir o Vaultgemma, a equipe aplicou as leis de escala para calcular o total de flops necessários para um modelo de 1 bilhão de parâmetros computados, derivado de Gemma 2. Eles depois distribuíram esses fracassos através do tamanho do lotes, iterações e comprimento de sequência para maximizar a utilidade sob restrições de privacidade. Esse processo de alocação envolveu simulações iterativas usando as equações preditivas para testar várias distribuições, garantindo a configuração final alinhada com a menor perda projetada. A configuração resultante equilibrou a necessidade de mitigação de ruído através de grandes lotes com iterações suficientes para convergir de maneira eficaz, enquanto aderiam à contagem de parâmetros de destino. Um desafio notável na ponte da pesquisa da lei de escala para o treinamento real foi lidar com a amostragem de Poisson, um elemento-chave do DP-SGD que garante robusto garantias de privacidade, aleatoriamente, seleção de dados. Inicialmente, a equipe carregava dados em lotes uniformes, mas esse método ofereceu proteções de privacidade abaixo do ideal devido ao maior ruído efetivo. A mudança para a amostragem de Poisson aprimorou as garantias, mas a variabilidade introduzida: os lotes variaram em tamanho e o processamento de dados exigia uma ordem randomizada. Para resolver esses problemas, eles adotaram técnicas de trabalhos recentes no DP-SGD escalável, que processa dados em lotes de tamanho fixo, preenchendo os mais curtos ou aparando mais. Essa adaptação preserva os benefícios de privacidade da amostragem de Poisson sem interromper a eficiência do pipeline de treinamento. O treinamento do Vaultgemma confirmou a precisão das leis de escala, com a perda final de treinamento alinhando -se de perto às previsões das equações. Essa validação demonstra a confiabilidade da estrutura para prever resultados no desenvolvimento de modelos privados, fornecendo um guia confiável para esforços futuros. O processo envolveu o monitoramento de curvas de perda durante todo o treinamento para garantir a estabilidade, ajustando os hiperparâmetros conforme necessário dentro do orçamento predefinido e verificando que a proporção de ruído permaneceu ideal. Essa correspondência estreita entre teoria e prática reforça a utilidade das leis em aplicações práticas. Nas avaliações de desempenho, o VaultGemma 1b com privacidade diferencial atinge os níveis de utilidade comparáveis ao Gemma3 1b não privado e ao modelo GPT-2 1.5B. Essas comparações quantificam as demandas de recursos do treinamento de preservação de privacidade, mostrando que os métodos atuais produzem modelos a par com arquiteturas não privadas de aproximadamente cinco anos antes. As avaliações incluíram métricas de perplexidade nos dados mantidos, onde as pontuações do Vaultgemma refletem aprendizado eficaz, apesar do ruído adicional, destacando o progresso no fechamento da lacuna de utilidade por meio de escala otimizada. As avaliações a jusante em benchmarks padrão validam ainda mais as capacidades do Vaultgemma. Em Hellaswag, o modelo executa em níveis que correspondem à sua contraparte não privada, demonstrando forte inferência de senso comum. Os resultados do BOOLQ indicam resposta a perguntas confiáveis em consultas booleanas, enquanto o PIQA mostra competência nas previsões de interação física. As avaliações do SocialIQA revelam uma sólida compreensão das normas sociais, o Triviaqa confirma a retenção de conhecimento para recordação factual, o ARC-C lida com desafios complexos de raciocínio e o ARC-E aborda questões científicas fáceis de maneira eficaz. A inclusão do GPT-2 1,5b nessas comparações ressalta que as pontuações de referência do Vaultgemma estão alinhadas com modelos não privados de escala não privada de escala semelhante, ilustrando o estado dos avanços do treinamento privado. O Vaultgemma fornece uma garantia de privacidade diferencial de nível de sequência formal de ε ≤ 2,0 e δ ≤ 1,1 × 10⁻vio para sequências de 1024 tokens extraídos de fontes de dados heterogêneas. A mistura de treinamento reflete a de Gemma 2, compreendendo documentos de comprimentos variados pré -processados dividindo os longos em várias sequências e empacotando as curtas. Essa unidade de nível de sequência se adapta ao formato de dados, embora a privacidade no nível do usuário seja preferível quando os dados se vincularem diretamente aos indivíduos. Na prática, essa garantia garante que as respostas do modelo às consultas permaneçam estatisticamente indistinguíveis se uma sequência específica está incluída no treinamento ou não, impedindo efetivamente o modelo de aprender qualquer fato isolado em uma única sequência. No entanto, os fatos que aparecem em várias seqüências ainda podem ser aprendidos, permitindo a aquisição geral de conhecimento sem comprometer a privacidade individual. Complementando as garantias teóricas, os testes empíricos avaliaram os riscos de memorização, levando a Vaultgemma com prefixos de 50 toques a partir de documentos de treinamento e verificando a reprodução dos 50 tokens subsequentes. O modelo não exibiu memorização detectável, gerando continuações não relacionadas que não correspondiam aos sufixos originais. Esse resultado verifica a eficácia prática da privacidade diferencial na supressão do recall literal, mesmo para trechos de treinamento potencialmente sensíveis. O protocolo de teste envolveu a seleção de diversos prefixos de várias fontes de dados para cobrir uma amostra ampla, garantindo uma cobertura abrangente de possíveis vulnerabilidades. Os agradecimentos do projeto se estendem às equipes de privacidade da Gemma e do Google, com agradecimentos específicos a Peter Kairouz, Brendan McMahan e Dan Ramage pelo feedback sobre o anúncio. Mark Simborg e Kimberly Schwede ajudaram nas visualizações, enquanto as equipes mais amplas do Google suportavam design de algoritmo, infraestrutura e manutenção da produção. Direct contributors, listed alphabetically, include Borja Balle, Zachary Charles, Christopher A. Choquette-Choo, Lynn Chua, Prem Eruvbetine, Badih Ghazi, Steve He, Yangsibo Huang, Armand Joulin, George Kaissis, Pritish Kamath, Ravi Kumar, Daogao Liu, Ruibo Liu, Pasin Manurangsi, Thomas Mesnard, Andreas Terzis, Tris Warkentin, Da Yu e Chiyuan Zhang.
