A ascensão de incorporado Ml está transformando como os dispositivos interagem com o mundo, ultrapassando os limites do que é possível com recursos limitados. Essas aplicações, desde vestimentos inteligentes a sensores industriais, exigem um delicado equilíbrio entre desempenho, consumo de energia e privacidade.
Vladislav Agafonov, especialista em aprendizado de máquina em Meta Reality Labs UK (anteriormente Oculus VR), entende intimamente esses desafios.
“O aprendizado de máquina incorporado é fascinante e desafiador, porque estamos executando modelos de aprendizado profundo em dispositivos com memória muito limitada e poder do processador”, disse Agafonov.
Um dos desafios mais persistentes, de acordo com Agafonov, está otimizando modelos para dispositivos com poder computacional e memória restritos.
“O desafio mais persistente é equilibrar a precisão do modelo com memória limitada no chip e poder de processamento restrito”, disse Agafonov.
Para abordar isso, técnicas como quantização e poda são cruciais. A quantização reduz o número de bits usados para armazenar pesos do modelo, geralmente de 32 bits para 8 ou menos, cortando significativamente o uso da memória. A poda, por outro lado, remove conexões desnecessárias na rede, encolhendo o tamanho do modelo e acelerando a inferência.
“Também presto atenção à Operação Fusion, o que significa mesclar várias etapas no cálculo para evitar armazenar grandes resultados intermediários na memória”, disse Agafonov. “Da mesma forma, o uso de acesso direto à memória (DMA) pode permitir que os dados do sensor fluam diretamente para o mecanismo de computação sem cópias extras, ajudando a reduzir a latência”.
Ao perfilar meticulosamente cada etapa, medindo ciclos, pegada de memória e consumo de energia, os engenheiros podem otimizar onde mais importa, ajustando modelos sofisticados em apenas algumas centenas de quilobytes de memória.
Aceleração de hardware e otimização de software
A aceleração do hardware é outro componente crítico do ML incorporado. Chips especializados como unidades de processamento neural (NPUs) e unidades de processamento tensoras (TPUs) lidam com o processamento paralelo, acelerando drasticamente a inferência da rede neural enquanto minimiza o uso de energia.
“A aceleração de hardware é absolutamente fundamental para executar modelos sofisticados de ML em dispositivos incorporados”, disse Agafonov. “Mas à medida que esses chips evoluem, a otimização de software permanece igualmente importante.”
Estruturas como o Executorch visam simplificar o processo de desenvolvimento, lidando com detalhes de baixo nível, como mapear cargas de trabalho para diferentes aceleradores e gerenciar a memória com eficiência.
“Em vez de passar horas tentando otimizar cada parte do seu código para cada novo chip, você pode confiar na estrutura para fazer o trabalho pesado”, disse Agafonov.
Isso permite que os desenvolvedores se concentrem nos modelos de aprendizado de máquina, em vez dos meandros da otimização de hardware.
Privacidade e aprendizado federado
A privacidade é uma preocupação crescente, e o ML incorporado oferece a vantagem do processamento de dados local.
“Uma das grandes razões pelas quais o ML incorporado é tão valioso é que os dados podem ser processados diretamente no dispositivo, o que reduz ou até elimina a necessidade de enviar informações confidenciais sobre uma rede”, disse Agafonov.
A aprendizagem federada leva esse conceito adiante, permitindo que os dispositivos treinem modelos localmente e compartilhem apenas atualizações agregadas com um servidor central.
“Em vez de coletar os dados de todos em um banco de dados central, cada dispositivo treina o modelo de forma independente usando suas próprias informações locais”, disse Agafonov. “Então, ele apenas envia de volta uma ‘atualização’ ou um resumo do que aprendeu – não os próprios dados brutos.”
Essa abordagem aprimora a privacidade, impedindo a transmissão de dados brutos do usuário, particularmente importante em aplicativos sensíveis, como saúde e wearables pessoais.
A ascensão de tinyml
Tinyml, a aplicação do aprendizado de máquina em dispositivos extremamente restritos a recursos, como microcontroladores, está ganhando força.
“Pense em um pequeno chip com apenas algumas centenas de kilobytes de memória que ainda precisam lidar com tarefas como classificação ou detecção sem drenar uma bateria no processo”, disse Agafonov.
Aplicações como monitoramento ambiental e manutenção preditiva industrial são exemplos excelentes.
“Os pequenos sensores movidos a bateria podem detectar sons de animais específicos ou alterações na qualidade do ar e transmitir alertas significativos sem desperdiçar energia no fluxo de dados constantes”, disse Agafonov. “Na indústria, os microcontroladores podem detectar sinais precoces de falha de máquinas, monitorando vibrações ou picos de temperatura, ajudando a evitar quebras caras”.
O crescimento do TINYML é impulsionado por avanços em hardware e software. Os microcontroladores agora incluem blocos de processamento especializados e estruturas leves ML simplificam a otimização e implantação do modelo.
Experiências imersivas e tendências futuras
Na Meta Reality Labs, o ML incorporado está sendo usado para melhorar as experiências imersivas.
“Estamos alavancando o ML incorporado para tornar as experiências imersivas mais naturais e receptivas – pense em um rápido reconhecimento de gestos em uma pulseira que permite controlar interfaces de AR ou VR sem controladores volumosos”, disse Agafonov.
No entanto, as questões técnicas permanecem. “Um obstáculo significativo é equilibrar o consumo de energia com a necessidade de inferência quase instantânea”, disse Agafonov. “Outro é garantir que os modelos permaneçam precisos sob quaisquer condições.”
Olhando para o futuro, Agafonov vê várias tendências importantes moldando o futuro do ML incorporado. A crescente adoção de microcontroladores habilitados para TINYML e ML, a expansão da aceleração de hardware com chips ML especializados e o crescente uso de aprendizado federado para o processamento de dados que preserva a privacidade estão prontos para impulsionar a inovação nesse campo.
À medida que o ML incorporado continua a evoluir, a capacidade de equilibrar poder, privacidade e desempenho será crucial para desbloquear todo o seu potencial.
