De acordo com um estudo realizado por Michael Walters (Gaia Lab, Nuremberg, Alemanha), Rafael Kaufmann (Primordia Co., Cascais, Portugal), Justice Sefas (Universidade da Colúmbia Britânica, BC, Canadá) e Thomas Kopinski (Gaia Lab, Fachochschule, Sudwestfalen, Meschede, Alemanha), uma nova abordagem inspirada na física da segurança da IA poderia criar sistemas multi-agentes-como veículos autônomos-significativamente mais seguros.
O artigo deles, “Métricas de risco de energia livre para IA sistematicamente segura: estudo multi-agente de gatekeeping”, Introduz um novo método de medição de risco que melhora a tomada de decisões nos sistemas de IA, prevendo riscos antes do tempo e tomando medidas preventivas.
Qual é o princípio de energia livre (FEP) e por que isso importa?
No coração de sua pesquisa está o Princípio de energia livre (FEP)um conceito originalmente desenvolvido em física. Em termos simples, o FEP ajuda a explicar como os sistemas se equilibram precisão (energia) e Simplicidade (entropia) ao fazer previsões.
Pense assim: um sistema de IA que tenta navegar no mundo deve encontrar um equilíbrio entre coletar informações detalhadas e agir com eficiência. Se o sistema for muito complexo, ficará difícil de gerenciar; Se for muito simples, pode ignorar os riscos críticos. Os autores usam este princípio para criar um nova métrica de risco Isso evita a necessidade de grandes quantidades de dados ou modelos excessivamente complicados, tornando a segurança da IA mais prático e transparente.
Ai está aprendendo a dirigir como um humano – observando você em pânico
A exposição cumulativa ao risco (CRE) é uma maneira mais inteligente de medir o risco
Os pesquisadores propõem um novo sistema de medição de risco chamado Exposição cumulativa ao risco (CRE).
Como o CRE é diferente?
- Ao contrário dos modelos de risco tradicionaisque depende de modelos mundiais extensos, o CRE permite que as partes interessadas definem o que “seguro” significa especificando resultados preferidos.
- Isso faz tomada de decisão transparente e flexívelà medida que o sistema se adapta a diferentes ambientes e necessidades.
- Em vez de confiar Dados excessivos do sensorCRE estima o risco por meio de simulações preditivas em pequenos quadros de tempo.
Cre fornece mais eficiente e adaptável Maneira de avaliar o risco em sistemas orientados a IA, reduzindo a dependência de cálculos com recursos intensivos.
Gatekeepers: AI que intervém antes que as coisas dêem errado
Para aplicar a métrica CRE em cenários do mundo real, os pesquisadores apresentam porteiros– Módulos que monitoram as decisões de IA e intervêm quando necessário.
Como os porteiros funcionam?
- No caso de veículos autônomos, Porteiros simulam constantemente possíveis cenários futuros para determinar o risco.
- Se eles detectarem um resultado inseguro, eles substituir o modo de condução atual do veículo e mude para um comportamento mais seguro.
- Isso permite que os sistemas de IA sejam antecipar perigos antes que aconteçam, em vez de reagir após o fato.
Simulando estradas mais seguras com veículos autônomos
O estudo testou este modelo em um ambiente de direção simulado. Os pesquisadores dividiram veículos em dois grupos:
- “Egos” – Veículos monitorados e controlados por gatekeepers.
- “Alters” -Veículos de fundo com comportamento de direção fixo e predefinido.
Nesta Simulação de rodoviaalguns veículos do ego foram autorizados a serem controlados por porteiros, enquanto outros não.
Principais resultados:
- Mesmo quando apenas um pequeno número de veículos estava sob controle de gatekeeper, A segurança rodoviária geral melhorou.
- Menos colisões ocorreu, mostrando que a intervenção proativa fez uma diferença mensurável.
- Veículos mantidos alta velocidade quando seguro Mas mudou para a direção cautelosa quando os níveis de risco aumentaram.
Os resultados sugerem que mesmo adoção parcial de IA controlada por gatekeeper poderia levar a condições de tráfego mais seguras sem comprometer a eficiência. Enquanto o estudo se concentrava em veículos autônomos, o O modelo Cre e Gatekeeper pode se aplicar a muitos outros campos orientados a IA.
As aplicações em potencial incluem:
- Robótica: Garantir que os robôs movidos a IA funcionem com segurança ao lado dos seres humanos.
- Sistemas de negociação financeira: Prever movimentos de mercado de alto risco e ajustar estratégias.
- Automação industrial: Impedir que as máquinas controladas pela IA tomem decisões inseguras.
Crédito da imagem em destaque: Kerem Gülen/Midjourney
