A ascensão de grandes modelos de idiomas (LLMS) e modelos de IA fundamental revolucionaram o cenário do software, oferecendo imenso potencial para os engenheiros de produtos aprimorarem as experiências do usuário. Mas como as empresas podem efetivamente aproveitar essa tecnologia?
Eu falei com Igor Luchenkovum engenheiro de produtos de inteligência artificial que construiu infraestrutura para utilizar LLMs em escala e criou a plataforma Hackathon Hackathonparty Para obter informações sobre a IA aplicada na engenharia de produtos e fazer os usuários felizes.
Definindo a IA em soluções SaaS
Luchenkov define a IA aplicada no contexto atual SaaS, centrado em modelos fundamentais derivados de Llms.
“Um modelo fundamental é um algoritmo de aprendizado de máquina treinado em uma quantidade enorme de dados”, disse Luchenkov. “Esses modelos podem entender texto, imagens, som e praticamente qualquer entrada dentro de um domínio específico.”
Ele aponta para exemplos conhecidos como o GPT do Openai e o Claude do Antrópico, além de alternativas de código aberto como Deepseek R1, Mistral, Gemma e Llama. Os aplicativos são vastos, variando de chatbots e ferramentas de resumo de reuniões para geração de código e plataformas de análise de dados movidas a IA.
“O espectro de possíveis casos de uso é muito alto e ainda a ser determinado”, disse Luchenkov.
Avaliando a necessidade de IA aplicada
Luchenkov aconselha uma abordagem pragmática para a implementação da IA.
“Primeiro, construa um produto que funcione e agregue valor aos clientes. Faça isso sem ai – disse Luchenkov. Isso permite uma linha de base contra a qual comparar iniciativas de IA. A questão principal se torna: existe um bom caso de uso para a IA?
“Estamos procurando oportunidades de produtos, onde é necessária uma tomada de decisão humana e atenciosa”, disse Luchenkov. “O foco deve estar na automação de tarefas e no aumento da produtividade do usuário.”
Luchenkov ilustra isso com seu trabalho em Esclarecer.
“Tomamos um problema claro conhecido por décadas no espaço (o relacionamento com o cliente é um processo longo e completo) e facilitamos a IA”, disse Luchenkov. “As empresas devem“ identificar o problema que precisa de um sistema inteligente para ser resolvido e garantir que esse problema vale a pena resolver. ”
Ele também recomenda consultar as regras de ML do Google para obter orientações sobre a construção Sistemas AI/ML.
Considerações cruciais de infraestrutura
Luchenkov enfatiza que os aplicativos de IA aplicados são, em primeiro lugar, aplicativos que exigem soluções para desafios tradicionais de engenharia de software, como escalabilidade, tempos de resposta, monitoramento e alertas. No entanto, a AI apresenta seu próprio conjunto de considerações.
“Você precisa procurar decaimento de desempenho do modelo, mudanças de distribuição de dados e outras coisas específicas para sua tarefa específica”, disse Luchenkov. A observabilidade é crucial para entender o impacto das mudanças no sistema nas métricas de desempenho e negócios. Os modelos fundamentais também apresentam desafios únicos, particularmente na avaliação de respostas abertas.
Luchenkov cita o exemplo de um modelo resumindo o texto: “Como você sabe se o LLM resume corretamente um texto e não inventa as coisas?” Métricas como a IA Judge e Perplexity podem ser usadas, mas a escolha específica depende do caso de uso.
“De um modo geral, avalie e monitore métricas que fazem sentido para sua tarefa específica”, disse Luchenkov.
Democratizar o uso da IA
Luchenkov acredita que a IA aplicada deve estar acessível a todos em uma organização.
“Ai é uma mercadoria hoje em dia”, disse Luchenkov. Restringir o acesso dificulta a inovação. Além das equipes de produtos, ele sugere estabelecer uma equipe de P&D de AI dedicada para rastrear modelos e técnicas emergentes e explorar novos casos de uso.
“O objetivo dessa equipe é descobrir novos casos de uso para usar a IA no produto e inovar em várias áreas do produto”, disse Luchenkov.
Ele também recomenda os livros “Projetando sistemas de aprendizado de máquina” e “Engenharia de IA”Por Chip Huyen para obter mais informações sobre infraestrutura e avaliação.
Mitigando os riscos da IA
AI, treinada em vastos conjuntos de dados, geralmente contendo vieses e informações errôneas, traz riscos inerentes. Luchenkov destaca o potencial da IA para gerar respostas prejudiciais ou inadequadas, citando um chatbot que sugeria suicídio.
“Qualquer precedente como esse é uma tragédia para as pessoas e uma enorme perda de reputação para a empresa”, disse Luchenkov.
Mesmo erros aparentemente inofensivos, como respostas incorretas de suporte ao cliente, podem prejudicar a confiança e levar a publicidade negativa. Ele reitera a importância do monitoramento e avaliação constantes para garantir o desempenho e identificar possíveis problemas.
Abordar preocupações de reputação
Luchenkov reconhece o potencial de danos à reputação devido à imprevisibilidade da IA. Ele aponta para exemplos de assistentes de IA que fazem declarações bizarras ou gerando respostas tendenciosas.
“É por isso que é crucial ter salvaguardas adequadas, como filtragem de conteúdo e supervisão humana”, disse Luchenkov.
Ele observa que a supervisão humana é essencial em áreas sensíveis, como assistência médica, finanças e serviços jurídicos, para garantir a precisão, a conformidade e a responsabilidade ética. Luchenkov conclui o objetivo final é “aproveitar os benefícios da IA, protegendo a reputação da sua empresa e mantendo a confiança do cliente”.
