Nas últimas duas décadas, os dados tornaram-se um ativo inestimável para as empresas, rivalizando com ativos tradicionais como infraestrutura física, tecnologia, propriedade intelectual e capital humano. Para algumas das empresas mais valiosas do mundo, os dados constituem o núcleo do seu modelo de negócio.
A escala de produção e transmissão de dados cresceu exponencialmente. A Forbes relata que a produção global de dados aumentou de 2 zetabytes em 2010 para 44 ZB em 2020, com projeções superiores a 180 ZB até 2025 – um crescimento impressionante de 9.000% em apenas 15 anos, parcialmente impulsionado pela inteligência artificial.
No entanto, os dados brutos por si só não equivalem a insights acionáveis. Os dados não processados podem sobrecarregar os usuários, dificultando potencialmente a compreensão. Informações – dados processados, organizados e consumíveis – geram insights que levam a ações e à geração de valor.
Este artigo compartilha minha experiência em análise de dados e implementação de ferramentas digitais, com foco no aproveitamento do “Big Data” para criar insights acionáveis. Esses insights permitiram que os usuários capitalizassem oportunidades comerciais, identificassem áreas de economia de custos e acessassem informações úteis de benchmarking. Nossos projetos frequentemente incorporavam automação, gerando economia de tempo e ganhos de eficiência. Destacarei os principais desafios que enfrentamos e nossas soluções, enfatizando as fases iniciais do projeto, onde as decisões têm o impacto mais significativo.
As principais áreas de foco incluem:
- Quantificação de benefícios
- O risco de aumento de escopo
- Enfrentando desafios com dados PDF
- Fase de design e considerações de desempenho
Em grandes organizações, a disponibilidade e acessibilidade dos dados muitas vezes representam desafios significativos, especialmente quando se combinam dados de vários sistemas. A maioria dos meus projetos teve como objetivo criar um conjunto de dados unificado e harmonizado para análises de autoatendimento e painéis esclarecedores. Empregamos metodologias ágeis para manter uma supervisão clara do progresso e dos gargalos, garantindo a responsabilização de cada membro da equipe.
O ciclo de vida típico de projetos de dados abrange as fases de definição de escopo, design, desenvolvimento, implementação e sustentação. Durante a definição do escopo, o proprietário do produto colabora estreitamente com a organização do cliente/usuário final para compreender as necessidades gerais, os tipos de dados e insights desejados, os requisitos e a funcionalidade.
Quantificação de benefícios
Um elemento crucial da fase de definição do escopo é o caso do benefício, onde quantificamos o valor potencial da solução. Na minha experiência, esta etapa muitas vezes se mostra desafiadora, especialmente quando se estima o valor de insights analíticos. Descobri que, embora o cálculo dos benefícios da automação, como a economia de tempo, seja relativamente simples, os usuários têm dificuldade para estimar o valor dos insights, especialmente quando lidam com dados anteriormente indisponíveis.
Em um projeto fundamental, enfrentamos esse desafio de frente. Estávamos desenvolvendo um modelo de dados para fornecer insights mais profundos sobre contratos logísticos. Durante a fase de definição do escopo, lutamos para quantificar os benefícios potenciais. Só quando descobrimos um incidente recente é que encontramos a nossa resposta.
Alguns meses antes, o cliente descobriu que estava pagando caro demais por um pipeline específico. A estrutura do contrato, com diferentes fluxos volumétricos desencadeando taxas variadas, levou a uma utilização subótima e a custos excessivos. Ao ajustar os fluxos de volume, conseguiram reduzir significativamente os custos unitários. Este exemplo do mundo real revelou-se inestimável no nosso processo de quantificação de benefícios.
Usamos esse incidente para demonstrar como nosso modelo de dados poderia ter:
- Identificou o problema mais cedo, potencialmente economizando meses de pagamento a maior
- Forneceu monitoramento contínuo para evitar problemas semelhantes no futuro
- Insights oferecidos para otimizar taxas de fluxo em todos os contratos
Este exemplo concreto não só nos ajudou a quantificar os benefícios, mas também elevou a prioridade do projeto junto à alta administração, garantindo o financiamento de que precisávamos. Foi uma lição crucial sobre o poder de usar eventos recentes e tangíveis para ilustrar o valor potencial.
Contudo, nem todos os projetos têm exemplos tão claros. Nestes casos, desenvolvi abordagens alternativas:
- Benchmarking: Comparamos o desempenho departamental com o de outros departamentos ou concorrentes, identificando o melhor desempenho da categoria e quantificando o valor de atingir esse nível.
- Melhoria percentual: Estimamos uma melhoria percentual conservadora nas receitas ou custos gerais do departamento resultantes do modelo. Mesmo uma pequena percentagem pode traduzir-se num valor significativo em grandes organizações.
Independentemente do método, aprendi a importância de definir critérios de sucesso claros e mensuráveis. Agora sempre estabelecemos como os benefícios serão medidos após a implementação. Esta prática não só facilita uma reavaliação, mas também garante a responsabilização pela decisão de implementação da solução digital.
Outra lição valiosa veio de uma fonte inesperada. Em vários projetos, descobrimos “clientes secundários” – departamentos ou equipes que poderiam se beneficiar do nosso modelo de dados, mas que não faziam parte do escopo original. Num caso, um modelo concebido para a equipa de logística revelou-se inestimável para o departamento financeiro em termos de orçamento e previsão.
Essa experiência me ensinou a lançar uma rede mais ampla ao definir a base de clientes. Agora olhamos rotineiramente além do departamento solicitante durante a fase de definição do escopo. Esta abordagem tem frequentemente aumentado os benefícios e a prioridade globais do projecto, por vezes transformando um projecto marginal numa iniciativa obrigatória.
Estas experiências sublinham uma visão crítica: em grandes organizações, vários utilizadores em diferentes áreas enfrentam frequentemente problemas semelhantes sem se aperceberem. Ao identificar precocemente estas sinergias, podemos criar soluções mais abrangentes e valiosas e construir casos mais sólidos para implementação.
O risco de aumento de escopo
Embora o alargamento da base de clientes aumente o impacto do modelo, também aumenta o risco de aumento do âmbito. Isso ocorre quando um projeto tenta acomodar muitas partes interessadas, prometendo funcionalidades excessivas ou excessivamente complexas, comprometendo potencialmente o orçamento e o cronograma. O proprietário do produto e a equipe devem compreender claramente seus recursos e capacidades realistas de entrega dentro do prazo acordado.
Para mitigar esse risco:
- Antecipe algum trabalho de design durante a fase de definição do escopo.
- Avalie se novos requisitos podem ser atendidos com fontes de dados existentes ou se é necessária a aquisição de novas.
- Estabeleça expectativas claras e realistas com a gestão do cliente em relação ao escopo e à viabilidade.
- Crie uma maquete manual do produto final durante a definição do escopo para esclarecer os requisitos da fonte de dados e fornecer aos usuários finais uma visualização tangível do resultado.
- Use subconjuntos de dados reais em modelos em vez de dados fictícios, pois os usuários se relacionam melhor com informações familiares.
Os desafios relacionados aos dados PDF
Vários projetos destacaram desafios na captura de dados PDF. Os usuários frequentemente solicitavam detalhes de faturas e extratos de fornecedores terceiros não disponíveis em nossos sistemas financeiros. Embora as equipes de contabilidade normalmente reservem versões resumidas, os usuários precisavam de detalhes dos itens de linha para análise.
A extração de dados de PDFs requer o estabelecimento de regras e lógica para cada elemento de dados, um esforço substancial que vale a pena apenas para vários PDFs com estruturas semelhantes. No entanto, ao lidar com documentos de milhares de fornecedores com formatos variados que podem mudar ao longo do tempo, desenvolver regras de mapeamento torna-se uma tarefa imensa.
Antes de incluir a extração de PDF no escopo do projeto, agora preciso de um entendimento completo dos documentos envolvidos e garantir que a organização do usuário final compreenda totalmente os desafios associados. Esta abordagem levou muitas vezes à redefinição do âmbito do projecto, uma vez que os benefícios podem não justificar os custos e podem existir meios alternativos para obter os conhecimentos desejados.
Fase de design e considerações de desempenho
A fase de design envolve a análise de elementos com escopo definido, a identificação de fontes de dados, a avaliação de métodos ideais de interface de dados, a definição de etapas de curadoria e cálculo e a documentação do modelo de dados geral. Também abrange decisões sobre hospedagem de modelos de dados, aplicativos de software para transferência e visualização de dados, modelos de segurança e frequência de fluxo de dados. Os principais requisitos de design normalmente incluem granularidade de dados, confiabilidade, flexibilidade, acessibilidade, automação e desempenho/velocidade.
O desempenho é crucial, pois os usuários esperam respostas quase em tempo real. Os modelos lentos, independentemente dos seus insights, muitas vezes têm uso limitado. Os métodos comuns de melhoria de desempenho incluem a materialização do conjunto de dados final para evitar cálculos baseados em cache. A escolha da ferramenta de visualização também afeta significativamente o desempenho. Testar diversas ferramentas durante a fase de projeto e cronometrar cada etapa do modelo ajuda a informar a seleção da ferramenta. A escolha da ferramenta pode influenciar o design, já que cada ferramenta tem estruturas de dados preferidas, embora a estratégia corporativa e as considerações de custo possam, em última análise, orientar a decisão.
Tendências futuras
As tendências emergentes estão remodelando o cenário da análise de dados. As ferramentas de preparação e análise de dados agora permitem que não desenvolvedores criem modelos de dados usando interfaces gráficas intuitivas com funcionalidade de arrastar e soltar. Os usuários podem simular e visualizar cada etapa, permitindo a solução de problemas em tempo real. Esta democratização da modelagem de dados amplia a tendência de análise de autoatendimento, capacitando os usuários a construir seus próprios modelos de dados.
Embora existam limites para a complexidade dos produtos de dados criados pelo usuário final e as organizações ainda possam preferir conjuntos de dados corporativos administrados centralmente para dados amplamente utilizados, essas ferramentas estão expandindo os recursos de modelagem de dados para além dos profissionais de TI.
Uma experiência pessoal ilustra o impacto dessa tendência: durante a fase de definição do escopo de um projeto, diante da perda potencial de um desenvolvedor, mudamos de um modelo programado em SQL para o Alteryx. O proprietário do produto criou com sucesso o modelo de dados com suporte mínimo de TI, aprimorando suas habilidades técnicas e satisfação no trabalho.
A socialização da criação de ferramentas analíticas complexas oferece benefícios significativos. As empresas devem considerar a oferta de programas de formação para maximizar o valor destas aplicações. Além disso, os assistentes de IA podem sugerir ou depurar códigos, acelerando ainda mais a adoção dessas ferramentas. Essa mudança pode transformar cada funcionário em um profissional de dados, extraindo o máximo valor dos dados da empresa sem amplo suporte de TI.
Desbloqueie o valor dos dados
A tomada de decisões baseada em dados está experimentando um rápido crescimento em todos os setores. Para desbloquear o valor dos dados, estes devem ser transformados em informações estruturadas e acionáveis. Os projetos de análise de dados visam consolidar dados de diversas fontes num conjunto de dados centralizado e harmonizado, pronto para consumo pelo utilizador final.
Esses projetos abrangem diversas fases – definição do escopo, design, construção, implementação e sustentação – cada uma com desafios e oportunidades únicos. A fase de definição do escopo é particularmente crítica, pois as decisões tomadas aqui impactam profundamente todo o ciclo de vida do projeto.
O modelo tradicional de contar com desenvolvedores de TI dedicados está evoluindo com o advento de ferramentas fáceis de usar para preparação e análise de dados, complementadas por assistentes de IA. Esta evolução reduz a barreira à construção de modelos analíticos, permitindo que uma gama mais ampla de utilizadores finais participe no processo. Em última análise, esta democratização da análise de dados amplificará ainda mais o seu impacto na tomada de decisões corporativas, impulsionando a inovação e a eficiência em todas as organizações.
