Seguindo o exemplo do mundo do desenvolvimento de software, onde "ágil" tem sido uma palavra da moda por décadas, os engenheiros de dados de hoje estão falando cada vez mais sobre gerenciamento ágil de dados. Em teoria, abordagens ágeis para gerenciar dados permitem maior eficiência e confiabilidade, resultando em melhores resultados para os engenheiros encarregados do gerenciamento de dados e para o negócio que busca derivar valor de seus dados.
Na prática, no entanto, o gerenciamento ágil de dados nem sempre funciona como planejado, então é importante adotar uma abordagem realista e adaptável ao ágil. O ágil é uma ótima meta a ser buscada, mas também é uma área em que as equipes frequentemente ficam aquém.
Deixe-me explicar o que o gerenciamento ágil de dados envolve, como a realidade muitas vezes difere da teoria e quais práticas as organizações devem adotar para garantir que aproveitem ao máximo o ágil e, ao mesmo tempo, controlar suas deficiências.
Gerenciamento Ágil de Dados: O Básico
O gerenciamento ágil de dados é uma abordagem para coletar, processar, analisar e relatar dados que enfatiza a flexibilidade e a mudança iterativa.
Essa, pelo menos, é uma definição básica de gerenciamento ágil de dados. Considerações específicas sobre o que ágil significa exatamente neste contexto podem variar porque ágil é um conceito de alto nível, e há muitas maneiras de traduzi-lo para a prática real. Mas, em geral, quando você gerencia dados de forma ágil, você normalmente se concentra em dividir projetos complexos em partes menores e mais digeríveis, ao mesmo tempo em que prioriza a flexibilidade e a adaptabilidade.
Por exemplo, imagine que você queira analisar dados de vendas para prever tendências futuras. Sob uma abordagem ágil, você trataria cada parte do processo — coleta de dados, transformação e reestruturação, análise e geração de relatórios resultantes — como um estágio distinto. Você também pode iterar em cada estágio várias vezes para melhorar o resultado em cada passagem.
Isso é diferente de processar e analisar dados de forma aleatória , sem ter uma estratégia sistemática e coordenada desde o início — o que seria o oposto de uma abordagem ágil.
Práticas ágeis de gerenciamento de dados como essas são baseadas nos conceitos centrais do desenvolvimento ágil de software, que divide os projetos de software em vários estágios, priorizando a flexibilidade e a colaboração.
Os Desafios da Gestão Ágil de Dados
Em teoria, o gerenciamento ágil de dados parece ótimo. Ele promete trazer ordem e eficiência ao que, de outra forma, poderia se tornar um projeto complexo, bagunçado e demorado.
Na prática, no entanto, aplicar princípios ágeis ao gerenciamento de dados pode ser difícil. Existem dois desafios principais:
Cronogramas Imprevisíveis
Você pode planejar um roteiro para seu projeto de gerenciamento de dados que defina cada tarefa e quanto tempo você acha que levará. Mas você não pode garantir que seu cronograma projetado será o real. Tarefas como construir infraestrutura de dados ou configurar relatórios de inteligência empresarial (BI) são complexas e, muitas vezes, é impossível prever com precisão quanto tempo levarão.
Qualidade de Dados Imprevisível
Se os dados que você está gerenciando forem de baixa qualidade ou difíceis de acessar, você precisará investir mais tempo e esforço para transformá-los e analisá-los. Mas como você não pode determinar a qualidade dos dados com os quais está trabalhando até que o processo de gerenciamento de dados esteja em andamento, não há como determinar com antecedência até que ponto os problemas de qualidade de dados podem atrapalhar sua tentativa de implementar um conjunto consistente de processos ágeis.
O segundo desafio é especialmente notável porque é um fator que distingue fundamentalmente o gerenciamento ágil de dados do desenvolvimento ágil de software. Quando você cria software, sabe desde o início com o que está trabalhando e normalmente pode controlar todas as variáveis significativas (como qual linguagem de codificação você usa e quais tipos de infraestrutura de TI você configura).
No entanto, a qualidade dos dados é uma variável desconhecida que você frequentemente não consegue controlar ao analisar dados. A menos que você tenha projetado e gerenciado o processo de geração de dados desde o início — o que raramente é o caso porque os dados que as empresas querem explorar foram frequentemente coletados por longos períodos, começando antes que elas soubessem exatamente o que queriam fazer com eles — você tem que trabalhar com os dados que você tem, não com os dados que você gostaria de ter.
Uma Abordagem Realista para Gerenciamento Ágil de Dados
Esses desafios não significam que as equipes devem desistir do gerenciamento ágil de dados. Apesar de suas imperfeições, o ágil ainda vale a pena porque pode ajudar a tornar projetos complexos mais eficientes e consistentes.
No entanto, eles querem dizer que os engenheiros devem esperar que seus projetos nem sempre saiam conforme o planejado e devem ser proativos ao lidar com os desafios inerentes a uma abordagem ágil para trabalhar com dados.
Por exemplo, na minha empresa, a Indicium, priorizamos abordagens ágeis para gerenciamento de dados, mas também praticamos o seguinte para ajudar a gerenciar riscos:
Tratando Roadmaps Provisoriamente
Criamos roadmaps para estruturar nossos projetos, mas presumimos que eles são muito provisórios. Só porque agendamos duas semanas para configurar a infraestrutura de dados, por exemplo, não significa que presumimos que levará exatamente duas semanas. Pode ser mais longo ou mais curto.
Construindo Margens de Tempo
Relacionado a isso, erramos no lado de superestimar tarefas para construir alguma margem de tempo extra. Se anteciparmos uma tarefa levando dois dias e meio, por exemplo, nós a programaremos como três. Levar menos tempo do que o esperado é muito preferível a ultrapassar o cronograma.
Tarefas Paralelas
Ao planejar projetos, buscamos executar o máximo de tarefas possível em paralelo. Por exemplo, se pudermos configurar a infraestrutura de dados enquanto avaliamos a qualidade dos dados, faremos as duas coisas simultaneamente. Alguns processos, como relatórios de BI, não podem acontecer até que outros sejam complexos, então há limitações sobre o quanto você pode fazer em paralelo. Mas quando você executa várias tarefas simultaneamente, você acelera o projeto geral, mesmo que haja atrasos em algumas áreas.
Comunicação Clara com as Partes Interessadas
Nós nos esforçamos para ser claros e transparentes com as partes interessadas do negócio ao planejar projetos. Enfatizamos que os cronogramas provisórios são apenas isso — provisórios — e os mantemos atualizados sobre as mudanças no projeto conforme ele se desenrola. As pessoas que dependem do gerenciamento e análise de dados para tomar decisões de negócios precisam de visibilidade sobre quando a análise estará concluída, e deixá-las no escuro — ou enganá-las com promessas de cronograma que você não pode garantir — não é do interesse de ninguém.
Essas práticas permitem uma estratégia de gerenciamento de dados que é ágil e realista. Elas nos permitem construir eficiências no gerenciamento de dados sempre que possível, evitando objetivos ou promessas que não são viáveis de serem alcançados, pelo menos não sempre.
É disso que o gerenciamento ágil de dados deve se tratar, em última análise: Transparência e pragmatismo. Como observei acima, você simplesmente não pode controlar suas variáveis no contexto do gerenciamento de dados na mesma extensão que pode no desenvolvimento de software e, como resultado, os engenheiros de dados precisam operar de forma um pouco diferente de seus colegas na engenharia de software quando se trata de aplicar princípios ágeis. Esforce-se pela perfeição, mas planeje-se para a impossibilidade de alcançá-la.
