A integração de dados é um desafio difícil em todas as empresas. O processamento em lote e o ETL reverso são práticas comuns em um data warehouse, data lake. Inconsistência de dados, altos custos de computação e informações obsoletas são as consequências.
Esta postagem de blog apresenta um novo padrão de design para resolver esses problemas: a Shift Left Architecture permite uma malha de dados com produtos de dados em tempo real para unificar cargas de trabalho transacionais e analíticas com Apache Kafka, Flink e Iceberg. Informações consistentes são manipuladas com processamento de streaming ou ingeridas no Snowflake, Databricks, Google BigQuery ou qualquer outra plataforma de análise/IA para aumentar a flexibilidade, reduzir custos e permitir uma cultura empresarial orientada a dados com tempo de lançamento no mercado mais rápido, criando aplicativos de software inovadores.
Produtos de Dados: a Base de uma Malha de Dados
Um produto de dados é um conceito crucial no contexto de uma malha de dados que representa uma mudança do gerenciamento de dados centralizado tradicional para uma abordagem descentralizada. Em vez de ter um único data warehouse ou data lake, a malha de dados é composta por vários produtos de dados que são projetados, desenvolvidos e mantidos por equipes autônomas.
Cada produto de dados é responsável por um conjunto específico de dados e serviços relacionados. Eles são construídos e implantados de forma independente, mas interoperáveis por meio de APIs e padrões comuns. Essa abordagem permite que as equipes sejam ágeis, respondam rapidamente às necessidades dos usuários e inovem com mais facilidade.
Características de um Produto de Dados
Um produto de dados possui as seguintes características-chave:
-
Orientado a Domínio: Cada produto de dados é projetado para atender a um domínio de negócios específico, como vendas, finanças ou recursos humanos. Isso garante que os dados e serviços sejam relevantes e úteis para os usuários finais.
-
Autocontido: Um produto de dados é autocontido, o que significa que ele possui todos os componentes necessários para funcionar de forma independente, incluindo armazenamento de dados, lógica de negócios e APIs de acesso.
-
Escalável: Os produtos de dados devem ser projetados para escalar horizontalmente, permitindo que eles lidem com cargas de trabalho crescentes sem afetar o desempenho.
-
Resiliente: Cada produto de dados deve ser resiliente a falhas, com mecanismos de recuperação e redundância incorporados para garantir a disponibilidade contínua.
-
Observável: Os produtos de dados devem fornecer visibilidade sobre seu estado, desempenho e uso por meio de métricas, logs e rastreamento.
-
Governado: Embora os produtos de dados sejam descentralizados, eles ainda devem estar sujeitos a uma governança de dados geral para garantir a conformidade, segurança e qualidade dos dados.
Benefícios dos Produtos de Dados
A adoção de uma abordagem de produtos de dados traz vários benefícios:
-
Agilidade: As equipes podem desenvolver e implantar novos produtos de dados de forma independente, respondendo rapidamente às necessidades em constante mudança dos negócios.
-
Escalabilidade: A arquitetura de malha de dados permite que os produtos de dados escalem horizontalmente, suportando cargas de trabalho cada vez maiores.
-
Flexibilidade: Com produtos de dados independentes, as empresas podem escolher as melhores tecnologias e plataformas para cada caso de uso, em vez de se prender a uma única solução.
-
Redução de Custos: A abordagem descentralizada elimina a necessidade de um data warehouse ou data lake monolítico, reduzindo os custos de infraestrutura e manutenção.
-
Qualidade de Dados: A governança de dados centralizada, juntamente com a responsabilidade individual dos produtos de dados, garante a integridade e a qualidade dos dados.
-
Inovação: A malha de dados permite que as equipes inovem com mais facilidade, criando novos produtos de dados para atender a novas necessidades de negócios.
A Shift Left Architecture
A Shift Left Architecture é um padrão de design que aproveita os benefícios dos produtos de dados para unificar cargas de trabalho transacionais e analíticas em uma malha de dados em tempo real.
Nessa arquitetura, os dados são capturados, transformados e disponibilizados em tempo real, em vez de serem processados em lotes. Isso permite que as empresas tomem decisões mais rápidas e informadas, com base em informações atualizadas.
Componentes-Chave da Shift Left Architecture
-
Apache Kafka: O Apache Kafka é o backbone da malha de dados, atuando como um sistema de mensagens distribuído e resiliente. Ele captura eventos em tempo real de diferentes fontes de dados e os distribui para os vários produtos de dados.
-
Apache Flink: O Apache Flink é um mecanismo de processamento de fluxo que processa os dados em tempo real à medida que eles chegam, em vez de processá-los em lotes. Isso permite que os produtos de dados forneçam insights e ações imediatas.
-
Apache Iceberg: O Apache Iceberg é um formato de tabela de dados open source que permite o gerenciamento eficiente de grandes conjuntos de dados em tempo real. Ele é usado para armazenar os dados brutos e processados nos produtos de dados.
-
Plataformas de Análise/IA: Os dados processados e unificados pelos produtos de dados são ingeridos em plataformas de análise e IA, como Snowflake, Databricks ou Google BigQuery, para análises avançadas e aplicações de IA.
Benefícios da Shift Left Architecture
-
Unificação de Cargas de Trabalho: A Shift Left Architecture unifica cargas de trabalho transacionais e analíticas em uma malha de dados em tempo real, eliminando a necessidade de ETL reverso e processamento em lote.
-
Agilidade e Inovação: As equipes podem desenvolver e implantar novos produtos de dados rapidamente, respondendo às necessidades em constante mudança dos negócios.
-
Redução de Custos: A arquitetura descentralizada e o processamento em tempo real reduzem os custos de infraestrutura e computação.
-
Qualidade de Dados: A governança de dados centralizada e a responsabilidade individual dos produtos de dados garantem a integridade e a qualidade dos dados.
-
Insights em Tempo Real: Os dados são processados e disponibilizados em tempo real, permitindo que as empresas tomem decisões mais rápidas e informadas.
-
Escalabilidade: A arquitetura de malha de dados permite que os produtos de dados escalem horizontalmente, suportando cargas de trabalho cada vez maiores.
Conclusão
A Shift Left Architecture, com sua abordagem de produtos de dados em tempo real, representa uma evolução significativa em relação aos modelos tradicionais de gerenciamento de dados. Ao unificar cargas de trabalho transacionais e analíticas, essa arquitetura permite que as empresas sejam mais ágeis, inovadoras e orientadas a dados, com custos reduzidos e maior qualidade de informações.
À medida que as empresas enfrentam desafios cada vez mais complexos de integração de dados, a Shift Left Architecture se apresenta como uma solução eficaz e escalável, capaz de impulsionar a transformação digital e a vantagem competitiva.
