Guia de contratação de desenvolvedores de data warehouse

Seu negócio depende de dados. A cada ano que passa isso fica cada vez mais óbvio. Não importa o tamanho da sua empresa, você precisa das informações para seguir em frente. Essas informações podem consistir em detalhes de clientes, dados de vendas, registros de funcionários, registros da cadeia de suprimentos, produtos, clientes, dados de localização ou tendências. A lista de dados de que sua empresa precisa pode ser infinita.

E quanto mais tempo você estiver no mercado, essas lojas poderão crescer exponencialmente. Onde você guarda esses dados? Quando sua empresa crescer além de um simples servidor ou conjunto de servidores para armazenar seus dados, você perceberá que precisa de algo sério, como um data warehouse.

O próprio termo provavelmente evoca edifícios enormes que abrigam fileiras e mais fileiras de servidores que estão todos agrupados para manter todos esses dados preciosos seguros. Embora seja uma imagem intrigante, tal conceito só é válido para as maiores empresas.

Para o seu negócio, um data warehouse é, na verdade, uma grande coleção de dados comerciais que pode ser usado para ajudar sua empresa a tomar decisões informadas. Este conceito existe desde os anos 80. Nesse ponto, tornou-se óbvio que os dados eram mais do que apenas um meio de armazenar informações, mas uma forma de ajudar a tomar decisões importantes que podem revelar inteligência empresarial.

Mais sobre Inteligência Empresarial

Business Intelligence (BI) compreende tanto as estratégias quanto as tecnologias usadas por empresas de classe empresarial para analisar coleções de dados. A análise desses dados tornou-se fundamental para as empresas traçarem estratégias para o futuro. E dado o quão competitivo o mundo dos negócios se tornou, cada vantagem (independentemente de quão pequena seja) pode significar a diferença entre o sucesso e o fracasso.

Embora você possa pensar que pode sobreviver com o banco de dados tradicional e a GUI baseada na Web, há dois benefícios muito importantes na migração para um data warehouse:

• Melhores dados – você poderá coletar informações mais consistentes e relevantes de uma fonte específica.
• Decisões mais rápidas – como os dados armazenados em um warehouse estão em um formato mais consistente, os sistemas que você usa para análise podem chegar a decisões com muito mais rapidez.

É importante compreender que um data warehouse não é apenas uma coleção única de dados. Em vez disso, um data warehouse é uma coleção de bancos de dados armazenados. Isso significa que você pode ter bancos de dados diferentes de diversas fontes ou cada um deles abrigando dados específicos de regiões, clientes ou produtos.

Lago de dados ou não?

Você deve ter ouvido o termo “data lake”. Embora este seja outro conceito importante, você precisa entender que um data warehouse e um data lake são duas coisas muito diferentes. Um data lake é uma coleção de vários tipos de dados, incluindo brutos, não estruturados e estruturados. Esses diferentes conjuntos de dados são armazenados em formato bruto até serem necessários. Um data warehouse, por outro lado, armazena dados em arquivos e pastas organizados que estão prontos para serem usados ​​por ferramentas analíticas.

O que você precisa para construir um data warehouse

Em primeiro lugar, um data warehouse não é algo que seu administrador de TI possa baixar e apontar e clicar para implantá-lo. Este é um procedimento muito complicado, complicado e demorado. Isso significa que você precisará ter a equipe necessária para fazer pesquisas aprofundadas e que entenda perfeitamente como os dados funcionam.

Portanto, a primeira coisa que você precisará fazer é coletar seus dados, que podem vir de praticamente qualquer fonte. Pode ser desempenho de anúncios, rastreamento de sites ou aplicativos, comércio eletrônico, marketing, relacionamento com o cliente, suporte ao cliente ou dados financeiros. Você pode coletar esses dados com ferramentas como Google Analytics, Snowplow, Heap, a ferramenta de RH da sua empresa ou Zendesk. Isso significa que você precisará de pessoal treinado na extração de dados dessas plataformas.

Depois de coletar seus dados, você precisará recorrer a uma empresa que ofereça soluções de data warehouse. Sim, você sempre pode construir seu próprio data warehouse interno, mas por que reinventar a roda? Alguns dos serviços de data warehouse mais fáceis de iniciar incluem:

• Redshift da Amazon
• Panóplia
• Floco de neve

Dos serviços acima, apenas o Panopy oferece conectores integrados e fáceis de usar para praticamente qualquer tipo de dados que você coletou. Isso torna o Panoply o mais fácil de usar, o Snowflake pode ficar caro e o Amazon Redshift pode ser o mais complicado. No entanto, se você espera que seu data warehouse cresça rápido e grande, a Amazon certamente tem a infraestrutura para abrigar qualquer tamanho de data warehouse que você precisar.

Em seguida, você precisará da ferramenta ETL certa. ETL significa Extrair, Transformar, Carregar. Isso só será necessário se você optar por uma solução de data warehouse que não inclua um conector para seus dados. Se for esse o caso, você precisará recorrer a pessoas como Cantor, Ponto, Blendoou Fivetran. Naturalmente, você precisará de membros da equipe capazes de usar essas ferramentas.

Finalmente, você precisará empregar as ferramentas analíticas certas, como Estúdio de dados do Google, Observador, Metabaseou Modo.

Depois de reunir todas essas peças, seu data warehouse estará pronto para ser usado.

Questões de entrevista

O que é um armazém de dados?

Um data warehouse é uma coleção de dados que é usada como um sistema de apoio à decisão de gerenciamento e/ou business intelligence.

O que é uma tabela de fatos?

Uma tabela de fatos contém a medição dos processos de negócios, bem como chaves estrangeiras usadas para tabelas de dimensões.

Quais são os 4 estágios do armazenamento de dados?

• Banco de dados operacional offline
• Armazém de dados off-line
• Armazém de dados em tempo real
• Armazém de dados integrado

O que significa OLTP?

Processamento de transações on-line

O que significa OLAP?

Processamento analítico online

Qual é a diferença entre Visualização e Visualização Materializada?

Uma visualização é uma tabela virtual que utiliza a saída de uma consulta para ser usada no lugar de tabelas, enquanto uma visualização materializada é o acesso indireto aos dados da tabela, armazenando os resultados de uma consulta em um esquema separado.

O que são fatos não aditivos?

Os fatos não viciantes não podem ser resumidos em nenhuma das dimensões presentes na tabela de fatos.

Quais são os 3 tipos de dimensões que mudam lentamente?

• SCD 1 – um novo registro substitui o registro original
• SCD 2 – um novo registro é adicionado à tabela de dimensão do cliente existente
• SCD 3 – os dados originais são modificados para incluir novos dados

Descrição do trabalho

Você será responsável por planejar, conectar, projetar, agendar e implantar nossos sistemas de data warehouse. Outras funções incluirão o desenvolvimento, monitoramento e manutenção de processos ETL, aplicativos de relatórios e design de data warehouse.

Responsabilidades

• Planeje, crie, coordene e implante data warehouses da empresa.
• Projete quaisquer interfaces de usuário final necessárias ou treine os usuários com ferramentas de terceiros.
• Desenvolva práticas recomendadas para carregamento e extração de dados.
• Desenvolva e gerencie todos os aspectos da arquitetura de dados, modelagem de dados e soluções de mapeamento ETFL em um ambiente estruturado de data warehouse.
• Desenvolva e/ou implante os aplicativos de relatórios necessários.
• Desenvolver e implementar rotinas ETL.
• Apoie o desenvolvimento e a validação necessários durante o ciclo de vida do data warehouse e dos sistemas de business intelligence.
• Mantenha a conectividade do usuário e forneça segurança para o data warehouse.
• Monitore o desempenho do data warehouse e dos sistemas de business intelligence.
• Gerencie vários projetos ao mesmo tempo.

Habilidades e qualificações

• Conhecimento e compreensão do ciclo de vida de desenvolvimento de software.
• Conhecimento e experiência avançados (mínimo 5 anos) em bancos de dados relacionais e linguagem de consulta SQL.
• Experiência em design e modelagem de banco de dados para data warehouses.
• Experiência com aplicações de business intelligence (incluindo estruturas de banco de dados relacionais e formulários normais).
• Habilidades analíticas e de solução de problemas com assuntos e tarefas técnicas complexas.
• Experiência mínima de 5 anos com SQL Server, TSQL, SSAS, SSIS, SSRS, SharePoint Development Studio e Oracle DBMS.
• Habilidades analíticas superiores com uma boa atitude de resolução de problemas.
• Compreensão fundamental de sistemas de controle de versão (como Git).
• Sólidas habilidades de resolução de problemas.
• Excelente comunicação escrita e verbal.
• Boas habilidades organizacionais.
• Capacidade de trabalhar como parte de uma equipe.
• Atenção aos detalhes.
• Compreender a natureza da programação assíncrona e suas peculiaridades e soluções alternativas
• Uma atitude positiva.

Conclusão

Como você provavelmente pode perceber, criar um data warehouse não é uma tarefa fácil. É por isso que você precisará contratar desenvolvedores de data warehouse que sejam capazes de reunir essas tecnologias, para que sua empresa possa aproveitar ao máximo seus dados e elevar seu jogo de business intelligence para o próximo nível.