O que é Hadoop?

A sua empresa atua no ramo de processamento de números? Você precisa executar cálculos em grandes quantidades de dados? Nesse caso, é provável que você precise de computação distribuída para transações do tipo Big Data. Como você consegue tal façanha? Com a ajuda do Hadoop.

Apache Hadoop é uma coleção de ferramentas de código aberto que possibilita agrupar vários computadores para resolver grandes problemas. O Hadoop é usado para armazenamento muito grande de praticamente qualquer tipo de dados e fornece enorme poder de processamento para trabalhos simultâneos quase ilimitados.

O Hadoop foi iniciado por Doug Cutting e Mike Cafarella em 2002 enquanto trabalhavam no projeto Apache Nutch. Logo após o início do projeto, Cutting e Cafarella concluíram que custaria quase meio milhão de dólares apenas em hardware, com um custo operacional mensal de cerca de US$ 30.000.

Para reduzir o custo, a equipe recorreu ao Google File System e ao MapReduce, o que levou Cutting a perceber que o Nutch estava limitado a clusters de 20 a 40 nós. Isso significava que eles não conseguiriam atingir seu objetivo com apenas duas pessoas trabalhando no projeto. Foi logo após essa constatação (e a entrada de Cutting no Yahoo!) que um novo projeto foi formado, chamado Hadoop, que foi criado para expandir a capacidade do Nutch de escalar milhares de nós.

Em 2007, o Yahoo! implementou com sucesso o Hadoop em um cluster de 1.000 nós. O Hadoop foi então lançado como um projeto de código aberto para a Apache Software Foundation. Nesse mesmo ano, o Apache testou com sucesso o Hadoop em um cluster de 4.000 nós.

O objetivo de Cutting e Cafarella foi alcançado e o Hadoop poderia ser dimensionado o suficiente para lidar com computação massiva de dados. E em dezembro de 2001, o Apache lançou a versão 1.0 do Hadoop.

Quais são as peças que compõem o Hadoop?

Hadoop é uma estrutura de componentes composta por 3 partes:

• Hadoop HDFS – Hadoop Distributed File System (HDFS) serve como unidade de armazenamento, que não apenas fornece armazenamento distribuído, mas também segurança de dados e tolerância a falhas.
• Hadoop MapReduce – Hadoop MapReduce serve como unidade de processamento, que é tratada nos nós do cluster, cujos resultados são enviados ao mestre do cluster.
• Hadoop YARN – Hadoop YARN (Yet Another Resource Negotiator) serve como unidade de gerenciamento de recursos e realiza agendamento de tarefas.

Cada um desses componentes se reúne para tornar o armazenamento distribuído muito mais eficiente. Para ajudá-lo a entender isso, vamos usar uma analogia.

Uma pequena empresa vende grãos de café. No início, eles vendem apenas um tipo de café em grão. Eles armazenam seus grãos de café em um único depósito conectado ao prédio e tudo corre bem. Eventualmente, porém, os clientes começam a pedir diferentes tipos de grãos de café, então a empresa decide que é do seu interesse expandir.

Para economizar, a empresa armazena todos os grãos na mesma sala, mas contrata mais funcionários para atender à nova demanda. À medida que a procura continua a crescer, a oferta tem de corresponder, pelo que o espaço de armazenamento se torna problemático. Para compensar isso, a empresa contrata ainda mais trabalhadores, mas logo percebe que o problema é o gargalo no depósito.

Finalmente, a empresa percebe que precisa de salas de armazenamento separadas para cada tipo de feijão e depois separa os funcionários para gerenciar as diferentes salas. Com este novo pipeline de entrega implementado, o negócio não só funciona melhor, mas também pode lidar com o crescimento contínuo da demanda.

Esse armazenamento distribuído é semelhante ao funcionamento do armazenamento de dados distribuído, mas em vez de salas de armazenamento separadas, temos vários nós de cluster para armazenar dados.

É assim que o Hadoop ajuda o Big Data a superar as necessidades cada vez maiores de:

• Volume – a quantidade de dados
• Velocidade – os dados de velocidade são gerados
• Variedade – os diferentes tipos de dados
• Veracidade – a capacidade de confiar nos dados

Por que o Hadoop em vez de um banco de dados tradicional?

Você provavelmente está se perguntando: “Por que usar o Hadoop quando um banco de dados tradicional serviu perfeitamente à minha empresa?” Esta é uma boa pergunta. A resposta se resume a até onde você deseja que seu negócio cresça.

Você pode ter os melhores desenvolvedores de Java, JavaScript, .NET, Python, PHP e nuvem que o dinheiro pode comprar. Mas se a sua solução de banco de dados não for capaz de lidar com grandes quantidades de dados, não há como esses desenvolvedores (não importa quão talentosos sejam) contornar as limitações dos bancos de dados padrão, como:

• Limitações de tamanho de armazenamento de dados – o Hadoop torna possível armazenar grandes quantidades de qualquer tipo de dados.
• Poder de computação – O modelo de computação distribuída do Hadoop significa que sua empresa pode gerenciar quantidades cada vez maiores de dados, simplesmente adicionando nós ao cluster.
• Tolerância a falhas – o Hadoop protege seu cluster contra falhas de hardware. Se um nó ficar inativo, os trabalhos serão redirecionados automaticamente para outros nós.
• Flexibilidade – O Hadoop possibilita o pré-processamento dos dados antes de serem armazenados.
• Econômico – o Hadoop não é apenas gratuito, mas possibilita que você expanda seus negócios muito além dos bancos de dados tradicionais, sem o custo adicional de hardware caro.

A ressalva de usar o Hadoop

O maior problema que sua empresa enfrentará é ter habilidades internas para implantar e gerenciar um sistema Hadoop. Embora o Hadoop use Java como linguagem principal (especialmente com MapReduce), as habilidades necessárias vão muito além do básico. Felizmente, existem muitas empresas de contratação de desenvolvimento nearshore e offshore que oferecem o talento necessário para implementar o Hadoop em sua empresa.

Conclusão

Portanto, se você deseja competir com as maiores empresas do mercado, considere seriamente uma plataforma como o Hadoop, para ajudá-lo a atender e superar as necessidades computacionais de dados dedicadas ao crescimento atual e futuro.