Quando usar o HDInsight
O principal ponto forte do HDInsight é a variedade de configurações diferentes que o serviço oferece. Ele permite que você dê suporte a uma ampla gama de cargas de trabalho. Essas cargas de trabalho podem ser processamento de dados em lote, trabalho com os dados de streaming ou o gerenciamento de data warehouses e/ou cargas de trabalho de ciência de dados. Esse recurso torna o HDInsight uma opção interessante, especialmente se o seu processo de negócios contém várias cargas de trabalho.
Por exemplo, se a sua organização cria apenas um data warehouse para apresentar relatórios históricos por meio do Power BI, pode ser pragmático usar o Data Warehouse do SQL do Azure com Power BI. Da mesma forma, se a sua organização executa análises avançadas com uma solução de ciência de dados e nada mais, pode ser apropriado usar apenas o Azure Databricks.
No entanto, se as cargas de trabalho da sua organização envolvem a ingestão de dados para relatórios históricos e análises avançadas e você tem dados de streaming que exigem análise, o HDInsight é uma opção pragmática. Todos os dados podem ser ingeridos em uma só localização de Data Lake. Em seguida, você pode usar a configuração do HDInsight correta para gerenciar o processamento em lotes, o data warehouse, as operações de ciência de dados e as cargas de trabalho de streaming. Como há separação entre a computação e o armazenamento, isso pode ser feito diretamente sobre os mesmos dados. Além disso, você estará minimizando o custo do armazenamento, uma vez que as operações são executadas em um só armazenamento de dados, em vez de vários.
Diferenciais do HDInsight
Além dos cenários descritos acima. Veja abaixo os principais diferenciais que tornam o HDInsight ideal para cargas de trabalho de Big Data:
- Computação e armazenamento escalonáveis de modo independente
- Dimensionamento automático de nós com base na carga de trabalho ou na agenda
- Flexibilidade e tolerância a falhas de nós mestres
- Segurança do Enterprise
- .
A separação da computação e do armazenamento, juntamente com o dimensionamento automático do cluster, dependendo da carga de trabalho ou da agenda, pode levar a otimizações de custo significativas. Os nós mestres do HDInsight são resilientes a falhas. Os nós mestres são apoiados por máquinas virtuais tolerantes a falhas que levam a um serviço altamente disponível com um SLA de 99,9%. A integração do Microsoft Entra tem os recursos de segurança corporativa de autenticação e autorização. Esses recursos, em conjunto com o suporte à criptografia e à rede virtual, dão um controle granular de quem pode acessar os dados. O HDInsight é apoiado por uma variedade de SDKs, que permitem a criação e o desenvolvimento de cluster em vários idiomas em uma variedade de IDEs.