Instalar aplicativos Apache Hadoop de terceiros no Azure HDInsight
Saiba como instalar um aplicativo do Apache Hadoop de terceiros no Azure HDInsight. Para obter instruções sobre como instalar seu próprio aplicativo, confira Instalar aplicativos personalizados do HDInsight.
Um aplicativo do HDInsight é um aplicativo que os usuários podem instalar em um cluster do HDInsight. Esses aplicativos podem ser desenvolvidos pela Microsoft, por ISVs (fornecedores independentes de software) ou por conta própria.
A lista a seguir mostra os aplicativos publicados:
| Aplicativo | Tipo(s) de cluster | Descrição |
|---|---|---|
| Plataforma de inteligência AtScale | O Hadoop | O AtScale transforma seu cluster HDInsight em um servidor OLAP de expansão, permitindo que você consulte bilhões de linhas de dados interativamente usando as ferramentas de BI que você já conhece, tem e adora – do Microsoft Excel, Power BI, Software Tableau para QlikView. |
| Datameer | O Hadoop | A plataforma escalável de autoatendimento do Datameer para preparar, explorar e governar seus dados para acelerações de análise, transformando dados complexos de múltiplas fontes em informações úteis e prontas para o negócio, fornecendo insights mais rápidos e inteligentes em escala corporativa. |
| Dataiku DSS no HDInsight | Hadoop, Spark | Dataiku DSS em uma plataforma de ciência de dados corporativos que permite que cientistas de dados e analistas de dados colaborem para projetar e executar novos produtos de dados e serviços com mais eficiência, transformando dados brutos em previsões impactantes. |
| Aplicativo WANdisco Fusion HDI | Hadoop, Spark, HBase, Kafka | Manter os dados consistentes em um ambiente distribuído é um grande desafio para operações de dados. O WANdisco Fusion, uma plataforma de software de classe empresarial, resolve esse problema habilitando a consistência de dados não estruturados em qualquer ambiente. |
| H2O SparklingWater para HDInsight | Spark | O H2O Sparkling Water dá suporte aos seguintes algoritmos distribuídos: GLM, Naïve Bayes, Distributed Random Forest, Gradient Boosting Machine, Deep Neural Networks, Aprendizado profundo, K-means, PCA, Generalized Low Rank Models, Anomaly Detection, Autoencoders. |
| Striim para integração de dados em tempo real ao HDInsight | Hadoop, HBase, Spark, Kafka | O Striim (pronuncia-se "fluxo") é uma integração de dados de fluxo contínuo de ponta a ponta + plataforma de inteligência, permitindo a ingestão, o processamento e a análise contínuos de fluxos de dados diferentes. |
| Jumbune Enterprise – acelerando o BigData Analytics | Hadoop, Spark | Em um alto nível, o Jumbune auxilia empresas ao: 1. Acelerar o Tez, o MapReduce e o Hive baseado no mecanismo Spark, o Java, o desempenho da carga de trabalho Scala. 2. Monitorar proativamente o cluster Hadoop, 3. Estabelecer o gerenciamento de qualidade de dados no sistema de arquivos distribuído. |
| Kyligence Enterprise | Hadoop, HBase, Spark | Desenvolvido pela Apache Kylin, o Kyligence Enterprise permite BI em Big Data. Como um mecanismo OLAP corporativo no Hadoop, o Kyligence Enterprise capacita o analista de negócios a arquitetar BI no Hadoop com metodologia de data warehouse e BI padrão do setor. |
| Coletor de dados do StreamSets para nuvem do HDInsight | Hadoop, HBase, Spark, Kafka | O coletor de dados StreamSets é um mecanismo leve e poderoso que transmite dados em tempo real. Use o coletor de dados para rotear e processar dados em seus fluxos de dados. Ele vem com uma licença de avaliação gratuita de 30 dias. |
| Trifacta Wrangler Enterprise | Hadoop, Spark, HBase | Trifacta Wrangler Enterprise para HDInsight dá suporte à estruturação de dados de toda a empresa para qualquer escala de dados. O custo da execução de Trifacta no Azure é uma combinação dos custos de assinatura do Trifacta, além dos custos de infraestrutura do Azure para as máquinas virtuais. |
| Unifi Data Platform | Hadoop, HBase, Spark | O Unifi Data Platform é um conjunto perfeitamente integrado de ferramentas de dados de autoatendimento projetado para capacitar o usuário corporativo a enfrentar desafios de dados que geram receita incremental, reduzem custos ou complexidade operacional. |
As instruções fornecidas neste artigo usam o portal do Azure. Também é possível exportar o modelo do Azure Resource Manager do portal ou obter uma cópia do modelo do Resource Manager de fornecedores e usar o Azure PowerShell e a CLI clássica do Azure para implantar o modelo. Consulte Criar clusters do Apache Hadoop no HDInsight usando modelos do Resource Manager.
Pré-requisitos
Se você quiser instalar aplicativos do HDInsight em um cluster HDInsight existente, precisará ter um cluster HDInsight. Para criar um, confira Criar clusters. Você também pode instalar aplicativos do HDInsight quando cria um cluster HDInsight.
Instalar aplicativos em clusters existentes
O procedimento a seguir mostra como instalar aplicativos do HDInsight em um cluster HDInsight existente.
Instalar um aplicativo do HDInsight
Entre no portal do Azure.
No menu esquerdo, navegue até Todos os serviços>Analytics>clusters HDInsight.
Selecione um cluster HDInsight na lista. Se não tiver um, você deverá criá-lo primeiro. Confira Criar clusters.
Na categoria Configurações, selecione Aplicativos. Você poderá ver uma lista de aplicativos instalados na janela principal.
Selecione +Adicionar no menu. Você pode ver uma lista de aplicativos disponíveis. Se +Adicionar estiver esmaecido, isso significa que não há nenhum aplicativo para esta versão do cluster HDInsight.
Selecione em um dos aplicativos disponíveis e, em seguida, siga as instruções para aceitar os termos legais.
Você pode ver o status de instalação nas notificações do portal (selecione o ícone de sino na parte superior do portal). Depois que o aplicativo é instalado, ele é exibido na folha Aplicativos Instalados.
Instalar aplicativos durante a criação do cluster
Você tem a opção de instalar aplicativos do HDInsight ao criar um cluster. Durante o processo, os aplicativos do HDInsight são instalados depois que o cluster é criado e está no estado de execução. Para instalar aplicativos durante a criação do cluster usando o portal do Azure, na guia Configuração + preços, selecione +Adicionar aplicativo.
Listar os aplicativos do HDInsight instalados e as propriedades
O portal mostra uma lista dos aplicativos do HDInsight instalados para um cluster e as propriedades de cada aplicativo instalado.
Listar o aplicativo do HDInsight e exibir as propriedades
Entre no portal do Azure.
No menu esquerdo, navegue até Todos os serviços>Analytics>clusters HDInsight.
Selecione um cluster HDInsight na lista.
Na categoria Configurações, selecione Aplicativos. Você poderá ver uma lista de aplicativos instalados na janela principal.
Selecione um dos aplicativos instalados para mostrar a propriedade. A propriedades lista:
Propriedade Descrição Nome do aplicativo Nome do aplicativo. Status Status do aplicativo. Página da web A URL do aplicativo Web que você implantou no nó de borda. A credencial é igual às credenciais de usuário HTTP que você configurou para o cluster. Ponto de extremidade SSH Você pode usar o SSH para conectar-se ao nó de borda. As credenciais SSH são iguais às credenciais de usuário SSH que você configurou para o cluster. Para obter informações, consulte Usar SSH com HDInsight. Descrição Descrição do aplicativo. Para excluir um aplicativo, clique nele com o botão direito do mouse e clique em Excluir no menu de contexto.
Conectar-se ao nó de borda
Você pode se conectar ao nó de borda usando HTTP e SSH. As informações de ponto de extremidade podem ser encontradas no portal. Para obter informações, consulte Usar SSH com HDInsight.
As credenciais do ponto de extremidade HTTP são as credenciais de usuário HTTP configuradas para o cluster do HDInsight. As credenciais de ponto de extremidade SSH são as credenciais SSH configuradas para o cluster do HDInsight.
Solucionar problemas
Confira Solucionar problemas de instalação.
Próximas etapas
- Instalar aplicativos personalizados do HDInsight: saiba como implantar um aplicativo do HDInsight não publicado no HDInsight.
- Publicar aplicativos HDInsight: Saiba como publicar seus aplicativos personalizados do HDInsight no Azure Marketplace.
- MSDN: Instalar um aplicativo HDInsight: Saiba como definir aplicativos do HDInsight.
- Personalizar clusters HDInsight baseados em Linux usando a Ação de Script: saiba como usar a Ação de Script para instalar aplicativos adicionais.
- Personalizar clusters Apache Hadoop baseados em Linux no HDInsight usando modelos do Resource Manager: saiba como chamar modelos do Resource Manager para criar clusters HDInsight.
- Usar nós de borda vazios no HDInsight: saiba como usar um nó de borda vazio para acessar o cluster HDInsight, testar e hospedar aplicativos HDInsight.