Partilhar via


Usar o Kit de Ferramentas do Azure para Eclipse para criar aplicativos Apache Spark para um cluster HDInsight

Use as Ferramentas do HDInsight no Kit de Ferramentas do Azure para Eclipse para desenvolver aplicativos Apache Spark escritos em Scala e enviá-los para um cluster do Azure HDInsight Spark, diretamente do IDE do Eclipse. Você pode usar o plug-in Ferramentas do HDInsight de algumas maneiras diferentes:

  • Para desenvolver e enviar um aplicativo Scala Spark em um cluster HDInsight Spark.
  • Para acessar seus recursos de cluster do Azure HDInsight Spark.
  • Para desenvolver e executar um aplicativo Scala Spark localmente.

Pré-requisitos

Instalar plug-ins necessários

Instalar o Azure Toolkit for Eclipse

Para obter instruções de instalação, consulte Instalando o Kit de Ferramentas do Azure para Eclipse.

Instalar o plug-in Scala

Quando você abre o Eclipse, as Ferramentas do HDInsight detetam automaticamente se você instalou o plug-in Scala. Selecione OK para continuar e siga as instruções para instalar o plug-in a partir do Eclipse Marketplace. Reinicie o IDE após a conclusão da instalação.

Automatic installation of the Scala plug-in.

Confirmar plug-ins

  1. Navegue até Ajuda>do Eclipse Marketplace....

  2. Selecione a guia Instalado .

  3. Você deve ver pelo menos:

    • Kit de Ferramentas do Azure para a versão> do Eclipse<.
    • Versão Scala IDE<>.

Inicie sessão na sua subscrição do Azure

  1. Inicie o Eclipse IDE.

  2. Navegue até Janela>Mostrar Ver>Outro...>Iniciar sessão...

  3. Na caixa de diálogo Mostrar Exibição, navegue até o Azure Azure Explorer e selecione Abrir>.

    Apache Spark Eclipse show view.

  4. No Azure Explorer, clique com o botão direito do mouse no nó do Azure e selecione Entrar.

  5. Na caixa de diálogo Entrar do Azure, escolha o método de autenticação, selecione Entrar e conclua o processo de entrada.

    Apache Spark Eclipse Azure Sign.

  6. Depois de iniciar sessão, a caixa de diálogo As Suas Subscrições lista todas as subscrições do Azure associadas às credenciais. Pressione Select (Selecionar) para fechar a caixa de diálogo.

    Select Subscriptions dialog box.

  7. No Azure Explorer, navegue até Azure>HDInsight para ver os clusters HDInsight Spark em sua assinatura.

    HDInsight Spark clusters in Azure Explorer3.

  8. Você pode expandir ainda mais um nó de nome de cluster para ver os recursos (por exemplo, contas de armazenamento) associados ao cluster.

    Expanding a cluster name to see resources.

Você pode vincular um cluster normal usando o nome de usuário gerenciado do Ambari. Da mesma forma, para um cluster HDInsight associado a um domínio, você pode vincular usando o domínio e o nome de usuário, como user1@contoso.com.

  1. No Azure Explorer, clique com o botão direito do mouse em HDInsight e selecione Vincular um cluster.

    Azure Explorer link cluster menu.

  2. Introduza Nome do Cluster, Nome de Utilizador e Palavra-passe e, em seguida, selecione OK. Opcionalmente, insira Conta de Armazenamento, Chave de Armazenamento e selecione Contêiner de Armazenamento para que o explorador de armazenamento funcione na visualização em árvore à esquerda

    Link New HDInsight cluster dialog.

    Nota

    Usamos a chave de armazenamento vinculada, o nome de usuário e a senha se o cluster fizer logon na assinatura do Azure e Vincular um cluster. Azure Explorer storage accounts.

    Para o usuário somente do teclado, quando o foco atual estiver na Tecla de Armazenamento, você precisará usar Ctrl+TAB para se concentrar no próximo campo da caixa de diálogo.

  3. Você pode ver o cluster vinculado em HDInsight. Agora você pode enviar um aplicativo para esse cluster vinculado.

    Azure Explorer hdi linked cluster.

  4. Você também pode desvincular um cluster do Azure Explorer.

    Azure Explorer unlinked cluster.

Configurar um projeto do Spark Scala para um cluster HDInsight Spark

  1. No espaço de trabalho do Eclipse IDE, selecione Arquivo>Novo>Projeto....

  2. No assistente para Novo projeto, selecione Faísca de projeto>do HDInsight no HDInsight (Scala). Em seguida, selecione Seguinte.

    Selecting the Spark on HDInsight (Scala) project.

  3. Na caixa de diálogo Novo Projeto HDInsight Scala, forneça os seguintes valores e selecione Avançar:

    • Introduza um nome para o projeto.
    • Na área JRE, certifique-se de que Usar um ambiente de execução JRE esteja definido como JavaSE-1.7 ou posterior.
    • Na área Biblioteca do Spark, você pode escolher a opção Usar o Maven para configurar o SDK do Spark. Nossa ferramenta integra a versão adequada para Spark SDK e Scala SDK. Você também pode escolher a opção Adicionar SDK do Spark manualmente , baixar e adicionar o SDK do Spark manualmente.

    New HDInsight Scala Project dialog box.

  4. Na caixa de diálogo seguinte, reveja os detalhes e, em seguida, selecione Concluir.

Criar um aplicativo Scala para um cluster HDInsight Spark

  1. No Explorador de Pacotes, expanda o projeto que você criou anteriormente. Clique com o botão direito do mouse em src, selecione Novo>Outro....

  2. Na caixa de diálogo Selecionar um assistente, selecione Objeto Scala Wizards>Scala. Em seguida, selecione Seguinte.

    Select a wizard Create a Scala Object.

  3. Na caixa de diálogo Criar Novo Arquivo, digite um nome para o objeto e selecione Concluir. Um editor de texto será aberto.

    New File Wizard Create New File.

  4. No editor de texto, substitua o conteúdo atual pelo código abaixo:

    import org.apache.spark.SparkConf
    import org.apache.spark.SparkContext
    
    object MyClusterApp{
        def main (arg: Array[String]): Unit = {
        val conf = new SparkConf().setAppName("MyClusterApp")
        val sc = new SparkContext(conf)
    
        val rdd = sc.textFile("wasbs:///HdiSamples/HdiSamples/SensorSampleData/hvac/HVAC.csv")
    
        //find the rows that have only one digit in the seventh column in the CSV
        val rdd1 =  rdd.filter(s => s.split(",")(6).length() == 1)
    
        rdd1.saveAsTextFile("wasbs:///HVACOut")
        }
    }
    
  5. Execute o aplicativo em um cluster HDInsight Spark:

    a. No Explorador de Pacotes, clique com o botão direito do mouse no nome do projeto e selecione Enviar Aplicativo Spark para o HDInsight.

    b. Na caixa de diálogo Envio do Spark , forneça os seguintes valores e selecione Enviar:

    • Em Nome do Cluster, selecione o cluster HDInsight Spark no qual você deseja executar seu aplicativo.

    • Selecione um artefato do projeto Eclipse ou selecione um de um disco rígido. O valor padrão depende do item em que você clica com o botão direito do mouse no Explorador de Pacotes.

    • Na lista suspensa Nome da classe principal, o assistente de envio exibe todos os nomes de objeto do seu projeto. Selecione ou insira um que você deseja executar. Se você selecionou um artefato de um disco rígido, deverá inserir o nome da classe principal manualmente.

    • Como o código do aplicativo neste exemplo não requer argumentos de linha de comando ou JARs ou arquivos de referência, você pode deixar as caixas de texto restantes vazias.

      Apache Spark Submission dialog box.

  6. A guia Envio do Spark deve começar a exibir o progresso. Você pode parar o aplicativo selecionando o botão vermelho na janela Envio do Spark . Você também pode visualizar os logs para este aplicativo específico executado selecionando o ícone de globo (indicado pela caixa azul na imagem).

    Apache Spark Submission window.

Acessar e gerenciar clusters do HDInsight Spark usando as Ferramentas do HDInsight no Kit de Ferramentas do Azure para Eclipse

Você pode executar várias operações usando as Ferramentas HDInsight, incluindo acessar a saída do trabalho.

Aceder à vista de emprego

  1. No Azure Explorer, expanda HDInsight, o nome do cluster Spark e selecione Trabalhos.

    Azure Explorer Eclipse job view node.

  2. Selecione o nó Trabalhos . Se a versão do Java for inferior a 1.8, as Ferramentas do HDInsight lembrarão automaticamente a instalação do plug-in E(fx)clipse . Selecione OK para continuar e, em seguida, siga o assistente para instalá-lo a partir do Eclipse Marketplace e reiniciar o Eclipse.

    Install missing plugin E(fx)clipse.

  3. Abra a Vista de Trabalho a partir do nó Trabalhos . No painel direito, a guia Spark Job View exibe todos os aplicativos que foram executados no cluster. Selecione o nome do aplicativo para o qual você deseja ver mais detalhes.

    Apache Eclipse view job logs details.

    Em seguida, você pode executar qualquer uma destas ações:

    • Passe o cursor sobre o gráfico de trabalho. Ele exibe informações básicas sobre o trabalho em execução. Selecione o gráfico de trabalho e você pode ver os estágios e informações que cada trabalho gera.

      Apache Spark job graph stage info.

    • Selecione a guia Log para exibir os logs usados com freqüência, incluindo Driver Stderr, Driver Stdout e Informações do diretório.

      Apache Spark Eclipse job log info.

    • Abra a interface do usuário do histórico do Spark e a interface do usuário do Apache Hadoop YARN (no nível do aplicativo) selecionando os hiperlinks na parte superior da janela.

Acessar o contêiner de armazenamento para o cluster

  1. No Azure Explorer, expanda o nó raiz do HDInsight para ver uma lista de clusters HDInsight Spark disponíveis.

  2. Expanda o nome do cluster para ver a conta de armazenamento e o contêiner de armazenamento padrão para o cluster.

    Storage account and default storage container.

  3. Selecione o nome do contêiner de armazenamento associado ao cluster. No painel direito, clique duas vezes na pasta HVACOut . Abra um dos arquivos de peça para ver a saída do aplicativo.

Acessar o servidor de histórico do Spark

  1. No Azure Explorer, clique com o botão direito do mouse no nome do cluster do Spark e selecione Abrir interface do usuário do Histórico do Spark. Quando lhe for pedido, introduza as credenciais de administrador para o cluster. Você os especificou ao provisionar o cluster.

  2. No painel do servidor de histórico do Spark, use o nome do aplicativo para procurar o aplicativo que acabou de executar e que acabou de executar. No código anterior, você define o nome do aplicativo usando val conf = new SparkConf().setAppName("MyClusterApp"). Então, o nome do seu aplicativo Spark era MyClusterApp.

Inicie o portal Apache Ambari

  1. No Azure Explorer, clique com o botão direito do mouse no nome do cluster Spark e selecione Abrir Portal de Gerenciamento de Cluster (Ambari).

  2. Quando lhe for pedido, introduza as credenciais de administrador para o cluster. Você os especificou ao provisionar o cluster.

Gerir subscrições do Azure

Por padrão, a Ferramenta HDInsight no Kit de Ferramentas do Azure para Eclipse lista os clusters do Spark de todas as suas assinaturas do Azure. Se necessário, você pode especificar as assinaturas para as quais deseja acessar o cluster.

  1. No Azure Explorer, clique com o botão direito do mouse no nó raiz do Azure e selecione Gerenciar Assinaturas.

  2. Na caixa de diálogo, desmarque as caixas de seleção da assinatura que você não deseja acessar e selecione Fechar. Você também pode selecionar Sair se quiser sair da sua assinatura do Azure.

Executar um aplicativo Spark Scala localmente

Você pode usar as Ferramentas do HDInsight no Kit de Ferramentas do Azure para Eclipse para executar aplicativos Spark Scala localmente em sua estação de trabalho. Normalmente, esses aplicativos não precisam de acesso a recursos de cluster, como um contêiner de armazenamento, e você pode executá-los e testá-los localmente.

Pré-requisito

Enquanto estiver executando o aplicativo Spark Scala local em um computador Windows, você pode obter uma exceção, conforme explicado no SPARK-2356. Essa exceção ocorre porque WinUtils.exe está faltando no Windows.

Para resolver esse erro, você precisa Winutils.exe para um local como C:\WinUtils\bin e, em seguida, adicione a variável de ambiente HADOOP_HOME e defina o valor da variável como C:\WinUtils.

Executar um aplicativo Spark Scala local

  1. Inicie o Eclipse e crie um projeto. Na caixa de diálogo Novo Projeto, faça as seguintes opções e selecione Avançar.

  2. No assistente para Novo projeto, selecione Faísca de projeto>do HDInsight no exemplo de execução local (Scala) do HDInsight. Em seguida, selecione Seguinte.

    New project selects a wizard dialog.

  3. Para fornecer os detalhes do projeto, siga as etapas 3 a 6 da seção anterior Configurar um projeto Spark Scala para um cluster HDInsight Spark.

  4. O modelo adiciona um código de exemplo (LogQuery) na pasta src que você pode executar localmente no seu computador.

    Location of LogQuery local scala application.

  5. Clique com o botão direito do mouse em LogQuery.scala e selecione Executar como>1 aplicativo Scala. Uma saída como esta aparece na guia Console :

    Spark application local run result.

Função somente de leitor

Quando os usuários enviam trabalho para um cluster com permissão de função somente leitor, as credenciais do Ambari são necessárias.

  1. Inicie sessão com uma conta de função apenas de leitura.

  2. No Azure Explorer, expanda HDInsight para exibir clusters HDInsight que estão em sua assinatura. Os clusters marcados como "Role:Reader" só têm permissão de função somente leitor.

    HDInsight Spark clusters in Azure Explorer role reader.

  3. Clique com o botão direito do mouse no cluster com permissão de função somente leitor. Selecione Vincular este cluster no menu de contexto para vincular cluster. Digite o nome de usuário e a senha do Ambari.

    HDInsight Spark clusters in Azure Explorer link.

  4. Se o cluster for vinculado com êxito, o HDInsight será atualizado. A fase do cluster ficará ligada.

    HDInsight Spark clusters in Azure Explorer linked.

  1. Clique no nó Trabalhos , a janela Acesso ao Trabalho de Cluster Negado aparece.

  2. Clique em Vincular este cluster para vincular cluster.

    HDInsight Spark clusters in Azure Explorer9.

  1. Crie um projeto HDInsight.

  2. Clique com o botão direito do mouse no pacote. Em seguida, selecione Enviar aplicativo Spark para o HDInsight.

    HDInsight Spark clusters in Azure Explorer submit.

  3. Selecione um cluster que tenha permissão de função somente leitor para Nome do Cluster. Mensagem de aviso é exibida. Você pode clicar em Vincular este cluster ao cluster de links.

    HDInsight Spark clusters in Azure Explorer link this.

Ver contas de armazenamento

  • Para clusters com permissão de função somente leitor, clique no nó Contas de Armazenamento , a janela Acesso ao Armazenamento Negado aparece.

    HDInsight Spark clusters in Azure Explorer storage.

    HDInsight Spark clusters in Azure Explorer denied.

  • Para clusters vinculados, clique no nó Contas de Armazenamento , a janela Acesso ao Armazenamento Negado aparece.

    HDInsight Spark clusters in Azure Explorer denied2.

Problemas conhecidos

Ao usar o Link A Cluster, sugiro que você forneça a credencial de armazenamento.

link cluster with storage credential eclipses.

Existem dois modos para enviar os trabalhos. Se a credencial de armazenamento for fornecida, o modo de lote será usado para enviar o trabalho. Caso contrário, o modo interativo será usado. Se o cluster estiver ocupado, você pode obter o erro abaixo.

eclipse get error when cluster busy.

eclipse get error when cluster busy yarn.

Consulte também

Cenários

Criando e executando aplicativos

Ferramentas e extensões

Gestão de recursos