Partilhar via


Integrar o Apache Zeppelin com o Hive Warehouse Connector no Azure HDInsight

Os clusters do HDInsight Spark incluem notebooks Apache Zeppelin com diferentes intérpretes. Neste artigo, nos concentramos apenas no interpretador Livy para acessar tabelas do Hive a partir do Spark usando o Hive Warehouse Connector.

Nota

Este artigo contém referências a um termo que a Microsoft já não utiliza. Quando o termo for removido do software, iremos removê-lo deste artigo.

Pré-requisito

Conclua as etapas de configuração do Hive Warehouse Connector.

Introdução

  1. Use o comando ssh para se conectar ao cluster do Apache Spark. Edite o seguinte comando substituindo CLUSTERNAME pelo nome do cluster e digite o comando:

    ssh sshuser@CLUSTERNAME-ssh.azurehdinsight.net
    
  2. Na sessão ssh, execute o seguinte comando para anotar as versões de hive-warehouse-connector-assembly e pyspark_hwc:

    ls /usr/hdp/current/hive_warehouse_connector
    

    Salve a saída para uso posterior ao configurar o Apache Zeppelin.

Configurar o Livy

As configurações a seguir são necessárias para acessar as tabelas de hive do Zeppelin com o interpretador Livy.

Cluster de consulta interativo

  1. Em um navegador da Web, navegue até https://LLAPCLUSTERNAME.azurehdinsight.net/#/main/services/HDFS/configs onde LLAPCLUSTERNAME é o nome do cluster de Consulta Interativa.

  2. Navegue até >Advanced Custom core-site. Selecione Adicionar propriedade... para adicionar as seguintes configurações:

    Configuração Value
    hadoop.proxyuser.livy.groups *
    hadoop.proxyuser.livy.hosts *
  3. Salve as alterações e reinicie todos os componentes afetados.

Aglomerado de faíscas

  1. Em um navegador da Web, navegue até https://CLUSTERNAME.azurehdinsight.net/#/main/services/SPARK2/configs onde CLUSTERNAME é o nome do cluster do Apache Spark.

  2. Expanda Custom livy2-conf. Selecione Adicionar propriedade... para adicionar a seguinte configuração:

    Configuração Value
    livy.file.local-dir-whitelist /usr/hdp/atual/hive_warehouse_connector/
  3. Salve as alterações e reinicie todos os componentes afetados.

Configurar o Livy Interpreter na interface do usuário do Zeppelin (Spark Cluster)

  1. Em um navegador da Web, navegue até https://CLUSTERNAME.azurehdinsight.net/zeppelin/#/interpreter, onde CLUSTERNAME é o nome do cluster do Apache Spark.

  2. Navegue até livy2.

  3. Adicione as seguintes configurações:

    Configuração Value
    livy.spark.hadoop.hive.llap.daemon.service.hosts @llap0
    livy.spark.security.credentials.hiveserver2.enabled verdadeiro
    livy.spark.sql.hive.llap verdadeiro
    livy.spark.yarn.security.credentials.hiveserver2.enabled verdadeiro
    livy.superusuários Lívio, Zeppelin
    livy.spark.jars file:///usr/hdp/current/hive_warehouse_connector/hive-warehouse-connector-assembly-VERSION.jar.
    Substitua VERSION pelo valor obtido em Introdução, anteriormente.
    livy.spark.submit.pyArquivos file:///usr/hdp/current/hive_warehouse_connector/pyspark_hwc-VERSION.zip.
    Substitua VERSION pelo valor obtido em Introdução, anteriormente.
    livy.spark.sql.hive.hiveserver2.jdbc.url Defina-o como a URL JDBC interativa do HiveServer2 do cluster de consulta interativa.
    spark.security.credentials.hiveserver2.enabled verdadeiro
  4. Apenas para clusters ESP, adicione a seguinte configuração:

    Configuração Value
    livy.spark.sql.hive.hiveserver2.jdbc.url.principal hive/_HOST@<AAD-Domain>
    • Use o comando ssh para se conectar ao cluster de Consulta Interativa. Procure default_realm o /etc/krb5.conf parâmetro no arquivo. Substitua <AAD-DOMAIN> por esse valor como uma cadeia de caracteres maiúscula, caso contrário, a credencial não poderá ser encontrada.

      hive warehouse connector AAD Domain.

  5. Salve as alterações e reinicie o intérprete Livy.

Se o interpretador Livy não estiver acessível, modifique o shiro.ini arquivo presente no componente Zeppelin no Ambari. Para obter mais informações, consulte Configurando a segurança do Apache Zeppelin.

Executando consultas no Zeppelin

Inicie um bloco de anotações do Zeppelin usando o interpretador Livy e execute o seguinte

%livy2

import com.hortonworks.hwc.HiveWarehouseSession
import com.hortonworks.hwc.HiveWarehouseSession._
import org.apache.spark.sql.SaveMode

# Initialize the hive context
val hive = HiveWarehouseSession.session(spark).build()

# Create a database
hive.createDatabase("hwc_db",true)
hive.setDatabase("hwc_db")

# Create a Hive table
hive.createTable("testers").ifNotExists().column("id", "bigint").column("name", "string").create()

val dataDF = Seq( (1, "foo"), (2, "bar"), (8, "john")).toDF("id", "name")

# Validate writes to the table
dataDF.write.format("com.hortonworks.spark.sql.hive.llap.HiveWarehouseConnector").mode("append").option("table", "hwc_db.testers").save()

# Validate reads
hive.executeQuery("select * from testers").show()

Próximos passos