Řešení potíží s Apache Hivem s využitím Azure HDInsightu

  • Článek

Seznamte se s nejčastějšími dotazy a jejich řešeními při práci s datovými částmi Apache Hivu v Apache Ambari.

Návody exportovat metastore Hive a importovat ho do jiného clusteru?

Postup řešení

  1. Připojte se ke clusteru HDInsight pomocí klienta SSH (Secure Shell). Další informace najdete v tématu Další čtení.

  2. Na clusteru HDInsight, ze kterého chcete exportovat metastore, spusťte následující příkaz:

    for d in `hive -e "show databases"`; do echo "create database $d; use $d;" >> alltables.sql ; for t in `hive --database $d -e "show tables"` ; do ddl=`hive --database $d -e "show create table $t"`; echo "$ddl ;" >> alltables.sql ; echo "$ddl" | grep -q "PARTITIONED\s*BY" && echo "MSCK REPAIR TABLE $t ;" >> alltables.sql ; done; done

    Tento příkaz vygeneruje soubor s názvem allatables.sql.

  3. Zkopírujte soubor alltables.sql do nového clusteru HDInsight a spusťte následující příkaz:

    hive -f alltables.sql

Kód v postupu řešení předpokládá, že cesty k datům v novém clusteru jsou stejné jako cesty k datům ve starém clusteru. Pokud se cesty k datům liší, můžete ručně upravit vygenerovaný alltables.sql soubor tak, aby odrážel případné změny.

Další materiály ke čtení

Návody najít protokoly Hivu v clusteru?

Postup řešení

  1. Připojte se ke clusteru HDInsight pomocí SSH. Další informace najdete v tématu Další čtení.

  2. Pokud chcete zobrazit protokoly klienta Hive, použijte následující příkaz:

    /tmp/<username>/hive.log

  3. K zobrazení protokolů metastoru Hive použijte následující příkaz:

    /var/log/hive/hivemetastore.log

  4. K zobrazení protokolů serveru Hive použijte následující příkaz:

    /var/log/hive/hiveserver2.log

Další materiály ke čtení

Návody v clusteru spustit prostředí Hive s konkrétními konfiguracemi?

Postup řešení

  1. Při spuštění prostředí Hive zadejte pár klíč-hodnota konfigurace. Další informace najdete v tématu Další čtení.

    hive -hiveconf a=b

  2. Pokud chcete zobrazit seznam všech platných konfigurací v prostředí Hive, použijte následující příkaz:

    hive> set;

    Pomocí následujícího příkazu například spusťte prostředí Hive s povoleným protokolováním ladění v konzole nástroje :

    hive -hiveconf hive.root.logger=ALL,console

Další materiály ke čtení

Návody analyzovat data Apache Tez DAG na kritické cestě clusteru?

Postup řešení

  1. Pokud chcete analyzovat acyklický graf zaměřený na Apache Tez v grafu kritického pro cluster, připojte se ke clusteru HDInsight pomocí SSH. Další informace najdete v tématu Další čtení.

  2. Na příkazovém řádku spusťte následující příkaz:

    hadoop jar /usr/hdp/current/tez-client/tez-job-analyzer-*.jar CriticalPath --saveResults --dagId <DagId> --eventFileName <DagData.zip>

  3. Pokud chcete vypsat další analyzátory, které je možné použít k analýze Tez DAG, použijte následující příkaz:

    hadoop jar /usr/hdp/current/tez-client/tez-job-analyzer-*.jar

    Jako první argument musíte zadat ukázkový program.

    Mezi platné názvy programů patří:

    • ContainerReuseAnalyzer: Tisk podrobností o opakovaném použití kontejneru v DAG
    • CriticalPath: Vyhledání kritické cesty dag
    • LocalityAnalyzer: Tisk podrobností o lokalitě v DAG
    • ShuffleTimeAnalyzer: Analýza podrobností času náhodného prohazování v DAG
    • SkewAnalyzer: Analýza podrobností o nerovnoměrné distribuci v DAG
    • SlowNodeAnalyzer: Tisk podrobností o uzlu v DAG
    • SlowTaskIdentifier: Tisk podrobností o pomalém úkolu v DAG
    • NejpomalejšíVertexAnalyzer: Tisk podrobností nejpomalejšího vrcholu v DAG
    • SpillAnalyzer: Tisk podrobností o přesahu v DAG
    • TaskConcurrencyAnalyzer: Vytiskněte podrobnosti o souběžnosti úloh v DAG.
    • VertexLevelCriticalPathAnalyzer: Vyhledání kritické cesty na úrovni vrcholu v DAG

Další materiály ke čtení

Návody stáhnout data Tez DAG z clusteru?

Postup řešení

Existují dva způsoby, jak shromažďovat data Tez DAG:

  • Z příkazového řádku:

    Připojte se ke clusteru HDInsight pomocí SSH. Na příkazovém řádku spusťte následující příkaz:

    hadoop jar /usr/hdp/current/tez-client/tez-history-parser-*.jar org.apache.tez.history.ATSImportTool -downloadDir . -dagId <DagId>

  • Použijte zobrazení Ambari Tez:

    1. Jdi do Ambari.
    2. Přejděte do zobrazení Tez (pod ikonou dlaždic v pravém horním rohu).
    3. Vyberte dag, který chcete zobrazit.
    4. Vyberte Stáhnout data.

Další materiály ke čtení

Připojení ke clusteru HDInsight pomocí SSH

Další kroky

Pokud se váš problém nezobrazuje nebo se vám nedaří problém vyřešit, navštivte některý z následujících kanálů, kde získáte další podporu:

  • Získejte odpovědi od odborníků na Azure prostřednictvím podpory komunity Azure.

  • Spojte se s @AzureSupport – oficiálním účtem Microsoft Azure, který umožňuje zlepšit uživatelské prostředí. Propojení komunity Azure se správnými prostředky: odpověďmi, podporou a odborníky.

  • Pokud potřebujete další pomoc, můžete žádost o podporu odeslat z Azure Portal. V řádku nabídek vyberte Podpora nebo otevřete centrum Nápověda a podpora . Podrobnější informace najdete v tématu Vytvoření žádosti o podpora Azure. Přístup ke správě předplatného a podpoře fakturace je součástí předplatného Microsoft Azure a technická podpora se poskytuje prostřednictvím jednoho z plánů podpory Azure.