Megosztás a következőn keresztül:

Az Apache Hive hibaelhárítása az Azure HDInsighttal

  • Cikk

Ismerje meg az Apache Hive hasznos adatainak Apache Ambariban való használatakor felmerülő legfontosabb kérdéseket és azok megoldásait.

Hogyan exportálni egy Hive-metaadattárat, és importálni egy másik fürtön?

Megoldási lépések

  1. Csatlakozzon a HDInsight-fürthöz egy Secure Shell-ügyfél (SSH) használatával. További információ: További információ.

  2. Futtassa a következő parancsot azon a HDInsight-fürtön, amelyből exportálni szeretné a metaadattárat:

    for d in `hive -e "show databases"`; do echo "create database $d; use $d;" >> alltables.sql ; for t in `hive --database $d -e "show tables"` ; do ddl=`hive --database $d -e "show create table $t"`; echo "$ddl ;" >> alltables.sql ; echo "$ddl" | grep -q "PARTITIONED\s*BY" && echo "MSCK REPAIR TABLE $t ;" >> alltables.sql ; done; done

    Ez a parancs létrehoz egy allatables.sql nevű fájlt.

  3. Másolja a fájl alltables.sql az új HDInsight-fürtbe, majd futtassa a következő parancsot:

    hive -f alltables.sql

A feloldási lépésekben szereplő kód feltételezi, hogy az új fürt adatútvonalai megegyeznek a régi fürt adatútvonalaival. Ha az adatelérési utak eltérőek, manuálisan szerkesztheti a létrehozott alltables.sql fájlt, hogy tükrözze a módosításokat.

További információ

Hogyan keresse meg a Hive-naplókat egy fürtön?

Megoldási lépések

  1. Csatlakozzon a HDInsight-fürthöz SSH használatával. További információ: További információ.

  2. A Hive-ügyfélnaplók megtekintéséhez használja a következő parancsot:

    /tmp/<username>/hive.log

  3. A Hive metaadattár-naplóinak megtekintéséhez használja a következő parancsot:

    /var/log/hive/hivemetastore.log

  4. A Hive-kiszolgáló naplóinak megtekintéséhez használja a következő parancsot:

    /var/log/hive/hiveserver2.log

További információ

Hogyan elindítja a Hive-rendszerhéjat adott konfigurációkkal egy fürtön?

Megoldási lépések

  1. A Hive-rendszerhéj indításakor adjon meg egy konfigurációs kulcs-érték párot. További információ: További információ.

    hive -hiveconf a=b

  2. A Hive-rendszerhéj összes érvényes konfigurációjának listázásához használja a következő parancsot:

    hive> set;

    Például a következő paranccsal indítsa el a Hive-rendszerhéjat a konzolon engedélyezett hibakeresési naplózással:

    hive -hiveconf hive.root.logger=ALL,console

További információ

Hogyan elemezni az Apache Tez DAG-adatokat egy fürtkritikus útvonalon?

Megoldási lépések

  1. Az Apache Tez által irányított aciklikus gráf (DAG) fürtkritikus gráfon való elemzéséhez SSH használatával csatlakozzon a HDInsight-fürthöz. További információ: További információ.

  2. Egy parancssorban futtassa a következő parancsot:

    hadoop jar /usr/hdp/current/tez-client/tez-job-analyzer-*.jar CriticalPath --saveResults --dagId <DagId> --eventFileName <DagData.zip>

  3. A Tez DAG elemzéséhez használható egyéb elemzők listázásához használja a következő parancsot:

    hadoop jar /usr/hdp/current/tez-client/tez-job-analyzer-*.jar

    Első argumentumként egy példaprogramot kell megadnia.

    Az érvényes programnevek a következők:

    • ContainerReuseAnalyzer: Tároló újrafelhasználási adatainak nyomtatása DAG-ban
    • CriticalPath: A DAG kritikus elérési útjának megkeresése
    • LocalityAnalyzer: Területi adatok nyomtatása DAG-ban
    • ShuffleTimeAnalyzer: Az elosztási idő részleteinek elemzése a DAG-ban
    • SkewAnalyzer: A ferdeség részleteinek elemzése a DAG-ban
    • SlowNodeAnalyzer: A csomópont részleteinek nyomtatása DAG-ban
    • SlowTaskIdentifier: Lassú feladat részleteinek nyomtatása DAG-ban
    • SlowestVertexAnalyzer: A leglassabb csúcsadatok nyomtatása a DAG-ban
    • SpillAnalyzer: A kiömlés részleteinek nyomtatása DAG-ban
    • TaskConcurrencyAnalyzer: A tevékenység egyidejűségének részleteinek nyomtatása DAG-ban
    • VertexLevelCriticalPathAnalyzer: A kritikus elérési út megkeresése csúcspontszinten a DAG-ban

További információ

Hogyan tez DAG-adatokat letölteni egy fürtből?

Megoldási lépések

A Tez DAG-adatok gyűjtésének két módja van:

  • A parancssorból:

    Csatlakozzon a HDInsight-fürthöz SSH használatával. Futtassa az alábbi parancsot a parancssorban:

    hadoop jar /usr/hdp/current/tez-client/tez-history-parser-*.jar org.apache.tez.history.ATSImportTool -downloadDir . -dagId <DagId>

  • Használja az Ambari Tez nézetet:

    1. Nyissa meg Ambarit.
    2. Nyissa meg a Tez nézetet (a csempék ikon alatt a jobb felső sarokban).
    3. Válassza ki a megtekinteni kívánt DAG-t.
    4. Válassza az Adatok letöltése lehetőséget.

További információ

Csatlakozás HDInsight-fürthöz SSH használatával

Következő lépések

Ha nem látja a problémát, vagy nem tudja megoldani a problémát, további támogatásért látogasson el az alábbi csatornák egyikére:

  • Azure-szakértőktől kaphat választ az Azure közösségi támogatásán keresztül.

  • Csatlakozzon a @AzureSupport - a hivatalos Microsoft Azure-fiókhoz az ügyfélélmény javításához. Az Azure-közösség csatlakoztatása a megfelelő erőforrásokhoz: válaszok, támogatás és szakértők.

  • Ha további segítségre van szüksége, támogatási kérelmet küldhet az Azure Portalról. Válassza a Támogatás lehetőséget a menüsávon, vagy nyissa meg a Súgó + támogatási központot. Részletesebb információkért tekintse át a Azure-támogatás kérések létrehozását ismertető cikket. Az előfizetés-kezeléssel és számlázással kapcsolatos támogatás a Microsoft Azure-előfizetés részét képezi, míg a technikai támogatást Azure-támogatási csomagjainkkal biztosítjuk.