Azure HDInsight: Gyakori kérdések

A HDInsight-fürtök típusait és a kiépítési módszereket az Apache Hadoop, az Apache Spark és az Apache Kafka használatával a HDInsightban lévő fürtök beállítása című témakörben talál.

Ha többet szeretne megtudni arról, hogyan törölhet egy fürtöt, ha már nincs használatban, olvassa el a HDInsight-fürt törlése című témakört.

Próbáljon meg legalább 30–60 percet hagyni a létrehozási és törlési műveletek között. Ellenkező esetben a művelet a következő hibaüzenettel hiúsulhat meg:

Conflict (HTTP Status Code: 409) error when attempting to delete a cluster immediately after creation of a cluster. If you encounter this error, wait until the newly created cluster is in operational state before attempting to delete it.

A magok és egyéb konfigurációs lehetőségek megfelelő száma különböző tényezőktől függ.

További információ: HDInsight-fürtök kapacitástervezése.

Tekintse meg az Azure HDInsight-fürtök erőforrástípusait.

1. Javasoljuk, hogy a HDInsight-fürtöket egyéni Ambari-adatbázissal állítsa be a fürt méretezhetőségének javítása érdekében.
2. Az Azure Data Lake Storage Gen2 használatával HDInsight-fürtöket hozhat létre az Azure Data Lake Storage Gen2 nagyobb sávszélességének és egyéb teljesítményjellemzőinek kihasználásához.
3. Az átjárócsomópontoknak elég nagynak kell lenniük ahhoz, hogy az ezeken a csomópontokon futó több főszolgáltatás elférjen.
4. Egyes konkrét számítási feladatokhoz, például az Interaktív lekérdezéshez nagyobb Zookeeper-csomópontokra is szükség lesz. Fontolja meg legalább nyolc magos virtuális gép használatát.
5. Hive és Spark esetén használja a Külső Hive metaadattárat.

Igen. További összetevők telepítéséhez vagy a fürtkonfiguráció testreszabásához használja a következőt:

• Szkriptek létrehozása közben vagy után. A szkripteket szkriptművelettel hívjuk meg. A szkriptművelet az Azure Portalról, a HDInsight Windows PowerShell-parancsmagokból vagy a HDInsight .NET SDK-ból használható konfigurációs lehetőség. Ez a konfigurációs lehetőség az Azure Portalról, a HDInsight Windows PowerShell-parancsmagokból vagy a HDInsight .NET SDK-ból használható.

• HDInsight alkalmazásplatform alkalmazások telepítéséhez.

A támogatott összetevők listájáért tekintse meg a HDInsighttal elérhető Apache Hadoop-összetevőket és verziókat?

Ha a fürtre előre telepített beépített összetevőket vagy alkalmazásokat frissít, az eredményül kapott konfigurációt a Microsoft nem fogja támogatni. Ezeket a rendszerkonfigurációkat a Microsoft nem tesztelte. Próbálja meg a HDInsight-fürt egy másik verzióját használni, amely már telepítve lehet az összetevő frissített verziójával.

A Hive egyéni összetevőként való frissítése például nem támogatott. A HDInsight egy felügyelt szolgáltatás, és számos szolgáltatás integrálva van az Ambari-kiszolgálóval, és tesztelve van. A Hive önálló frissítése más összetevők indexelt bináris fájljainak megváltozását okozza, és összetevőintegrációs problémákat okoz a fürtön.

Nem, az Apache Kafka és az Apache Spark nem futtatható ugyanazon a HDInsight-fürtön. Hozzon létre külön fürtöket a Kafkához és a Sparkhoz az erőforrás-versengési problémák elkerülése érdekében.

1. Nyissa meg az Ambari webes felhasználói felületét, https://CLUSTERNAME.azurehdinsight.netahol a FÜRTNÉV a fürt neve.

2. A jobb felső sarokban válassza a Rendszergazda | lehetőséget. Gépház.

   

3. A Felhasználó Gépház ablakban válassza ki az új időzónát az Időzóna legördülő listában, majd kattintson a Mentés gombra.

   

Az SQL Serverről az Azure SQL Database-be való migráláshoz lásd az oktatóanyagot: SQL Server áttelepítése egyetlen adatbázisba vagy készletezett adatbázisba az Azure SQL Database-ben offline, A DMS használatával.

Ez attól függ, hogy a fürt milyen típusú metaadattárat használ.

Alapértelmezett metaadattár esetén: Az alapértelmezett metaadattár a fürt életciklusának része. Fürt törlésekor a megfelelő metaadattár és metaadatok is törlődnek.

Egyéni metaadattár esetén: A metaadattár életciklusa nincs egy fürt életciklusához kötve. Így a metaadatok elvesztése nélkül is létrehozhat és törölhet fürtöket. Az olyan metaadatok, mint a Hive-sémák, a HDInsight-fürt törlése és újbóli létrehozása után is megmaradnak.

További információ: Külső metaadat-tárolók használata az Azure HDInsightban.

Nem, a szabályzatdefiníció a Ranger-adatbázisban található, ezért a Ranger-adatbázis migrálása áttelepíti a szabályzatot.

Igen, áttelepíthet egy Hive-metaadattárat egy ESP-ből egy nem ESP-fürtbe.

A Hive-metaadattár a Hive-kiszolgáló által használt adatforrások metaadatainak tárolására szolgál. A méretkövetelmények részben a Hive-adatforrások számától és összetettségétől függnek. Ezeket az elemeket nem lehet előre megbecsülni. A Hive metaadattára irányelvei szerint az S2 szinttel kezdhet. A szint 50 DTU-t és 250 GB tárterületet biztosít, és ha szűk keresztmetszetet lát, skálázza fel az adatbázist.

Nem, a Microsoft csak az Azure SQL Database-t támogatja külső egyéni metaadattárként.

Igen, az egyéni metaadattár több fürtön is megosztható, ha a HDInsight ugyanazon verzióját használják.

Ha letiltja a 22-s és a 23-as portot, nem lesz SSH-hozzáférése a fürthöz. Ezeket a portokat a HDInsight szolgáltatás nem használja.

További információkért tekintse meg a következő dokumentumokat:

• Az Apache Hadoop-szolgáltatások által a HDInsighton használt portok

• A HDInsight-fürtök bejövő forgalmának védelme privát végponttal rendelkező virtuális hálózaton

• HDInsight kezelése – IP-címek

Igen, egy további virtuális gépet is üzembe helyezhet ugyanazon az alhálózaton belül, mint egy HDInsight-fürt. A következő konfigurációk lehetségesek:

• Peremhálózati csomópontok: A HDInsightban lévő Apache Hadoop-fürtök üres élcsomópontjainak használata című cikkben leírtak szerint hozzáadhat egy másik élcsomópontot a fürthöz.

• Önálló csomópontok: Hozzáadhat egy különálló virtuális gépet ugyanahhoz az alhálózathoz, és a privát végpont https://<CLUSTERNAME>-int.azurehdinsight.nethasználatával elérheti a fürtöt a virtuális gépről. További információ: Hálózati forgalom szabályozása.

Nem, az adatok helyi lemezen való tárolása nem jó ötlet. Ha a csomópont meghibásodik, a helyileg tárolt összes adat elveszik. Javasoljuk, hogy az adatokat az Azure Data Lake Storage Gen2-ben vagy az Azure Blob Storage-ban tárolja, vagy csatlakoztassa az Azure Files-megosztást az adatok tárolásához.

Nem, nem lehet. A virtuális hálózatot a kiépítéskor kell megadni. Ha a kiépítés során nincs megadva virtuális hálózat, az üzembe helyezés létrehoz egy belső hálózatot, amely kívülről nem érhető el. További információ: HDInsight hozzáadása meglévő virtuális hálózathoz.

A kártevők elleni védelemmel kapcsolatos információkért lásd: Microsoft Antimalware for Azure Cloud Services and Virtual Machines.

Hozzon létre egy Kerberos-kulcstabot a tartománynevéhez. Ezt a keytabot később jelszó megadása nélkül is hitelesítheti a távoli tartományhoz csatlakoztatott fürtökön. A tartománynév nagybetűs:

ktutil
ktutil: addent -password -p <username>@<DOMAIN.COM> -k 1 -e aes256-cts-hmac-sha1-96
Password for <username>@<DOMAIN.COM>: <password>
ktutil: wkt <username>.keytab
ktutil: q

Ha a TenantName &DomainName értéke eltér (például TenantName – bob@CONTOSO.ONMICROSOFT.COM &Tartománynév – bob@CONTOSOMicrosoft.ONMICROSOFT.COM), a -s beállítással kell hozzáadnia egy SALT értéket.

1. Használjon interaktív Kerberos-bejelentkezést a keytab megfelelő sóértékének meghatározásához. Az interaktív Kerberos-bejelentkezés alapértelmezés szerint a legmagasabb titkosítást használja. A nyomon követésnek lehetővé kell tenni a só megfigyelését. Az alábbiakban egy minta Kerberos-bejelentkezés látható:

$ KRB5_TRAACE=/dev/stdout kinit <username> -V

2. Tekintse át a "......." só kimenetét Vonal.
3. Használja ezt a sóértéket a kulcstartó létrehozásakor.

ktutil
ktutil: addent -password -p <username>@<DOMAIN.COM> -k 1 -e aes256-cts-hmac-sha1-96 -s <SALTvalue>
Password for <username>@<DOMAIN.COM>: <password>
ktutil: wkt <username>.keytab
ktutil: q

Engedélyezze a Microsoft Entra Domain Servicest, mielőtt létrehoz egy HDInsight-fürtöt esp használatával. A nyílt forráskódú Hadoop a Kerberos hitelesítésre támaszkodik (az OAuth helyett).

Ha virtuális gépeket szeretne tartományhoz csatlakoztatni, rendelkeznie kell egy tartományvezérlővel. A Microsoft Entra Domain Services a felügyelt tartományvezérlő, és a Microsoft Entra ID bővítményének számít. A Microsoft Entra Domain Services biztosítja a Biztonságos Hadoop-fürt felügyelt módon történő létrehozásához szükséges összes Kerberos-követelményt. A HDInsight mint felügyelt szolgáltatás integrálható a Microsoft Entra Domain Services szolgáltatással a biztonság érdekében.

Ajánlott a hitelesítésszolgáltató által kiadott tanúsítvány használata. Az önaláírt tanúsítvány használata azonban az ESP-ben is támogatott. További információkért lásd:

• A Microsoft Entra Domain Services engedélyezése

• Oktatóanyag: Biztonságos LDAP konfigurálása felügyelt Microsoft Entra Domain Services-tartományhoz

Nem, a DAS nem támogatott ESP-fürtökön.

A naplózási követelményekhez a Microsoft azt javasolja, hogy engedélyezze az Azure Monitor-naplók használatát az Azure Monitor-naplók használata HDInsight-fürtök figyeléséhez.

Clamscan A HDInsight-fürtön futó víruskereső szoftver, amelyet az Azure Security (azsecd) használ a fürtök vírustámadásokkal szembeni védelmére. A Microsoft határozottan javasolja, hogy a felhasználók ne módosítják az alapértelmezett Clamscan konfigurációt.

Ez a folyamat nem zavarja vagy nem veszi el a ciklusokat más folyamatoktól. Ez mindig más folyamathoz fog engedni. A cpu-kiugró értékek Clamscan csak akkor láthatók, ha a rendszer tétlen.

Azokban a forgatókönyvekben, amelyekben szabályoznia kell az ütemezést, a következő lépéseket használhatja:

1. Tiltsa le az automatikus végrehajtást a következő paranccsal:

   sudo usr/local/bin/azsecd config -s clamav -d Disabled sudo szolgáltatás azsecd újraindítása

2. Adjon hozzá egy Cron-feladatot, amely a következő parancsot futtatja gyökérként:

   /usr/local/bin/azsecd manual -s clamav

További információ a cron-feladatok beállításáról és futtatásáról: Hogyan Cron-feladat beállítása?

Az LLAP biztonsági okokból engedélyezve van (Apache Ranger), nem teljesítmény. Használjon nagyobb csomóponti virtuális gépeket az LLAP erőforrás-használatához (például minimális D13V2).

Ennek a célnak két módja van: 1: Újra létrehozhatja a fürtöt, és hozzáadhatja a további csoportot a fürt létrehozásakor. Ha hatókörön belüli szinkronizálást használ a Microsoft Entra Domain Servicesben, győződjön meg arról, hogy a B csoport szerepel a hatókörön belüli szinkronizálásban. 2 – Adja hozzá a csoportot az ESP-fürt létrehozásához használt előző csoport beágyazott alcsoportjaként. Ha például létrehozott egy esp-fürtöt csoporttal A, később hozzáadhatja a csoportot B beágyazott alcsoportként A , és körülbelül egy óra elteltével az automatikusan szinkronizálódik, és elérhető lesz a fürtben.

Nem, jelenleg nem lehet Azure Data Lake Storage Gen2-tárfiókot hozzáadni egy olyan fürthöz, amelynek elsődleges tárolója a blobtároló. További információ: Tárolási beállítások összehasonlítása.

A beállításokat a Data Lake Storage Gen1-hozzáférésben találja a fürt tulajdonságai alatt az Azure Portalon. További információ: Fürtbeállítás ellenőrzése.

Hajtsa végre az alábbi műveletek egyikét:

• A PowerShell használata

• Keresse meg a /user/hive/ méretét . Kuka/ mappa a HDInsight-fürtben a következő parancssor használatával:

  hdfs dfs -du -h /user/hive/.Trash/

Blob storage-fiókok naplózásához konfigurálja a monitorozást az Azure Portal tárfiókjának monitorozása című témakörben ismertetett eljárással. A HDFS-auditnaplók csak a helyi HDFS-fájlrendszer naplózási adatait biztosítják (hdfs://mycluster). Nem tartalmazza a távoli tárolón végzett műveleteket.

Futtasson egy, a főcsomóponton a következő rendszerhéj-szkripthez hasonló szkriptet:

for i in cat filenames.txt
do
   hadoop fs -get $i <local destination>
done

Jelenleg nem létezik Ranger beépülő modul a blobtárolóhoz és az Azure Data Lake Storage Gen1-hez vagy Gen2-hez. ESP-fürtök esetén az Azure Data Lake Storage-t kell használnia. A HDFS-eszközökkel legalább manuálisan is beállíthatja a részletes engedélyeket a fájlrendszer szintjén. Az Azure Data Lake Storage használata esetén az ESP-fürtök a fájlrendszer hozzáférés-vezérlését is elvégezik a Microsoft Entra ID használatával a fürt szintjén.

Az Azure Storage Explorerrel adathozzáférési szabályzatokat rendelhet a felhasználók biztonsági csoportjaihoz. További információkért lásd:

• Hogyan engedélyeket állít be a Microsoft Entra-felhasználók számára a 2. generációs Data Lake Storage adatainak lekérdezéséhez a Hive vagy más szolgáltatások használatával?
• Fájl- és címtárszint-engedélyek beállítása az Azure Storage Explorerrel az Azure Data Lake Storage Gen2 használatával

Szám A feldolgozó csomópontok lemezmérete nem növelhető. Így a lemezméret növelésének egyetlen módja a fürt elvetése és újbóli létrehozása nagyobb feldolgozó virtuális gépekkel. Ne használja a HDFS-t a HDInsight-adatok tárolására, mert a fürt törlésekor az adatok törlődnek. Ehelyett tárolja az adatokat az Azure-ban. A fürt vertikális felskálázása további kapacitást is adhat a HDInsight-fürthöz.

Tekintse meg az üres határcsomópontok a HDInsightban az Apache Hadoop-fürtökön való használatát ismertető útmutatót.

A peremcsomópont létrehozása után a 22-s porton az SSH használatával csatlakozhat hozzá. Az élcsomópont nevét a fürtportálon találja. A nevek általában -ed végződéssel végződnek.

A megőrzött szkriptek használatával testre szabhatja a fürthöz hozzáadott új feldolgozó csomópontokat skálázási műveleteken keresztül. A megőrzött szkriptek nem vonatkoznak az élcsomópontokra.

A szükséges információk JSON formátumban történő lekéréséhez az alábbi REST-végpontok használhatók. A kérések intézéséhez használjon egyszerű hitelesítési fejléceket.

• Tez Query View: https://< cluster name.azurehdinsight.net/ws/v1/timeline/HIVE_QUERY_ID/>
• Tez Dag View: https://< cluster name.azurehdinsight.net/ws/v1/timeline/TEZ_DAG_ID/>

A megfelelő hitelesítési jogkivonatok Microsoft Entra-felhasználóval való egyeztetéséhez lépjen az átjárón az alábbi formátum használatával:

• <cluster dnsname>https://.azurehdinsight.net/api/v1/clusters/testclusterdem/stack_versions/1/repository_versions/1

Ha a Curl parancsot ugyanabban a virtuális hálózatban vagy társhálózatban hívja meg, a parancs a következő:

curl -u <cluster login username> -sS -G
http://<headnodehost>:8080/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu

Ha a parancsot a virtuális hálózaton kívülről vagy nem társhálózatról hívja meg, a parancs formátuma a következő:

• Nem ESP-fürt esetén:

  
  curl -u <cluster login username> -sS -G 
  https://<ClusterName>.azurehdinsight.net/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu
  

• ESP-fürt esetén:

  
  curl -u <cluster login username>-sS -G 
  https://<ClusterName>.azurehdinsight.net/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu
  

A díjszabásról és a számlázással kapcsolatos gyakori kérdésekről az Azure HDInsight díjszabási oldalán talál további információt.

A HDInsight-fürt számlázása a fürt létrehozásakor kezdődik és a fürt törlésekor fejeződik be. A számlázás percalapú.

Az előfizetés lemondásáról további információt az Azure-előfizetés lemondása című témakörben talál.

Az előfizetés lemondása után további információt a Mi történik az előfizetés lemondása után?

Bár csak az 1.2 jelenik meg az Ambari felhasználói felületén, a HDInsight 3.6 mind a Hive 1.2-t, mind a Hive 2.1-et tartalmazza.

A streamfeldolgozás integrációs képességeivel kapcsolatos információkért lásd: Streamfeldolgozási technológia kiválasztása az Azure-ban.

Ezt a műveletet HDInsight-fürtökkel nem hajthatja végre. Ezekhez a forgatókönyvekhez használhatja az Azure Data Factoryt.

A megfelelőségi információkért tekintse meg a Microsoft adatvédelmi központját.