Hive metaadattár használata Apache Spark-fürttel™

Fontos

Ez a szolgáltatás jelenleg előzetes kiadásban elérhető. A Microsoft Azure Előzetes verzió kiegészítő használati feltételei további jogi feltételeket tartalmaznak, amelyek a bétaverzióban, előzetes verzióban vagy egyébként még nem általánosan elérhető Azure-funkciókra vonatkoznak. Erről az adott előzetes verzióról az Azure HDInsight az AKS előzetes verziójában tájékozódhat. Ha kérdése vagy funkciójavaslata van, küldjön egy kérést az AskHDInsightban a részletekkel együtt, és kövessen minket további frissítésekért az Azure HDInsight-közösségről.

Fontos, hogy az adatokat és a metaadattárat több szolgáltatás között is megossza. A HIVE metaadattára egyik gyakran használt metaadattára. Az AKS-en futó HDInsight lehetővé teszi a felhasználók számára, hogy külső metaadattárhoz csatlakozzanak. Ez a lépés lehetővé teszi, hogy a HDInsight-felhasználók zökkenőmentesen csatlakozzanak az ökoszisztéma más szolgáltatásaihoz.

Az AKS-en futó Azure HDInsight támogatja az egyéni metatárolókat, amelyek éles fürtökhöz ajánlottak. A legfontosabb lépések a következők:

1. Azure SQL-adatbázis létrehozása
2. Kulcstartó létrehozása a hitelesítő adatok tárolásához
3. A Metastore konfigurálása HDInsight létrehozásakor az AKS-fürtön az Apache Spark™ használatával
4. Külső metaadattáron való üzemeltetés (Adatbázisok megjelenítése és 1. korlát kiválasztása).

A fürt létrehozásakor a HDInsight szolgáltatásnak csatlakoznia kell a külső metaadattárhoz, és ellenőriznie kell a hitelesítő adatait.

Azure SQL-adatbázis létrehozása

1. Hozzon létre vagy hozzon létre egy meglévő Azure SQL Database-adatbázist, mielőtt egyéni Hive-metaadattárat állít be egy HDInsight-fürthöz.

   Feljegyzés

   Jelenleg csak a HIVE-hez készült Azure SQL Database-t támogatjuk. A Hive korlátozása miatt a metaadattár-adatbázis nevének "-" (kötőjel) karaktere nem támogatott.

Kulcstartó létrehozása a hitelesítő adatok tárolásához

1. Hozzon létre egy Azure Key Vaultot.

   A Key Vault célja, hogy lehetővé tegye az SQL Server rendszergazdai jelszókészletének tárolását az SQL-adatbázis létrehozása során. Az AKS-platformon futó HDInsight nem foglalkozik közvetlenül a hitelesítő adatokkal. Ezért fontos hitelesítő adatait az Azure Key Vaultban kell tárolni. Ismerje meg az Azure Key Vault létrehozásának lépéseit.

2. Az Azure Key Vault létrehozásának közzétételekor rendelje hozzá a következő szerepköröket

   Objektum	Szerepkör	Megjegyzések
   Felhasználó által hozzárendelt felügyelt identitás (ugyanaz az UAMI, mint amelyet a HDInsight-fürt használ)	Key Vault titkos kulcsok felhasználója	Megtudhatja, hogyan rendelhet hozzá szerepkört a UAMI-hoz
   Felhasználó (aki titkos kulcsot hoz létre az Azure Key Vaultban)	Key Vault Rendszergazda istrator	Megtudhatja, hogyan rendelhet hozzá szerepkört a felhasználóhoz.

   Feljegyzés

   E szerepkör nélkül a felhasználó nem hozhat létre titkos kódot.

3. Titkos kulcs létrehozása

   Ez a lépés lehetővé teszi az SQL Server rendszergazdai jelszavának titkos kulcsként való megőrzését az Azure Key Vaultban. Adja hozzá a jelszót (ugyanaz a jelszó, mint a rendszergazdai SQL DB-ben) az "Érték" mezőben, miközben titkos kulcsot ad hozzá.

   

   

   Feljegyzés

   Ügyeljen arra, hogy jegyezze fel a titkos kód nevét, mivel erre szüksége lesz a fürt létrehozása során.

Metaadattár konfigurálása HDInsight Spark-fürt létrehozásakor

1. A fürtök létrehozásához lépjen a HDInsightra az AKS-fürtkészleten.

   

2. Engedélyezze a kapcsológombot külső hive metaadattár hozzáadásához, és töltse ki az alábbi adatokat.

   

3. A többi részletet az Apache Spark-fürt fürtlétrehozás szabályainak megfelelően kell kitölteni a HDInsightban az AKS-en.

4. Kattintson a Véleményezés és létrehozás gombra .

   

   Feljegyzés

   • A metaadattár életciklusa nincs fürtök életciklusához kötve, így metaadatok elvesztése nélkül hozhat létre és törölhet fürtöket. A HIVe-sémákhoz hasonló metaadatok a HDInsight-fürt törlése és újbóli létrehozása után is megmaradnak.
   • Az egyéni metaadattár lehetővé teszi, hogy több fürtöt és fürttípust csatoljon ehhez a metaadattárhoz.

Külső metaadattár üzemeltetése

1. Tábla létrehozása

   >> spark.sql("CREATE TABLE sampleTable (number Int, word String)")

   

2. Adatok hozzáadása a táblához

   >> spark.sql("INSERT INTO sampleTable VALUES (123, \"HDIonAKS\")");\

   

3. A táblázat olvasása

   >> spark.sql("select * from sampleTable").show()

   

Referencia

• Az Apache, az Apache Spark, a Spark és a társított nyílt forráskód projektnevek az Apache Software Foundation (ASF) védjegyei.