Hive-metastore gebruiken met Apache Spark-cluster™

Notitie

Op 31 januari 2025 wordt Azure HDInsight buiten gebruik gesteld op AKS. Vóór 31 januari 2025 moet u uw workloads migreren naar Microsoft Fabric of een gelijkwaardig Azure-product om te voorkomen dat uw workloads plotseling worden beëindigd. De resterende clusters in uw abonnement worden gestopt en verwijderd van de host.

Alleen basisondersteuning is beschikbaar tot de buitengebruikstellingsdatum.

Belangrijk

Deze functie is momenteel beschikbaar in preview. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews bevatten meer juridische voorwaarden die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet beschikbaar zijn in algemene beschikbaarheid. Zie Azure HDInsight op AKS Preview-informatie voor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight met de details en volgt u ons voor meer updates in de Azure HDInsight-community.

Het is essentieel om de gegevens en metastore te delen over meerdere services. Een van de veelgebruikte metastores in HIVE-metastore. Met HDInsight in AKS kunnen gebruikers verbinding maken met externe metastore. Met deze stap kunnen de HDInsight-gebruikers naadloos verbinding maken met andere services in het ecosysteem.

Azure HDInsight in AKS ondersteunt aangepaste metaarchieven, die worden aanbevolen voor productieclusters. De belangrijkste stappen die zijn betrokken, zijn

1. Een Azure SQL-database maken
2. Een sleutelkluis maken voor het opslaan van de referenties
3. Metastore configureren tijdens het maken van een HDInsight op AKS-cluster met Apache Spark™
4. Werken op externe metastore (hiermee kunt u databases weergeven en een selectlimiet 1 uitvoeren).

Terwijl u het cluster maakt, moet de HDInsight-service verbinding maken met de externe metastore en uw referenties verifiëren.

Een Azure SQL-database maken

1. Maak of heb een bestaande Azure SQL Database voordat u een aangepaste Hive-metastore instelt voor een HDInsight-cluster.

   Notitie

   Momenteel ondersteunen we alleen Azure SQL Database for HIVE-metastore. Vanwege hive-beperking wordt het teken '-' (afbreekstreepje) in de naam van de metastore-database niet ondersteund.

Een sleutelkluis maken voor het opslaan van de referenties

1. Maak een Azure Key Vault.

   Het doel van de Key Vault is om u in staat te stellen het wachtwoord van de SQL Server-beheerder op te slaan dat is ingesteld tijdens het maken van de SQL-database. HDInsight op het AKS-platform heeft niet rechtstreeks te maken met de referentie. Daarom is het nodig om uw belangrijke referenties op te slaan in Azure Key Vault. Meer informatie over de stappen voor het maken van een Azure Key Vault.

2. De volgende rollen toewijzen na het maken van Azure Key Vault

   Object	Role	Opmerkingen
   Door de gebruiker toegewezen beheerde identiteit (dezelfde UAMI als die wordt gebruikt door het HDInsight-cluster)	Key Vault-geheimengebruiker	Meer informatie over het toewijzen van rollen aan UAMI
   Gebruiker (die een geheim maakt in Azure Key Vault)	Key Vault-beheerder	Meer informatie over het toewijzen van een rol aan de gebruiker.

   Notitie

   Zonder deze rol kan de gebruiker geen geheim maken.

3. Een geheim maken

   Met deze stap kunt u het beheerderswachtwoord van uw SQL-server als geheim bewaren in Azure Key Vault. Voeg uw wachtwoord (hetzelfde wachtwoord toe als opgegeven in de SQL DB voor beheerder) in het veld Waarde tijdens het toevoegen van een geheim.

   

   

   Notitie

   Noteer de geheime naam, omdat u dit nodig hebt tijdens het maken van het cluster.

Metastore configureren terwijl u een HDInsight Spark-cluster maakt

1. Navigeer naar HDInsight in AKS-clustergroep om clusters te maken.

   

2. Schakel de wisselknop in om externe Hive-metastore toe te voegen en vul de volgende details in.

   

3. De rest van de details moeten worden ingevuld volgens de regels voor het maken van clusters voor Apache Spark-clusters in HDInsight op AKS.

4. Klik op Controleren en Maken.

   

   Notitie

   • De levenscyclus van de metastore is niet gekoppeld aan de levenscyclus van clusters, zodat u clusters kunt maken en verwijderen zonder metagegevens te verliezen. Metagegevens zoals uw Hive-schema's blijven behouden, zelfs nadat u het HDInsight-cluster hebt verwijderd en opnieuw hebt gemaakt.
   • Met een aangepaste metastore kunt u meerdere clusters en clustertypen koppelen aan die metastore.

Werken op externe metastore

1. Een tabel maken

   >> spark.sql("CREATE TABLE sampleTable (number Int, word String)")

   

2. Gegevens toevoegen aan de tabel

   >> spark.sql("INSERT INTO sampleTable VALUES (123, \"HDIonAKS\")");\

   

3. De tabel lezen

   >> spark.sql("select * from sampleTable").show()

   

Verwijzing

• Apache, Apache Spark, Spark en bijbehorende opensource-projectnamen zijn handelsmerken van de Apache Software Foundation (ASF).