Inleiding tot clusteropslag
Notitie
Op 31 januari 2025 wordt Azure HDInsight buiten gebruik gesteld op AKS. Vóór 31 januari 2025 moet u uw workloads migreren naar Microsoft Fabric of een gelijkwaardig Azure-product om te voorkomen dat uw workloads plotseling worden beëindigd. De resterende clusters in uw abonnement worden gestopt en verwijderd van de host.
Alleen basisondersteuning is beschikbaar tot de buitengebruikstellingsdatum.
Belangrijk
Deze functie is momenteel beschikbaar in preview. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews bevatten meer juridische voorwaarden die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet beschikbaar zijn in algemene beschikbaarheid. Zie Azure HDInsight op AKS Preview-informatie voor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight met de details en volgt u ons voor meer updates in de Azure HDInsight-community.
Azure HDInsight in AKS kan naadloos worden geïntegreerd met Azure Storage. Dit is een opslagoplossing voor algemeen gebruik die goed werkt met veel andere Azure-services. Azure Data Lake Storage Gen2 (ADLS Gen 2) is het standaardbestandssysteem voor de clusters.
Het opslagaccount kan worden gebruikt als de standaardlocatie voor gegevens, clusterlogboeken en andere uitvoer die tijdens de clusterbewerking wordt gegenereerd. Het kan ook een standaardopslag zijn voor de Hive-catalogus die afhankelijk is van het clustertype.
Zie Inleiding tot Azure Data Lake Storage Gen2 voor meer informatie.
Beheerde identiteiten voor beveiligde bestandstoegang
Azure HDInsight in AKS maakt gebruik van beheerde identiteiten (MSI) om clustertoegang tot bestanden in Azure Data Lake Storage Gen2 te beveiligen. Beheerde identiteit is een functie van Microsoft Entra-id die Azure-services biedt met een set automatisch beheerde referenties. Deze referenties kunnen worden gebruikt voor verificatie bij elke service die Ondersteuning biedt voor Active Directory-verificatie. Bovendien hoeft u voor beheerde identiteiten geen referenties op te slaan in code- of configuratiebestanden.
Wanneer u in Azure HDInsight in AKS een beheerde identiteit en opslag selecteert tijdens het maken van het cluster, kan de beheerde identiteit naadloos werken met opslag voor gegevensbeheer, mits de rol eigenaar van opslagblobgegevens is toegewezen aan de door de gebruiker toegewezen MSI.
De volgende tabel bevat een overzicht van de ondersteunde opslagopties voor Azure HDInsight in AKS (openbare preview):
| Clustertype | Ondersteunde opslag | Connection | Rol in opslag |
|---|---|---|---|
| Trino, Apache Flink en Apache Spark | ADLS Gen2 | Door de gebruiker toegewezen beheerde identiteit van het cluster (MSI) | De door de gebruiker toegewezen MSI moet de rol Eigenaar van opslagblobgegevens hebben voor het opslagaccount. |
Notitie
Als u een opslagaccount wilt delen tussen meerdere clusters, kunt u alleen het bijbehorende door de gebruiker toegewezen MSI-cluster 'Eigenaar van opslagblobgegevens' toewijzen aan het gedeelde opslagaccount. Meer informatie over het toewijzen van een rol.
Daarna kunt u het volledige opslagpad abfs:// gebruiken om toegang te krijgen tot de gegevens via uw toepassingen.
Zie Beheerde identiteiten voor Azure-resources voor meer informatie.
Meer informatie over het maken van een ADLS Gen2-account.
Azure HDInsight in AKS-opslagarchitectuur
Het volgende diagram biedt een abstracte weergave van de Azure HDInsight in AKS-architectuur van Azure Storage.
Opslagbeheer
Op dit moment biedt Azure HDInsight in AKS geen ondersteuning voor opslagaccounts waarvoor voorlopig verwijderen is ingeschakeld. Zorg ervoor dat u voorlopig verwijderen uitschakelt voor uw opslagaccount.
