Wat is HDInsight in AKS? (Preview)

Artikel
09/20/2024

Notitie

Op 31 januari 2025 wordt Azure HDInsight buiten gebruik gesteld op AKS. Vóór 31 januari 2025 moet u uw workloads migreren naar Microsoft Fabric of een gelijkwaardig Azure-product om te voorkomen dat uw workloads plotseling worden beëindigd. De resterende clusters in uw abonnement worden gestopt en verwijderd van de host.

Alleen basisondersteuning is beschikbaar tot de buitengebruikstellingsdatum.

Belangrijk

Deze functie is momenteel beschikbaar in preview. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews bevatten meer juridische voorwaarden die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet beschikbaar zijn in algemene beschikbaarheid. Zie Azure HDInsight op AKS Preview-informatie voor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight met de details en volgt u ons voor meer updates in de Azure HDInsight-community.

HDInsight in AKS is een modern, betrouwbaar, veilig en volledig beheerd PaaS (Platform as a Service) dat wordt uitgevoerd op Azure Kubernetes Service (AKS). Met HDInsight in AKS kunt u populaire OpenSource Analytics-workloads zoals Apache Spark™, Apache Flink®️ en Trino implementeren zonder de overhead van het beheren en bewaken van containers.

U kunt end-to-end big data-toepassingen op petabyte-schaal bouwen voor streaming via Apache Flink, data engineering en machine learning met behulp van Apache Spark en trino's krachtige query-engine.

Al deze mogelijkheden in combinatie met HDInsight op de sterke focus op ontwikkelaars van AKS stellen ondernemingen en digitale systeemeigenen in staat om toepassingen te bouwen en te gebruiken die geschikt zijn voor hun behoeften. MET HDInsight op AKS kunnen ontwikkelaars toegang krijgen tot alle uitgebreide configuraties van opensource-software en de uitbreidbaarheid om naadloos andere ecosysteemaanbiedingen op te nemen. Met deze aanbieding kunnen ontwikkelaars hun toepassingen testen en afstemmen om de beste prestaties tegen optimale kosten te extraheren.

HDInsight in AKS is geïntegreerd met het hele Azure-ecosysteem, verkort implementatiecycli en verbetert de tijd om waarde te realiseren.

Technische architectuur

HDInsight in AKS introduceert het concept van clustergroepen en clusters, waarmee u de volledige waarde van Data Lakehouse kunt realiseren. Met clustergroepen kunt u meerdere rekenworkloads op één data lake gebruiken, waardoor de overhead van netwerkbeheer en resourceplanning wordt verwijderd.

Clustergroepen zijn een logische groepering van clusters die helpen bij het bouwen van robuuste interoperabiliteit tussen meerdere clustertypen en waarmee ondernemingen de clusters in hetzelfde virtuele netwerk kunnen hebben. Clustergroepen bieden snelle en rendabele toegang tot alle clustertypen die op aanvraag en op schaal zijn gemaakt. Eén clustergroep komt overeen met één cluster in de AKS-infrastructuur.
Clusters zijn afzonderlijke rekenworkloads , zoals Apache Spark, Apache Flink en Trino, die in enkele minuten snel kunnen worden gemaakt met vooraf ingestelde configuraties.

U kunt de pool maken met één cluster of een combinatie van clustertypen, die zijn gebaseerd op de behoefte en de volgende opties kunnen aanpassen:

Storage
Netwerk
Logboekregistratie
Controleren

In het volgende diagram ziet u de logische technische architectuur van onderdelen die zijn geïnstalleerd in een standaardclustergroep. De clusters worden geïsoleerd met behulp van naamruimten in AKS-clusters.

Gemoderniseerd cloudeigen rekenplatform

De nieuwste versie van HDInsight wordt ingedeeld met behulp van AKS, waardoor het platform robuuster kan zijn en de gebruikers in staat stelt om de clusters effectief te verwerken. Het inrichten van clusters in HDInsight in AKS is snel en betrouwbaar, waardoor clusters eenvoudig kunnen worden beheerd en in-place upgrades kunnen worden uitgevoerd. Met uitgebreide SKU-opties en flexibele abonnementsmodellen kan het moderniseren van data lakehouses met behulp van opensource, cloudeigen en schaalbare infrastructuur in HDInsight op AKS voldoen aan al uw analysebehoeften.

Diagram met HDInsight in AKS hoe het wordt gemoderniseerd op het systeemeigen rekenplatform van de cloud.

Belangrijke functies zijn onder andere:

Snel cluster maken en schalen.
Onderhoudsgemak en periodieke beveiligingsupdates.
Clustertolerantie mogelijk gemaakt door moderne cloudeigen AKS.
Systeemeigen ondersteuning voor moderne verificatie met OAuth en Microsoft Entra ID.
Diepgaande integratie met Azure Services : Azure Data Factory (ADF), Power BI, Azure Monitor.

Connectiviteit met HDInsight

HDInsight in AKS kan naadloos verbinding maken met HDInsight. U kunt profiteren van de voordelen van het gebruik van de benodigde clustertypen in een hybride model. Samenwerken met clustertypen van HDInsight met behulp van dezelfde opslag en metastore in beide aanbiedingen.

HDInsight biedt Apache Kafka®, Apache HBase® en andere analyseworkloads in paaS-formulierfactor (Platform as a Service).

Diagram met connectiviteitsconcepten.

De volgende scenario's worden ondersteund:

Apache Flink maakt verbinding met Apache HBase
Apache Flink verbinding maken met Apache Kafka
Apache Spark die verbinding maakt met Apache HBase
Apache Spark die verbinding maakt met Apache Kafka

Beveiligingsarchitectuur

HDInsight op AKS is standaard beveiligd. Hiermee kunnen ondernemingen zakelijke gegevensassets beveiligen met Azure Virtual Network, versleuteling en integratie met Microsoft Entra ID. Het voldoet ook aan de populairste industrie- en overheidsnalevingsstandaarden die voldoen aan de Azure-standaarden. Met meer dan 30 certificeringen die helpen bij het beveiligen van gegevens, samen met periodieke updates, statusadviseurmeldingen, servicestatusanalyses, samen met best-in-class Azure-beveiligingsstandaarden. HDInsight in AKS biedt standaard verschillende methoden om te voldoen aan de beveiligingsbehoeften van uw bedrijf. Zie HDInsight op AKS-beveiliging voor meer informatie.

Diagram met het beveiligingsconcept.

Beschikbaarheid van regio's (openbare preview)

Azië en Stille Oceaan

Australië - oost
India - centraal
Azië - oost
Japan - oost
Korea - centraal
Azië - zuidoost

Europa

Frankrijk - centraal
Europa - noord
Noorwegen - oost
Zwitserland - noord
Verenigd Koninkrijk Zuid
Europa -west

Noord- en Zuid-Amerika

Brazilië - zuid
Canada - midden
VS - centraal
VS - oost
VS - oost 2
VS - oost 2 EUAP
VS - zuid-centraal
VS - west
VS - west 2
US - west 3