Architectuur op hoog niveau

Dit artikel bevat een algemeen overzicht van de Azure Databricks-architectuur, met inbegrip van de bedrijfsarchitectuur, in combinatie met Azure.

Databricks-objecten

Een Azure Databricks-account is de constructie op het hoogste niveau die u gebruikt voor het beheren van Azure Databricks in uw organisatie. Op accountniveau beheert u het volgende:

• Identiteit en toegang: gebruikers, groepen, service-principals en inrichting van gebruikers.

• Werkruimtebeheer: Werkruimten maken, bijwerken en verwijderen in meerdere regio's.

• Beheer van Unity Catalog-metastore: Metastore maken en koppelen aan werkruimten.

• Gebruiksbeheer: facturering, naleving en beleid.

Een account kan meerdere werkruimten en Unity Catalog-metastores bevatten.

• Werkruimten zijn de samenwerkingsomgeving waar gebruikers rekenworkloads uitvoeren, zoals opname, interactief verkennen, geplande taken en ML-training.

• Unity Catalog-metastores zijn het centrale beheersysteem voor gegevensassets, zoals tabellen en ML-modellen. U ordent gegevens in een metastore onder een naamruimte met drie niveaus:

<catalog-name>.<schema-name>.<object-name>

Metastores zijn gekoppeld aan werkruimten. U kunt één metastore koppelen aan meerdere Azure Databricks-werkruimten in dezelfde regio, zodat elke werkruimte dezelfde gegevensweergave heeft. Besturingselementen voor gegevenstoegang kunnen worden beheerd in alle gekoppelde werkruimten.

Werkruimtearchitectuur

Azure Databricks werkt vanuit een besturingsvlak en een rekenvlak.

• Het besturingsvlak bevat de back-endservices die Azure Databricks beheert in uw Azure Databricks-account. De webtoepassing bevindt zich in het besturingsvlak.

• Het rekenvlak is waar uw gegevens worden verwerkt. Er zijn twee typen rekenvlakken, afhankelijk van de berekening die u gebruikt.

  • Voor serverloze berekeningen worden de serverloze rekenresources uitgevoerd in een serverloze rekenlaag in uw Azure Databricks-account.
  • Voor klassieke Azure Databricks-berekeningen bevinden de rekenresources zich in uw Azure-abonnement in de zogenaamde klassieke rekenlaag. Dit verwijst naar het netwerk in uw Azure-abonnement en de bijbehorende resources.

  Zie Compute voor meer informatie over klassieke berekeningen en serverloze berekeningen.

Klassieke werkruimtearchitectuur

Klassieke Azure Databricks-werkruimten hebben een gekoppeld opslagaccount dat bekend staat als het werkruimteopslagaccount. Het opslagaccount voor de werkruimte bevindt zich in uw Azure-abonnement.

In het volgende diagram wordt de algemene Azure Databricks-architectuur voor klassieke werkruimten beschreven.

Architectuur van serverloze werkruimte

Werkruimteopslag in serverloze werkruimten wordt opgeslagen in de standaardopslag van de werkruimte. U kunt ook verbinding maken met uw cloudopslagaccount om toegang te krijgen tot uw gegevens. In het volgende diagram wordt de algemene architectuur voor serverloze werkruimten beschreven.

Serverloos rekenvlak

In het serverloze rekenvlak worden Azure Databricks-rekenresources uitgevoerd in een rekenlaag binnen uw Azure Databricks-account. Azure Databricks maakt een serverloze rekenlaag in dezelfde Azure-regio als het klassieke rekenvlak van uw werkruimte. U selecteert deze regio bij het maken van een werkruimte.

Om klantgegevens binnen het serverloze rekenvlak te beveiligen, wordt serverloze berekening uitgevoerd binnen een netwerkgrens voor de werkruimte, met verschillende beveiligingslagen om verschillende Azure Databricks-werkruimten en extra netwerkcontroles tussen clusters van dezelfde klant te isoleren.

Voor meer informatie over netwerken in het serverloze rekenvlak, serverloze rekenvlaknetwerken.

Klassiek rekenvlak

In het klassieke rekenvlak worden Azure Databricks-rekenresources uitgevoerd in uw Azure-abonnement. Nieuwe rekenresources worden gemaakt in het virtuele netwerk van elke werkruimte in het Azure-abonnement van de klant.

Een klassiek rekenvlak heeft natuurlijke isolatie omdat deze wordt uitgevoerd in het eigen Azure-abonnement van elke klant. Zie Het klassieke rekenvlak netwerken voor meer informatie over netwerken in het klassieke rekenvlak.

Zie Azure Databricks-regio's voor regionale ondersteuning.

Werkruimteopslag

Werkruimteopslag wordt anders verwerkt, afhankelijk van uw werkruimtetype. Zie Een werkruimte maken voor meer informatie over de werkruimtetypen.

Serverloze werkruimten

Serverloze werkruimten maken gebruik van standaardopslag. Dit is een volledig beheerde opslaglocatie voor de systeemgegevens van uw werkruimte en de catalogi van Unity Catalog. Serverloze werkruimten ondersteunen ook de mogelijkheid om verbinding te maken met uw cloudopslaglocaties. Zie De standaardopslag in Databricks.

Klassieke werkruimten

Het opslagaccount van de werkruimte bevat:

• Systeemgegevens voor werkruimten: systeemgegevens van werkruimten worden gegenereerd wanneer u verschillende Azure Databricks-functies gebruikt, zoals het maken van notebooks. Deze bucket bevat notebookrevisies, taakuitvoeringsgegevens, opdrachtresultaten en Spark-logboeken
• Werkruimtecatalogus voor Unity Catalog: Als uw werkruimte automatisch is ingeschakeld voor Unity Catalog, bevat het werkruimteopslagaccount de standaardwerkruimtecatalogus. Alle gebruikers in uw werkruimte kunnen assets maken in het standaardschema in deze catalogus. Zie Aan de slag met Unity Catalog.
• DBFS (verouderd): DBFS-root en DBFS-mounts zijn verouderd en kunnen uitgeschakeld zijn in uw werkruimte. DBFS (Databricks File System) is een gedistribueerd bestandssysteem in Azure Databricks-omgevingen die toegankelijk zijn onder de dbfs:/ naamruimte. DBFS-hoofd- en DBFS-koppelingen bevinden zich beide in de dbfs:/ naamruimte. Het opslaan en openen van gegevens door DBFS-root of DBFS-koppelingen te gebruiken is een verouderd patroon en wordt niet aanbevolen door Databricks. Zie Wat is DBFS? voor meer informatie.

Zie Firewall-ondersteuning inschakelen voor uw werkruimteopslagaccount om de toegang tot uw werkruimteopslagaccount te beperken van alleen geautoriseerde resources en netwerken.