Azure Databricks-Architekturübersicht

Dieser Artikel bietet eine allgemeine Übersicht über die Azure Databricks-Architektur, einschließlich der entsprechenden Unternehmensarchitektur in Kombination mit Azure.

Allgemeine Architektur

Azure Databricks wird auf einer Steuerungsebene und einer Computeebeneausgeführt.

• Die Steuerungsebene umfasst die Back-End-Dienste, die Azure Databricks in Ihrem Azure Databricks-Konto verwaltet. Die Webanwendung befindet sich in der Steuerungsebene.
• Die Computeebene ist der Ort, an dem Ihre Daten verarbeitet werden. Je nach Computing gibt zwei Arten von Computeebenen.
  • Für serverloses Computing werden die serverlosen Computeressourcen in einer serverlosen Computeebene in Ihrem Azure Databricks-Konto ausgeführt.
  • Für das klassische Azure Databricks-Computing befinden sich die Computeressourcen in Ihrem Azure-Abonnement in der so genannten klassischen Computeebene. Dies bezieht sich auf das Netzwerk in Ihrem Azure-Abonnement und seine Ressourcen.

Jeder Azure Databricks-Arbeitsbereich verfügt über ein zugeordnetes Speicherkonto, das als Arbeitsbereichsspeicherkonto bezeichnet wird. Das Arbeitsbereichsspeicherkonto befindet sich in Ihrem Azure-Abonnement.

Das folgende Diagramm beschreibt die allgemeine Azure Databricks-Architektur.

Serverlose Computeebene

Bei der serverlosen Computeebene werden Azure Databricks-Computeressourcen auf einer Computeebene innerhalb Ihres Azure Databricks-Kontos ausgeführt. Azure Databricks erstellt eine serverlose Computeebene in derselben Azure-Region, in der sich auch die Classic-Computeebene Ihres Arbeitsbereichs befindet.

Um Kundendaten auf der serverlosen Computeebene zu schützen, wird serverloses Computing innerhalb einer Netzwerkgrenze für den Arbeitsbereich mit verschiedenen Sicherheitsebenen ausgeführt, um unterschiedliche Azure Databricks-Kundenarbeitsbereiche und zusätzliche Netzwerksteuerelemente zwischen Clustern derselben Kund*innen zu isolieren.

Weitere Informationen zum Netzwerk auf der serverlosen Computeebene finden Sie unter Netzwerke auf der serverlosen Computeebene.

Ebene „Klassisches Compute“

Bei der klassischen Computeebene werden Azure Databricks-Computeressourcen in Ihrem Azure-Abonnement ausgeführt. Neue Computeressourcen werden innerhalb des virtuellen Netzwerks jedes Arbeitsbereichs im Azure-Abonnement des Kunden erstellt.

Eine Classic-Computeebene weist eine natürliche Isolation auf, da sie im Azure-Abonnement der einzelnen Benutzer*innen ausgeführt wird. Weitere Informationen zum Netzwerk auf der klassischen Computeebene finden Sie unter Netzwerke auf der klassischen Computeebene.

Regionale Unterstützung finden Sie unter Azure Databricks-Regionen.

Arbeitsbereichsspeicherkonto

Wenn Sie einen Arbeitsbereich erstellen, erstellt Azure Databricks ein Konto in Ihrem Azure-Abonnement, das als Arbeitsbereichsspeicherkonto verwendet wird.

Das Arbeitsbereichsspeicherkonto enthält:

• Arbeitsbereichssystemdaten: Arbeitsbereichssystemdaten werden generiert, während Sie verschiedene Azure Databricks-Funktionen wie das Erstellen von Notebooks verwenden. Dieser Bucket umfasst Notebook-Überarbeitungen, Auftragsausführungsdetails, Befehlsergebnisse und Spark-Protokolle.
• DBFS: Das DBFS (Databricks File System) ist ein verteiltes Dateisystem in Azure Databricks-Umgebungen, auf das aus dem Namespace dbfs:/ zugegriffen werden kann. DBFS-Stamm- und DBFS-Bereitstellungen befinden sich beide im Namespace dbfs:/. Das Speichern und Zugreifen auf Daten mithilfe von DBFS-Stamm oder DBFS-Bereitstellungen ist ein veraltetes Muster und wird von Databricks nicht empfohlen. Weitere Informationen finden Sie unter Was ist das DBFS?
• Unity Catalog-Arbeitsbereichkatalog: Wenn Ihr Arbeitsbereich für Unity Catalog automatisch aktiviert wurde, enthält das Arbeitsbereichsspeicherkonto den Standardarbeitsbereichskatalog. Alle Benutzerinnen und Benutzer in Ihrem Arbeitsbereich können Objekte im Standardschema in diesem Katalog erstellen. Siehe Einrichten und Verwalten von Unity Catalog.

Informationen darüber, wie Sie den Zugriff auf Ihr Speicherkonto des Arbeitsbereichs auf autorisierte Ressourcen und Netzwerke beschränken, finden Sie unter Aktivieren der Firewallunterstützung für Ihr Arbeitsbereichsspeicherkonto.