Share via

Erweiterte Sicherheitsüberwachung

  • Artikel

Dieser Artikel enthält Informationen zum verbesserten Sicherheitsüberwachungsfeature, und Sie erfahren, wie Sie es in Ihrem Azure Databricks-Arbeitsbereich oder -Konto konfigurieren.

Wenn Sie dieses Feature aktivieren, wird Ihnen das Add-On „Verbesserte Sicherheit und Kompatibilität“ wie auf der Preisseite beschrieben in Rechnung gestellt.

Übersicht über die verbesserte Sicherheitsüberwachung

Die verbesserte Sicherheitsüberwachung von Azure Databricks bietet ein erweitertes Datenträgerimage und zusätzliche Agents für die Sicherheitsüberwachung. Diese generieren Protokollzeilen, die Sie mithilfe von Diagnoseprotokollen überprüfen können.

Die Sicherheitserweiterungen gelten nur für Computeressourcen auf der klassischen Computeebene wie z. B. Cluster und nicht serverlose SQL-Warehouses.

Für Ressourcen der Ebene „Serverloses Computing“ (etwa serverlose SQL-Warehouses) erfolgt durch die Aktivierung der erweiterten Sicherheitsüberwachung keine zusätzliche Überwachung.

Hinweis

Die meisten Azure-Instanztypen werden unterstützt, aber VMs der 2. Generation (Gen2) und Arm64-basierte VMs werden nicht unterstützt. Azure Databricks lässt das Starten von Compute mit diesen Instanztypen nicht zu, wenn erweiterte Sicherheitsüberwachung aktiviert ist.

Die verbesserte Sicherheitsüberwachung umfasst Folgendes:

  • Ein verbessertes gehärtetes Betriebssystemimage auf Basis von Ubuntu Advantage.

    Ubuntu Advantage ist ein Paket für Unternehmenssicherheit und -unterstützung für Open-Source-Infrastrukturen und -Anwendungen, das ein auf CIS-Level 1 gehärtetes Image enthält.

  • Agent zur Überwachung des Virenschutzes, der Protokolle generiert, die Sie überprüfen können

  • Agent zur Überwachung der Dateiintegrität, der Protokolle generiert, die Sie überprüfen können

Überwachungs-Agents in Azure Databricks-Computeimages

Wenn die verbesserte Sicherheitsüberwachung aktiviert ist, gibt es zusätzliche Agents für die Sicherheitsüberwachung (einschließlich zwei Agents, die im erweiterten Computeebenenimage vorinstalliert sind). Sie können die Überwachungs-Agents im erweiterten Datenträgerimage der Computeebene nicht deaktivieren.

Überwachungs-Agent Standort Beschreibung Abrufen einer Ausgabe
Überwachung der Dateiintegrität Erweitertes Computeebenenimage Überwacht auf Verstöße in Bezug auf Dateiintegrität und Sicherheitsgrenzen. Dieser Überwachungs-Agent wird auf der Worker-VM in Ihrem Cluster ausgeführt. Aktivieren Sie die Systemtabelle des Überwachungsprotokolls, und überprüfen Sie Protokolle auf neue Zeilen.
Virenschutz und Schadsoftwareerkennung Erweitertes Computeebenenimage Überprüft das Dateisystem täglich auf Viren. Dieser Überwachungs-Agent wird auf den VMs in Ihren Computeressourcen ausgeführt, z. B. in Clustern und SQL-Warehouses (Pro und klassisch). Der Agent für Virenschutz und Schadsoftwareerkennung überprüft das gesamte Dateisystem des Hostbetriebssystems und das Databricks Runtime-Containerdateisystem. Elemente, die sich außerhalb der Cluster-VMs befinden, gehören nicht zum Überprüfungsumfang. Aktivieren Sie die Systemtabelle des Überwachungsprotokolls, und überprüfen Sie Protokolle auf neue Zeilen.
Überprüfung auf Sicherheitsrisiken Die Überprüfung erfolgt in repräsentativen Images in den Azure Databricks-Umgebungen. Überprüft den Containerhost (VM) auf bestimmte bekannte Sicherheitsrisiken und CVEs (Common Vulnerabilities and Exposures). Fordern Sie Überprüfungsberichte zum Image von Ihrem Azure Databricks-Kontoteam an.

Zum Abrufen der aktuellen Versionen von Überwachungsagents können Sie Ihre Cluster neu starten. Wenn Ihr Arbeitsbereich die automatische Clusteraktualisierung nutzt, starten Cluster bei Bedarf während der geplanten Wartungsfenster standardmäßig neu. Wenn das Compliancesicherheitsprofil für einen Arbeitsbereich aktiviert ist, wird die automatische Clusteraktualisierung für diesen Arbeitsbereich dauerhaft aktiviert.

Überwachung der Dateiintegrität

Das erweiterte Image auf Computeebene enthält einen Dienst zur Überwachung der Dateiintegrität, der Einblicke zur Laufzeit und Bedrohungserkennung für Computeressourcen (Clusterworker) auf der klassischen Computeebene in Ihrem Arbeitsbereich bereitstellt.

Die Ausgabe der Dateiintegritätsüberwachung wird in Ihren Überwachungsprotokollen generiert, auf die Sie mit Systemtabellen zugreifen können. Weitere Informationen finden Sie unter Überwachen des Verbrauchs mit Systemtabellen. Informationen zum JSON-Schema für neue überwachbare Ereignisse, die speziell für die Dateiintegritätsüberwachung gelten, finden Sie unter Ereignisse für die Dateiintegritätsüberwachung.

Wichtig

Die Überprüfung dieser Protokolle liegt in Ihrer Verantwortung. Databricks kann diese Protokolle nach eigenem Ermessen überprüfen, übernimmt jedoch keine Verpflichtung dazu. Wenn der Agent eine schädliche Aktivität erkennt, liegt es in Ihrer Verantwortung, diese Ereignisse zu bewerten und ein Supportticket bei Databricks zu öffnen, wenn die Lösung oder Behebung eine Aktion seitens Databricks erfordert. Databricks kann basierend auf diesen Protokolle Maßnahmen ergreifen – beispielsweise Anhalten oder Beenden der Ressourcen –, übernimmt jedoch keine Verpflichtung dazu.

Virenschutz und Schadsoftwareerkennung

Das erweiterte Image auf Computeebene enthält ein Antivirenprogramm zum Erkennen von Trojanern, Viren, Schadsoftware und anderen Bedrohungen. Die Virenschutzüberwachung überprüft das gesamte Dateisystem des Hostbetriebssystems und das Databricks Runtime-Containerdateisystem. Elemente, die sich außerhalb der Cluster-VMs befinden, gehören nicht zum Überprüfungsumfang.

Die Ausgabe der Antivirusüberwachung wird in Überwachungsprotokollen generiert, auf die Sie mit Systemtabellen (Public Preview) zugreifen können. Informationen zum JSON-Schema für neue überwachbare Ereignisse, die speziell für die Antivirusüberwachung gelten, finden Sie unter Ereignisse für die Antivirusüberwachung.

Wenn ein neues VM-Image erstellt wird, sind darin aktualisierte Signaturdateien enthalten.

Wichtig

Die Überprüfung dieser Protokolle liegt in Ihrer Verantwortung. Databricks kann diese Protokolle nach eigenem Ermessen überprüfen, übernimmt jedoch keine Verpflichtung dazu. Wenn der Agent eine schädliche Aktivität erkennt, liegt es in Ihrer Verantwortung, diese Ereignisse zu bewerten und ein Supportticket bei Databricks zu öffnen, wenn die Lösung oder Behebung eine Aktion seitens Databricks erfordert. Databricks kann basierend auf diesen Protokolle Maßnahmen ergreifen – beispielsweise Anhalten oder Beenden der Ressourcen –, übernimmt jedoch keine Verpflichtung dazu.

Wenn ein neues AMI-Image erstellt wird, sind darin aktualisierte Signaturdateien enthalten.

Überprüfung auf Sicherheitsrisiken

Ein Agent zur Überwachung von Sicherheitsrisiken führt Sicherheitsrisikoüberprüfungen des Containerhosts (VM) in Bezug auf bestimmte bekannte CVEs durch. Die Überprüfung erfolgt in repräsentativen Images in den Azure Databricks-Umgebungen. Sie können die Berichte zu Überprüfungen auf Sicherheitsrisiken von Ihrem Azure Databricks-Kontoteam anfordern.

Wenn dieser Agent Sicherheitsrisiken findet, verfolgt Databricks diese im Hinblick auf die Vereinbarung zum Servicelevel (Service Level Agreement, SLA) für die Verwaltung von Sicherheitsrisiken nach und gibt ein aktualisiertes Image heraus, sofern verfügbar.

Verwaltung und Upgrade von Überwachungs-Agents

Die zusätzlichen Überwachungs-Agents, die in den für die Computeressourcen auf der klassischen Computeebene verwendeten Datenträgerimages enthalten sind, gehören zum Azure Databricks-Standardprozess für Systemupgrades:

  • Das Basisdatenträgerimage (Base Disk Image, AMI) für die klassische Computeebene gehört Databricks und wird von Databricks verwaltet und gepatcht.
  • Databricks stellt Sicherheitspatches breit und wendet diese an, indem neue AMI-Datenträgerimages veröffentlicht werden. Der Zeitplan für die Bereitstellung dieser Patches richtet sich nach der Verfügbarkeit neuer Funktionen und der SLA für ermittelte Sicherheitsrisiken. Die Bereitstellung erfolgt üblicherweise alle zwei bis vier Wochen.
  • Das Basisbetriebssystem für die Computeebene ist Ubuntu Advantage.
  • Azure Databricks-Cluster und SQL-Warehouses (Pro und klassisch) sind standardmäßig kurzlebig. Cluster und SQL-Warehouses (Pro und klassisch) verwenden das neueste Basisimage, sobald dieses verfügbar ist. Ältere Versionen, die möglicherweise Sicherheitsrisiken aufweisen, sind für neue Cluster nicht verfügbar.
    • Es liegt in Ihrer Verantwortung, dass Cluster regelmäßig neu gestartet werden (per Benutzeroberfläche oder API), damit sichergestellt ist, dass die Cluster die neuesten gepatchten Host-VM-Images verwenden.

Beendigung eines Überwachungs-Agents

Wenn festgestellt wird, dass ein Überwachungs-Agent auf der Worker-VM aufgrund eines Absturzes oder einer anderweitigen Beendigung nicht ausgeführt wird, versucht das System, den Agent neu zu starten.

Datenaufbewahrungsrichtlinie für Daten von Überwachungs-Agents

Überwachungsprotokolle werden an die Systemtabelle für Überwachungsprotokolle in Ihrem eigenen Speicher in Ihrem Azure-Abonnement gesendet, wenn Sie Diagnoseprotokolle konfiguriert haben. Die Aufbewahrung, Erfassung und Analyse dieser Protokolle liegt in Ihrer Verantwortung.

Berichte und Protokolle zu Überprüfungen auf Sicherheitsrisiken werden mindestens ein Jahr lang von Databricks aufbewahrt. Sie können die Berichte zu Sicherheitsrisiken von Ihrem Azure Databricks-Kontoteam anfordern.

Aktivieren der erweiterten Sicherheitsüberwachung von Azure Databricks

Informationen zum Aktivieren der verbesserten Sicherheitsüberwachung für einen Arbeitsbereich finden Sie unter Verwenden des Azure-Portals zum Aktivieren von Einstellungen für einen neuen Arbeitsbereich.

Es kann bis zu sechs Stunden dauern, bis Aktualisierungen in allen Umgebungen und in nachgelagerten Systemen wie der Abrechnung angekommen sind. Workloads, die aktiv ausgeführt werden, werden mit den Einstellungen fortgesetzt, die beim Starten des Clusters oder einer anderen Computeressource aktiv waren, und neue Einstellungen werden beim nächsten Start dieser Workloads angewendet.