Objektspeicherlebenszyklus im Unity-Katalog

Wenn Sie ein sicherungsfähiges Unity-Katalog-Objekt (über Katalog-Explorer, SQL DROPusw.) löschen, hängt dies vom Objekttyp und dem Speichertyp ab. Diese Seite beschreibt die Datendateilebenszyklus-, Speicherabrechnungs- und Wiederherstellungsoptionen nach dem Löschen.

Der Speichertyp bestimmt, was mit den Datendateien passiert.

Für Tabellen und Volumes hängt davon ab, was mit den zugrunde liegenden Datendateien geschieht, ob die Ressource verwaltet oder extern ist. Weitere Informationen zu dieser Unterscheidung finden Sie unter Verwaltete und externe Ressourcen im Unity-Katalog.

  • Verwaltete Tabellen und Volumes: Unity Catalog steuert den Speicherort und den Lebenszyklus von Datendateien. Datendateien befinden sich im verwalteten Speicherort, der auf Metastore-, Katalog- oder Schemaebene definiert ist. Wenn Sie eine verwaltete Tabelle oder ein verwaltetes Volume löschen, löscht Unity Catalog die zugrunde liegenden Datendateien über einen mehrstufigen Lebenszyklus. Verwaltete Speicherorte sind in zwei Varianten vorhanden:

    • Azure Databricks-Standardspeicher: Objektspeicher, den Azure Databricks in Ihrem Azure-Databricks-Konto bereitstellt und verwaltet.
    • Kundenseitig bereitgestellter verwalteter Speicher: Ein Cloud-Speicherort in Ihrem Cloud-Konto, der auf Metastore-, Katalog- oder Schemaebene konfiguriert ist und in den Azure Databricks Daten schreibt und verwaltet.

    Beide Varianten haben denselben Lebenszyklus für Datendateien, aber die Abrechnung und die Aufbewahrung von Dateien nach der Löschung unterscheiden sich. Siehe verwaltete Objekte auf Azure Databricks Standardspeicher im Vergleich zum vom Kunden bereitgestellten Speicher.

  • Externe Tabellen und Volumes: Sie steuern den Speicherort und den Lebenszyklus. Wenn Sie eine externe Tabelle oder ein externes Volume löschen, entfernt Unity Catalog die Metadaten aus dem Metaspeicher, die Datendateien verbleiben jedoch an Ihrem Cloudspeicherort.

  • Fremd- und föderierte Kataloge: Die Daten befinden sich in einer anderen Datenquelle (z. B. in einer föderierten Datenbank über Lakehouse Federation oder in einem Hive-Metastore über Hive-Metastore-Föderation). Der Unity-Katalog enthält nur die Verbindungsmetadaten. Wenn Sie einen fremden Katalog löschen, entfernt Unity-Katalog die Verbindungsmetadaten. Daten im Quellsystem sind nicht betroffen.

Bei anderen sicherungsfähigen Objekten (Kataloge, Schemas, Ansichten, Funktionen, Modelle) entfernt das Löschen nur Metadaten – es gibt keine zugeordneten Datendateien, die Unity-Katalog verwalten kann. Das Löschen eines Katalogs oder Schemas mit CASCADE entfernt die darin enthaltenen Tabellen und Volumes gemäß ihrem oben beschriebenen Verhalten als verwaltet oder extern.

Wiederherstellen eines gelöschten Objekts

Wie Sie ein gelöschtes Objekt wiederherstellen, hängt vom Objekttyp ab.

Objekttyp Wiederherstellung
Tabellen, materialisierte Ansichten, Streamingtabellen Verwenden Sie UNDROP innerhalb von 7 Tagen nach dem Löschen. Materialisierte Ansichten und Streamingtabellen müssen aus einer ETL-Pipeline erstellt worden sein, und diese Pipeline muss noch vorhanden sein.
Kataloge, Schemata, Volumes, Ansichten, Funktionen, Modelle Nach dem Löschen kann nicht wiederhergestellt werden.

Warnung

Die Wiederherstellung ist zeitlich begrenzt und erfolgt nach bestem Bemühen. Löschen Sie ein Objekt nur, nachdem Sie bestätigt haben, dass Sie die Daten nicht mehr benötigen. Verwenden Sie die Option RESTRICT (die Standardeinstellung) bei DROP CATALOG und DROP SCHEMA, um das versehentliche rekursive Löschen nicht leerer Objekte zu verhindern.

Lebenszyklus von verwalteten Daten nach einem Löschvorgang

Durch das Löschen einer verwalteten Tabelle oder eines verwalteten Volumes werden die Datendateien nicht sofort aus dem Cloudspeicher gelöscht. Datendateien werden während eines Wiederherstellungsfensters aufbewahrt und danach endgültig gelöscht.

Phase 1: Wiederherstellungsfenster

7 Tage nach dem Löschen behält Unity Catalog die vorläufig gelöschten Daten bei, sodass Sie das Objekt wiederherstellen können. Während dieses Fensters:

  • Verwenden Sie den BEFEHL UNDROP SQL, um Tabellen, materialisierte Ansichten und Streamingtabellen wiederherzustellen.
  • Der Unity-Katalog behält die Metadaten des verworfenen Objekts bei, und die Speicherabrechnung wird fortgesetzt.

Phase 2: Löschen

Wenn das 7-Tage-Wiederherstellungsfenster endet, kann das Objekt nicht mehr wiederhergestellt werden. Unity Catalog löscht die Datendateien innerhalb von 48 Stunden dauerhaft. Details zur Speicherabrechnung in jeder Phase finden Sie unter "Speicherabrechnung nach einem Löschvorgang".

Verwaltete Objekte auf Azure Databricks Standardspeicher im Vergleich zum vom Kunden bereitgestellten Speicher

Verwaltete Objekte können zwei Arten von verwaltetem Speicher verwenden. Der Datenlebenszyklus und das Löschverhalten von Unity Catalog sind gleich, aber die Abrechnung und die Dateiaufbewahrung nach dem endgültigen Löschen unterscheiden sich.

Speichertypus Dateilöschung
Azure Databricks Standardspeicher (verwaltet von Azure Databricks in Ihrem Auftrag) Unity Catalog löscht die Datendateien innerhalb von 48 Stunden nach Dem Ende des Wiederherstellungsfensters endgültig.
Vom Kunden bereitgestellter verwalteter Speicher (ein Cloudspeicherort, den Sie im Metastore, Katalog oder Schema konfiguriert haben) Unity Catalog löscht die Datendateien innerhalb von 48 Stunden nach Dem Ende des Wiederherstellungsfensters endgültig. Richtlinien für Ihren Cloud-Speicher (Objektversionierung, Soft Delete, Lebenszyklusregeln) können Dateien über diesen Zeitpunkt hinaus beibehalten. Ihr Cloudanbieter berechnet Sie gemäß diesen Richtlinien für den Speicher.

Weitere Informationen zu Azure Databricks Standardspeicher finden Sie unter "Standardspeicher in Databricks". Informationen zum Konfigurieren des vom Kunden bereitgestellten verwalteten Speichers finden Sie unter Angeben eines verwalteten Speicherorts im Unity-Katalog.

Externe Tabellen und Speicher-Volumes

Wenn Sie eine externe Tabelle oder ein externes Volume löschen, entfernt Unity Catalog die Metadaten aus dem Metastore. Die Datendateien in Ihrem Cloudspeicher werden nicht gelöscht. Ihr Cloudanbieter stellt Ihnen den Speicher weiterhin gemäß den Richtlinien Ihres Buckets in Rechnung.

Um die Dateien zu entfernen, löschen Sie sie direkt aus dem Cloudspeicher.

Fremd- und Verbundkataloge

Ein fremder Katalog enthält Metadaten, die auf eine externe Datenquelle verweisen. Wenn Sie einen fremden Katalog löschen, entfernt Unity-Katalog die Verbindungsmetadaten. Die Daten im Quellsystem sind nicht betroffen. Azure Databricks berechnet Sie nicht für den Speicher im Quellsystem; die Abrechnung des Quellsystems gilt.

Speicherabrechnung nach einem Löschvorgang

In der folgenden Tabelle wird zusammengefasst, wie Azure Databricks und Ihr Cloudanbieter die Speicherkosten in jeder Phase abrechnen. Azure Databricks stellt Speicher nur für den Speicher im Azure Databricks-Standardspeicher und nur während des Wiederherstellungsfensters in Rechnung – die Speicherabrechnung endet, sobald das 7-tägige Wiederherstellungsfenster abgelaufen ist. Für vom Kunden bereitgestellten verwalteten Speicher und externen Speicher stellt Ihr Cloudanbieter Sie direkt in Rechnung.

Speichertypus Wiederherstellungsfenster Löschphase 2 Nach der Bereinigung
Verwaltet im Standardspeicher von Azure Databricks Azure Databricks in Rechnung gestellt Dem Kunden nicht in Rechnung gestellt (die Abrechnung endet, sobald das Wiederherstellungsfenster abgelaufen ist) Nicht anwendbar
Verwaltet auf vom Kunden bereitgestelltem Speicher Von Cloudanbieter in Rechnung gestellt Von Cloudanbieter in Rechnung gestellt Abrechnender Cloudanbieter (gemäß den für Ihren Bucket geltenden Richtlinien)
Externe Tabellen und Volumes Cloud-Anbieter wird in Rechnung gestellt (Dateien werden nicht gelöscht) Von Cloudanbieter in Rechnung gestellt Von Cloudanbieter in Rechnung gestellt
Fremd- und Verbundkataloge Nicht anwendbar Nicht anwendbar Nicht anwendbar

Nach dem Löschen eines verwalteten Objekts auf dem vom Kunden bereitgestellten Speicher werden möglicherweise weiterhin Speichergebühren von Ihrem Cloudanbieter angezeigt. Um diese Gebühren zu reduzieren, überprüfen Sie die Richtlinien für die Objektversionierung, das vorläufige Löschen und den Lebenszyklus Ihres Buckets.

Löschen eines Objekts aus dem Katalog-Explorer

Sie können Unity-Katalogobjekte aus dem Katalog-Explorer in der Arbeitsbereichs-Benutzeroberfläche löschen. Der in diesem Artikel beschriebene Datenlebenszyklus gilt, ob Sie ein Objekt aus dem Katalog-Explorer löschen oder eine SQL-Anweisung DROP ausführen.

Was geschieht, wenn Sie einen Arbeitsbereich löschen

Standardmäßig wird beim Löschen eines Arbeitsbereichs der Standard-Unity-Catalog-Katalog des Arbeitsbereichs nicht automatisch gelöscht. Wenn der Katalog beibehalten wird, bleiben seine verwalteten Tabellen und Volumes erhalten, und die Speichergebühren fallen weiter an, bis der Katalog gelöscht wird.

Azure Databricks bietet eine Option zum erzwungenen Löschen, die im Rahmen der Arbeitsbereichslöschung den Arbeitsbereichskatalog und die zugehörigen Daten entfernt. Siehe „Erzwingen des Löschens des Arbeitsbereichskatalogs“. Wenn der Arbeitsbereichkatalog nicht erzwingt gelöscht wird, wird er nach dem Löschen des Arbeitsbereichs beibehalten und muss manuell gelöscht werden.

Ausführliche Informationen zum Löschen des Arbeitsbereichs finden Sie unter "Löschen eines Arbeitsbereichs".

Weitere Ressourcen

  • Last updated on