Unity Kataloğu'nda nesne depolama yaşam döngüsü

Unity Kataloğu güvenli hale getirilebilir bir nesneyi sildiğinizde (Katalog Gezgini, SQL DROPvb. aracılığıyla), ne olacağı nesne türüne ve depolama türüne bağlıdır. Bu sayfada veri dosyası yaşam döngüsü, depolama faturalaması ve silme işleminden sonra kurtarma seçenekleri açıklanmaktadır.

Depolama türü, veri dosyalarına ne olacağını belirler

Tablolar ve volümler için, temel veri dosyalarına ne olacağı, varlığın yönetilen mi yoksa harici mi olduğuna bağlıdır. Bu ayrım hakkında daha fazla bilgi için Unity Catalog’da yönetilen ve harici varlıklar konusuna bakın.

  • Yönetilen tablolar ve birimler: Unity Kataloğu, depolama konumunu ve veri dosyası yaşam döngüsünü denetler. Veri dosyaları meta veri deposu, katalog veya şema düzeyinde tanımlanan yönetilen depolama konumunda bulunur. Yönetilen bir tabloyu veya birimi sildiğinizde Unity Kataloğu, çok aşamalı bir yaşam döngüsü aracılığıyla temel alınan veri dosyalarını siler. Yönetilen depolama konumları iki farklı şekilde gelir:

    • Azure Databricks varsayılan depolaması: Azure Databricks hesabınızda Azure Databricks’in sağladığı ve yönettiği nesne depolaması.
    • Müşteri tarafından sağlanan yönetilen depolama: Bulut hesabınızdaki, metastore, katalog veya şema düzeyinde yapılandırılan ve Azure Databricks'in veri yazdığı ve yönettiği bir bulut depolama konumu.

    Her iki çeşit de aynı veri dosyası yaşam döngüsünü paylaşır, ancak faturalama ve silme sonrası dosya saklama farklıdır. Bkz. Azure Databricks varsayılan depolamada ve müşteri tarafından sağlanan depolamada yönetilen nesneler.

  • Dış tablolar ve birimler: Depolama konumunu ve yaşam döngüsünü siz denetlersiniz. Bir dış tabloyu veya birimi sildiğinizde Unity Kataloğu meta verileri meta veri deposundan kaldırır, ancak veri dosyaları bulut depolama konumunuzda kalır.

  • Harici ve federe kataloglar: Veriler başka bir veri kaynağında bulunur (örneğin, Lakehouse Federation aracılığıyla bir federe veritabanında veya Hive metastore federation aracılığıyla bir Hive meta veri deposunda). Unity Kataloğu yalnızca bağlantı meta verilerini barındırıyor. Yabancı bir kataloğu sildiğinizde Unity Kataloğu bağlantı meta verilerini kaldırır. Kaynak sistemdeki veriler etkilenmez.

Diğer güvenli hale getirilebilir nesneler (kataloglar, şemalar, görünümler, işlevler, modeller) için silme yalnızca meta verileri kaldırır; Unity Kataloğu'na ilişkin yönetecek ilişkili veri dosyası yoktur. CASCADE ile bir katalog veya şema silindiğinde, içerdiği tablolar ve volume’ler de yukarıda açıklandığı gibi her biri kendi yönetilen ya da harici olma durumuna göre kaldırılır.

Silinen nesneyi kurtarma

Silinen bir nesneyi nasıl kurtarabileceğiniz, nesne türüne bağlıdır.

Nesne türü Recovery
Tablolar, maddi görünümler, akış tabloları Silme işlemini izleyen 7 gün içinde UNDROP kullanın. Gerçekleştirilmiş görünümler ve akış tabloları bir ETL işlem hattından oluşturulmuş olmalı ve bu işlem hattı hala mevcut olmalıdır.
Kataloglar, şemalar, birimler, görünümler, işlevler, modeller Silindikten sonra kurtarılamaz.

Warning

Kurtarma zamanla sınırlıdır ve mümkün olan en iyi şekilde gerçekleştirilir. Bir nesneyi yalnızca artık verilere ihtiyacınız olmadığını onayladıktan sonra silin. Boş olmayan nesnelerin yanlışlıkla özyinelemeli olarak silinmesini önlemek için DROP CATALOG ve DROP SCHEMA üzerinde RESTRICT seçeneğini (varsayılan) kullanın.

Silme sonrasında yönetilen verilerin yaşam döngüsü

Yönetilen tablo veya birim silindiğinde, veri dosyaları bulut depolama alanından hemen silinmez. Veri dosyaları bir kurtarma penceresi sırasında tutulur ve daha sonra kalıcı olarak silinir.

1. Aşama: Kurtarma penceresi

Silme işleminin ardından 7 gün boyunca Unity Kataloğu geçici olarak silinen verileri korur, böylece nesneyi kurtarabilirsiniz. Bu pencere sırasında:

  • Tabloları, gerçekleştirilmiş görünümleri ve akış tablolarını kurtarmak için UNDROP SQL komutunu kullanın.
  • Unity Kataloğu bırakılan nesnenin meta verilerini korur ve depolama faturalaması devam eder.

2. Aşama: Temizleme

7 günlük kurtarma penceresi sona erdiğinde, nesne artık kurtarılamaz. Unity Kataloğu, veri dosyalarını 48 saat içinde kalıcı olarak siler. Her aşamadaki depolama faturalama ayrıntıları için bkz. Silme işleminden sonra depolama faturalaması.

Azure Databricks varsayılan depolamada yönetilen nesneler ve müşteri tarafından sağlanan depolama

Yönetilen nesneler iki tür yönetilen depolama kullanabilir. Veri yaşam döngüsü ve Unity Kataloğu temizleme davranışı aynıdır, ancak faturalama ve temizleme sonrası dosya saklama farklıdır.

Depolama türü Dosya temizleme
Varsayılan depolama Azure Databricks (sizin yerinize Azure Databricks tarafından yönetilir) Unity Kataloğu, kurtarma penceresinin bitmesini izleyen 48 saat içinde veri dosyalarını kalıcı olarak siler.
Müşteri tarafından sağlanan yönetilen depolama (meta veri deposu, katalog veya şemada yapılandırdığınız bulut depolama konumu) Unity Kataloğu, kurtarma penceresinin bitmesini izleyen 48 saat içinde veri dosyalarını kalıcı olarak siler. Bulut depolama ilkeleriniz (nesne sürümü oluşturma, geçici silme, yaşam döngüsü kuralları) bu noktadan sonra dosyaları koruyabilir. Bulut sağlayıcınız, depolama için sizi bu ilkelere göre faturalar.

Varsayılan depolama Azure Databricks hakkında daha fazla bilgi için bkz. Databricks'te varsayılan depolama. Müşteri tarafından sağlanan yönetilen depolamayı yapılandırmak için bkz. Unity Kataloğu'nda yönetilen depolama konumu belirtme.

Dış tablolar ve birimler

Bir dış tabloyu veya dış birimi sildiğinizde Unity Kataloğu meta verileri meta veri deposundan kaldırır. Bulut depolama alanınızdaki veri dosyaları silinmez. Bulut sağlayıcınız, demetinizin ilkelerine göre depolama alanı için sizi faturalandırmaya devam eder.

Dosyaları kaldırmak için doğrudan bulut depolama alanından silin.

Yabancı ve federasyon katalogları

Yabancı katalog, dış veri kaynağına başvuran meta veriler içerir. Yabancı bir kataloğu sildiğinizde Unity Kataloğu bağlantı meta verilerini kaldırır. Kaynak sistemdeki veriler etkilenmez. Azure Databricks, kaynak sistemdeki depolama için size fatura kesmez; kaynak sistemin ücretlendirmesi uygulanır.

Silme sonrasında depolama faturalaması

Aşağıdaki tablo, Azure Databricks ile bulut sağlayıcınızın depolamayı her aşamada nasıl faturalandırdığını özetlemektedir. Azure Databricks yalnızca varsayılan Azure Databricks depolama alanı için faturalar oluşturur ve yalnızca kurtarma penceresi sırasında depolama faturalaması, 7 günlük kurtarma penceresi geçtikten sonra durur. Müşteri tarafından sağlanan yönetilen depolama ve dış depolama için bulut sağlayıcınız sizi doğrudan faturalar.

Depolama türü Kurtarma penceresi 2. Aşama temizleme Temizlemeden sonra
Azure Databricks varsayılan depolamada yönetilir Azure Databricks faturalandırıldı Müşteri tarafından faturalanamayan (kurtarma penceresi geçtikten sonra faturalama durdurulur) Uygulanamaz
Müşteri tarafından sağlanan depolamada yönetilir Bulut sağlayıcısı faturalandırıldı Bulut sağlayıcısı faturalandırıldı Bucket’inizin politikalarına göre faturalandırılan bulut sağlayıcısı
Harici tablolar ve volümler Bulut sağlayıcısı faturalandırıldı (dosyalar silinmez) Bulut sağlayıcısı faturalandırıldı Bulut sağlayıcısı faturalandırıldı
Yabancı ve federasyon katalogları Uygulanamaz Uygulanamaz Uygulanamaz

Müşteri tarafından sağlanan depolamada yönetilen bir nesneyi sildikten sonra bulut sağlayıcınızdan gelen depolama ücretlerini görmeye devam edebilirsiniz. Bu ücretleri azaltmak için depolama alanınızın nesne sürümlendirme, geri alınabilir silme ve yaşam döngüsü politikalarını kontrol edin.

Katalog Gezgini'nden nesne silme

Unity Kataloğu nesnelerini çalışma alanı kullanıcı arabirimindeki Katalog Gezgini'nden silebilirsiniz. Bu makalede açıklanan veri yaşam döngüsü, bir nesneyi Katalog Gezgini'nden silmeniz veya SQL DROP deyimi çalıştırmanız için geçerlidir.

Çalışma alanını sildiğinizde ne olur?

Varsayılan olarak, çalışma alanı silindiğinde çalışma alanının varsayılan Unity Kataloğu kataloğu otomatik olarak silinmez. Katalog saklanırsa, yönetilen tabloları ve volümleri kalır; depolama ücretlendirmesi de katalog silininceye kadar devam eder.

Azure Databricks, çalışma alanı kataloğunu ve çalışma alanı silme işleminin bir parçası olarak verilerini kaldıran bir zorla silme seçeneği sunar. Bkz. Çalışma alanı kataloğunu zorla silme. Çalışma alanı kataloğu zorla silinmezse, çalışma alanı silindikten sonra saklanır ve manuel olarak kaldırılmalıdır.

Çalışma alanı silme hakkında ayrıntılı bilgi için bkz. Çalışma alanını silme.

Ek kaynaklar