Azure Databricks'te Delta Lake ve Apache Iceberg için Unity Catalog tarafından yönetilen tablolar

Important

Unity Kataloğu yönetilen tabloları, Delta Lake tablolarında genel olarak kullanılabilir. Apache Iceberg tablolarında bu özellik Genel Önizleme aşamasındadır ve Databricks Runtime 16.4 LTS ve üzerinde kullanılabilir.

Bu sayfada, Azure Databricks'te varsayılan ve önerilen tablo türü olan Delta Lake ve Apache Iceberg'deki Unity Kataloğu yönetilen tabloları açıklanmaktadır. Yönetilen tablolar okuma ve yazma desenlerinizden ders çıkardığından, bu tablolar Unity Kataloğu tarafından tamamen yönetilir ve iyileştirilir. Bu tablolar, dış ve yabancı tablolara kıyasla performans, operasyonel avantajlar ve daha düşük depolama ve işlem maliyetleri sunar. Unity Kataloğu yönetilen tablolar için tüm okuma, yazma, depolama ve iyileştirme sorumluluklarını yönetir. Bkz . Dış tabloyu yönetilen Unity Kataloğu tablosuna dönüştürme.

Yönetilen tablolar için veri dosyaları, bunları içeren şemada veya katalogda depolanır. Unity Kataloğu'nda yönetilen bir depolama konumu belirtme hakkında bilgi için bkz. ....

Databricks, aşağıdakilerden yararlanmak için yönetilen tabloların kullanılmasını önerir:

• Daha düşük depolama ve işlem maliyetleri.
• Tüm istemci türlerinde daha hızlı sorgu performansı.
• Otomatik tablo bakımı ve iyileştirme.
• Açık API'ler aracılığıyla Databricks olmayan istemciler için güvenli erişim.
• Delta Lake ve Iceberg biçimleri için destek.
• En son platform özelliklerine otomatik yükseltmeler.

Yönetilen tablolar Delta Lake ve Iceberg istemcilerinden erişime izin vererek birlikte çalışabilirliği destekler. Unity Catalog, açık API'ler ve kimlik bilgisi sağlama yoluyla Trino, DuckDB, Apache Spark, Daft gibi dış altyapıların ve Iceberg REST gibi Dremio gibi katalogla entegre motorların yönetilen tablolara erişmesini sağlar. Açık API'leri desteklemeyen dış istemciler için Uyumluluk Modu'nu kullanarak herhangi bir Delta Lake veya Iceberg istemcisini kullanarak yönetilen tabloları okuyabilirsiniz. Açık kaynak bir protokol olan Delta Sharing, dış iş ortakları ve platformlarla güvenli, yönetilen veri paylaşımı sağlar.

Azure Databricks'te desteklenen tüm dillerde ve ürünlerde yönetilen tablolarla çalışabilirsiniz. Yönetilen tabloları oluşturmak, güncelleştirmek, silmek veya sorgulamak için belirli ayrıcalıklara sahip olmanız gerekir. Bkz. Unity Kataloğu'nda ayrıcalıkları yönetme.

Note

Bu sayfa Unity Kataloğu yönetilen tablolarına odaklanır. Eski Hive meta veri deposundaki yönetilen tablolar için bkz. Eski Hive meta veri deposundaki veritabanı nesneleri.

Unity Kataloğu yönetilen tablolarını neden kullanmalısınız?

Unity Kataloğu yönetilen tabloları, otomatik kümeleme, dosya boyutu sıkıştırma ve akıllı istatistik toplama gibi yapay zeka destekli teknolojileri kullanarak depolama maliyetlerini ve sorgu hızlarını otomatik olarak iyileştirir. Bu tablolar otomatik vakumlama ve meta veri önbelleğe alma gibi özelliklerle veri yönetimini basitleştirirken Delta ve Iceberg üçüncü taraf araçlarıyla birlikte çalışabilirlik sağlar.

Aşağıdaki özellikler Unity Kataloğu yönetilen tablolarında benzersizdir ve dış tablolar ve yabancı tablolar için kullanılamaz.

Feature	Benefits	Varsayılan olarak etkinleştirilsin mi?	Yapılandırılabilir?
Tahmine dayalı iyileştirme	Yapay zeka kullanarak veri düzeninizi ve işleminizi otomatik olarak iyileştirdiğinden yönetilen tablolar için işlemleri el ile işlemeniz gerekmez. Databricks, depolama ve işlem maliyetlerini azaltmak için tüm yönetilen tablolar için tahmine dayalı iyileştirmenin etkinleştirilmesini önerir. Tahmine dayalı iyileştirme otomatik olarak çalışır: OPTIMIZE: Dosya boyutlarını sıkıştırarak ve yeni verileri artımlı olarak kümeleyerek sorgu performansını artırır. VACUUM: Kullanılmayan dosyaları silerek depolama maliyetlerinden tasarruf etmenizi sağlar. ANALYZE: Azure Databricks'in sorguları hızlandırmak için veri atlama gerçekleştirmesine yardımcı olan istatistikleri toplar.	Evet, 11 Kasım 2024 tarihinde veya sonrasında oluşturulan tüm yeni hesaplar için. Azure Databricks, geçerli hesaplar için tahmine dayalı iyileştirmeyi varsayılan olarak kullanıma sunulmaya başlamıştır. Bkz. Tahmine dayalı iyileştirmenin etkinleştirilip etkinleştirilmediğini denetleme.	Evet. Bkz . Tahmine dayalı iyileştirmeyi etkinleştirme.
Otomatik sıvı kümeleme	Tahmine dayalı iyileştirmeye sahip tablolarda otomatik sıvı kümelemesini etkinleştirmek, Azure Databricks'in kümeleme anahtarlarını akıllı bir şekilde seçmesine olanak tanır. Sorgu desenleri değiştikçe Azure Databricks, performansı artırmak ve maliyetleri düşürmek için kümeleme anahtarlarını otomatik olarak güncelleştirir.	Hayı	Evet. Bkz . Sıvı kümelemasını etkinleştirme.
Meta veri önbelleğe alma	İşlem meta verilerinin bellek içi önbelleğe alınmasını, bulutta depolanan işlem günlüğüne yönelik istekleri en aza indirerek sorgu performansını artırır. Bu özellik sorgu performansını artırır.	Yes	Hayır. Meta verileri önbelleğe alma, yönetilen tablolar için her zaman etkindir.
Komut sonrasında DROP TABLE otomatik dosya silme	Yönetilen tabloyu BıRAKMAnız durumunda Azure Databricks 8 gün sonra bulut depolamadaki verileri silip depolama maliyetlerini düşürür. Dış tablolar için depolama demetinize el ile gitmeniz ve dosyaları silmeniz gerekir.	Yes	Hayır. Yönetilen tablolar için dosyalar her zaman 8 gün sonra otomatik olarak silinir.

Dış sistemleri kullanarak Databricks verilerine erişme

Yönetilen tablolar Delta Lake ve Iceberg istemcilerinden erişime izin vererek birlikte çalışabilirliği destekler. Unity Catalog, açık API'ler ve kimlik bilgisi dağıtımı aracılığıyla Trino, DuckDB, Apache Spark, Daft ve Iceberg REST gibi dış altyapılar ile Dremio ve Snowflake gibi REST katalogla bütünleşik motorların yönetilen tablolara erişmesini sağlar. Desteklenen harici motorların listesi için tümleştirmelere bakın veya bu listede yer almıyorsa motorunuzun belgelerine göz atın.

Aşağıdaki açık API'ler, dış sistemlere Unity Kataloğu yönetilen tablolarına erişim sağlar:

• Unity REST API: Delta istemcileri için yönetilen Delta tablolarına salt okunur erişim sağlar.
• Iceberg REST Kataloğu (IRC): Iceberg istemcileri için yönetilen Iceberg tablolarına okuma ve yazma erişimi sağlar ve Iceberg okuma izinli delta tablolarına salt okunur erişim sunar (UniForm).

Her iki API de, idare ve güvenlik denetimlerini koruyarak, istekte bulunan Azure Databricks sorumlusunun ayrıcalıklarını devralan, geçici ve kapsamlı kimlik bilgileri sağlayan kimlik bilgisi dağıtımını destekler.

Ayrıca Delta Sharing , dış iş ortaklarına ve platformlara güvenli ve yönetilen veri erişimi sağlayan açık kaynak bir protokoldür. Delta Sharing'i kullanarak iş ortaklarına geçici, salt okunur erişim vekleyebilirsiniz.

Yönetilen tablolara yapılan tüm okuma ve yazma işlemleri, var oldukları yerde tablo adlarını, katalog ve şema adlarını kullanmalıdır. Örneğin, catalog_name.schema_name.table_name. Unity Kataloğu erişim denetimlerini atladığı ve yönetilen tablo özelliklerinin düzgün çalışmasını önlediği için Unity Kataloğu yönetilen tablolarına yol tabanlı erişim desteklenmez ( Uyumluluk Modu dışında).

Yönetilen tablo oluşturma

Yönetilen tablo oluşturmak için aşağıdakilere sahip olmanız gerekir:

• USE SCHEMA tablonun üst şemasında.
• Tablo'nun üst katalogunda USE CATALOG.
• CREATE TABLE tablonun üst şemasında.

SQL kullanarak boş bir yönetilen tablo oluşturmak için aşağıdaki SQL söz dizimini kullanın. Yer tutucu değerlerini değiştirin:

• <catalog-name>: Tabloyu içerecek kataloğun adı.
• <schema-name>: Tabloyu içeren şemanın adı.
• <table-name>: Tablonun adı.
• <column-specification>: Her sütunun adı ve veri türü.

-- Create a managed Delta table
CREATE TABLE <catalog-name>.<schema-name>.<table-name>
(
  <column-specification>
);

-- Create a managed Iceberg table
CREATE TABLE <catalog-name>.<schema-name>.<table-name>
(
  <column-specification>
)
USING iceberg;

Okuma ve yazma işlemlerinin performansını korumak için Azure Databricks, yönetilen Iceberg tablosu meta verilerini iyileştirmek için düzenli aralıklarla işlemler çalıştırır. Bu görev, Iceberg tablosunda izinleri olan MODIFY sunucusuz işlem kullanılarak gerçekleştirilir. Bu işlem yalnızca tablonun meta verilerine yazar ve hesaplama, yalnızca görev süresi boyunca tabloya yönelik izinleri korur.

Note

Bir Iceberg tablosu oluşturmak için açıkça belirtin USING iceberg. Aksi takdirde Azure Databricks varsayılan olarak bir Delta Lake tablosu oluşturur.

Sorgu sonuçlarından veya DataFrame yazma işlemlerinden yönetilen tablolar oluşturabilirsiniz. Aşağıdaki makalelerde, Azure Databricks'te yönetilen tablo oluşturmak için kullanabileceğiniz birçok desenden bazıları gösterilmektedir:

• CREATE TABLE [KULLANIM]
• CREATE TABLE LIKE
• Dosya yükleme kullanarak tablo oluşturma veya değiştirme

Yönetilen tabloyu bırak.

Yönetilen bir tabloyu silmek için aşağıdakilere sahip olmanız gerekir:

• MANAGE veya tablo sahibi olmanız gerekir.
• USE SCHEMA tablonun üst şemasında.
• Tablo'nun üst katalogunda USE CATALOG.

Yönetilen tabloyu bırakmak için aşağıdaki SQL komutunu çalıştırın:

DROP TABLE IF EXISTS catalog_name.schema_name.table_name;

Unity Kataloğu, 8 gün boyunca bırakılan yönetilen tabloları kurtarmak için UNDROP TABLE komutunu destekler. 8 gün sonra Azure Databricks, temel alınan verileri bulut kiracınızdan silinmek üzere işaretler ve otomatik tablo bakımı sırasında dosyaları kaldırır. Bkz. UNDROP.