Unity Kataloğu yönetilen tabloları için tahmine dayalı iyileştirme

2025-06-12

Not

Databricks, 11 Kasım 2024'den sonra oluşturulan tüm hesaplar için tahmine dayalı iyileştirmeyi varsayılan olarak etkinleştirir. Databricks, 7 Mayıs 2025'den itibaren mevcut tüm Databricks hesapları için tahmine dayalı iyileştirmeyi varsayılan olarak etkinleştirir. Bu, bölgenize göre aşamalı olarak kullanıma sunulacaktır ve 1 Temmuz 2025'e kadar tamamlanacaktır. Hesabınız için tahmine dayalı iyileştirmenin etkinleştirilip etkinleştirilmediğini de kontrol edebilirsiniz.

Tahmine dayalı iyileştirme, Azure Databricks'te Unity Kataloğu yönetilen tabloları için bakım işlemlerini el ile yönetme gereksinimini ortadan kaldırır.

Tahmine dayalı iyileştirme etkinleştirildiğinde Azure Databricks aşağıdakileri otomatik olarak yapar:

Bakım işlemlerinden yarar görebilecek tabloları tanımlar ve bu işlemleri çalıştırmak üzere kuyruğa alır.
Veriler yönetilen bir tabloya yazıldığında istatistikleri toplar.

Bakım işlemleri gerektiği gibi çalıştırılarak hem bakım işlemleri için gereksiz çalıştırmalar hem de performans izleme ve sorun giderme ile ilgili yük ortadan kaldırılır.

Databricks, Unity Kataloğu tarafından yönetilen tüm tablolar için tahmine dayalı iyileştirme kullanılmasını önerir. Örneğin, otomatik sıvı kümeleme, veri kullanım desenlerinize göre veri düzeninde akıllı iyileştirmeye sahiptir. Bkz Tablolar için sıvı kümeleme kullanma.

Önemli

Tahmine dayalı iyileştirme yalnızca Unity Kataloğu yönetilen tablolarında çalışır.

Tahmine dayalı iyileştirme tüm bölgelerde kullanılamaz. Bkz. Sınırlı bölgesel kullanılabilirliğe sahip özellikler.

Tahmine dayalı iyileştirme hangi işlemleri çalıştırır?

Tahmine dayalı iyileştirme, etkin tablolar için aşağıdaki işlemleri otomatik olarak çalıştırır:

Operasyon	Açıklama
`OPTIMIZE` (1)	Etkin olan tablolar için artımlı kümelemeyi tetikler. Bkz Tablolar için sıvı kümeleme kullanma. Dosya boyutlarını iyileştirerek sorgu performansını artırır. Bkz. veri dosyası düzenini iyileştirme.
`VACUUM`	Tablo tarafından artık referans verilmeyen veri dosyalarını silerek depolama maliyetlerini azaltır. Bkz. Vakumile kullanılmayan veri dosyalarını kaldırma.
`ANALYZE`	Sorgu performansını geliştirmek için istatistiklerin artımlı güncelleştirmesini tetikler. Bkz. ANALYZE TABLE.

(1)OPTIMIZE tahmine dayalı iyileştirme ile yürütüldüğünde ZORDER çalışmaz. Z sırası kullanan tablolarda tahmine dayalı iyileştirme, Z sıralı dosyalarını yoksayar.

Otomatik sıvı kümeleme etkinleştirildiyse, tahmine dayalı iyileştirme verileri kümelemeden önce yeni kümeleme anahtarlarını seçebilir. Bkz. Otomatik sıvı kümeleme.

Uyarı

VACUUM komutunun bekletme penceresi, varsayılan olarak 7 gün olan delta.deletedFileRetentionDuration tablo özelliği tarafından belirlenir. Bu, VACUUM son 7 gün içinde delta tablosu sürümü tarafından artık başvurulmamış veri dosyalarını kaldırdığı anlamına gelir. Verileri daha uzun süre saklamak istiyorsanız (örneğin, daha uzun süreler boyunca zaman geçirmeyi desteklemek için), aşağıdaki örnekte olduğu gibi tahmine dayalı iyileştirmeyi etkinleştirmeden önce bu tablo özelliğini uygun şekilde ayarlamanız gerekir:

ALTER TABLE table_name SET TBLPROPERTIES ('delta.deletedFileRetentionDuration' = '30 days');

Varsayılan değer olan 7 günün altında yapılandırdığınızda delta.deletedFileRetentionDuration tahmine dayalı iyileştirme 7 günlük saklama süresiyle çalışır VACUUM .

Tahmine dayalı iyileştirme nerede çalışır?

Tahmine dayalı iyileştirme, ANALYZE, OPTIMIZEve VACUUM işlemlerinden yararlanabilecek tabloları tanımlar ve işler için sunucusuz işlem kullanarak çalışacak şekilde kuyruğa alır. Hesabınız, sunucusuz görev SKU'su kullanılarak bu iş yükleriyle ilişkili hesaplama için faturalandırılır.

Databricks yönetilen hizmetleri için fiyatları görün. Bkz. Tahmine dayalı iyileştirmeyi izlemek için sistem tablolarını kullanma.

Tahmine dayalı iyileştirme önkoşulları

Tahmine dayalı iyileştirmeyi etkinleştirmek için aşağıdaki gereksinimleri karşılamanız gerekir:

Azure Databricks çalışma alanınız tahmine dayalı iyileştirmeyi destekleyen bir bölgede Premium planında olmalıdır. Bkz. Sınırlı bölgesel kullanılabilirliğe sahip özellikler.
Tahmine dayalı iyileştirmeyi etkinleştirirken SQL ambarlarını veya Databricks Runtime 12.2 LTS veya üzerini kullanmanız gerekir.
Yalnızca Unity Kataloğu yönetilen tabloları desteklenir.

Depolama hesaplarınız için özel bağlantı gerekiyorsa sunucusuz özel bağlantı yapılandırmanız gerekir. Bkz . Azure kaynaklarına özel bağlantı yapılandırma.

Tahmine dayalı iyileştirmeyi etkinleştirme

Hesap, katalog veya şema için tahmine dayalı iyileştirmeyi etkinleştirebilirsiniz. Varsayılan olarak, tüm Unity Catalog yönetilen tablolar hesap değerini devralır. Bu düzeyde tahmine dayalı iyileştirmeyi etkinleştirmek veya devre dışı bırakmak için katalog veya şema için hesap varsayılanını geçersiz kılabilirsiniz.

Not

Hesabınız 11 Kasım 2024'den sonra oluşturulduysa tahmine dayalı iyileştirme varsayılan olarak etkinleştirilir. 7 Mayıs 2025'den itibaren tahmine dayalı iyileştirme tüm mevcut hesaplar için varsayılan olarak etkindir. Bu, bölgenize göre aşamalı olarak kullanıma sunulacaktır ve 1 Temmuz 2025'e kadar tamamlanacaktır.

Tahmine dayalı iyileştirmeyi belirtilen düzeyde etkinleştirmek veya devre dışı bırakmak için aşağıdaki ayrıcalıklara sahip olmanız gerekir:

Unity Kataloğu nesnesi	Ayrıcalık
Firma	Hesap yöneticisi
Katalog	Katalog sahibi
Şema	Şema sahibi

Hesabınız için tahmine dayalı iyileştirmeyi etkinleştirme veya devre dışı bırakma

Hesap yöneticisi, bir hesaptaki tüm meta veri depoları için tahmine dayalı iyileştirmeyi etkinleştirmek için aşağıdaki adımları tamamlayabilir. Hesaptaki nesneler bu ayarı varsayılan olarak devralır (ancak ayar katalog veya şema düzeyinde geçersiz kılınabilir):

Hesaplar konsoluna erişin.
Ayarlar'a ve ardından Özellik etkinleştirme'ye gidin.
Tahmine dayalı iyileştirmeyanında kullanılacak seçeneği (örneğin, Etkin) seçin.

Not

Tahmine dayalı iyileştirmeyi desteklemeyen bölgelerdeki meta veri depoları etkinleştirilmez.
Hesap düzeyinde tahmine dayalı iyileştirmeyi devre dışı bırakmak, bunu özellikle etkinleştirmiş olan kataloglar veya şemalar için devre dışı bırakmaz.

Katalog veya şema için tahmine dayalı iyileştirmeyi etkinleştirme veya devre dışı bırakma

Tahmine dayalı iyileştirme bir devralma modeli kullanır. Bir katalog için etkinleştirildiğinde şemalar özelliği devralır. Etkinleştirilmiş şemadaki tablolar tahmine dayalı iyileştirmeyi devralır. Bu devralma davranışını geçersiz kılmak için, bir katalog veya şema için tahmine dayalı iyileştirmeyi açıkça etkinleştirebilir veya devre dışı bırakabilirsiniz.

Not

Hesap düzeyinde etkinleştirmeden önce katalog veya şema düzeyinde tahmine dayalı iyileştirmeyi devre dışı bırakabilirsiniz. Tahmine dayalı iyileştirme daha sonra hesapta etkinleştirilirse, bu nesnelerdeki tablolar için engellenir.

Tahmine dayalı iyileştirmeyi etkinleştirmek veya devre dışı bırakmak ya da üst nesneden devralma varsayılanına dönmek için aşağıdaki söz dizimini kullanın:

ALTER CATALOG [catalog_name] { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;
ALTER { SCHEMA | DATABASE } schema_name { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;

Tahmine dayalı iyileştirmenin etkinleştirilip etkinleştirilmediğini denetleyin

Predictive Optimization alanı, tahmine dayalı iyileştirmenin etkinleştirilip etkinleştirilmediğini gösteren bir Unity Kataloğu özelliğidir. Tahmine dayalı iyileştirme bir üst nesneden devralındıysa, bu alan değerinde gösterilir.

Tahmine dayalı iyileştirmenin etkinleştirilip etkinleştirilmediğini görmek için aşağıdaki söz dizimini kullanın:

DESCRIBE (CATALOG | SCHEMA | TABLE) EXTENDED name

Tahmine dayalı iyileştirmeyi izlemek için sistem tablolarını kullanma

Azure Databricks, tahmine dayalı iyileştirme işlemleri, maliyetler ve etki açısından gözlemlenmesine olanak tanıyan sistem tablosu system.storage.predictive_optimization_operations_history'ı sağlar. Bkz. Tahmine dayalı iyileştirme sistemi tablo referansı.

Özel bağlantı hata iletisi

Sistem tablosu işlemleri FAILED: PRIVATE_LINK_SETUP_ERRORile başarısız olarak işaretlerse sunucusuz işlem için özel bağlantıyı doğru yapılandırmamış olabilirsiniz. Bkz . Azure kaynaklarına özel bağlantı yapılandırma.

Sınırlamalar