Unity Kataloğu yönetilen tabloları için tahmine dayalı iyileştirme

Not

Hesabınız 11 Kasım 2024 tarihinde veya sonrasında oluşturulduysa tahmine dayalı iyileştirme varsayılan olarak etkinleştirilir. Databricks 7 Mayıs 2025'te mevcut hesapları etkinleştirmeye başladı. Bu etkinleştirme aşamalı olarak dağıtılıyor ve Şubat 2026'ya kadar tamamlanması bekleniyor. Hesabınızın zaten etkin olup olmadığından emin değilseniz bkz. Tahmine dayalı iyileştirmenin etkinleştirilip etkinleştirilmediğini denetleme.

Tahmine dayalı iyileştirme, Azure Databricks'te Unity Kataloğu yönetilen tabloları için bakım işlemlerini el ile yönetme gereksinimini ortadan kaldırır.

Tahmine dayalı iyileştirme etkinleştirildiğinde Azure Databricks aşağıdakileri otomatik olarak yapar:

• Bakım işlemlerinden yarar görebilecek tabloları tanımlar ve bu işlemleri çalıştırmak üzere kuyruğa alır.
• Veriler yönetilen bir tabloya yazıldığında istatistikleri toplar.

Bakım işlemleri gerektiği gibi çalıştırılarak hem bakım işlemleri için gereksiz çalıştırmalar hem de performans izleme ve sorun giderme ile ilgili yük ortadan kaldırılır.

Databricks, Unity Kataloğu tarafından yönetilen tüm tablolar için tahmine dayalı iyileştirme kullanılmasını önerir. Örneğin, otomatik sıvı kümeleme, veri kullanım desenlerinize göre veri düzeninde akıllı iyileştirmeye sahiptir. Bkz Tablolar için sıvı kümeleme kullanma.

Önemli

Tahmine dayalı iyileştirme yalnızca Unity Kataloğu yönetilen tablolarında çalışır.

Tahmine dayalı iyileştirme tüm bölgelerde kullanılamaz. Bkz. Sınırlı bölgesel kullanılabilirliğe sahip özellikler.

Tahmine dayalı iyileştirme hangi işlemleri çalıştırır?

Tahmine dayalı iyileştirme, etkin tablolar için aşağıdaki işlemleri otomatik olarak çalıştırır:

Operasyon	Açıklama
OPTIMIZE (1)	Etkin olan tablolar için artımlı kümelemeyi tetikler. Bkz Tablolar için sıvı kümeleme kullanma. Dosya boyutlarını iyileştirerek sorgu performansını artırır. Bkz. veri dosyası düzenini iyileştirme.
VACUUM	Tablo tarafından artık referans verilmeyen veri dosyalarını silerek depolama maliyetlerini azaltır. Bkz. Vakumile kullanılmayan veri dosyalarını kaldırma.
ANALYZE	Sorgu performansını geliştirmek için istatistiklerin artımlı güncelleştirmesini tetikler. Bkz. ANALYZE TABLE.

(1)OPTIMIZE tahmine dayalı iyileştirme ile yürütüldüğünde ZORDER çalışmaz. Z sırası kullanan tablolarda tahmine dayalı iyileştirme, Z sıralı dosyalarını yoksayar.

Otomatik sıvı kümeleme etkinleştirildiyse, tahmine dayalı iyileştirme verileri kümelemeden önce yeni kümeleme anahtarlarını seçebilir. Bkz. Otomatik sıvı kümeleme.

Uyarı

VACUUM komutunun bekletme penceresi, varsayılan olarak 7 gün olan delta.deletedFileRetentionDuration tablo özelliği tarafından belirlenir. Bu, VACUUM son 7 gün içinde delta tablosu sürümü tarafından artık başvurulmamış veri dosyalarını kaldırdığı anlamına gelir. Verileri daha uzun süre saklamak istiyorsanız (örneğin, daha uzun süreler boyunca zaman geçirmeyi desteklemek için), aşağıdaki örnekte olduğu gibi tahmine dayalı iyileştirmeyi etkinleştirmeden önce bu tablo özelliğini uygun şekilde ayarlamanız gerekir:

ALTER TABLE table_name SET TBLPROPERTIES ('delta.deletedFileRetentionDuration' = '30 days');

Varsayılan değer olan 7 günün altında yapılandırdığınızda delta.deletedFileRetentionDuration tahmine dayalı iyileştirme 7 günlük saklama süresiyle çalışır VACUUM .

Tahmine dayalı iyileştirme nerede çalışır?

Tahmine dayalı iyileştirme, ANALYZE, OPTIMIZEve VACUUM işlemlerinden yararlanabilecek tabloları tanımlar ve işler için sunucusuz işlem kullanarak çalışacak şekilde kuyruğa alır. Hesabınız, sunucusuz görev SKU'su kullanılarak bu iş yükleriyle ilişkili hesaplama için faturalandırılır.

Databricks yönetilen hizmetleri için fiyatları görün. Bkz. Tahmine dayalı iyileştirmeyi izlemek için sistem tablolarını kullanma.

Tahmine dayalı iyileştirme önkoşulları

Tahmine dayalı iyileştirmeyi etkinleştirmek için aşağıdaki gereksinimleri karşılamanız gerekir:

• Azure Databricks çalışma alanınız tahmine dayalı iyileştirmeyi destekleyen bir bölgede Premium planında olmalıdır. Bkz. Sınırlı bölgesel kullanılabilirliğe sahip özellikler.
• Tahmine dayalı iyileştirmeyi etkinleştirirken SQL ambarlarını veya Databricks Runtime 12.2 LTS veya üzerini kullanmanız gerekir.
• Yalnızca Unity Kataloğu yönetilen tabloları desteklenir.

• Depolama hesaplarınız için özel bağlantı gerekiyorsa sunucusuz özel bağlantı yapılandırmanız gerekir. Bkz . Azure kaynaklarına özel bağlantı yapılandırma.

Tahmine dayalı iyileştirmeyi etkinleştirme

Hesap, katalog veya şema için tahmine dayalı iyileştirmeyi etkinleştirebilirsiniz. Varsayılan olarak, tüm Unity Catalog yönetilen tablolar hesap değerini devralır. Bu düzeyde tahmine dayalı iyileştirmeyi etkinleştirmek veya devre dışı bırakmak için katalog veya şema için hesap varsayılanını geçersiz kılabilirsiniz.

Not

Hesabınız 11 Kasım 2024 tarihinde veya sonrasında oluşturulduysa tahmine dayalı iyileştirme varsayılan olarak etkinleştirilir. Databricks 7 Mayıs 2025'te mevcut hesapları etkinleştirmeye başladı. Bu etkinleştirme aşamalı olarak dağıtılıyor ve Şubat 2026'ya kadar tamamlanması bekleniyor.

Tahmine dayalı iyileştirmeyi belirtilen düzeyde etkinleştirmek veya devre dışı bırakmak için aşağıdaki ayrıcalıklara sahip olmanız gerekir:

Unity Kataloğu nesnesi	Ayrıcalık
Firma	Hesap yöneticisi
Katalog	Katalog sahibi
Şema	Şema sahibi

Hesabınız için tahmine dayalı iyileştirmeyi etkinleştirme veya devre dışı bırakma

Hesap yöneticisi, bir hesaptaki tüm meta veri depoları için tahmine dayalı iyileştirmeyi etkinleştirmek için aşağıdaki adımları tamamlayabilir. Hesaptaki nesneler bu ayarı varsayılan olarak devralır (ancak ayar katalog veya şema düzeyinde geçersiz kılınabilir):

1. Hesaplar konsoluna erişin.
2. Ayarlar'a ve ardından Özellik etkinleştirme'ye gidin.
3. Tahmine dayalı iyileştirmeyanında kullanılacak seçeneği (örneğin, Etkin) seçin.

Not

• Tahmine dayalı iyileştirmeyi desteklemeyen bölgelerdeki meta veri depoları etkinleştirilmez.
• Hesap düzeyinde tahmine dayalı iyileştirmeyi devre dışı bırakmak, bunu özellikle etkinleştirmiş olan kataloglar veya şemalar için devre dışı bırakmaz.

Katalog veya şema için tahmine dayalı iyileştirmeyi etkinleştirme veya devre dışı bırakma

Tahmine dayalı iyileştirme bir devralma modeli kullanır. Bir katalog için etkinleştirildiğinde şemalar özelliği devralır. Etkinleştirilmiş şemadaki tablolar tahmine dayalı iyileştirmeyi devralır. Bu devralma davranışını geçersiz kılmak için, bir katalog veya şema için tahmine dayalı iyileştirmeyi açıkça etkinleştirebilir veya devre dışı bırakabilirsiniz.

Not

Hesap düzeyinde etkinleştirmeden önce katalog veya şema düzeyinde tahmine dayalı iyileştirmeyi devre dışı bırakabilirsiniz. Tahmine dayalı iyileştirme daha sonra hesapta etkinleştirilirse, bu nesnelerdeki tablolar için engellenir.

Tahmine dayalı iyileştirmeyi etkinleştirmek veya devre dışı bırakmak ya da üst nesneden devralma varsayılanına dönmek için aşağıdaki söz dizimini kullanın:

ALTER CATALOG [catalog_name] { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;
ALTER { SCHEMA | DATABASE } schema_name { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;

Tahmine dayalı iyileştirmenin etkinleştirilip etkinleştirilmediğini denetleyin

Predictive Optimization alanı, tahmine dayalı iyileştirmenin etkinleştirilip etkinleştirilmediğini gösteren bir Unity Kataloğu özelliğidir. Tahmine dayalı iyileştirme bir üst nesneden devralındıysa, bu alan değerinde gösterilir.

Tahmine dayalı iyileştirmenin etkinleştirilip etkinleştirilmediğini görmek için aşağıdaki söz dizimini kullanın:

DESCRIBE (CATALOG | SCHEMA | TABLE) EXTENDED name

Tahmine dayalı iyileştirmeyi izlemek için sistem tablolarını kullanma

Azure Databricks, tahmine dayalı iyileştirme işlemleri, maliyetler ve etki açısından gözlemlenmesine olanak tanıyan sistem tablosu system.storage.predictive_optimization_operations_history'ı sağlar. Bkz. Tahmine dayalı iyileştirme sistemi tablo referansı.

Özel bağlantı hata iletisi

Sistem tablosu işlemleri FAILED: PRIVATE_LINK_SETUP_ERRORile başarısız olarak işaretlerse sunucusuz işlem için özel bağlantıyı doğru yapılandırmamış olabilirsiniz. Bkz . Azure kaynaklarına özel bağlantı yapılandırma.

Sınırlamalar

Tahmine dayalı iyileştirme tüm bölgelerde kullanılamaz. Bkz. Sınırlı bölgesel kullanılabilirliğe sahip özellikler.

Silinen dosya saklama süresi (delta.deletedFileRetentionDuration) varsayılan 7 günün altında yapılandırılmış tablolar için tahmine dayalı iyileştirme, bekletme süresi 7 gün olarak çalışır VACUUM . Bkz. Zaman yolculuğu sorguları için veri saklamayı yapılandırma.

Tahmine dayalı iyileştirme aşağıdaki tablolarda bakım işlemleri gerçekleştirmez:

• Delta Sharing alıcıları olarak bir çalışma alanına yüklenen tablolar.
• Dış tablolar.