Sistem tabloları kılavuzu

Important

Azure Databricks, hassas verileri açığa çıkarabileceği ve dağıtımınızı riske atabileceği için bu verileri platform dışına taşımanızı şiddetle tavsiye etmez. Sistem tablosu bilgilerinin doğası gereği, dışarı aktarılan sistem tablosu bilgilerinin güvenliğini korumak ve kötüye kullanımı önlemek sizin sorumluluğunuzdadır.

Sistem tabloları, hesabınızın işletimsel verilerinin Azure Databricks tarafından barındırılan bir analiz deposu olarak hizmet verir. Maliyetleri izlemek, güvenlik olaylarını denetlemek, işlem ve iş performansını izlemek, verileri ve yapay zeka iş yüklerini gözlemlemek için bunları kullanın.

Sistem tabloları nedir?

Sistem tabloları, hesabınızın system kataloğunda bulunan işlem verilerinin Azure Databricks tarafından barındırılan bir analiz deposu olarak işlev görür. Sistem tabloları, hesabınızdaki geçmiş gözlemlenebilirlik için kullanılabilir.

Not

Bilgi şeması tabloları (system.information_schema) diğer sistem tablolarından farklı çalışır. Bkz. Bilgi şeması.

Gereksinimler

• Sistem tablolarına erişmek için çalışma alanınızın Unity Kataloğu için etkinleştirilmesi gerekir. Daha fazla bilgi için bkz . Sistem tablolarını etkinleştirme.

• Sistem tabloları bölge kullanılabilirliği için bölge özelliği desteği bölümüne bakın.

Hangi sistem tabloları kullanılabilir?

Şu anda Azure Databricks aşağıdaki sistem tablolarını barındırıyor:

Masa	Açıklama	Akış desteği	Ücretsiz saklama süresi	Genel veya bölgesel verileri içerir
Denetim günlükleri (Genel Önizleme)	Bölgenizdeki çalışma alanlarındaki tüm denetim olaylarının kayıtlarını içerir. Kullanılabilir denetim olaylarının listesi için bkz. Tanılama günlüğü referansı. Tablo yolu: system.access.audit	Evet	365 gün	Çalışma alanı düzeyindeki olaylar için yerel. Hesap düzeyindeki olaylar için küresel.
Faturalanabilir kullanım	Hesabınızdaki tüm faturalanabilir kullanımın kayıtlarını içerir. Tablo yolu: system.billing.usage	Evet	365 gün	Küresel
Temiz oda etkinlikleri (Genel Önizleme)	Temiz odalarla ilgili olayları kaydeder. Tablo yolu: system.access.clean_room_events	Evet	365 gün	Bölgesel
Kümeler	Herhangi bir küme için zaman içindeki işlem yapılandırmalarının tam geçmişini içeren yavaş değişen boyut tablosu.	Evet	365 gün	Bölgesel
Sütun kökeni takibi	Unity Kataloğu sütunundaki her okuma veya yazma olayı için bir kayıt içerir (ancak kaynağı olmayan olayları içermez). Tablo yolu: system.access.column_lineage	Evet	365 gün	Bölgesel
Veri sınıflandırma sonuçları (Genel Önizleme)	Meta veri deponuzdaki etkinleştirilmiş kataloglar arasında hassas veri sınıflarının sütun düzeyindeki algılamalarını depolar. Tablo yolu: system.data_classification.results	Hayır	13 ay	Bölgesel
Veri kalitesi izleme sonuçları (Genel Önizleme)	Veri kalitesi izleme denetimlerinin (güncellik, tamlık) sonuçlarını ve aşağı akış etkisi de dahil olmak üzere olay bilgilerini meta veri deponuzdaki etkin tablolarda depolar. Tablo yolu: system.data_quality_monitoring.table_results	Hayır	Belirsiz	Bölgesel
İdare edilen etiketler (Beta)	Müşteri tarafından oluşturulan ve sistem tarafından oluşturulan etiketler de dahil olmak üzere hesabınızdaki tüm yönetilen etiket tanımları için sürümlenmiş kayıtları içerir. Tablo yolu: system.tags.governed_tags	Hayır	365 gün	Küresel
Genie Code olayları (Genel Önizleme)	Genie Code'a gönderilen kullanıcı iletilerini izler. Tablo yolu: system.access.assistant_events	Hayır	365 gün	Bölgesel
AI Gateway kullanımı (Beta)	AI Gateway uç noktaları için belirteç kullanımı, gecikme süresi, performans ölçümleri ve yönlendirme bilgileri gibi istek ve yanıt ayrıntılarını yakalar. Tablo yolu: system.ai_gateway.usage	Evet	365 gün	Bölgesel
AI Gateway dış model harcaması (Beta)	Model sağlayıcısı hizmetleri aracılığıyla dış modellere yönlendirilen istekler için tahmini ABD Doları harcamasını kaydeder. Tablo yolu: system.ai_gateway.external_model_spend	Hayır	365 gün	Bölgesel
OpenSharing veri somutlaştırma olayları	Görünüm, malzemeleştirilmiş görünüm ve streaming tablo paylaşımından oluşturulan veri malzemeleştirme olaylarını yakalar. Tablo yolu: system.sharing.materialization_history	Evet	365 gün	Çalışma alanı düzeyindeki olaylar için yerel.
Örnek olayları (Genel Önizleme)	Klasik işlem örneklerinin durum geçişlerini yakalar. Tablo yolu: system.compute.instance_events	Evet	365 gün	Bölgesel
Örnek havuzları (Genel Önizleme)	Zaman içindeki örnek havuzu yapılandırmalarının tam geçmişini içeren yavaş değişen bir boyut tablosu. Tablo yolu: system.compute.instance_pools	Evet	365 gün	Bölgesel
İş çalıştırma zaman çizelgesi	Görevlerin başlangıç ve bitiş saatlerini kaydeder. Tablo yolu: system.lakeflow.job_run_timeline	Evet	365 gün	Bölgesel
İş görevi zaman çizelgesi	İş görevi çalıştırmaları için kullanılan başlangıç ve bitiş saatlerini ve işlem kaynaklarını izler. Tablo yolu: system.lakeflow.job_task_run_timeline	Evet	365 gün	Bölgesel
İş görevleri	Hesapta gerçekleştirilen tüm iş görevlerini takip eder. Tablo yolu: system.lakeflow.job_tasks	Evet	365 gün	Bölgesel
İşler	Hesapta oluşturulan tüm işleri izler. Tablo yolu: system.lakeflow.jobs	Evet	365 gün	Bölgesel
Pazarlama hunisi etkinlikleri (Genel Önizleme)	Listeleriniz için tüketici izlenimi ve satış hunisi verilerini içerir. Tablo yolu: system.marketplace.listing_funnel_events	Evet	365 gün	Bölgesel
Pazaryeri listeleme erişimi (Genel Önizleme)	Tamamlanmış istek verileri veya veri alma olayları için tüketici bilgilerini listelemelerinizde içerir. Tablo yolu: system.marketplace.listing_access_events	Evet	365 gün	Bölgesel
MLflow izleme denemesi meta verileri (Genel Önizleme)	Her satır, Databricks tarafından yönetilen MLflow sisteminde oluşturulan bir denemeyi temsil eder. Tablo yolu: system.mlflow.experiments_latest	Evet	180 gün	Bölgesel
MLflow izleme çalıştırma meta verileri (Genel Önizleme)	Her satır, Databricks tarafından yönetilen MLflow sisteminde oluşturulan bir çalıştırmayı temsil eder. Tablo yolu: system.mlflow.runs_latest	Evet	180 gün	Bölgesel
MLflow takip çalıştırma ölçümleri (Genel Beta Sürümü)	Belirli bir modelin eğitimi, değerlendirmesi veya aracı geliştirmesiyle ilişkili MLflow'a kaydedilen zaman serisi metriklerini tutar. Tablo yolu: system.mlflow.run_metrics_history	Evet	180 gün	Bölgesel
Uç nokta verilerini sunan model (Genel Önizleme)	Sunulan her temel modelin meta verilerini bir model sunum uç noktasında depolayan, yavaş değişen bir boyut tablosu. Tablo yolu: system.serving.served_entities	Evet	365 gün	Bölgesel
Uç nokta kullanımına hizmet veren model (Genel Önizleme)	Bir model sunucu uç noktasına ve yanıtlarına yapılan her istek için belirteç sayılarını kaydeder. Bu tablodaki uç nokta kullanımını yakalamak için hizmet veren uç noktanızda kullanım izlemeyi etkinleştirmeniz gerekir. Tablo yolu: system.serving.endpoint_usage	Evet	90 gün	Bölgesel
Ağ erişim olayları (Gelen) (Genel Önizleme)	Bir çalışma alanına gelen her erişim, bir giriş politikası tarafından reddedildiğinde bir olayı kaydeden tablo. Tablo yolu: system.access.inbound_network	Evet	30 gün	Bölgesel
Ağ erişim etkinlikleri (Giden) (Genel Önizleme)	Hesabınızdan giden İnternet erişimi her reddedildiğinde bir olayı kaydeden tablo. Tablo yolu: system.access.outbound_network	Evet	365 gün	Bölgesel
Düğüm zaman çizelgesi	Genel amaçlı ve iş odaklı hesaplama kaynaklarınızın kullanım ölçümlerini yakalar. Tablo yolu: system.compute.node_timeline	Evet	90 gün	Bölgesel
Düğüm türleri	Şu anda kullanılabilir düğüm türlerini temel donanım bilgileriyle yakalar. Tablo yolu: system.compute.node_types	Hayır	Belirsiz	Bölgesel
İşlem hattı güncelleştirme zaman çizelgesi (Genel Önizleme)	İşlem hattı güncelleştirmeleri için kullanılan başlangıç ve bitiş saatlerini ve işlem kaynaklarını izler. Tablo yolu: system.lakeflow.pipeline_update_timeline	Evet	365 gün	Bölgesel
İşlem Hatları (Genel Önizleme)	Hesapta oluşturulan tüm işlem hatlarını izler. Tablo yolu: system.lakeflow.pipelines	Evet	365 gün	Bölgesel
Otomatik yükseltmeler (Genel Önizleme)	Unity Kataloğu yönetilen tablolarında otomatik yükseltmeler tarafından gerçekleştirilen özellik etkinleştirme işlemlerinin geçmişini izler. Tablo yolu: system.storage.table_auto_upgrade_operations_history	Hayır	180 gün	Bölgesel
Tahmine dayalı iyileştirme (Genel Önizleme)	Tahmine dayalı iyileştirme özelliğinin işlem geçmişini izler. Tablo yolu: system.storage.predictive_optimization_operations_history	Hayır	180 gün	Bölgesel
Fiyatlandırma	SKU fiyatlandırmasının geçmiş günlüğü. SKU fiyatında her değişiklik olduğunda bir kayıt eklenir. Tablo yolu: system.billing.list_prices	Hayır	Belirsiz	Küresel
Sorgu geçmişi (Genel Önizleme)	not defterleri ve işleriiçin SQL ambarlarında ve sunucusuz işlemde çalıştırılan tüm sorguların kayıtlarını yakalar. Tablo yolu: system.query.history	Hayır	365 gün	Bölgesel
Çoğaltma (Özel Önizleme)	Azure Databricks yönetilen olağanüstü durum kurtarma (DR) için çoğaltma durumunu izler. Tablo yolu: system.replication.states	Evet	365 gün	Küresel
SQL ambarı olayları	SQL ambarlarıyla ilgili olayları yakalar. Örneğin, başlatma, durdurma, çalıştırma, ölçeği artırma ve azaltma. Tablo yolu: system.compute.warehouse_events	Evet	365 gün	Bölgesel
SQL ambarları	Herhangi bir SQL ambarı için zaman içindeki yapılandırmaların tam geçmişini içerir. Tablo yolu: system.compute.warehouses	Evet	365 gün	Bölgesel
Tablo kökeni	Unity Kataloğu tablosunda veya yolundaki her okuma veya yazma olayı için bir kayıt içerir. Tablo yolu: system.access.table_lineage	Evet	365 gün	Bölgesel
Çalışma Alanları (Genel Önizleme)	workspaces_latest tablosu, hesaptaki tüm çalışma alanları için yavaş değişen bir meta veri boyut tablosudur. Tablo yolu: system.access.workspaces_latest	Hayır	Belirsiz	Küresel
Zerobus Aktarım (Akışlar) (Beta)	Zerobus İşlem kullanımı tarafından tahakkuk eden akış olaylarıyla ilgili tüm verileri depolayan tablo. Tablo yolu: system.lakeflow.zerobus_stream	Evet	365 gün	Bölgesel
Zerobus Aktarım (Hedefleme) (Beta)	Zerobus Ingest kullanılarak alınan kayıtlarla ilgili tüm verileri depolayan bir tablo. Tablo yolu: system.lakeflow.zerobus_ingest	Evet	365 gün	Bölgesel

Sistem tablolarını kullanmak ücretsizdir. Yalnızca bunları sorgulamak için kullanılan işlem için ücretlendirilirsiniz.

Not

Yukarıda listelenenlere ek olarak hesabınızda başka sistem tabloları da görebilirsiniz. Bu tablolar şu anda Özel Önizleme'dedir ve varsayılan olarak boş durumdadır. Bu tablolardan herhangi birini kullanmak istiyorsanız lütfen Databricks hesap ekibinize ulaşın.

Sistem tablosu ilişkileri

Aşağıdaki varlık ilişkisi diyagramı, şu anda kullanılabilir olan sistem tablolarının birbiriyle ilişkisini özetler. Bu diyagramda her tablonun birincil ve yabancı anahtarları vurgulanır.

Databricks sistem tablolarının varlık ilişkisi diyagramını

Sistem tablolarını etkinleştirme

Sistem tabloları Unity Kataloğu tarafından yönetildiğinden, hesabınızın sistem tablolarını etkinleştirmek için hesabınızda en az bir Unity Kataloğu etkin çalışma alanı olmalıdır. Sistem tabloları hesabınızdaki tüm çalışma alanlarındaki verileri içerir, ancak bunlara yalnızca Unity Kataloğu özellikli bir çalışma alanından erişilebilir.

Meta veri deposunun sistem tablolarına erişmek için Unity Kataloğu Ayrıcalık Modeli Sürüm 1.0'da olması gerekir. Bkz. Ayrıcalık devralma yükseltmesi.

Sistem tablolarına erişim izni verme

Sistem tablolarına erişim Unity Kataloğu'na tabidir. Hem hesap yöneticisi hem de meta veri deposu yönetici rollerine sahip kullanıcılar varsayılan olarak sistem tablolarına erişebilir. Diğer kullanıcıların sistem tablolarını sorgulamasına izin vermek için yöneticinin kullanıcılara şu izinleri vermesi gerekir: USE CATALOG sistem kataloğunda, USE SCHEMA sistem şemalarında ve SELECT sistem şemalarında. Bkz. Unity Kataloğu'nda ayrıcalıkları yönetme.

Sistem tabloları salt okunur durumdadır ve değiştirilemez.

Not

Hesabınız 9 Kasım 2023'den sonra oluşturulduysa, varsayılan olarak bir meta veri deposu yöneticiniz olmayabilir. Daha fazla bilgi için bkz. Unity Kataloğu'nu kullanmaya başlama.

Sistem tabloları hesabınızdaki tüm çalışma alanları için veri içeriyor mu?

Sistem tabloları, hesabınızdaki aynı bulut bölgesinde dağıtılan tüm çalışma alanları için işletimsel veriler içerir. Bazı tablolar genel veriler içerir. Ayrıntılar için kullanılabilir tabloların listesine bakın.

Sistem tablolarına yalnızca Unity Kataloğu çalışma alanı üzerinden erişilebilir, ancak bunlar hesabınızdaki Unity Kataloğu olmayan çalışma alanlarından işletimsel verileri içerir.

Sistem tablosu verileri nerede depolanır?

Hesabınızın sistem tablosu verileri, meta veri deponuzla aynı bölgede bulunan Azure Databricks barındırılan bir depolama hesabında depolanır. Veriler OpenSharing kullanılarak sizinle güvenli bir şekilde paylaşılır.

Her tablonun ücretsiz veri saklama süresi vardır. Ayrıntılar için Hangi sistem tabloları kullanılabilir? içindeki Ücretsiz saklama süresi sütununa bakın.

Sistem tabloları Katalog Gezgini'nde nerede bulunur?

Hesabınızdaki sistem tabloları, her Unity Kataloğu meta veri deposunda bulunan systemadlı bir katalogda bulunur. system kataloğunda, sistem tablolarını içeren access ve billing gibi şemaları görürsünüz.

Akış sistemi tabloları için dikkat edilmesi gerekenler

Azure Databricks, sistem tablosu verilerini müşterilerle paylaşmak için OpenSharing kullanır. OpenSharing ile akış yaparken aşağıdaki noktaları unutmayın:

• Sistem tablolarıyla akış kullanıyorsanız, skipChangeCommits seçeneğini trueolarak ayarlayın. Bu, akış işinin sistem tablolarındaki silmeler tarafından kesintiye uğramamasını sağlar. Bkz. Kaynak Delta Lake tablolarındaki değişiklikleri işleme.
• Trigger.AvailableNow Databricks Runtime 18.0 ve üzeri sürümleri için desteklenir. Sorgu başlatıldığında sistem tablosunun geçerli sürümünü yakalar, kullanılabilir tüm verileri bir veya daha fazla mikro toplu işte işler ve ardından durur. Databricks Runtime 17.3 ve altı sürümlerde, Trigger.AvailableNow, çalıştırma başına tek bir mikro toplu iş işleyen Trigger.Once öğesine dönüştürülür.
• Sistem tabloları, VACUUM için varsayılan 7 günlük koruma süresini kullanır (bkz. Zaman yolculuğu sorguları için veri saklamayı yapılandırma), bu, akış sorgunuzun 7 günden uzun bir süre geride kalırsa bozulabilir. Veri akışlarınızı takip ederek güncel sistem tablo sürümüne uyum sağladıklarından emin olun.

Akış işiniz en son sistem tablosu sürümüne yetişemiyorsa, her çalıştırmanın mevcut tüm birikmiş verileri işlemesini sağlamak için Trigger.AvailableNow öğesini kullanın (Databricks Runtime 18.0 ve üzeri sürümlerde desteklenir) ya da işin zamanlama sıklığını artırın.

Akış sistemi tablolarından artımlı değişiklikleri oku

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

Bilinen sorunlar

• Mevcut sistem tablolarına istediğiniz zaman yeni sütunlar eklenebilir. Sabit bir şemayı kullanan sorgular, yeni sütunlar kullanıma sunulduğunda bozulabilir. Varolan sütunlar değişmez veya kaldırılmaz. Sistem tablosu verilerini başka bir hedef tabloya yazıyorsanız şema evrimi etkinleştirmeyi göz önünde bulundurun.
• Yapı türündeki sütunlara istediğiniz zaman yeni alanlar eklenebilir. Sistem tablosu verilerini başka bir hedef tabloya yazıyorsanız şema evrimi etkinleştirmeyi göz önünde bulundurun.
• Gerçek zamanlı izleme desteği yoktur. Veriler gün boyunca güncelleştirilir. Yakın zamanda gerçekleşen bir olay için bir kayıt görmüyorsanız, daha sonra tekrar kontrol edin.
• Sistem tablosu şeması, harici modeller ve belirlenmiş veri aktarım hızı iş yükleri için __internal_logging kullanarak yük günlüğünü destekler. Bu şema hesap yöneticileri tarafından görülebilir, ancak etkinleştirilemez ve müşteri iş akışları için kullanılmamalıdır.
• Performans sorunlarını önlemek için, yeterince seçici olmayan sistem tablosu sorguları aşağıdaki hatayı döndürür: System Table query returned too much data. Please repeat query with more selective predicates.

• Sistem tablolarını etkinleştirmek için sistem tabloları Blob depolama uç noktasına ağ erişimi vermeniz gerekebilir. Her bölgenin sistem tablolarının depolama uç noktasının listesini görüntülemek için bkz . Depolama uç noktası IP adresleri.
• system.operational_data ve system.lineage sistem şemaları kullanım dışıdır ve boş tablolar içerir.