Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Bu makalede Azure Databricks'teki sistem tabloları kavramı açıklanır ve sistem tabloları verilerinizden en iyi şekilde yararlanmak için kullanabileceğiniz kaynaklar vurgulanır.
Sistem tabloları nedir?
Sistem tabloları, hesabınızın katalogda bulunan işletimsel verilerinin Azure Databricks tarafından barındırılan system bir analiz deposu. Sistem tabloları, hesabınızdaki geçmiş gözlemlenebilirlik için kullanılabilir.
Not
Bilgi şeması tabloları (system.information_schema) diğer sistem tablolarından farklı çalışır. Bkz. Bilgi şeması.
Gereksinimler
- Sistem tablolarına erişmek için çalışma alanınızın Unity Kataloğu için etkinleştirilmesi gerekir. Daha fazla bilgi için bkz . Sistem tablolarını etkinleştirme.
- Sistem tabloları aşağıdaki bölgelerde kullanılamaz:
- Azure Çin bölgeleri
- Azure Kamu bölgeleri
- Batı Hindistan
- Batı İsviçre
Hangi sistem tabloları kullanılabilir?
Şu anda Azure Databricks aşağıdaki sistem tablolarını barındırıyor:
| Masa | Açıklama | Akış desteği | Ücretsiz saklama süresi | Genel veya bölgesel verileri içerir |
|---|---|---|---|---|
| Denetim günlükleri (Genel Önizleme) | Bölgenizdeki çalışma alanlarındaki tüm denetim olaylarının kayıtlarını içerir. Kullanılabilir denetim olaylarının listesi için bkz. Tanılama günlüğü referansı. Tablo yolu: system.access.audit |
Evet | 365 gün | Çalışma alanı düzeyindeki olaylar için yerel. Hesap düzeyindeki olaylar için küresel. |
| Faturalanabilir kullanım | Hesabınızdaki tüm faturalanabilir kullanımın kayıtlarını içerir. Tablo yolu: system.billing.usage |
Evet | 365 gün | Küresel |
| Temiz oda etkinlikleri (Genel Önizleme) | Temiz odalarla ilgili olayları kaydeder. Tablo yolu: system.access.clean_room_events |
Evet | 365 gün | Bölgesel |
| Kümeler | Herhangi bir küme için zaman içindeki işlem yapılandırmalarının tam geçmişini içeren yavaş değişen boyut tablosu. | Evet | 365 gün | Bölgesel |
| Sütun kökeni takibi | Unity Kataloğu sütunundaki her okuma veya yazma olayı için bir kayıt içerir (ancak kaynağı olmayan olayları içermez). Tablo yolu: system.access.column_lineage |
Evet | 365 gün | Bölgesel |
| Veri sınıflandırma sonuçları (Beta) | Meta veri deponuzdaki etkinleştirilmiş kataloglar arasında hassas veri sınıflarının sütun düzeyindeki algılamalarını depolar. Tablo yolu: system.data_classification.results |
Hayır | 365 gün | Bölgesel |
| Veri kalitesi izleme sonuçları (Beta) | Veri kalitesi izleme denetimlerinin (güncellik, tamlık) sonuçlarını ve aşağı akış etkisi ve kök neden analizi de dahil olmak üzere olay bilgilerini meta veri deponuzdaki etkin tablolarda depolar. Tablo yolu: system.data_quality_monitoring.table_results |
Hayır | Belirsiz | Bölgesel |
| Databricks Yardımcısı etkinlikleri (Genel Önizleme) | Databricks Yardımcısı'na gönderilen kullanıcı iletilerini izler. Tablo yolu: system.access.assistant_events |
Hayır | 365 gün | Bölgesel |
| Delta Paylaşımı veri oluşturma olayları | Görünüm, malzemeleştirilmiş görünüm ve streaming tablo paylaşımından oluşturulan veri malzemeleştirme olaylarını yakalar. Tablo yolu: system.sharing.materialization_history |
Evet | 365 gün | Çalışma alanı düzeyindeki olaylar için yerel. |
| İş koşu zaman çizelgesi (Genel Önizleme) | Görevlerin başlangıç ve bitiş saatlerini kaydeder. Tablo yolu: system.lakeflow.job_run_timeline |
Evet | 365 gün | Bölgesel |
| İş görevi zaman çizelgesi (Genel Önizleme) | İş görevi çalıştırmaları için kullanılan başlangıç ve bitiş saatlerini ve işlem kaynaklarını izler. Tablo yolu: system.lakeflow.job_task_run_timeline |
Evet | 365 gün | Bölgesel |
| İş görevleri (Genel Önizleme) | Hesapta gerçekleştirilen tüm iş görevlerini takip eder. Tablo yolu: system.lakeflow.job_tasks |
Evet | 365 gün | Bölgesel |
| İşler (Genel Önizleme) | Hesapta oluşturulan tüm işleri izler. Tablo yolu: system.lakeflow.jobs |
Evet | 365 gün | Bölgesel |
| Pazarlama hunisi etkinlikleri (Genel Önizleme) | Listeleriniz için tüketici izlenimi ve satış hunisi verilerini içerir. Tablo yolu: system.marketplace.listing_funnel_events |
Evet | 365 gün | Bölgesel |
| Pazaryeri listeleme erişimi (Genel Önizleme) | Tamamlanmış istek verileri veya veri alma olayları için tüketici bilgilerini listelemelerinizde içerir. Tablo yolu: system.marketplace.listing_access_events |
Evet | 365 gün | Bölgesel |
| MLflow izleme denemesi meta verileri (Genel Önizleme) | Her satır, Databricks tarafından yönetilen MLflow sisteminde oluşturulan bir denemeyi temsil eder. Tablo yolu: system.mlflow.experiments_latest |
Evet | 180 gün | Bölgesel |
| MLflow izleme çalıştırma meta verileri (Genel Önizleme) | Her satır, Databricks tarafından yönetilen MLflow sisteminde oluşturulan bir çalıştırmayı temsil eder. Tablo yolu: system.mlflow.runs_latest |
Evet | 180 gün | Bölgesel |
| MLflow izleme çalıştırma ölçümleri (Genel Önizleme) | Belirli bir model eğitimi, değerlendirmesi veya aracı geliştirmesiyle ilişkili MLflow'da günlüğe kaydedilen zaman aralığı ölçümlerini tutar. Tablo yolu: system.mlflow.run_metrics_history |
Evet | 180 gün | Bölgesel |
| Uç nokta verilerini sunan model (Genel Önizleme) | Sunulan her temel modelin meta verilerini bir model sunum uç noktasında depolayan, yavaş değişen bir boyut tablosu. Tablo yolu: system.serving.served_entities |
Evet | 365 gün | Bölgesel |
| Uç nokta kullanımına hizmet veren model (Genel Önizleme) | Bir model sunucu uç noktasına ve yanıtlarına yapılan her istek için belirteç sayılarını kaydeder. Bu tablodaki uç nokta kullanımını yakalamak için hizmet veren uç noktanızda kullanım izlemeyi etkinleştirmeniz gerekir. Tablo yolu: system.serving.endpoint_usage |
Evet | 90 gün | Bölgesel |
| Ağ erişim olayları (Gelen) (Genel Önizleme) | Bir çalışma alanına gelen her erişim, bir giriş politikası tarafından reddedildiğinde bir olayı kaydeden tablo. Tablo yolu: system.access.inbound_network |
Evet | 30 gün | Bölgesel |
| Ağ erişim etkinlikleri (Giden) (Genel Önizleme) | Hesabınızdan giden İnternet erişimi her reddedildiğinde bir olayı kaydeden tablo. Tablo yolu: system.access.outbound_network |
Evet | 365 gün | Bölgesel |
| Düğüm zaman çizelgesi | Genel amaçlı ve iş odaklı hesaplama kaynaklarınızın kullanım ölçümlerini yakalar. Tablo yolu: system.compute.node_timeline |
Evet | 90 gün | Bölgesel |
| Düğüm türleri | Şu anda kullanılabilir düğüm türlerini temel donanım bilgileriyle yakalar. Tablo yolu: system.compute.node_types |
Hayır | Belirsiz | Bölgesel |
| İşlem hattı güncelleştirme zaman çizelgesi (Genel Önizleme) | İşlem hattı güncelleştirmeleri için kullanılan başlangıç ve bitiş saatlerini ve işlem kaynaklarını izler. Tablo yolu: system.lakeflow.pipeline_update_timeline |
Evet | 365 gün | Bölgesel |
| İşlem Hatları (Genel Önizleme) | Hesapta oluşturulan tüm işlem hatlarını izler. Tablo yolu: system.lakeflow.pipelines |
Evet | 365 gün | Bölgesel |
| Tahmine dayalı iyileştirme (Genel Önizleme) | Tahmine dayalı iyileştirme özelliğinin işlem geçmişini izler. Tablo yolu: system.storage.predictive_optimization_operations_history |
Hayır | 180 gün | Bölgesel |
| Fiyatlandırma | SKU fiyatlandırmasının geçmiş günlüğü. SKU fiyatında her değişiklik olduğunda bir kayıt eklenir. Tablo yolu: system.billing.list_prices |
Hayır | Belirsiz | Küresel |
| Sorgu geçmişi (Genel Önizleme) |
not defterleri ve işleriiçin SQL ambarlarında ve sunucusuz işlemde çalıştırılan tüm sorguların kayıtlarını yakalar. Tablo yolu: system.query.history |
Hayır | 365 gün | Bölgesel |
| SQL ambarı olayları (Genel Önizleme) | SQL ambarlarıyla ilgili olayları yakalar. Örneğin, başlatma, durdurma, çalıştırma, ölçeği artırma ve azaltma. Tablo yolu: system.compute.warehouse_events |
Evet | 365 gün | Bölgesel |
| SQL ambarları (Genel Önizleme) | Herhangi bir SQL ambarı için zaman içindeki yapılandırmaların tam geçmişini içerir. Tablo yolu: system.compute.warehouses |
Evet | 365 gün | Bölgesel |
| Tablo kökeni | Unity Kataloğu tablosunda veya yolundaki her okuma veya yazma olayı için bir kayıt içerir. Tablo yolu: system.access.table_lineage |
Evet | 365 gün | Bölgesel |
| Çalışma Alanları (Genel Önizleme) | workspaces_latest tablosu, hesaptaki tüm çalışma alanları için yavaş değişen bir meta veri boyut tablosudur. Tablo yolu: system.access.workspaces_latest |
Hayır | Belirsiz | Küresel |
| Zerobus Aktarım (Akışlar) (Beta) | Zerobus İşlem kullanımı tarafından tahakkuk eden akış olaylarıyla ilgili tüm verileri depolayan tablo. Tablo yolu: system.lakeflow.zerobus_stream |
Evet | 365 gün | Bölgesel |
| Zerobus Aktarım (Hedefleme) (Beta) | Zerobus Ingest kullanılarak alınan kayıtlarla ilgili tüm verileri depolayan bir tablo. Tablo yolu: system.lakeflow.zerobus_ingest |
Evet | 365 gün | Bölgesel |
Faturalanabilir kullanım ve fiyatlandırma tabloları ücretsizdir. Genel Önizleme'deki tablolar da önizleme sırasında ücretsiz olarak kullanılabilir, ancak gelecekte ücrete tabi olabilir.
Not
Yukarıda listelenenlere ek olarak hesabınızda başka sistem tabloları da görebilirsiniz. Bu tablolar şu anda Özel Önizleme'dedir ve varsayılan olarak boş durumdadır. Bu tablolardan herhangi birini kullanmak istiyorsanız lütfen Databricks hesap ekibinize ulaşın.
Sistem tablosu ilişkileri
Aşağıdaki varlık ilişkisi diyagramı, şu anda kullanılabilir olan sistem tablolarının birbiriyle ilişkisini özetler. Bu diyagramda her tablonun birincil ve yabancı anahtarları vurgulanır.
Databricks sistem tablolarının varlık ilişkisi diyagramını 
Sistem tablolarını etkinleştirme
Sistem tabloları Unity Kataloğu tarafından yönetildiğinden, hesabınızın sistem tablolarını etkinleştirmek için hesabınızda en az bir Unity Kataloğu etkin çalışma alanı olmalıdır. Sistem tabloları hesabınızdaki tüm çalışma alanlarındaki verileri içerir, ancak bunlara yalnızca Unity Kataloğu özellikli bir çalışma alanından erişilebilir.
Meta veri deposunun sistem tablolarına erişmek için Unity Kataloğu Ayrıcalık Modeli Sürüm 1.0'da olması gerekir. Bkz. Ayrıcalık devralma yükseltmesi.
Sistem tablolarına erişim izni verme
Sistem tablolarına erişim Unity Kataloğu'na tabidir. Hesap yöneticileri varsayılan olarak sistem tablolarına erişebilir. Bir kullanıcının sistem tablolarını sorgulamasına izin vermek için, bir yöneticinin bu kullanıcıya USE ve SELECT sistem şemaları üzerinde izinler vermesi gerekir. Bkz. Unity Kataloğu'nda ayrıcalıkları yönetme.
Sistem tabloları salt okunur durumdadır ve değiştirilemez.
Not
Hesabınız 9 Kasım 2023'den sonra oluşturulduysa, varsayılan olarak bir meta veri deposu yöneticiniz olmayabilir. Daha fazla bilgi için bkz. Unity Kataloğu'nu kullanmaya başlama.
Sistem tabloları hesabınızdaki tüm çalışma alanları için veri içeriyor mu?
Sistem tabloları, hesabınızdaki aynı bulut bölgesinde dağıtılan tüm çalışma alanları için işletimsel veriler içerir. Bazı tablolar genel veriler içerir. Ayrıntılar için kullanılabilir tabloların listesine bakın.
Sistem tablolarına yalnızca Unity Kataloğu çalışma alanı üzerinden erişilebilir, ancak bunlar hesabınızdaki Unity Kataloğu olmayan çalışma alanlarından işletimsel verileri içerir.
Sistem tablosu verileri nerede depolanır?
Hesabınızın sistem tablosu verileri, meta veri deponuzla aynı bölgede bulunan Azure Databricks tarafından barındırılan bir depolama hesabında depolanır. Delta Sharing kullanılarak veriler sizinle güvenli bir şekilde paylaşılır.
Her tablonun ücretsiz veri saklama süresi vardır. Ayrıntılar için Hangi sistem tabloları kullanılabilir? içindeki Ücretsiz saklama süresi sütununa bakın.
Sistem tabloları Katalog Gezgini'nde nerede bulunur?
Hesabınızdaki sistem tabloları, her Unity Kataloğu meta veri deposunda bulunan systemadlı bir katalogda bulunur.
system kataloğunda, sistem tablolarını içeren access ve billing gibi şemaları görürsünüz.
Akış sistemi tabloları için dikkat edilmesi gerekenler
Azure Databricks, sistem tablosu verilerini müşterilerle paylaşmak için Delta Sharing'i kullanır. Delta Sharing ile akış yaparken aşağıdaki noktalara dikkat edin:
- Sistem tablolarıyla akış kullanıyorsanız,
skipChangeCommitsseçeneğinitrueolarak ayarlayın. Bu, akış işinin sistem tablolarındaki silmeler tarafından kesintiye uğramamasını sağlar. Bakınız Güncellemeleri ve silmeleri yoksay. -
Trigger.AvailableNowDelta Sharing akış işlemi ile desteklenmez.Trigger.Onceolarak dönüştürülecektir. - Sistem tabloları,
VACUUMiçin varsayılan 7 günlük koruma süresini kullanır (bkz. Zaman yolculuğu sorguları için veri saklamayı yapılandırma), bu, akış sorgunuzun 7 günden uzun bir süre geride kalırsa bozulabilir. Veri akışlarınızı takip ederek güncel sistem tablo sürümüne uyum sağladıklarından emin olun.
Akış işinizde bir tetikleyici kullanıyorsanız ve bunun en son sistem tablosu sürümüne yetişmediğini fark ederseniz Databricks işin zamanlanmış sıklığını artırmanızı önerir.
Akış sistemi tablolarından artımlı değişiklikleri oku
spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")
Bilinen sorunlar
- Mevcut sistem tablolarına istediğiniz zaman yeni sütunlar eklenebilir. Sabit bir şemayı kullanan sorgular, yeni sütunlar kullanıma sunulduğunda bozulabilir. Varolan sütunlar değişmez veya kaldırılmaz. Sistem tablosu verilerini başka bir hedef tabloya yazıyorsanız şema evrimi etkinleştirmeyi göz önünde bulundurun.
- Gerçek zamanlı izleme desteği yoktur. Veriler gün boyunca güncelleştirilir. Yakın zamanda gerçekleşen bir olay için bir kayıt görmüyorsanız, daha sonra tekrar kontrol edin.
- Sistem tablosu şeması, harici modeller ve belirlenmiş veri aktarım hızı iş yükleri için
__internal_loggingkullanarak yük günlüğünü destekler. Bu şema hesap yöneticileri tarafından görülebilir, ancak etkinleştirilemez ve müşteri iş akışları için kullanılmamalıdır.
- Sistem tablolarını etkinleştirmek için sistem tabloları Blob depolama uç noktasına ağ erişimi vermeniz gerekebilir. Her bölgenin sistem tablolarının depolama uç noktasının listesini görüntülemek için bkz . Depolama uç noktası IP adresleri.
-
system.operational_datavesystem.lineagesistem şemaları kullanım dışıdır ve boş tablolar içerir.