Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfa, iki köken sistemi tablosu için bir başvuru içerir. Bu sistem tabloları Unity Kataloğu'nun veri kökeni özelliğini kullanarak veri kökeni verilerini programlama yoluyla sorgulamanıza olanak tanıyarak karar alma sürecini ve raporları destekler. Tablolara erişmek için şemaların kataloğunuzda system etkinleştirilmesi gerekir. Daha fazla bilgi için bkz . Sistem tablolarını etkinleştirme.
Note
Kökenleri yakalamak her zaman mümkün olmadığından, her iki köken tablosu da tüm okuma/yazma olaylarının bir alt kümesini temsil eder. Kayıtlar yalnızca köken çıkarılabildiğinde gönderilir. Sınırlamalar bölümünde açıklanan veri kökeni sınırlamaları , köken sistemi tabloları için de geçerlidir.
Veri muhafazası
Köken sistemi tabloları, 1 yıllık sıralı bir veri penceresi tutar. Bir yıldan eski olaylar sıralı olarak kaldırılır. Bir yılın ötesindeki köken geçmişi için Katalog Gezgini'ni veya 1 Eylül 2024'te yakalanan kökeni süresiz olarak koruyan köken API'sini kullanın.
Tablo kökeni tablosu
Tablo kökeni sistem tablosu, Unity Kataloğu tablosunda veya yolundaki her okuma veya yazma olayı için bir kayıt içerir. Bunlar arasında iş görevleri, not defteri görevleri ve okuma veya yazma olayıyla güncelleştirilen göstergeler panelleri bulunmaktadır, ancak bunlarla sınırlı değildir.
Tablo yolu: Bu sistem tablosu system.access.table_lineagekonumunda bulunur.
Tablo soyağacı şeması
Tablo kökeni sistem tablosu aşağıdaki şemayı kullanır.
| Sütun adı | Veri türü | Description | Example |
|---|---|---|---|
account_id |
string | Azure Databricks hesabının kimliği. | 7af234db-66d7-4db3-bbf0-956098224879 |
metastore_id |
string | Unity Kataloğu meta veri deposunun kimliği. | 5a31ba44-bbf4-4174-bf33-e1fa078e6765 |
workspace_id |
string | Çalışma alanının kimliği | 123456789012345 |
entity_type |
string | Varsa, köken kaydıyla ilişkili varlık türü. Değer NOTEBOOK, JOB, PIPELINE, DASHBOARD_V3, DBSQL_DASHBOARD (kullanım dışı), DBSQL_QUERY veya NULL'dır.Not: Köken kaydında yer alan tüm varlıklar hakkında bilgi için lütfen sütuna bakın entity_metadata . |
JOB |
entity_id |
string | Köken kaydıyla ilişkili varlığın ID'si veya NULL. Not: Köken kaydında yer alan tüm varlıklar hakkında bilgi için lütfen sütuna bakın entity_metadata . |
417306252667357 |
entity_run_id |
string | Köken kaydıyla ilişkili varlığın benzersiz çalıştırma kimliği veya NULL. Not: Köken kaydında yer alan tüm varlıklar hakkında bilgi için lütfen sütuna bakın entity_metadata . |
688612062233399 |
source_table_full_name |
string | Kaynak tabloyu tanımlamak için üç bölümlü ad. | catalog.schema.table |
source_table_catalog |
string | Kaynak tablonun kataloğu. | catalog |
source_table_schema |
string | Kaynak tablonun şeması. | schema |
source_table_name |
string | Kaynak tablonun adı. | table |
source_path |
string | Kaynak tablonun bulut depolamadaki konumu veya doğrudan bulut depolamadan okuma yapıyorsa yolu. | abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1 |
source_type |
string | Kaynağın türü. değeri , , TABLE, PATH, VIEW, MATERIALIZED_VIEWveya METRIC_VIEWşeklindedirSTREAMING_TABLE. |
TABLE |
target_table_full_name |
string | Hedef tabloyu tanımlamak için üç parçalı isim. | catalog.schema.table |
target_table_catalog |
string | Hedef tablonun kataloğu. | catalog |
target_table_schema |
string | Hedef tablonun şeması. | schema |
target_table_name |
string | Hedef tablonun adı. | table |
target_path |
string | Hedef tablonun bulut depolama alanında konum. | abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1 |
target_type |
string | Hedefin türü. değeri , , TABLE, PATH, VIEW, MATERIALIZED_VIEWveya METRIC_VIEWşeklindedirSTREAMING_TABLE. |
TABLE |
created_by |
string | Bu kökeni oluşturan kullanıcı. Bu Azure Databricks kullanıcı adı, Azure Databricks hizmet sorumlusu kimliği, Azure Databricks grup adı, "Sistem-Kullanıcı" veya kullanıcı bilgileri yakalanamazsa NULL olabilir. |
crampton.rods@email.com |
event_time |
timestamp | Soygeçmişinin oluşturulma zaman damgası. Zaman dilimi bilgileri, UTC'yi temsil eden +00:00 ile birlikte değerin sonunda kaydedilir. |
2025-04-20T19:47:21.194+00:00 |
event_date |
date | Kökenin oluşturulduğu tarih. Bu bölümlenmiş bir sütundur. | 2025-04-20 |
record_id |
string | Köken kaydının benzersiz kimliği. Bu değer otomatik olarak oluşturulur ve hiçbir tabloyla birleştirilemez. | 3c5c8eed-87bb-3aa6-8a86-80d00d48299e |
event_id |
string | Tek bir köken olayının benzersiz kimliği. Birden çok satır, aynı olay tarafından oluşturulduysa aynı event_id'yu paylaşabilir. Bu değer otomatik olarak oluşturulur ve hiçbir tabloyla birleştirilemez. |
ca123ff3-f3f8-332b-a832-0154a6327353 |
statement_id |
string | Köken olayını oluşturan sorgu ifadesinin benzersiz kimliği. Bu, sorgu geçmişi sistem tablosuyla birleştirmek için bir yabancı anahtardır. Bu değer yalnızca sorgu bir SQL ambarından çalıştırıldığında ayarlanır. | 1234526f-a6ac-475c-8601-e8637f8ee039 |
entity_metadata |
struct | Köken olayından sorumlu varlık hakkındaki meta veriler. | Bkz . Varlık meta verileri |
direct_access |
Boolean | Kaynağa sorgunun hedefi tarafından doğrudan başvurulup başvurulmadığı. olduğunda true, kaynak doğrudan sorgunun hedefine bağlanır. olduğunda false, kaynak görünüm genişletmesi aracılığıyla bulunan bir ara bağımlılıktır. Örneğin, bir sorgu bir görünümden okunursa, görünümün temel aldığı temel tablonun köken kaydı direct_access = false ile kaydedilir. |
true |
Sütun kökeni tablosu
Sütun kökeni tablosu, kaynağı olmayan olayları içermez. Örneğin, açıkça belirtilmiş değerler kullanarak bir sütuna eklendiğinde, kaydedilmez. Eğer bir sütunu okursanız, çıktıyı yazıp yazmadığınıza bakılmaksızın yakalanır.
Tablo yolu: Bu sistem tablosu system.access.column_lineagekonumunda bulunur.
Sütun kökeni şeması
Sütun kökeni sistem tablosu aşağıdaki şemayı kullanır:
| Sütun adı | Veri türü | Description | Example |
|---|---|---|---|
account_id |
string | Azure Databricks hesabının kimliği. | 7af234db-66d7-4db3-bbf0-956098224879 |
metastore_id |
string | Unity Kataloğu meta veri deposunun kimliği. | 5a31ba44-bbf4-4174-bf33-e1fa078e6765 |
workspace_id |
string | Çalışma alanının kimliği | 123456789012345 |
entity_type |
string | Varsa, köken kaydıyla ilişkili varlık türü. Değer NOTEBOOK, JOB, PIPELINE, DASHBOARD_V3, DBSQL_DASHBOARD (kullanım dışı), DBSQL_QUERY veya NULL'dır.Not: Köken kaydında yer alan tüm varlıklar hakkında bilgi için lütfen sütuna bakın entity_metadata . |
JOB |
entity_id |
string | Köken kaydıyla ilişkili varlığın ID'si veya NULL. Not: Köken kaydında yer alan tüm varlıklar hakkında bilgi için lütfen sütuna bakın entity_metadata . |
417306252667357 |
entity_run_id |
string | Köken kaydıyla ilişkili varlığın benzersiz çalıştırma kimliği veya NULL. Not: Köken kaydında yer alan tüm varlıklar hakkında bilgi için lütfen sütuna bakın entity_metadata . |
688612062233399 |
source_table_full_name |
string | Kaynak tabloyu tanımlamak için üç bölümlü ad. | catalog.schema.table |
source_table_catalog |
string | Kaynak tablonun kataloğu. | catalog |
source_table_schema |
string | Kaynak tablonun şeması. | schema |
source_table_name |
string | Kaynak tablonun adı. | table |
source_path |
string | Kaynak tablonun bulut depolamadaki konumu veya doğrudan bulut depolamadan okuma yapıyorsa yolu. | abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1 |
source_type |
string | Kaynağın türü. değeri , , TABLE, PATH, VIEW, MATERIALIZED_VIEWveya METRIC_VIEWşeklindedirSTREAMING_TABLE. |
TABLE |
source_column_name |
string | Kaynak sütunun adı. | date |
target_table_full_name |
string | Hedef tabloyu tanımlamak için üç parçalı isim. | catalog.schema.table |
target_table_catalog |
string | Hedef tablonun kataloğu. | catalog |
target_table_schema |
string | Hedef tablonun şeması. | schema |
target_table_name |
string | Hedef tablonun adı. | table |
target_path |
string | Hedef tablonun bulut depolama alanında konum. | abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1 |
target_type |
string | Hedefin türü. değeri , , TABLE, PATH, VIEW, MATERIALIZED_VIEWveya METRIC_VIEWşeklindedirSTREAMING_TABLE. |
TABLE |
target_column_name |
string | Hedef sütunun adı. | date |
created_by |
string | Bu kökeni oluşturan kullanıcı. Bu Azure Databricks kullanıcı adı, Azure Databricks hizmet sorumlusu kimliği, Azure Databricks grup adı, "Sistem-Kullanıcı" veya kullanıcı bilgileri yakalanamazsa NULL olabilir. |
crampton.rods@email.com |
event_time |
timestamp | Soygeçmişinin oluşturulma zaman damgası. Zaman dilimi bilgileri, UTC'yi temsil eden +00:00 ile birlikte değerin sonunda kaydedilir. |
2025-04-20T19:47:21.194+00:00 |
event_date |
date | Kökenin oluşturulduğu tarih. Bu bölümlenmiş bir sütundur. | 2025-04-20 |
record_id |
string | Köken kaydının benzersiz kimliği. Bu değer otomatik olarak oluşturulur ve hiçbir tabloyla birleştirilemez. | 3c5c8eed-87bb-3aa6-8a86-80d00d48299e |
event_id |
string | Tek bir köken olayının benzersiz kimliği. Birden çok satır, aynı olay tarafından oluşturulduysa aynı event_id'yu paylaşabilir. Bu değer otomatik olarak oluşturulur ve hiçbir tabloyla birleştirilemez. |
ca123ff3-f3f8-332b-a832-0154a6327353 |
statement_id |
string | Köken olayını oluşturan sorgu ifadesinin benzersiz kimliği. Bu, sorgu geçmişi sistem tablosuyla birleştirmek için bir yabancı anahtardır. Bu değer yalnızca sorgu bir SQL ambarından çalıştırıldığında ayarlanır. | 1234526f-a6ac-475c-8601-e8637f8ee039 |
entity_metadata |
struct | Köken olayından sorumlu varlık hakkındaki meta veriler. | Bkz . Varlık meta verileri |
direct_access |
Boolean | Kaynağa sorgunun hedefi tarafından doğrudan başvurulup başvurulmadığı. olduğunda true, kaynak doğrudan sorgunun hedefine bağlanır. olduğunda false, kaynak görünüm genişletmesi aracılığıyla bulunan bir ara bağımlılıktır. Örneğin, bir sorgu bir görünümden okunursa, görünümün temel aldığı temel tablonun köken kaydı direct_access = false ile kaydedilir. |
true |
Köken sistemi tablolarını okuma
- Olayın okuma mı yoksa yazma mı olduğunu belirlemek için kaynak türünü ve hedef türü görüntüleyebilirsiniz.
- Salt okunur: Kaynak türü boş değil, ancak hedef tür boştur.
- Yalnızca yazma: Hedef tip boş değil, ancak kaynak tip boş.
- Okuma ve yazma: Kaynak türü ve hedef türü null değil.
Varlık meta veri başvurusu
Yapı entity_metadata aşağıdaki şemaya sahiptir:
job_info:
job_id: "string"
job_run_id: "string"
dashboard_id: "string"
legacy_dashboard_id: "string"
notebook_id: "string"
sql_query_id: "string"
dlt_pipeline_info:
dlt_pipeline_id: "string"
dlt_update_id: "string"
genie_space_id: "string"
alert_id: "string"
Azure Databricks Lakeflow işlem hatlarından, not defterlerinden, işlerden, Databricks SQL sorgularından, panolardan, Genie Aracılarından ve uyarılardan köken olaylarını kaydeder. Diğer varlıklardan gelen olaylar desteklenmez.
Olay türüne bağlı olarak birden çok değer doldurulabilir. Örneğin, bir not defteri görevi çalıştıran bir iş hem job_info hem de notebook_id öğelerini doldurur.
entity_metadata içindeki tüm değerler null ise, olaya Azure Databricks varlığın dahil olmadığı anlamına gelir. Örneğin, bir JDBC sorgusunun veya kullanıcının Azure Databricks kullanıcı arabirimindeki Örnek Verileri sekmesine tıklamasının sonucu olabilir.
Köken sistemi tablo örneği
Kökenlerin sistem tablolarında nasıl kaydedildiğiyle ilgili bir örnek olarak, aşağıda örnek bir sorgu ve ardından sorgunun oluşturduğu köken kayıtları verilmiştir:
CREATE OR REPLACE TABLE car_features
AS SELECT *, in1+in2 as premium_feature_set
FROM car_features_exterior
JOIN car_features_interior
USING(id, model);
içindeki system.access.table_lineage kayıt şöyle görünür:
entity_type |
entity_id |
source_table_name |
target_table_name |
created_by |
event_time |
|---|---|---|---|---|---|
NOTEBOOK |
27080565267 |
car_features_exterior |
car_features |
crampton@email.com |
2023-01-25T16:19:58.908+0000 |
NOTEBOOK |
27080565267 |
car_features_interior |
car_features |
crampton@email.com |
2023-01-25T16:19:58.908+0000 |
içindeki system.access.column_lineage kayıt şöyle görünür:
entity_type |
entity_id |
source_table_name |
target_table_name |
source_column_name |
target_column_name |
event_time |
|---|---|---|---|---|---|---|
NOTEBOOK |
27080565267 |
car_features_interior |
car_features |
in1 |
premium_feature_set |
2023-01-25T16:19:58.908+0000 |
NOTEBOOK |
27080565267 |
car_features_interior |
car_features |
in2 |
premium_feature_set |
2023-01-25T16:19:58.908+0000 |
Note
Yukarıdaki örnekte tüm köken sütunları gösterilmez. Şemanın tamamı için yukarıdaki köken şemasıbakın.
Dış tablo sorgularının sorunlarını giderme
Bulut depolama yolunu kullanarak bir dış tabloya başvurdığınızda, ilişkili köken kaydı tablo adını değil yalnızca yol adını içerir. Örneğin, bu sorgunun köken kaydı tablo adını değil yol adını içerir:
SELECT * FROM delta.`abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1`;
Eğer yol ile referanslanan bir dış tablo için köken kayıtlarını sorgulamaya çalışıyorsanız, sorguyu source_path veya target_path yerine source_table_full_name veya target_table_full_name kullanarak filtrelemeniz gerekir. Örneğin, aşağıdaki sorgu bir dış tablonun tüm köken kayıtlarını çeker:
SELECT *
FROM system.access.table_lineage
WHERE
source_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1" OR
target_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1";
Dış tablo adına göre soy kütüğü kayıtlarını al
Kökeni bulmak için bulut depolama yolunu el ile almak istemiyorsanız, tablo adını kullanarak köken verilerini almak için aşağıdaki işlevi kullanabilirsiniz. Fonksiyonda sütun kökenini sorgulamak istiyorsanız system.access.table_lineage'ı system.access.column_lineage ile de değiştirebilirsiniz.
def getLineageForTable(table_name):
table_path = spark.sql(f"describe detail {table_name}").select("location").head()[0]
df = spark.read.table("system.access.table_lineage")
return df.where(
(df.source_table_full_name == table_name)
| (df.target_table_full_name == table_name)
| (df.source_path == table_path)
| (df.target_path == table_path)
)
Ardından işlevi çağırmak ve dış tablonun köken kayıtlarını görüntülemek için aşağıdaki komutu kullanın:
display(getLineageForTable("table_name"))