Aracılığıyla paylaş

Zerobus İçeri Alma sistemi tablo referansı

Bu makale, çalışma alanınızdaki Zerobus Ingest etkinliğini izleyen zerobus sistem tabloları için bir referanstır. Bu tablolar, aynı bölgenizdeki tüm çalışma alanlarındaki hesap kayıtlarınızı içerir. Başka bir bölgedeki kayıtları görmek için, o bölgede dağıtılan bir çalışma alanındaki tabloları görüntülemeniz gerekir.

Gereksinimler

  • Bu sistem tablolarına erişmek için kullanıcıların şunlardan birini yapması gerekir:

Kullanılabilir Zerobus Alma tabloları

Zerobus Ingest ile ilgili tüm sistem tabloları system.lakeflow şemasında yer alır. Bu, aşağıdaki tabloları içerir:

Tablo Description Akış desteği Ücretsiz saklama süresi Genel veya bölgesel verileri içerir
Zerobus_stream (Beta) Zerobus Ingest kullanılarak oluşturulan tüm akışları izler Yes 365 gün Bölgesel
Zerobus_ingest (Beta) Zerobus Aktarım kullanarak Delta tablolarına aktarılan tüm verileri izler. Yes 365 gün Bölgesel

Zerobus stream tablo şeması referansı

Tablo, Zerobus Ingest kullanımı sonucunda meydana gelen akış olaylarıyla ilgili tüm verileri depolar. Bu, bir akış oluşturulduğunda, akışın ömrü boyunca bir hata oluştuğunda ve bir akış kapatıldığında gerçekleşen olayları içerir.

Tablo yolu: system.lakeflow.zerobus_stream

Sütun adı Veri türü Description Example
account_id String Akışı yöneten hesabın kimliği 23e22ba4-87b9-4cc2-9770-d10b894bxx
workspace_id String Akıştan sorumlu çalışma alanının kimliği 1234567890123456
stream_id String Akışın kimliği ccr4bf53-127a-4487-camr-cab42c2db9b2
event_time Tarih damgası Olayın gerçekleştiği zaman damgası 2025-12-19T18:20:26.994+00:00
producer_id String Akış oluşturma işleminden sorumlu üreticinin kimliği Bu sütun şu anda desteklenmiyor.
opened_time Tarih damgası Akışın açıldığı zaman damgası 2025-12-19T18:20:27.209+00:00
closed_time Tarih damgası Akışın kapatıldığı zaman bilgisi 2025-12-19T18:20:26.994+00:00
table_id String Hedef tabloya aktarılan verinin kimliği 0c5ca387-5v3c-4308-90ad-b91dedb22e32
table_name String Alınmakta olan tablonun tam nitelikli adı example_table
protocol String Verileri almak için kullanılan protokol. Olası değerler GRPC ve HTTP şeklindedir. GRPC
data_format String Akışta kullanılan veri biçimi. Olası değerler PROTOBUF ve JSON şeklindedir. PROTOBUF
errors array Akışın ömrü boyunca oluşan hata dizisi Bkz Hata referansı

Akış tablosu için örnek sorgular

Aşağıdaki sorgu, belirtilen tablo için açık durumdaki akışların sayısını döndürür:

SELECT COUNT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE stream.table_id=:table_id AND stream.closed_time IS NULL AND stream.opened_time > CURRENT_TIMESTAMP - INTERVAL '15 minutes'

Aşağıdaki sorgu, hataya neden olan tüm akışların kimliklerini döndürür:

SELECT DISTINCT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE size(stream.errors) > 0

Zerobus yükleme tablosu şema referansı

Zerobus Ingest kullanılarak alınan kayıtlarla ilgili tüm veriler zerobus_ingest tablosunda depolanır. Bu veriler kayıt düzeyinde ayrıntılı değildir. Veriler, commit_version kullanılarak tanımlanan ve Delta tablosuna yazılan partiler halinde toplanır.

Tablo yolu: system.lakeflow.zerobus_ingest

Sütun adı Veri türü Description Example
account_id String Verilen çalışma alanının sahibi olan hesabın kimliği 23e22ba4-87b9-4cc2-9770-d10b894bxx
workspace_id String Akışın oluşturulduğu çalışma alanının kimliği 1234567890123456
stream_id String Alma işlemini gerçekleştiren akışın kimliği ccr4bf53-127a-4487-camr-cab42c2db9b2
commit_version bigint Delta'ya yapılan commit'in benzersiz sürüm numarası 15104
table_id String Yazılmakta olan tablonun kimliği 0c5ca387-5v3c-4308-90ad-b91dedb22e32
table_name String İnsan tarafından okunabilir biçimde tam tablo adı example_table
commit_time Tarih damgası İşlemenin zaman damgası 2025-12-19T18:20:27.209+00:00
committed_bytes bigint Alınan verilerin bayt cinsinden boyutu 3532498
committed_records bigint Kaydedilmiş kayıt sayısı 3445
tags array Zerobus Veri Yükleme tarafından sağlanan ve kullanım kaynağını ve diğer meta verileri izlemeye yönelik olarak kullanılabilen özel etiketler. ["DIRECT_WRITE"]
errors array Alınma sırasında oluşan hata dizisi Bkz Hata referansı

Alma tablosu için örnek sorgular

Aşağıdaki sorgu, belirtilen zaman aralığındaki her tablo için ortalama ekleme hızını alır:

SELECT ingest.table_id AS table_id, SUM(ingest.committed_bytes) / (SECONDS(:end_timestamp - :start_timestamp)) AS average_insertion_rate
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp
GROUP BY ingest.table_id

Aşağıdaki sorgu, belirtilen zaman aralığında tabloya alınan toplam veri ve kayıt miktarını alır:

SELECT SUM(ingest.committed_bytes) as 'Total data', SUM(ingest.committed_records) as 'Total records'
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp AND ingest.table_name = :table_name

Hata referansı

Hem akış hem de alma tabloları, akış veya alma sırasında oluşan ve her öğe ayrı bir hatayı temsil eden bir hata dizisi içeren bir sütun içerir errors . Bu dizi öğeleri aşağıdaki alanlara sahip nesneler olarak kaydedilir:

Alan adı Veri türü Description
error_code bigint Hata kodu
error_message String Tam hata iletisi
timestamp Tarih damgası Hatanın oluştuğu zaman damgası

Ortak Birleştirme Kalıpları

Aşağıdaki sorgu, tek bir çalışma alanından yazılmış tüm tabloları döndürmek için akışa nasıl katılabileceğinizi ve tabloları nasıl alabileceğinizi gösterir.

SELECT DISTINCT(stream.table_id)
FROM system.lakeflow.zerobus_stream AS stream INNER JOIN system.lakeflow.zerobus_ingest AS ingest ON (stream_id)
WHERE stream.workspace_id=:workspace_id
  • Last updated on