Referenční informace k systémové tabulce Zerobus Ingest

Tento článek je referenčním průvodcem pro zerobus systémové tabulky sledující aktivitu Zerobus Ingest ve vašem pracovním prostoru. Tyto tabulky zahrnují záznamy vašeho účtu ze všech pracovních prostorů ve stejné oblasti. Pokud chcete zobrazit záznamy z jiné oblasti, musíte zobrazit tabulky z pracovního prostoru nasazeného v této oblasti.

Požadavky

  • Pokud chcete získat přístup k těmto systémovým tabulkám, musí uživatelé:

Dostupné ingestovací tabulky Zerobusu

Všechny systémové tabulky spojené s funkcí Zerobus Ingest se nacházejí ve schématu system.lakeflow. To zahrnuje následující tabulky:

Table Description Podporuje streamování. Období bezplatného uchovávání Zahrnuje globální nebo regionální data.
Zerobus_stream (beta verze) Sleduje všechny datové proudy vytvořené pomocí Zerobus Ingest. Ano 365 dní Regionální
Zerobus_ingest (beta verze) Sleduje všechna data ingestované do tabulek Delta pomocí Ingestu Zerobusu. Ano 365 dní Regionální

Referenční dokumentace schématu tabulky streamu Zerobus

V zerobus_stream tabulce jsou uložena všechna data související s událostmi datových proudů, způsobenými užitím Zerobus Ingest. Patří sem události, ke kterým dochází při vytvoření datového proudu, když dojde k chybě během životnosti datového proudu a při zavření datového proudu.

Cesta k tabulce: system.lakeflow.zerobus_stream

Název sloupce Datový typ Description Example
account_id řetězec ID účtu zodpovědného za stream 23e22ba4-87b9-4cc2-9770-d10b894bxx
workspace_id řetězec ID pracovního prostoru zodpovědného za stream 1234567890123456
stream_id řetězec ID streamu ccr4bf53-127a-4487-camr-cab42c2db9b2
event_time časové razítko Časové razítko výskytu události 2025-12-19T18:20:26.994+00:00
producer_id řetězec ID producenta, který je zodpovědný za vytvoření datového proudu Tento sloupec se v současné době nepodporuje.
opened_time časové razítko Časová značka, kdy byl otevřen datový proud 2025-12-19T18:20:27.209+00:00
closed_time časové razítko Časové razítko, kdy byl datový proud uzavřen 2025-12-19T18:20:26.994+00:00
table_id řetězec ID tabulky, do které se data ingestují 0c5ca387-5v3c-4308-90ad-b91dedb22e32
table_name řetězec Plně kvalifikovaný název tabulky, do které probíhá ingestování example_table
protocol řetězec Protokol používaný k ingestování dat. Možné hodnoty jsou GRPC a HTTP. GRPC
data_format řetězec Formát dat použitých ve streamu Možné hodnoty jsou PROTOBUF a JSON. PROTOBUF
errors pole Pole chyb, ke kterým došlo během životnosti streamu Viz Referenční informace k chybě

Příklady dotazů pro tabulku streamu

Následující dotaz vrátí počet aktuálně otevřených datových proudů pro zadanou tabulku:

SELECT COUNT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE stream.table_id=:table_id AND stream.closed_time IS NULL AND stream.opened_time > CURRENT_TIMESTAMP - INTERVAL '15 minutes'

Následující dotaz vrátí ID všech datových proudů, které způsobily chybu:

SELECT DISTINCT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE size(stream.errors) > 0

Referenční dokumentace schématu tabulky příjmu Zerobus

V zerobus_ingest tabulce jsou uložena všechna data související se záznamy přijatými pomocí Ingestu Zerobus. Tato data nejsou podrobná na úrovni záznamů. Data je agregováno podle dávek zapsaných do tabulky Delta a identifikováno pomocí commit_version.

Cesta k tabulce: system.lakeflow.zerobus_ingest

Název sloupce Datový typ Description Example
account_id řetězec ID účtu, který vlastní daný pracovní prostor 23e22ba4-87b9-4cc2-9770-d10b894bxx
workspace_id řetězec ID pracovního prostoru, ve který je datový proud vytvořen 1234567890123456
stream_id řetězec ID datového proudu, který provedl příjem dat ccr4bf53-127a-4487-camr-cab42c2db9b2
commit_version bigint Jedinečné číslo verze commitu do Delty 15104
table_id řetězec ID tabulky, do které se zapisuje 0c5ca387-5v3c-4308-90ad-b91dedb22e32
table_name řetězec Plně kvalifikovaný název tabulky v přehledném formátu pro člověka example_table
commit_time časové razítko Časové razítko potvrzení 2025-12-19T18:20:27.209+00:00
committed_bytes bigint Velikost přijatých dat v bajtech 3532498
committed_records bigint Počet potvrzených záznamů 3445
tags pole Vlastní značky poskytované Ingestem Zerobus, které lze použít ke sledování původu využití a dalších metadat ["DIRECT_WRITE"]
errors pole Pole chyb, ke kterým došlo během příjmu dat Viz Referenční informace k chybě

Příklady dotazů pro tabulku příjmu dat

Následující dotaz získá průměrnou míru vkládání pro každou tabulku v zadaném časovém rozsahu:

SELECT ingest.table_id AS table_id, SUM(ingest.committed_bytes) / (SECONDS(:end_timestamp - :start_timestamp)) AS average_insertion_rate
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp
GROUP BY ingest.table_id

Následující dotaz získá celkový objem dat a záznamů přijatých do tabulky během zadaného časového rozsahu:

SELECT SUM(ingest.committed_bytes) as 'Total data', SUM(ingest.committed_records) as 'Total records'
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp AND ingest.table_name = :table_name

Referenční informace k chybám

Tabulky streamu i ingestace zahrnují sloupec errors, který obsahuje pole se seznamem chyb, které se vyskytly během streamu nebo ingestace, přičemž každý prvek představuje samostatnou chybu. Tyto prvky pole se zaznamenávají jako objekty s následujícími poli:

Název pole Datový typ Description
error_code bigint Kód chyby
error_message řetězec Úplná chybová zpráva
timestamp časové razítko Časové razítko kdy došlo k chybě

Běžné vzory spojení

Následující dotaz ukazuje, jak můžete spojit streamové a ingestované tabulky, abyste vrátili všechny tabulky, do kterých bylo zapsáno z jednoho pracovního prostoru.

SELECT DISTINCT(stream.table_id)
FROM system.lakeflow.zerobus_stream AS stream INNER JOIN system.lakeflow.zerobus_ingest AS ingest ON (stream_id)
WHERE stream.workspace_id=:workspace_id
  • Last updated on