VÍZJEL záradék
A következőkre vonatkozik: Databricks SQL Databricks Runtime 12.0 vagy újabb
Vízjelet ad hozzá egy relációhoz egy select utasításban. A WATERMARK
záradék csak az állapotalapú streamelési adatok lekérdezéseire vonatkozik, amelyek közé tartoznak a stream-stream illesztések és az összesítések.
Syntax
from_item
{ table_name [ TABLESAMPLE clause ] [ watermark_clause ] [ table_alias ] |
JOIN clause |
[ LATERAL ] table_valued_function [ table_alias ] |
VALUE clause |
[ LATERAL ] ( query ) [ TABLESAMPLE clause ] [ watermark_clause ] [ table_alias ] }
watermark_clause
WATERMARK named_expression DELAY OF interval
Paraméterek
-
Olyan kifejezés, amely típusértéket
timestamp
biztosít. A kifejezésnek a meglévő oszlopra mutató hivatkozásnak vagy a meglévő oszlop(ok) determinisztikus átalakításának kell lennie. A kifejezés egy időbélyeg típusú oszlopot ad hozzá, amely a vízjel nyomon követésére szolgál. A hozzáadott oszlop lekérdezhető. -
Intervallumkonstans, amely meghatározza a vízjel késleltetési küszöbértékét. Egy hónapnál rövidebb pozitív értéknek kell lennie.
Példák
-- Creating a streaming table performing time window row count, with defining watermark from existing column
> CREATE OR REFRESH STREAMING TABLE window_agg_1
AS SELECT window(ts, '10 seconds') as w, count(*) as CNT
FROM
STREAM stream_source WATERMARK ts DELAY OF INTERVAL 10 SECONDS AS stream
GROUP BY window(ts, '10 seconds');
-- Creating a streaming table performing time window row count, with deriving a new timestamp column to define watermark
> CREATE OR REFRESH STREAMING TABLE window_agg_2
AS SELECT window(ts, '10 seconds') as w, count(*) as CNT
FROM
STREAM stream_source WATERMARK to_timestamp(ts_str) AS ts DELAY OF INTERVAL 10 SECONDS AS stream
GROUP BY window(ts, '10 seconds');