Azure 串流分析是完全受控的平台即服務 (PaaS),可用於進行串流處理。 本文介紹串流分析叢集、作業和作業元件的概念,以描述串流分析的資源模型。
串流分析作業
串流分析作業是串流分析的基本單元,可讓您定義和執行串流處理邏輯。 作業包含 3 個主要元件:
- 輸入
- 輸出
- 查詢
輸入
作業可以有一或多個輸入,以持續讀取資料。 這些串流輸入的資料來源可以是 Azure 事件中樞、Azure IoT 中樞或 Azure 儲存體。 串流分析也支援讀取靜態或緩慢變更的輸入資料 (稱為參考資料),這通常用來擴充串流資料。 將這些輸入新增至您的作業,是一種零程式碼作業。
輸出
作業可以有一或多個輸出以持續寫入資料。 串流分析支援 12 個不同的輸出接收,包括 Azure SQL Database、Azure Data Lake Storage、Azure Cosmos DB、Power BI 等等。 將這些輸出新增至您的作業,也是一種零程式碼作業。
查詢
您可以在作業中撰寫 SQL 查詢,以實作串流處理邏輯。 豐富的 SQL 語言支援可讓您處理案例,例如剖析複雜的 JSON、篩選值、計算彙總、執行聯結,以及更高階的使用案例,例如地理空間分析和異常偵測。 您也可以使用 JavaScript 使用者定義函式 (UDF) 和使用者定義彙總 (UDA) 來擴充這個 SQL 語言。 串流分析也可讓您透過作業設定中的簡單設定,輕鬆調整延遲和順序不正確的事件。 您也可以選擇根據輸入事件抵達輸入來源的時間,或在事件來源產生事件的時間來執行查詢。
執行作業
設定輸入、輸出和查詢來開發作業之後,您可以指定串流單位數目來啟動作業。 一旦作業啟動,就會進入執行中狀態,而且會保持該狀態,直到作業明確停止或發生無法復原的失敗為止。 當作業處於執行中狀態時,會從您的輸入來源持續提取資料、執行查詢邏輯,產生的結果會以毫秒端對端延遲的速率寫入輸出接收。
當作業啟動時,串流分析服務會負責編譯查詢,並根據作業中設定的串流單位數目,指派特定數量的計算和記憶體。 您不需要擔心任何基礎結構,例如叢集維護、安全性修補檔,因為平台會自動處理。 在標準 SKU 中執行作業時,只有在作業執行時,才會向您收取串流單位的費用。
串流分析叢集
根據預設,串流分析作業會在構成標準 SKU 的標準多租用戶環境中執行。 串流分析也提供專用 SKU,您可以在其中佈建屬於您的完整串流分析叢集。 這麼做可讓您完全控制叢集上執行的作業。 串流分析叢集的大小下限為 12 個串流單位,而且當您佈建整個叢集容量時會向您收取費用。 您可以深入了解串流分析叢集的優點,以及使用時機。
下一步
了解如何管理 Azure 串流分析及其他概念: