Azure 串流分析的 Azure 資料總管輸出
您可以使用 Azure 資料 總管作為輸出,從任何資料來源分析大量資料,例如網站、應用程式和物聯網 (IoT) 裝置。 Azure 資料總管是記錄和遙測資料的快速且高度可調整的資料探索服務。 它可協助您處理新式軟體發出的許多資料流程,以便收集、儲存和分析資料。 此資料用於診斷、監視、報告、機器學習和其他分析功能。
Azure 資料總管支援數個擷取方法,包括連線至常見服務的連接器,例如Azure 事件中樞、透過 .NET 和 Python 等 SDK 以程式設計方式擷取,以及直接存取引擎以供探索之用。 Azure 資料總管會與分析和模型服務整合,以取得資料的其他分析和視覺效果。
如需 Azure 資料總管的詳細資訊,請參閱 什麼是 Azure 資料總管? 。
若要深入瞭解如何使用 Azure 入口網站建立 Azure 資料總管叢集,請參閱 快速入門:建立 Azure 資料總管叢集和資料庫 。
注意
來自 Azure 串流分析的 Azure 資料總管支援輸出至 Azure Synapse 資料總管。 若要在 Azure Synapse 資料總管中寫入叢集,請在 Azure 串流分析作業中 Azure 資料總管輸出的組態窗格中指定叢集的 URL。
輸出組態
下表列出建立 Azure 資料總管輸出的屬性名稱及其描述。
屬性名稱 | 描述 |
---|---|
輸出別名 | 用於查詢的易記名稱,用來將查詢輸出導向至這個資料庫。 |
訂用帳戶 | 您想要用於叢集的 Azure 訂用帳戶。 |
叢集 | 識別叢集的唯一名稱。 功能變數名稱 < region.kusto.windows.net > 會附加至您提供的叢集名稱。 名稱只能包含小寫字母和數位。 它必須包含 4 到 22 個字元。 |
Database | 您要傳送輸出的資料庫名稱。 資料庫名稱在叢集中必須是唯一的。 |
驗證 | 來自 Microsoft Entra 識別碼 的受控識別,可讓您的叢集輕鬆存取其他受 Microsoft Entra 保護的資源,例如 Azure 金鑰保存庫。 身分識別由 Azure 平台負責管理,因此您不需要佈建或輪替任何密碼。 目前僅支援受控識別設定,以 為您的叢集 啟用客戶管理的金鑰。 |
Table | 寫入輸出的資料表名稱。 資料表名稱會區分大小寫。 此資料表的架構應該完全符合作業輸出所產生的欄位數目及其類型。 |
資料分割
資料分割必須啟用,且是以查詢中的 子句為基礎 PARTITION BY
。 啟用 [繼承資料分割] 選項時,它會遵循輸入資料分割,以進行 可完全平行處理的查詢 。
使用 Azure 串流分析和 Azure 資料總管的時機
Azure 串流分析的特性包括:
- 串流處理引擎:連續串流即時分析
- 以作業為基礎
- 記憶體內部時態分析和串流處理 1 毫秒到 7 天的回溯視窗
- 從具有子秒延遲的Azure 事件中樞和Azure IoT 中樞擷取
Azure 資料總管的特性包括:
- 分析引擎:隨選互動式即時分析
- 將資料擷取串流至永續性資料存放區,以及查詢功能
- 從事件中樞、IoT 中樞、Azure Blob 儲存體、Azure Data Lake 儲存體、Kafka、Logstash、Spark 和 Azure Data Factory 擷取資料
- 高輸送量工作負載的延遲為 10 秒到 5 分鐘
- 在擷取期間透過更新原則進行簡單的資料轉換
您可以使用 Azure 串流分析和 Azure 資料總管,大幅提升即時分析的範圍。 以下是幾個案例:
- 串流分析會即時識別異常,而 Azure 資料總管可協助判斷其透過互動式探索發生的方式和原因。
- 串流分析會還原序列化傳入資料流程,以用於 Azure 資料總管(例如,使用自訂還原序列化程式或自訂二進位格式來內嵌 Protobuf 格式)。
- 串流分析可以匯總、篩選、擴充和轉換傳入資料流程,以用於 Azure 資料總管。
其他案例和限制
- 資料行和資料類型的名稱應該與 Azure 串流分析 SQL 查詢與 Azure 資料總管資料表之間相符。 比較會區分大小寫。
- 系統會忽略存在於 Azure 資料總管叢集中但 Azure 串流分析中遺漏的資料行。 Azure 串流分析中遺漏的資料行會產生錯誤。
- Azure 串流分析查詢中的資料行順序並不重要。 Azure 資料總管資料表的架構會決定順序。
- Azure 資料總管具有資料擷取的匯總(批次處理)原則,其設計目的是要優化擷取程式。 原則預設會設定為 5 分鐘、1,000 個專案或 1 GB 的資料,因此可能會遇到延遲。 若要減少延遲,請在叢集上啟用串流擷取,然後依照在 Azure 資料總管叢集 上設定串流擷取中的 步驟來資料表或資料庫。 如需匯總選項,請參閱 擷取Batching 原則 。