Azure 串流分析的 Azure 資料總管輸出

您可以使用 Azure 資料 總管作為輸出,從任何資料來源分析大量資料,例如網站、應用程式和物聯網 (IoT) 裝置。 Azure 資料總管是記錄和遙測資料的快速且高度可調整的資料探索服務。 它可協助您處理新式軟體發出的許多資料流程,以便收集、儲存和分析資料。 此資料用於診斷、監視、報告、機器學習和其他分析功能。

Azure 資料總管支援數個擷取方法,包括連線至常見服務的連接器,例如Azure 事件中樞、透過 .NET 和 Python 等 SDK 以程式設計方式擷取,以及直接存取引擎以供探索之用。 Azure 資料總管會與分析和模型服務整合,以取得資料的其他分析和視覺效果。

如需 Azure 資料總管的詳細資訊,請參閱 什麼是 Azure 資料總管?

若要深入瞭解如何使用 Azure 入口網站建立 Azure 資料總管叢集,請參閱 快速入門:建立 Azure 資料總管叢集和資料庫

注意

來自 Azure 串流分析的 Azure 資料總管支援輸出至 Azure Synapse 資料總管。 若要在 Azure Synapse 資料總管中寫入叢集,請在 Azure 串流分析作業中 Azure 資料總管輸出的組態窗格中指定叢集的 URL。

輸出組態

下表列出建立 Azure 資料總管輸出的屬性名稱及其描述。

屬性名稱 描述
輸出別名 用於查詢的易記名稱,用來將查詢輸出導向至這個資料庫。
訂用帳戶 您想要用於叢集的 Azure 訂用帳戶。
叢集 識別叢集的唯一名稱。 功能變數名稱 < region.kusto.windows.net > 會附加至您提供的叢集名稱。 名稱只能包含小寫字母和數位。 它必須包含 4 到 22 個字元。
Database 您要傳送輸出的資料庫名稱。 資料庫名稱在叢集中必須是唯一的。
驗證 來自 Microsoft Entra 識別碼 的受控識別,可讓您的叢集輕鬆存取其他受 Microsoft Entra 保護的資源,例如 Azure 金鑰保存庫。 身分識別由 Azure 平台負責管理,因此您不需要佈建或輪替任何密碼。 目前僅支援受控識別設定,以 為您的叢集 啟用客戶管理的金鑰。
Table 寫入輸出的資料表名稱。 資料表名稱會區分大小寫。 此資料表的架構應該完全符合作業輸出所產生的欄位數目及其類型。

資料分割

資料分割必須啟用,且是以查詢中的 子句為基礎 PARTITION BY 。 啟用 [繼承資料分割] 選項時,它會遵循輸入資料分割,以進行 可完全平行處理的查詢

使用 Azure 串流分析和 Azure 資料總管的時機

Azure 串流分析的特性包括:

  • 串流處理引擎:連續串流即時分析
  • 以作業為基礎
  • 記憶體內部時態分析和串流處理 1 毫秒到 7 天的回溯視窗
  • 從具有子秒延遲的Azure 事件中樞和Azure IoT 中樞擷取

Azure 資料總管的特性包括:

  • 分析引擎:隨選互動式即時分析
  • 將資料擷取串流至永續性資料存放區,以及查詢功能
  • 從事件中樞、IoT 中樞、Azure Blob 儲存體、Azure Data Lake 儲存體、Kafka、Logstash、Spark 和 Azure Data Factory 擷取資料
  • 高輸送量工作負載的延遲為 10 秒到 5 分鐘
  • 在擷取期間透過更新原則進行簡單的資料轉換

您可以使用 Azure 串流分析和 Azure 資料總管,大幅提升即時分析的範圍。 以下是幾個案例:

  • 串流分析會即時識別異常,而 Azure 資料總管可協助判斷其透過互動式探索發生的方式和原因。
  • 串流分析會還原序列化傳入資料流程,以用於 Azure 資料總管(例如,使用自訂還原序列化程式或自訂二進位格式來內嵌 Protobuf 格式)。
  • 串流分析可以匯總、篩選、擴充和轉換傳入資料流程,以用於 Azure 資料總管。

其他案例和限制

  • 資料行和資料類型的名稱應該與 Azure 串流分析 SQL 查詢與 Azure 資料總管資料表之間相符。 比較會區分大小寫。
  • 系統會忽略存在於 Azure 資料總管叢集中但 Azure 串流分析中遺漏的資料行。 Azure 串流分析中遺漏的資料行會產生錯誤。
  • Azure 串流分析查詢中的資料行順序並不重要。 Azure 資料總管資料表的架構會決定順序。
  • Azure 資料總管具有資料擷取的匯總(批次處理)原則,其設計目的是要優化擷取程式。 原則預設會設定為 5 分鐘、1,000 個專案或 1 GB 的資料,因此可能會遇到延遲。 若要減少延遲,請在叢集上啟用串流擷取,然後依照在 Azure 資料總管叢集 上設定串流擷取中的 步驟來資料表或資料庫。 如需匯總選項,請參閱 擷取Batching 原則

下一步