整合概觀
有許多數據連接器、工具和整合可順暢地與平臺搭配使用,以進行擷取、協調流程、輸出和數據查詢。 本檔是關於可用連接器、工具和整合的高階概觀。 每個連接器都會提供詳細資訊,以及其完整文件的連結。
如需特定整合類型的概觀頁面,請選取下列其中一個按鈕。
比較數據表
下表摘要說明每個專案的功能。 選取對應至連接器或工具和整合的索引標籤。 每個專案名稱都會連結到其 詳細描述。
下表摘要說明可用連接器及其功能:
名稱 | 擷取 | Export | 協調 | Query |
---|---|---|---|---|
Apache Kafka | ✔️ | |||
Apache Flink | ✔️ | |||
Apache Log4J 2 | ✔️ | |||
Apache Spark | ✔️ | ✔️ | ✔️ | |
適用於 Azure Synapse Analytics 的 Apache Spark | ✔️ | ✔️ | ✔️ | |
Azure Cosmos DB | ✔️ | |||
Azure Data Factory | ✔️ | ✔️ | ||
事件格線 | ✔️ | |||
Azure 事件中樞 | ✔️ | |||
Azure Functions | ✔️ | ✔️ | ||
Azure IoT 中樞 | ✔️ | |||
Azure 串流分析 | ✔️ | |||
克里克爾串流 | ✔️ | |||
Fluent Bit | ✔️ | |||
JDBC | ✔️ | |||
Logic Apps | ✔️ | ✔️ | ✔️ | |
Logstash | ✔️ | |||
Matlab | ✔️ | |||
NLog | ✔️ | |||
ODBC | ✔️ | |||
開啟遙測 | ✔️ | |||
Power Apps | ✔️ | ✔️ | ||
Power Automate | ✔️ | ✔️ | ✔️ | |
Serilog | ✔️ | |||
Splunk | ✔️ | |||
Splunk 通用轉寄站 | ✔️ | |||
Telegraf | ✔️ |
詳細描述
以下是連接器和工具和整合的詳細描述。 選取對應至連接器或工具和整合的索引標籤。 上述比較數據表中會摘要說明所有可用的專案。
Apache Kafka
Apache Kafka 是分散式串流平台,可用來建立即時串流資料管線,以在系統或應用程式之間可靠移動資料。 Kafka Connect 是一種用於在 Apache Kafka 和其他資料系統之間進行可調整且可靠的串流工具。 Kafka 接收器可作為 Kafka 的連接器,不需要使用程式碼。 這已獲得 Confluent 金牌認證 - 經過品質、功能完整性、標準合規性與效能的全面審查及測試。
- 功能:擷取
- 支援擷取類型:批次處理、串流
- 使用案例:記錄、遙測、時間序列
- 基礎 SDK:Java
- 存放庫: Microsoft Azure - https://github.com/Azure/kafka-sink-azure-kusto/
- 檔:從 Apache Kafka 內嵌數據
- 社群部落格:Kafka 擷取至 Azure 數據總管
Apache Flink
Apache Flink 是一種架構和分散式處理引擎,可用於透過未繫結和已繫結資料流進行具狀態計算。 連接器實作資料接收器,可用於在 Azure 資料總管與 Flink 叢集之間移動資料。 您可使用 Azure 資料總管與 Apache Flink,針對資料驅動案例建置快速且可擴展的應用程式。 例如,機器學習 (ML)、擷取-變形-載入 (ETL) 與記錄分析。
- 功能:擷取
- 支援擷取類型:串流
- 使用案例:遙測
- 基礎 SDK:Java
- 存放庫: Microsoft Azure - https://github.com/Azure/flink-connector-kusto/
- 檔:從 Apache Flink 內嵌數據
Apache Log4J 2
Log4J 是 Java 應用程式的熱門記錄框架,由 Apache Foundation 維護。 Log4j 可讓開發人員控制要輸出哪些記錄陳述式,而且可依記錄器名稱、記錄器層級與訊息模式等任意細微性進行輸出。 Apache Log4J 2 接收器可讓您將記錄資料串流至資料庫,您可在其中實時分析及視覺化記錄。
- 功能:擷取
- 支援擷取類型:批次處理、串流
- 使用案例:記錄
- 基礎 SDK:Java
- 存放庫: Microsoft Azure - https://github.com/Azure/azure-kusto-log4j
- 檔:使用 Apache Log4J 2 連接器內嵌數據
- 社群部落格:開始使用Apache Log4J和 Azure 資料總管
Apache Spark
Apache Spark 是用於進行大規模資料處理的整合分析引擎。 Spark 連接器是開放原始碼專案,可在任何 Spark 叢集執行。 其可實作資料來源與資料接收器,用於將資料移入或移出 Spark 叢集。 您可使用 Apache Spark 連接器,針對資料驅動案例建置快速且可擴展的應用程式。 例如,機器學習 (ML)、擷取-變形-載入 (ETL) 與記錄分析。 使用連接器,您的資料庫會成為有效資料儲存體,可用於標準 Spark 來源與接收器操作,例如讀取、寫入及 writeStream。
- 功能:擷取、匯出
- 支援擷取類型:批次處理、串流
- 使用案例:遙測
- 基礎 SDK:Java
- 存放庫: Microsoft Azure - https://github.com/Azure/azure-kusto-spark/
- 檔:Apache Spark 連接器
- 社群部落格:使用 Apache Spark 進行 Azure 數據總管的 Azure 數據總管數據前置處理
適用於 Azure Synapse Analytics 的 Apache Spark
Apache Spark 是一個平行處理架構,可支援記憶體內部處理,以大幅提升巨量資料分析應用程式的效能。 Azure Synapse Analytics 中的 Apache Spark 是 Microsoft 在雲端中的其中一種 Apache Spark 實作。 您可使用適用於 Azure Synapse Analytics 的 Apache Spark,從 Synapse Studio 存取資料庫。
- 功能:擷取、匯出
- 支援擷取類型:批次處理
- 使用案例:遙測
- 基礎 SDK:Java
- 文件:連線到 Azure Synapse 工作區
Azure Cosmos DB
Azure Cosmos DB 變更摘要數據連線是擷取管線,可接聽 Cosmos DB 變更摘要,並將數據內嵌至您的資料庫。
- 功能:擷取
- 支援擷取類型:批次處理、串流
- 使用案例: 變更摘要
- 檔:從 Azure Cosmos DB 擷取資料 (預覽)
Azure Data Factory
Azure Data Factory (ADF) 是雲端資料整合服務,可讓您整合不同資料儲存體並對資料執行活動。
- 功能:擷取、匯出
- 支援擷取類型:批次處理
- 使用案例:資料協調流程
- 檔:使用 Azure Data Factory 將數據複製到資料庫
事件格線
事件方格擷取是接聽 Azure 記憶體的管線,並在訂閱事件發生時更新您的資料庫以提取資訊。 您可以從 Azure 儲存體 (Blob 記憶體和 ADLSv2) 設定連續擷取,並針對建立的 Blob 或 Blob 重新命名的通知設定 Azure 事件方格 訂用帳戶,並透過 Azure 事件中樞 串流通知。
- 功能:擷取
- 支援擷取類型:批次處理、串流
- 使用案例:事件處理
- 檔:事件方格數據連線
Azure 事件中樞
Azure 事件中樞是一個巨量資料流平台與事件擷取服務。 您可從客戶管理的事件中樞設定持續擷取。
- 功能:擷取
- 支援擷取類型:批次處理、串流
- 檔:Azure 事件中樞 數據連線
Azure Functions
Azure Functions 可讓您根據排程或在回應事件時,在雲端執行無伺服器程式碼。 透過 Azure Functions 的輸入與輸出繫結,您可整合資料庫至工作流程,以擷取資料並針對資料庫執行查詢。
- 功能:擷取、匯出
- 支援擷取類型:批次處理
- 使用案例:工作流程整合
- 檔案:使用輸入和輸出系結整合 Azure Functions (預覽)
- 社群部落格:適用於 Azure Functions 的 Azure 數據總管 (Kusto) 系結
Azure IoT 中樞
Azure IoT 中樞 是裝載於雲端的受控服務,可作為IoT應用程式和所管理裝置之間雙向通訊的中央訊息中樞。 您可以使用與裝置到雲端訊息內建端點相容的事件中樞,從客戶管理的 IoT 中樞 設定連續擷取。
- 功能:擷取
- 支援擷取類型:批次處理、串流
- 使用案例: IoT 數據
- 檔:IoT 中樞 數據連線
Azure 串流分析
Azure 串流分析是即時分析與處理複雜事件的引擎,用來同時處理多個來源的大量快速串流資料。
- 功能:擷取
- 支援擷取類型:批次處理、串流
- 使用案例:事件處理
- 檔:從 Azure 串流分析擷取數據
克里克爾串流
Blobl 數據流 是一種處理引擎,可安全地從任何來源收集、處理和串流計算機事件數據。 它可讓您剖析及處理任何目的地的數據以供分析。
- 功能:擷取
- 支援擷取類型:批次處理、串流
- 使用案例: 計算機數據處理,包括記錄、計量、檢測數據
- 檔:將數據從克里維爾串流內嵌至 Azure 數據總管
Fluent Bit
Fluent Bit 是開放原始碼代理程式,可收集來自各種來源的記錄、計量和追蹤。 它可讓您先篩選、修改和匯總事件數據,再將其傳送至記憶體。
- 功能:擷取
- 支援擷取類型:批次處理
- 使用案例: 記錄、計量、追蹤
- 存放庫:fluent-bit Kusto 輸出外掛程式
- 檔:使用 Fluent Bit 將數據內嵌至 Azure 數據總管
- 社群部落格:開始使用 Fluent bit 和 Azure 數據總管
JDBC
JAVA Database Connectivity (JDBC) 是用來連線到資料庫和執行查詢的 JAVA API。 您可以使用 JDBC 連線到 Azure Data Explorer。
- 功能: 查詢、視覺效果
- 基礎 SDK:Java
- 檔:使用 JDBC 連線到 Azure 數據總管
Logic Apps
Microsoft Logic Apps 連接器可讓您在排程或觸發的工作中自動執行查詢和命令。
- 功能:擷取、匯出
- 支援擷取類型:批次處理
- 使用案例:資料協調流程
- 檔:Microsoft Logic Apps 和 Azure 數據總管
Logstash
Logstash 外掛程式可讓您將事件從 Logstash 處理至 Azure 資料總管資料庫,以便日後進行分析。
- 功能:擷取
- 支援擷取類型:批次處理
- 使用案例:記錄
- 基礎 SDK:Java
- 存放庫: Microsoft Azure - https://github.com/Azure/logstash-output-kusto/
- 檔:從 Logstash 擷取數據
- 社群部落格:如何從 Elasticsearch 遷移至 Azure 數據總管
Matlab
MATLAB 是一種程式設計與數值運算平臺,可用來分析數據、開發演算法,以及建立模型。 您可以在 MATLAB 中取得授權令牌,以在 Azure 數據總管中查詢您的數據。
- 功能: 查詢
- 檔:使用 MATLAB 查詢數據
NLog
NLog 是彈性且免費的記錄平台,適用於各種 .NET 平台,包括 .NET 標準。 NLog 可讓您寫入數個目標,例如資料庫、檔案或主控台。 您可使用 NLog 立即變更記錄設定。 NLog 接收器是 NLog 的目標,可讓您傳送記錄訊息至資料庫。 此外掛程式提供有效方法接收記錄至叢集。
- 功能:擷取
- 支援擷取類型:批次處理、串流
- 使用案例:遙測、記錄、計量
- 基礎 SDK:.NET
- 存放庫: Microsoft Azure - https://github.com/Azure/azure-kusto-nlog-sink
- 檔:使用 NLog 接收擷取數據
- 社群部落格:開始使用 NLog 接收和 Azure 數據總管
ODBC
Open Database Connectivity (ODBC) 是廣泛接受的應用程式開發介面(API),可供數據庫存取。 Azure 數據總管與 SQL Server 通訊協定子集 (MS-TDS) 相容。 此相容性可讓您搭配 Azure 資料總管使用適用於 SQL Server 的 ODBC 驅動程式。
- 功能:擷取
- 支援擷取類型:批次處理、串流
- 使用案例:遙測、記錄、計量
- 檔:使用 ODBC 連線到 Azure 數據總管
開啟遙測
OpenTelemetry 連接器支援將資料從許多接收器擷取至資料庫。 其為一座橋樑,可根據您的需求自訂匯出資料的格式,將 OpenTelemetry 所產生的資料匯入您的資料庫。
- 功能:擷取
- 支援擷取類型:批次處理、串流
- 使用案例:追蹤、計量、記錄
- 基礎 SDK:Go
- 存放庫:開啟遙測 - https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/exporter/azuredataexplorerexporter
- 檔:從 OpenTelemetry 擷取數據
- 社群部落格:開始使用開啟遙測和 Azure 數據總管
Power Apps
Power Apps 是一套應用程式、服務、連接器和數據平臺,可提供快速的應用程式開發環境,以建置連線到您商務數據的自定義應用程式。 如果您在 Azure 數據總管中擁有大量且日益成長的串流數據集合,且想要建置低程式代碼、功能高的應用程式來使用此數據,Power Apps 連接器會很有用。
- 功能: 查詢、擷取、導出
- 支援擷取類型:批次處理
- 檔:使用 Power Apps 在 Azure 數據總管中查詢數據
Power Automate
Power Automate 是一種用於自動化商務程序的協調流程服務。 Power Automate(以前為 Microsoft Flow)連接器可讓您在排程或觸發任務時協調及排程流程、傳送通知與警示。
- 功能:擷取、匯出
- 支援擷取類型:批次處理
- 使用案例:資料協調流程
- 檔:Microsoft Power Automate 連接器
Serilog
Serilog 是適用於 .NET 應用程式的熱門紀錄架構, 可讓開發人員控制要輸出哪些記錄陳述式,而且可依記錄器名稱、記錄器層級與訊息模式等任意細微性進行輸出。 Serilog 接收器(也稱為附加程式)可將記錄資料串流至資料庫,您可在其中即時分析及視覺化記錄。
- 功能:擷取
- 支援擷取類型:批次處理、串流
- 使用案例:記錄
- 基礎 SDK:.NET
- 存放庫: Microsoft Azure - https://github.com/Azure/serilog-sinks-azuredataexplorer
- 檔:使用 Serilog 接收內嵌數據
- 社群部落格:開始使用 Serilog 接收和 Azure 數據總管
Splunk
Splunk Enterprise 是軟體平台,可讓您同時從多個來源擷取資料。Azure 資料總管附加元件會將資料從 Splunk 傳送至叢集資料表。
- 功能:擷取
- 支援擷取類型:批次處理
- 使用案例:記錄
- 基礎 SDK:Python
- 存放庫: Microsoft Azure - https://github.com/Azure/azure-kusto-splunk/tree/main/splunk-adx-alert-addon
- 檔:從Splunk擷取數據
- Splunk 基底:Microsoft Splunk 的 Azure 數據總管附加元件
- 社群部落格:開始使用適用於Splunk的 Azure 資料總管附加元件Microsoft
Splunk 通用轉寄站
- 功能:擷取
- 支援擷取類型:批次處理
- 使用案例:記錄
- 存放庫: Microsoft Azure - https://github.com/Azure/azure-kusto-splunk
- 檔:將數據從Splunk通用轉寄站內嵌至 Azure 資料總管
- 社群部落格:使用 Splunk 通用轉寄站將數據內嵌至 Azure 數據總管
Telegraf
Telegraf 是開放原始碼、輕量、最小記憶體佔用代理程式,用於收集、處理及寫入遙測資料,包括記錄、計量與 IoT 資料。 Telegraf 支援數百個輸入與輸出外掛程式。 其受到廣泛使用,同時獲得開放原始碼社群的廣泛支援。 輸出外掛程式可作為 Telegraf 的連接器,並支援從許多類型輸入外掛程式將資料擷取至資料庫。
- 功能:擷取
- 支援擷取類型:批次處理、串流
- 使用案例:遙測、記錄、計量
- 基礎 SDK:Go
- 存放庫:InfluxData - https://github.com/influxdata/telegraf/tree/master/plugins/outputs/azure_data_explorer
- 檔:從Telegraf擷取數據
- 社群部落格: 適用於 Telegraf 的新 Azure 數據總管輸出外掛程式可大規模啟用 SQL 監視