整合概觀
有許多數據連接器、工具和整合可順暢地與平臺搭配使用,以進行擷取、協調流程、輸出和數據查詢。 本檔是關於可用連接器、工具和整合的高階概觀。 每個連接器都會提供詳細資訊,以及其完整文件的連結。
如需特定整合類型的概觀頁面,請選取下列其中一個按鈕。
比較數據表
下表摘要說明每個專案的功能。 選取對應至連接器或工具和整合的索引標籤。 每個專案名稱都會連結到其 詳細描述。
下表摘要說明可用的連接器及其功能:
名稱 | 擷取 | Export | 協調 | 查詢 |
---|---|---|---|---|
Apache Kafka | ✔️ | |||
Apache Flink | ✔️ | |||
Apache Log4J 2 | ✔️ | |||
Apache Spark | ✔️ | ✔️ | ✔️ | |
適用於 Azure Synapse Analytics 的 Apache Spark | ✔️ | ✔️ | ✔️ | |
Azure Cosmos DB | ✔️ | |||
Azure Data Factory | ✔️ | ✔️ | ||
事件格線 | ✔️ | |||
Azure 事件中樞 | ✔️ | |||
Azure Functions | ✔️ | ✔️ | ||
Azure IoT 中樞 | ✔️ | |||
Azure 串流分析 | ✔️ | |||
Fluent Bit | ✔️ | |||
JDBC | ✔️ | |||
Logic Apps | ✔️ | ✔️ | ✔️ | |
Logstash | ✔️ | |||
Matlab | ✔️ | |||
NLog | ✔️ | |||
ODBC | ✔️ | |||
開啟遙測 | ✔️ | |||
Power Apps | ✔️ | ✔️ | ||
Power Automate | ✔️ | ✔️ | ✔️ | |
Serilog | ✔️ | |||
Splunk | ✔️ | |||
Splunk 通用轉寄站 | ✔️ | |||
Telegraf | ✔️ |
詳細描述
以下是連接器和工具和整合的詳細描述。 選取對應至連接器或工具和整合的索引標籤。 上述比較數據表中會摘要說明所有可用的專案。
Apache Kafka
Apache Kafka 是分散式串流平臺,可用來建置即時串流數據管線,以可靠地在系統或應用程式之間移動數據。 Kafka Connect 是一種工具,可在 Apache Kafka 與其他數據系統之間擴充且可靠的數據串流。 Kafka 接收會作為 Kafka 的連接器,不需要使用程式代碼。 這是 Confluent 認證的黃金認證 - 已全面審查和測試品質、功能完整性、符合標準,以及效能。
- 功能: 擷取
- 支援的擷取類型: 批處理、串流
- 使用案例: 記錄、遙測、時間序列
- 基礎 SDK:Java
- 存放庫: Microsoft Azure - https://github.com/Azure/kafka-sink-azure-kusto/
- 檔:從 Apache Kafka 內嵌數據
- 社群部落格:Kafka 擷取至 Azure 數據總管
Apache Flink
Apache Flink 是一種架構和分散式處理引擎,可用於透過未繫結和已繫結資料流進行具狀態計算。 連接器會實作數據接收器,以在 Azure 數據總管和 Flink 叢集之間行動數據。 使用 Azure 資料總管和 Apache Flink,您可以建置以數據驅動案例為目標的快速且可調整的應用程式。 例如,機器學習服務 (ML)、擷取-Transform-Load (ETL) 和 Log Analytics。
- 功能: 擷取
- 支援的擷取類型: 串流
- 使用案例: 遙測
- 基礎 SDK:Java
- 存放庫: Microsoft Azure - https://github.com/Azure/flink-connector-kusto/
- 檔:從 Apache Flink 內嵌數據
Apache Log4J 2
Log4J 是 Apache Foundation 維護的 Java 應用程式的熱門記錄架構。 Log4j 可讓開發人員根據記錄器的名稱、記錄器層級和訊息模式,以任意粒度控制哪些記錄語句是輸出。 Apache Log4J 2 接收可讓您將記錄數據串流至資料庫,您可以在其中即時分析和可視化記錄。
- 功能: 擷取
- 支援的擷取類型: 批處理、串流
- 使用案例: 記錄
- 基礎 SDK:Java
- 存放庫: Microsoft Azure - https://github.com/Azure/azure-kusto-log4j
- 檔:使用 Apache Log4J 2 連接器內嵌數據
- 社群部落格:開始使用Apache Log4J和 Azure 資料總管
Apache Spark
Apache Spark 是用於進行大規模資料處理的整合分析引擎。 Spark 連接器是可在任何 Spark 叢集上執行的 開放原始碼 專案。 它會實作數據源和數據接收,以便將數據移入或移出Spark叢集。 使用 Apache Spark 連接器,您可以建置以數據驅動案例為目標的快速且可調整的應用程式。 例如,機器學習服務 (ML)、擷取-Transform-Load (ETL) 和 Log Analytics。 透過連接器,您的資料庫會成為標準 Spark 來源和接收作業的有效資料存放區,例如讀取、寫入和 writeStream。
- 功能: 擷取、導出
- 支援的擷取類型: 批處理、串流
- 使用案例: 遙測
- 基礎 SDK:Java
- 存放庫: Microsoft Azure - https://github.com/Azure/azure-kusto-spark/
- 檔:Apache Spark 連接器
- 社群部落格:使用 Apache Spark 進行 Azure 數據總管的 Azure 數據總管數據前置處理
適用於 Azure Synapse Analytics 的 Apache Spark
Apache Spark 是一種平行處理架構,可支援記憶體內部處理,以提升巨量數據分析應用程式的效能。 Azure Synapse Analytics 中的 Apache Spark 是雲端中 Apache Spark Microsoft實作之一。 您可以使用適用於 Azure Synapse Analytics 的 Apache Spark 從 Synapse Studio 存取資料庫。
- 功能: 擷取、導出
- 支援的擷取類型: 批處理
- 使用案例: 遙測
- 基礎 SDK:Java
- 文件:連線到 Azure Synapse 工作區
Azure Cosmos DB
Azure Cosmos DB 變更摘要數據連線是擷取管線,可接聽 Cosmos DB 變更摘要,並將數據內嵌至您的資料庫。
- 功能: 擷取
- 支援的擷取類型: 批處理、串流
- 使用案例: 變更摘要
- 檔:從 Azure Cosmos DB 擷取資料 (預覽)
Azure Data Factory
Azure Data Factory (ADF) 是雲端式數據整合服務,可讓您整合不同的數據存放區,並在數據上執行活動。
- 功能: 擷取、導出
- 支援的擷取類型: 批處理
- 使用案例: 數據協調流程
- 檔:使用 Azure Data Factory 將數據複製到資料庫
事件格線
事件方格擷取是接聽 Azure 記憶體的管線,並在訂閱事件發生時更新您的資料庫以提取資訊。 您可以從 Azure 儲存體 (Blob 記憶體和 ADLSv2) 設定連續擷取,並針對建立的 Blob 或 Blob 重新命名的通知設定 Azure 事件方格 訂用帳戶,並透過 Azure 事件中樞 串流通知。
- 功能: 擷取
- 支援的擷取類型: 批處理、串流
- 使用案例: 事件處理
- 檔:事件方格數據連線
Azure 事件中樞
Azure 事件中樞 是巨量數據串流平臺和事件擷取服務。 您可以從客戶管理的事件中樞設定持續擷取。
- 功能: 擷取
- 支援的擷取類型: 批處理、串流
- 檔:Azure 事件中樞 數據連線
Azure Functions
Azure Functions 可讓您依排程或在雲端中執行無伺服器程式代碼,以回應事件。 透過 Azure Functions 的輸入和輸出系結,您可以將資料庫整合到工作流程中,以擷取數據,並針對資料庫執行查詢。
- 功能: 擷取、導出
- 支援的擷取類型: 批處理
- 使用案例: 工作流程整合
- 檔案:使用輸入和輸出系結整合 Azure Functions (預覽)
- 社群部落格:適用於 Azure Functions 的 Azure 數據總管 (Kusto) 系結
Azure IoT 中樞
Azure IoT 中樞 是裝載於雲端的受控服務,可作為IoT應用程式和所管理裝置之間雙向通訊的中央訊息中樞。 您可以使用與裝置到雲端訊息內建端點相容的事件中樞,從客戶管理的 IoT 中樞 設定連續擷取。
- 功能: 擷取
- 支援的擷取類型: 批處理、串流
- 使用案例: IoT 數據
- 檔:IoT 中樞 數據連線
Azure 串流分析
Azure 串流分析 是即時分析和複雜的事件處理引擎,其設計目的是同時處理來自多個來源的大量快速串流數據。
- 功能: 擷取
- 支援的擷取類型: 批處理、串流
- 使用案例: 事件處理
- 檔:從 Azure 串流分析擷取數據
Fluent Bit
Fluent Bit 是開放原始碼代理程式,可收集來自各種來源的記錄、計量和追蹤。 它可讓您先篩選、修改和匯總事件數據,再將其傳送至記憶體。
- 功能: 擷取
- 支援的擷取類型: 批處理
- 使用案例: 記錄、計量、追蹤
- 存放庫:fluent-bit Kusto 輸出外掛程式
- 檔:使用 Fluent Bit 將數據內嵌至 Azure 數據總管
- 社群部落格:開始使用 Fluent bit 和 Azure 數據總管
JDBC
JAVA Database Connectivity (JDBC) 是用來連線到資料庫和執行查詢的 JAVA API。 您可以使用 JDBC 連線到 Azure Data Explorer。
- 功能: 查詢、視覺效果
- 基礎 SDK:Java
- 檔:使用 JDBC 連線到 Azure 數據總管
Logic Apps
Microsoft Logic Apps 連接器可讓您在排程或觸發的工作中自動執行查詢和命令。
- 功能: 擷取、導出
- 支援的擷取類型: 批處理
- 使用案例: 數據協調流程
- 檔:Microsoft Logic Apps 和 Azure 數據總管
Logstash
Logstash 外掛程式 可讓您將來自 Logstash 的事件處理到 Azure 數據總管資料庫,以供稍後分析。
- 功能: 擷取
- 支援的擷取類型: 批處理
- 使用案例: 記錄
- 基礎 SDK:Java
- 存放庫: Microsoft Azure - https://github.com/Azure/logstash-output-kusto/
- 檔:從 Logstash 擷取數據
- 社群部落格:如何從 Elasticsearch 遷移至 Azure 數據總管
Matlab
MATLAB 是一種程式設計與數值運算平臺,可用來分析數據、開發演算法,以及建立模型。 您可以在 MATLAB 中取得授權令牌,以在 Azure 數據總管中查詢您的數據。
- 功能: 查詢
- 檔:使用 MATLAB 查詢數據
NLog
NLog 是各種 .NET 平台的彈性且免費的記錄平臺,包括 .NET 標準。 NLog 可讓您寫入數個目標,例如資料庫、檔案或控制台。 透過 NLog,您可以即時變更記錄設定。 NLog 接收是 NLog 的目標,可讓您將記錄訊息傳送至資料庫。 外掛程式提供將記錄接收至叢集的有效方式。
- 功能: 擷取
- 支援的擷取類型: 批處理、串流
- 使用案例: 遙測、記錄、計量
- 基礎 SDK:.NET
- 存放庫: Microsoft Azure - https://github.com/Azure/azure-kusto-nlog-sink
- 檔:使用 NLog 接收擷取數據
- 社群部落格:開始使用 NLog 接收和 Azure 數據總管
ODBC
Open Database Connectivity (ODBC) 是廣泛接受的應用程式開發介面(API),可供數據庫存取。 Azure 數據總管與 SQL Server 通訊協定子集 (MS-TDS) 相容。 此相容性可讓您搭配 Azure 資料總管使用適用於 SQL Server 的 ODBC 驅動程式。
- 功能: 擷取
- 支援的擷取類型: 批處理、串流
- 使用案例: 遙測、記錄、計量
- 檔:使用 ODBC 連線到 Azure 數據總管
開啟遙測
OpenTelemetry 連接器 支援將許多接收者的數據擷取到您的資料庫。 其運作方式是透過根據您的需求自定義導出數據的格式,將開啟遙測所產生的數據內嵌至資料庫。
- 功能: 擷取
- 支援的擷取類型: 批處理、串流
- 使用案例: 追蹤、計量、記錄
- 基礎 SDK:Go
- 存放庫: 開啟遙測 - https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/exporter/azuredataexplorerexporter
- 檔:從 OpenTelemetry 擷取數據
- 社群部落格:開始使用開啟遙測和 Azure 數據總管
Power Apps
Power Apps 是一套應用程式、服務、連接器和數據平臺,可提供快速的應用程式開發環境,以建置連線到您商務數據的自定義應用程式。 如果您在 Azure 數據總管中擁有大量且日益成長的串流數據集合,且想要建置低程式代碼、功能高的應用程式來使用此數據,Power Apps 連接器會很有用。
- 功能: 查詢、擷取、導出
- 支援的擷取類型: 批處理
- 檔:使用 Power Apps 在 Azure 數據總管中查詢數據
Power Automate
Power Automate 是用來自動化商務程序的協調流程服務。 Power Automate [先前Microsoft Flow] 連接器可讓您在排程或觸發的工作中協調及排程流程、傳送通知和警示。
- 功能: 擷取、導出
- 支援的擷取類型: 批處理
- 使用案例: 數據協調流程
- 檔:Microsoft Power Automate 連接器
Serilog
Serilog 是適用於 .NET 應用程式的熱門紀錄架構, 可讓開發人員控制要輸出哪些記錄陳述式,而且可依記錄器名稱、記錄器層級與訊息模式等任意細微性進行輸出。 Serilog 接收也稱為附加程式,會將記錄數據串流至您的資料庫,您可以在其中即時分析記錄並將其可視化。
- 功能: 擷取
- 支援的擷取類型: 批處理、串流
- 使用案例: 記錄
- 基礎 SDK:.NET
- 存放庫: Microsoft Azure - https://github.com/Azure/serilog-sinks-azuredataexplorer
- 檔:使用 Serilog 接收內嵌數據
- 社群部落格:開始使用 Serilog 接收和 Azure 數據總管
Splunk
Splunk Enterprise 是一個軟體平臺,可讓您同時擷取許多來源的數據。Azure 數據總 管附加元件 會將數據從 Splunk 傳送至叢集中的數據表。
- 功能: 擷取
- 支援的擷取類型: 批處理
- 使用案例: 記錄
- 基礎 SDK:Python
- 存放庫: Microsoft Azure - https://github.com/Azure/azure-kusto-splunk/tree/main/splunk-adx-alert-addon
- 檔:從Splunk擷取數據
- Splunk 基底:Microsoft Splunk 的 Azure 數據總管附加元件
- 社群部落格:開始使用適用於Splunk的 Azure 資料總管附加元件Microsoft
Splunk 通用轉寄站
- 功能: 擷取
- 支援的擷取類型: 批處理
- 使用案例: 記錄
- 存放庫: Microsoft Azure - https://github.com/Azure/azure-kusto-splunk
- 檔:將數據從Splunk通用轉寄站內嵌至 Azure 資料總管
- 社群部落格:使用 Splunk 通用轉寄站將數據內嵌至 Azure 數據總管
Telegraf
Telegraf 是 開放原始碼、輕量、最小記憶體腳印代理程式,用於收集、處理和寫入遙測數據,包括記錄、計量和IoT數據。 Telegraf 支援數百個輸入和輸出外掛程式。 它得到了 開放原始碼 社區的廣泛使用和支援。 輸出外掛程式可作為 Telegraf 的連接器,並支援從許多類型的輸入外掛程式擷取資料到您的資料庫。
- 功能: 擷取
- 支援的擷取類型: 批處理、串流
- 使用案例: 遙測、記錄、計量
- 基礎 SDK:Go
- 存放庫: InfluxData - https://github.com/influxdata/telegraf/tree/master/plugins/outputs/azure_data_explorer
- 檔:從Telegraf擷取數據
- 社群部落格: 適用於 Telegraf 的新 Azure 數據總管輸出外掛程式可大規模啟用 SQL 監視
相關內容
意見反應
https://aka.ms/ContentUserFeedback。
即將登場:在 2024 年,我們將逐步淘汰 GitHub 問題作為內容的意見反應機制,並將它取代為新的意見反應系統。 如需詳細資訊,請參閱:提交並檢視相關的意見反應