你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
集成概述
有许多数据连接器、工具和集成可与平台无缝协作,用于引入、业务流程、输出和数据查询。 本文档简要概述了可用的连接器、工具和集成。 提供了每个连接器的详细信息,以及指向其完整文档的链接。
对于特定类型的集成概述页,请选择以下按钮之一。
比较表
下表汇总了每个项的功能。 选择与连接器或工具和集成对应的选项卡。 每个项目名称都链接到其 详细说明。
下表总结了可用的连接器及其功能:
名称 | 引入 | 导出 | 协调 | 查询 |
---|---|---|---|---|
Apache Kafka | ✔️ | |||
Apache Flink | ✔️ | |||
Apache Log4J 2 | ✔️ | |||
Apache Spark | ✔️ | ✔️ | ✔️ | |
Apache Spark for Azure Synapse Analytics | ✔️ | ✔️ | ✔️ | |
Azure Cosmos DB | ✔️ | |||
Azure 数据工厂 | ✔️ | ✔️ | ||
Azure 事件网格 | ✔️ | |||
Azure 事件中心 | ✔️ | |||
Azure Functions | ✔️ | ✔️ | ||
Azure IoT 中心 | ✔️ | |||
Azure 流分析 | ✔️ | |||
Fluent Bit | ✔️ | |||
JDBC | ✔️ | |||
逻辑应用 | ✔️ | ✔️ | ✔️ | |
Logstash | ✔️ | |||
Matlab | ✔️ | |||
NLog | ✔️ | |||
ODBC | ✔️ | |||
Open Telemetry | ✔️ | |||
Power Apps | ✔️ | ✔️ | ||
Power Automate | ✔️ | ✔️ | ✔️ | |
Serilog | ✔️ | |||
Splunk | ✔️ | |||
Splunk 通用转发器 | ✔️ | |||
Telegraf | ✔️ |
详细说明
下面是连接器、工具和集成的详细说明。 选择与连接器、工具和集成对应的选项卡。 上面的 比较表中 汇总了所有可用项。
Apache Kafka
Apache Kafka 是一个分布式流式处理平台,用于构建在系统或应用程序之间可靠地移动数据的实时流数据管道。 Kafka Connect 是一个工具,用于在 Apache Kafka 和其他数据系统之间以可缩放且可靠的方式流式传输数据。 Kafka 接收器充当 Kafka 的连接器,不需要使用代码。 这是由 Confluent 认证的金牌 - 已经过质量、功能完整性、符合标准和性能的全面审查和测试。
- 功能:引入
- 支持的引入类型:批处理、流式处理
- 用例:日志、遥测、时序
- 基础 SDK:Java
- 存储 库: Microsoft Azure - https://github.com/Azure/kafka-sink-azure-kusto/
- 文档:从 Apache Kafka 引入数据
- 社区博客:从 Kafka 引入 Azure 数据资源管理器
Apache Flink
Apache Flink 是一个框架和分布式处理引擎,用于对无限制和有界数据流进行有状态计算。 连接器实现数据接收器,用于跨 Azure 数据资源管理器 和 Flink 群集移动数据。 使用 Azure 数据资源管理器 和 Apache Flink,可以针对数据驱动方案生成快速且可缩放的应用程序。 例如,机器学习 (ML)、提取-转换-加载 (ETL) 和 Log Analytics。
- 功能:引入
- 支持的引入类型: 流
- 用例:遥测
- 基础 SDK:Java
- 存储 库: Microsoft Azure - https://github.com/Azure/flink-connector-kusto/
- 文档:从 Apache Flink 引入数据
Apache Log4J 2
Log4J 是 Apache Foundation 维护的 Java 应用程序的常用日志记录框架。 开发人员可以使用 Log4j 根据记录器的名称、记录器级别和消息模式以任意粒度控制要输出的日志语句。 Apache Log4J 2 接收器允许将日志数据流式传输到数据库,可在其中实时分析和可视化日志。
- 功能:引入
- 支持的引入类型:批处理、流式处理
- 用例:日志
- 基础 SDK:Java
- 存储 库: Microsoft Azure - https://github.com/Azure/azure-kusto-log4j
- 文档:使用 Apache Log4J 2 连接器引入数据
- 社区博客:Apache Log4J 和 Azure 数据资源管理器入门
Apache Spark
Apache Spark 是用于大规模数据处理的统一分析引擎。 Spark 连接器是可在任何 Spark 群集上运行的开放源代码项目。 它实现数据源和数据接收器,用于将数据移进或移出 Spark 群集。 使用 Apache Spark 连接器,可以生成针对数据驱动方案的快速且可缩放的应用程序。 例如,机器学习 (ML)、提取-转换-加载 (ETL) 和 Log Analytics。 使用连接器,数据库将成为标准 Spark 源和接收器操作(例如读取、写入和 writeStream)的有效数据存储。
- 功能:引入、导出
- 支持的引入类型:批处理、流式处理
- 用例:遥测
- 基础 SDK:Java
- 存储 库: Microsoft Azure - https://github.com/Azure/azure-kusto-spark/
- 文档:Apache Spark 连接器
- 社区博客:使用 Apache Spark 为 Azure 数据资源管理器 的 Azure 数据资源管理器进行数据预处理
Apache Spark for Azure Synapse Analytics
Apache Spark 是一个并行处理框架,支持内存中处理,以提高大数据分析应用程序的性能。 Azure Synapse Analytics 中的 Apache Spark 是 Microsoft 在云中实现 Apache Spark 的一个。 可以使用 Apache Spark for Azure Synapse Analytics 从 Synapse Studio 访问数据库。
- 功能:引入、导出
- 支持的引入类型:批处理
- 用例:遥测
- 基础 SDK:Java
- 文档:连接到Azure Synapse工作区
Azure Cosmos DB
Azure Cosmos DB 更改源数据连接是一个引入管道,用于侦听 Cosmos DB 更改源并将数据引入数据库。
- 功能:引入
- 支持的引入类型:批处理、流式处理
- 用例:更改源
- 文档:从 Azure Cosmos DB (预览版) 引入数据
Azure 数据工厂
Azure 数据工厂 (ADF) 是基于云的数据集成服务,可用于集成不同的数据存储,以及对数据执行活动。
- 功能:引入、导出
- 支持的引入类型:批处理
- 用例:数据业务流程
- 文档:使用 Azure 数据工厂 将数据复制到数据库
Azure 事件网格
事件网格引入是一个管道,用于侦听 Azure 存储,并在发生订阅事件时更新数据库以拉取信息。 可以使用Azure 事件网格订阅配置从 Azure 存储 (Blob 存储和 ADLSv2) 的持续引入,以便创建 blob 或 Blob 重命名的通知,并通过Azure 事件中心流式传输通知。
- 功能:引入
- 支持的引入类型:批处理、流式处理
- 用例:事件处理
- 文档:事件网格数据连接
Azure 事件中心
Azure 事件中心是大数据流式处理平台和事件引入服务。 可以从客户管理的事件中心配置连续引入。
- 功能:引入
- 支持的引入类型:批处理、流式处理
- 文档:Azure 事件中心数据连接
Azure Functions
Azure Functions允许按计划或响应事件在云中运行无服务器代码。 使用Azure Functions的输入和输出绑定,可以将数据库集成到工作流中,以引入数据并针对数据库运行查询。
- 功能:引入、导出
- 支持的引入类型:批处理
- 用例: 工作流集成
- 文档:使用输入和输出绑定集成Azure Functions (预览)
- 社区博客:Azure 数据资源管理器 (Kusto) 绑定 for Azure Functions
Azure IoT 中心
Azure IoT 中心是一项托管服务,承载在云中,充当中央消息中心,用于 IoT 应用程序与其管理的设备之间的双向通信。 可以使用与 事件中心兼容的内置设备到云消息终结点,配置从客户管理的 IoT 中心持续引入。
- 功能:引入
- 支持的引入类型:批处理、流式处理
- 用例:IoT 数据
- 文档:IoT 中心数据连接
Azure 流分析
Azure 流分析 是一个实时分析和复杂的事件处理引擎,旨在同时处理来自多个源的大量快速流式处理数据。
- 功能:引入
- 支持的引入类型:批处理、流式处理
- 用例:事件处理
- 文档:从 Azure 流分析引入数据
Fluent Bit
Fluent Bit 是一个开源代理,可从各种源收集日志、指标和跟踪。 它允许在将事件数据发送到存储之前对其进行筛选、修改和聚合。
- 功能:引入
- 支持的引入类型:批处理、流式处理
- 用例: 日志、指标、跟踪
- Repository:fluent-bit Kusto 输出插件
- 文档:使用 Fluent Bit 将数据引入 Azure 数据资源管理器
- 社区博客:Fluent bit 入门和 Azure 数据资源管理器
JDBC
Java 数据库连接 (JDBC) 是用于连接数据库和执行查询的 Java API。 你可以使用 JDBC 连接到 Azure 数据资源管理器。
- 功能: 查询、可视化
- 基础 SDK:Java
- 文档:使用 JDBC 连接到 Azure 数据资源管理器
逻辑应用
Microsoft 逻辑应用连接器允许在计划或触发的任务中自动运行查询和命令。
- 功能:引入、导出
- 支持的引入类型:批处理
- 用例:数据业务流程
- 文档:Microsoft 逻辑应用和 Azure 数据资源管理器
Logstash
使用 Logstash 插件可将事件从 Logstash 处理到 Azure 数据资源管理器 数据库中,以便以后进行分析。
- 功能:引入
- 支持的引入类型:批处理
- 用例:日志
- 基础 SDK:Java
- 存储 库: Microsoft Azure - https://github.com/Azure/logstash-output-kusto/
- 文档:从 Logstash 引入数据
- 社区博客:如何从 Elasticsearch 迁移到 Azure 数据资源管理器
Matlab
MATLAB 是一个编程和数值计算平台,用于分析数据、开发算法和创建模型。 可以在 MATLAB 中获取授权令牌,用于在 Azure 数据资源管理器中查询数据。
- 功能: 查询
- 文档:使用 MATLAB 查询数据
NLog
NLog 是一个灵活且免费的日志记录平台,适用于 .NET Standard 等各种 .NET 平台。 NLog 允许写入多个目标,例如数据库、文件或控制台。 使用 NLog,可以即时更改日志记录配置。 NLog 接收器是 NLog 的目标,可用于将日志消息发送到数据库。 插件提供了一种将日志下沉到群集的有效方法。
- 功能:引入
- 支持的引入类型:批处理、流式处理
- 用例:遥测、日志、指标
- 基础 SDK:.NET
- 存储 库: Microsoft Azure - https://github.com/Azure/azure-kusto-nlog-sink
- 文档:使用 NLog 接收器引入数据
- 社区博客:NLog 接收器和 Azure 数据资源管理器入门
ODBC
开放式数据库连接 (ODBC) 是一种广泛接受的应用程序编程接口 (API),适用于数据库访问。 Azure 数据资源管理器与 MS-TDS) (SQL Server通信协议的子集兼容。 此兼容性允许将 ODBC 驱动程序用于SQL Server与 Azure 数据资源管理器。
- 功能:引入
- 支持的引入类型:批处理、流式处理
- 用例:遥测、日志、指标
- 文档:使用 ODBC 连接到 Azure 数据资源管理器
Open Telemetry
OpenTelemetry 连接器 支持将数据从多个接收方引入数据库。 它通过根据需要自定义导出数据的格式,充当将开放遥测数据生成的数据引入数据库的桥梁。
- 功能:引入
- 支持的引入类型:批处理、流式处理
- 用例:跟踪、指标、日志
- 基础 SDK:Go
- 存储库:Open Telemetry - https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/exporter/azuredataexplorerexporter
- 文档:从 OpenTelemetry 引入数据
- 社区博客:Open Telemetry 和 Azure 数据资源管理器入门
Power Apps
Power Apps 是一套应用、服务、连接器和数据平台,提供快速的应用程序开发环境,用于生成连接到业务数据的自定义应用。 如果你在 Azure 数据资源管理器中拥有大量且不断增长的流式处理数据集合,并且想要构建一个低代码、功能强大的应用来利用这些数据,则 Power Apps 连接器非常有用。
- 功能: 查询、引入、导出
- 支持的引入类型:批处理
- 文档:使用 Power Apps 查询 Azure 数据资源管理器 中的数据
Power Automate
Power Automate 是一种业务流程服务,用于自动执行业务流程。 Power Automate (以前是 Microsoft Flow) 连接器,使你能够在计划或触发的任务中协调和计划流、发送通知和警报。
- 功能:引入、导出
- 支持的引入类型:批处理
- 用例:数据业务流程
- 文档:Microsoft Power Automate 连接器
Serilog
Serilog 是适用于 .NET 应用程序的常用日志记录框架。 开发人员可以使用 Serilog 来根据记录器的名称、记录器级别和消息模式以任意粒度控制要输出哪些日志语句。 Serilog 接收器(也称为追加器)将日志数据流式传输到数据库,可在其中实时分析和可视化日志。
- 功能:引入
- 支持的引入类型:批处理、流式处理
- 用例:日志
- 基础 SDK:.NET
- 存储 库: Microsoft Azure - https://github.com/Azure/serilog-sinks-azuredataexplorer
- 文档:使用 Serilog 接收器引入数据
- 社区博客:Serilog 和 Azure 数据资源管理器入门
Splunk
Splunk Enterprise 是一个软件平台,可用于同时从多个源引入数据。Azure 数据资源管理器 加载项将数据从 Splunk 发送到群集中的表。
- 功能:引入
- 支持的引入类型:批处理
- 用例:日志
- 基础 SDK:Python
- 存储 库: Microsoft Azure - https://github.com/Azure/azure-kusto-splunk/tree/main/splunk-adx-alert-addon
- 文档:从 Splunk 引入数据
- Splunk Base:Microsoft Azure 数据资源管理器 Add-On for Splunk
- 社区博客:Microsoft Azure 数据资源管理器 Add-On for Splunk 入门
Splunk 通用转发器
- 功能:引入
- 支持的引入类型:批处理
- 用例:日志
- 存储 库: Microsoft Azure - https://github.com/Azure/azure-kusto-splunk
- 文档:将数据从 Splunk 通用转发器引入 Azure 数据资源管理器
- 社区博客:使用 Splunk 通用转发器将数据引入 Azure 数据资源管理器
Telegraf
Telegraf 是一种开源、轻型、内存占用极小的代理,用于收集、处理和写入遥测数据,包括日志、指标和 IoT 数据。 Telegraf 支持数百个输入和输出插件。 它得到了开源社区的广泛使用和大力支持。 输出插件充当 Telegraf 的连接器,并支持将数据从多种类型的输入插件引入数据库。
- 功能:引入
- 支持的引入类型:批处理、流式处理
- 用例:遥测、日志、指标
- 基础 SDK:Go
- 存储库:InfluxData - https://github.com/influxdata/telegraf/tree/master/plugins/outputs/azure_data_explorer
- 文档:从 Telegraf 引入数据
- 社区博客:Telegraf 的新 Azure 数据资源管理器输出插件可以实现大规模 SQL 监视
相关内容
反馈
https://aka.ms/ContentUserFeedback。
即将发布:在整个 2024 年,我们将逐步淘汰作为内容反馈机制的“GitHub 问题”,并将其取代为新的反馈系统。 有关详细信息,请参阅:提交和查看相关反馈