你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

集成概述

有许多数据连接器、工具和集成可与平台无缝协作,用于引入、业务流程、输出和数据查询。 本文档简要概述了可用的连接器、工具和集成。 提供了每个连接器的详细信息,以及指向其完整文档的链接。

对于特定类型的集成概述页,请选择以下按钮之一。

比较表

下表汇总了每个项的功能。 选择与连接器或工具和集成对应的选项卡。 每个项目名称都链接到其 详细说明

下表总结了可用的连接器及其功能:

名称 引入 导出 协调 查询
Apache Kafka ✔️
Apache Flink ✔️
Apache Log4J 2 ✔️
Apache Spark ✔️ ✔️ ✔️
Apache Spark for Azure Synapse Analytics ✔️ ✔️ ✔️
Azure Cosmos DB ✔️
Azure 数据工厂 ✔️ ✔️
Azure 事件网格 ✔️
Azure 事件中心 ✔️
Azure Functions ✔️ ✔️
Azure IoT 中心 ✔️
Azure 流分析 ✔️
Fluent Bit ✔️
JDBC ✔️
逻辑应用 ✔️ ✔️ ✔️
Logstash ✔️
Matlab ✔️
NLog ✔️
ODBC ✔️
Open Telemetry ✔️
Power Apps ✔️ ✔️
Power Automate ✔️ ✔️ ✔️
Serilog ✔️
Splunk ✔️
Splunk 通用转发器 ✔️
Telegraf ✔️

详细说明

下面是连接器、工具和集成的详细说明。 选择与连接器、工具和集成对应的选项卡。 上面的 比较表中 汇总了所有可用项。

Apache Kafka

Apache Kafka 是一个分布式流式处理平台,用于构建在系统或应用程序之间可靠地移动数据的实时流数据管道。 Kafka Connect 是一个工具,用于在 Apache Kafka 和其他数据系统之间以可缩放且可靠的方式流式传输数据。 Kafka 接收器充当 Kafka 的连接器,不需要使用代码。 这是由 Confluent 认证的金牌 - 已经过质量、功能完整性、符合标准和性能的全面审查和测试。

Apache Flink 是一个框架和分布式处理引擎,用于对无限制和有界数据流进行有状态计算。 连接器实现数据接收器,用于跨 Azure 数据资源管理器 和 Flink 群集移动数据。 使用 Azure 数据资源管理器 和 Apache Flink,可以针对数据驱动方案生成快速且可缩放的应用程序。 例如,机器学习 (ML)、提取-转换-加载 (ETL) 和 Log Analytics。

Apache Log4J 2

Log4J 是 Apache Foundation 维护的 Java 应用程序的常用日志记录框架。 开发人员可以使用 Log4j 根据记录器的名称、记录器级别和消息模式以任意粒度控制要输出的日志语句。 Apache Log4J 2 接收器允许将日志数据流式传输到数据库,可在其中实时分析和可视化日志。

Apache Spark

Apache Spark 是用于大规模数据处理的统一分析引擎。 Spark 连接器是可在任何 Spark 群集上运行的开放源代码项目。 它实现数据源和数据接收器,用于将数据移进或移出 Spark 群集。 使用 Apache Spark 连接器,可以生成针对数据驱动方案的快速且可缩放的应用程序。 例如,机器学习 (ML)、提取-转换-加载 (ETL) 和 Log Analytics。 使用连接器,数据库将成为标准 Spark 源和接收器操作(例如读取、写入和 writeStream)的有效数据存储。

Apache Spark for Azure Synapse Analytics

Apache Spark 是一个并行处理框架,支持内存中处理,以提高大数据分析应用程序的性能。 Azure Synapse Analytics 中的 Apache Spark 是 Microsoft 在云中实现 Apache Spark 的一个。 可以使用 Apache Spark for Azure Synapse Analytics 从 Synapse Studio 访问数据库。

Azure Cosmos DB

Azure Cosmos DB 更改源数据连接是一个引入管道,用于侦听 Cosmos DB 更改源并将数据引入数据库。

Azure 数据工厂

Azure 数据工厂 (ADF) 是基于云的数据集成服务,可用于集成不同的数据存储,以及对数据执行活动。

Azure 事件网格

事件网格引入是一个管道,用于侦听 Azure 存储,并在发生订阅事件时更新数据库以拉取信息。 可以使用Azure 事件网格订阅配置从 Azure 存储 (Blob 存储和 ADLSv2) 的持续引入,以便创建 blob 或 Blob 重命名的通知,并通过Azure 事件中心流式传输通知。

  • 功能:引入
  • 支持的引入类型:批处理、流式处理
  • 用例:事件处理
  • 文档:事件网格数据连接

Azure 事件中心

Azure 事件中心是大数据流式处理平台和事件引入服务。 可以从客户管理的事件中心配置连续引入。

Azure Functions

Azure Functions允许按计划或响应事件在云中运行无服务器代码。 使用Azure Functions的输入和输出绑定,可以将数据库集成到工作流中,以引入数据并针对数据库运行查询。

Azure IoT 中心

Azure IoT 中心是一项托管服务,承载在云中,充当中央消息中心,用于 IoT 应用程序与其管理的设备之间的双向通信。 可以使用与 事件中心兼容的内置设备到云消息终结点,配置从客户管理的 IoT 中心持续引入。

  • 功能:引入
  • 支持的引入类型:批处理、流式处理
  • 用例:IoT 数据
  • 文档:IoT 中心数据连接

Azure 流分析

Azure 流分析 是一个实时分析和复杂的事件处理引擎,旨在同时处理来自多个源的大量快速流式处理数据。

Fluent Bit

Fluent Bit 是一个开源代理,可从各种源收集日志、指标和跟踪。 它允许在将事件数据发送到存储之前对其进行筛选、修改和聚合。

JDBC

Java 数据库连接 (JDBC) 是用于连接数据库和执行查询的 Java API。 你可以使用 JDBC 连接到 Azure 数据资源管理器。

逻辑应用

Microsoft 逻辑应用连接器允许在计划或触发的任务中自动运行查询和命令。

Logstash

使用 Logstash 插件可将事件从 Logstash 处理到 Azure 数据资源管理器 数据库中,以便以后进行分析。

Matlab

MATLAB 是一个编程和数值计算平台,用于分析数据、开发算法和创建模型。 可以在 MATLAB 中获取授权令牌,用于在 Azure 数据资源管理器中查询数据。

NLog

NLog 是一个灵活且免费的日志记录平台,适用于 .NET Standard 等各种 .NET 平台。 NLog 允许写入多个目标,例如数据库、文件或控制台。 使用 NLog,可以即时更改日志记录配置。 NLog 接收器是 NLog 的目标,可用于将日志消息发送到数据库。 插件提供了一种将日志下沉到群集的有效方法。

ODBC

开放式数据库连接 (ODBC) 是一种广泛接受的应用程序编程接口 (API),适用于数据库访问。 Azure 数据资源管理器与 MS-TDS) (SQL Server通信协议的子集兼容。 此兼容性允许将 ODBC 驱动程序用于SQL Server与 Azure 数据资源管理器。

Open Telemetry

OpenTelemetry 连接器 支持将数据从多个接收方引入数据库。 它通过根据需要自定义导出数据的格式,充当将开放遥测数据生成的数据引入数据库的桥梁。

Power Apps

Power Apps 是一套应用、服务、连接器和数据平台,提供快速的应用程序开发环境,用于生成连接到业务数据的自定义应用。 如果你在 Azure 数据资源管理器中拥有大量且不断增长的流式处理数据集合,并且想要构建一个低代码、功能强大的应用来利用这些数据,则 Power Apps 连接器非常有用。

Power Automate

Power Automate 是一种业务流程服务,用于自动执行业务流程。 Power Automate (以前是 Microsoft Flow) 连接器,使你能够在计划或触发的任务中协调和计划流、发送通知和警报。

Serilog

Serilog 是适用于 .NET 应用程序的常用日志记录框架。 开发人员可以使用 Serilog 来根据记录器的名称、记录器级别和消息模式以任意粒度控制要输出哪些日志语句。 Serilog 接收器(也称为追加器)将日志数据流式传输到数据库,可在其中实时分析和可视化日志。

Splunk

Splunk Enterprise 是一个软件平台,可用于同时从多个源引入数据。Azure 数据资源管理器 加载项将数据从 Splunk 发送到群集中的表。

Splunk 通用转发器

Telegraf

Telegraf 是一种开源、轻型、内存占用极小的代理,用于收集、处理和写入遥测数据,包括日志、指标和 IoT 数据。 Telegraf 支持数百个输入和输出插件。 它得到了开源社区的广泛使用和大力支持。 输出插件充当 Telegraf 的连接器,并支持将数据从多种类型的输入插件引入数据库。