你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
Azure Monitor可以从本地、边缘和多云环境收集遥测数据。 在许多企业环境中，将大量遥测数据直接发送到云可以增加引入成本，在连接丢失期间引入可靠性风险，并限制对收集的数据的控制。 Azure Monitor 管道针对这些场景构建于现有的 Azure Monitor 收集功能之上。
Azure Monitor管道提供集中治理和靠近数据源的单一控制点，使您可以在将数据发送到Azure Monitor之前筛选、转换、聚合和路由遥测数据。 此方法可帮助你减少数据引入量、在断开连接的环境中提高可靠性，并在混合和多云部署中实施一致的数据处理。 该管道基于 OpenTelemetry 技术，支持标准引入协议，包括 Syslog 和 OTLP，使它能够接收来自各种客户端和环境的遥测数据。
为什么使用 Azure Monitor 管道？
当直接云端采集无法满足您的安全性、规模、成本或弹性要求时，请使用 Azure Monitor 管道。
| 需要 | 流水线如何发挥作用 |
|---|---|
| 带宽或引入成本约束 | 在云引入之前筛选和聚合数据，以减少网络带宽要求。 |
| 遥测量过高 | 在本地大规模处理数据，以处理持续的高吞吐量方案，然后再发送到Azure Monitor。 |
| 间歇性连接或受限连接 | 启用持久性存储后，数据会本地存储，以在进程重启或连接丢失时留存，并在连接恢复后自动回填。 |
| 遥测格式 | 将 Syslog 和 CEF 数据自动架构化为标准表。 |
支持的数据源
Azure Monitor管道当前接收并处理以下数据源类型：
| 数据源 | 详细信息 | 地位 |
|---|---|---|
| Syslog | 支持通过 TCP 和 UDP 使用 RFC 3164 和 RFC 5424。 通过同一接收器，CEF 作为 Syslog 数据受到支持。 | 普遍可用 |
| OpenTelemetry 日志 （OTLP） | 支持将 OpenTelemetry 日志从客户端引入到Azure Monitor。 | 预览 |
关键功能
Azure Monitor管道包括一组功能，可帮助解决混合和多云环境中的常见引入挑战。
- 安全引入终结点支持 TLS 和可选的相互 TLS （mTLS），因此可以在传输中加密遥测数据，并将引入限制为受信任的客户端。
- 本地处理可以在达到Azure Monitor之前筛选、聚合和重塑遥测数据，这有助于降低引入成本并使云分析专注于更高价值的数据。
- 受支持的 Syslog 和 CEF 数据可自动生成模式，用于 Azure Monitor 表（例如
Syslog和CommonSecurityLog），这有助于减少下游解析工作量。 - 可选的持久性存储将遥测数据写入持久本地存储，以便在进程重启和连接中断时幸存下来。 连接返回时，管道会自动回填数据。
- 内置监控可以揭示管道本身的运行状况和性能信号，因此您可以查看它是否正在接收、处理和转发遥测信息。
- 容量规划指南可帮助你为预期的遥测数据量和工作负载特征规划 Kubernetes 基础结构。
Azure Monitor 管道如何工作
该管道是一个容器化解决方案，可在您数据中心、边缘位置或其他云提供商处的启用 Arc 的 Kubernetes 集群上运行。 它通过标准协议（如 Syslog 和 OpenTelemetry（OTLP）从客户端接收遥测数据，并将其发送到Azure Monitor。 管道通过Azure门户、ARM 模板、Bicep或Azure CLI进行配置。
注释
Azure 为 Azure Monitor 管道提供管理功能及与 Azure Monitor 的集成，但您需负责运行管道的 Kubernetes 环境的运维工作。 此共同责任模型允许你保留对本地基础结构的控制。
典型的部署显示在上图中，包括以下组件：
- 该管道在每个本地、边缘或多云位置的 Arc 启用 Kubernetes 集群上运行。
- 默认情况下，客户端通过端口 514 上的 TCP 或 UDP 将 Syslog 数据（包括 CEF）发送到管道。
- 默认情况下，客户端将 OpenTelemetry 日志 （OTLP） 数据发送到 TCP 端口 4317 上的管道（此功能为预览版）。
- 可选网关向群集外部的客户端公开管道接收器。
- 可选的 TLS 或相互 TLS （mTLS）可保护引入流量。
- 在将数据发送到Log Analytics工作区之前，可选转换会筛选或重塑数据。
- 管道将数据跨本地防火墙转发到Azure Monitor中的Log Analytics工作区。
- 收集数据后，任何可以访问该工作区的 Azure Monitor 功能都可以使用这些数据。
Azure Monitor 管道与 Azure Monitor 代理的对比
Azure Monitor 管道和 Azure Monitor 代理 (AMA) 具有不同的用途，并且通常一起部署。
AMA 在单个资源上运行，并直接从这些资源收集遥测数据。 可以在每个数据源上安装代理并将数据直接发送到Azure时，这是正确的选择。
Azure Monitor 管道集中运行，并从任何来源接收遥测数据。 当数据源无法运行代理（例如，在第三方设备上安装软件会导致保修失效的情况、网络设备或 IoT 硬件），或在云引入前需要集中过滤、聚合和转换时，这是正确的选择。
| 方面 | Azure Monitor 代理 | Azure Monitor 管道 |
|---|---|---|
| 运行位置 | 在每个单独的资源（VM、服务器）上 | 在启用 Arc 的 Kubernetes 群集上进行集中管理 |
| 它如何获取数据 | 从安装有代理的资源中收集 | 从可以通过网络发送数据的任何客户端接收 |
| 最适用于 | 可在其中安装和管理代理的资源 | 无法运行代理的源，或需要集中进行筛选、聚合和转换的情况 |
| 缩放方法 | 每个资源一个代理 | 在启用了 Arc 的 Kubernetes 群集上部署，并通过运行多个副本 进行水平缩放 ，以便为数千个源提供服务。 |
许多体系结构同时结合使用这两者。 AMA 负责处理受支持的 Azure 和 Arc 启用的资源的每个资源集合，而 Azure Monitor 管道为那些无法运行代理的源，或需要在数据到达 Azure 之前进行集中筛选、聚合和转换的场景，提供一个中央入口点。
支持的配置
Azure Monitor 管道运行在启用了 Azure Arc 的 Kubernetes 上。 支持取决于所需 cert-manager 扩展支持的区域和 Kubernetes 分发版本。
| 支持的 Kubernetes 发行版 | 支持的区域 |
|---|---|
| - VMware Tanzu Kubernetes Grid multicloud （TKGm） v1.28.11 - SUSE 牧场主 K3s v1.33.3+k3s1 - AKS Arc v1.32.7 |
- 澳大利亚东部 - 巴西南部 - 加拿大中部 - 印度中部 - 美国中部 - 美国中部 EUAP -东亚 - 美国东部 - 美国东部 2 - 美国东部 2 EUAP - 法国中部 - 德国中西部 - 意大利北部 - 日本东部 - 韩国中部 - 美国中北部 - 北欧 - 挪威东部 - 南非北部 - 印度南部 - 瑞典中部 - 瑞士北部 - 英国南部 - 英国西部 - 美国中西部 - 西欧 - 美国西部 - 美国西部 2 - 美国西部 3 |
支持的区域，请参阅 产品可用性（按区域）。
相关文章
- 在 Configure Azure Monitor 管道中完成群集设置。
- 请参阅 Azure Monitor 管道 - Kubernetes 部署网关中的网关指南。
- 查看 Azure Monitor 管道 TLS 配置中的加密选项。
- 在使用 Azure Monitor 管道转换数据中审查数据整形选项。
- 请参阅 Azure Monitor 管道的容量规划来规划部署容量。