启用 HDInsight 作业监视。

已完成

数据工程师和 IT 管理员都对 HDInsight 群集的监视感兴趣,因此他们可以监视群集的以下区域:

  • 群集运行状况和可用性
  • 资源利用率和性能
  • 工作负载信息和日志

IT 管理员将使用监视来查看群集的运行状况和可用性,以及监视群集的安全性。 数据工程师对以下各项感兴趣:

  • 工作负载信息和日志
  • 关注工作的失败或成功
  • 群集的性能
  • 使用日志查看工作负载

有两种主要工具可用于监视:Apache Ambari 和 Azure Monitor。

Apache Ambari

此工具用于开源群集管理和监视。 它为仪表板提供了一系列小组件,使你能够从群集和节点级别的硬件角度查看 HDInsight 群集的运行状况。 可以从 Azure 门户中 HDInsight 群集的概述屏幕访问仪表板。

从 Azure 门户访问 Apachi Ambari

Apache Ambari 在提供监视工具仪表板的 Web 浏览器中打开。

Apachi Ambari 仪表板

Apache Ambari 的许多领域对 IT 管理员和数据工程师都很有用。 初始仪表板对于 IT 管理员实时监视群集运行状况非常有用。 还有一些其他的区域,如 YARN 屏幕,使数据工程师能够查看队列容量、作业和相关的日志,以监视群集上的工作负载。 此外,警报功能使你能够识别出故障组件,以便能够主动支持群集。

监视

Azure Monitor 是 Azure 范围的监视工具,可用于 HDInsight 群集以监视服务的运行状况。 Azure Monitor 的各个方面直接在 Azure 门户中公开:

Azure 门户中的监视选项

警报

警报是一种非常有用的工具,可主动监视 Azure 中的资源,并根据条件执行操作。 可以针对给定资源(如 HDInsight 群集)设置警报,以确定指示是否触发警报的条件阈值。 可能包含的条件已启用自动缩放。 这种情况可能为 true 或 false。 根据条件的定义,操作范围可以从发送电子邮件到重启服务。

指标

指标是 Azure Monitor 的一个组件,它使你可以设置特定于要监视的内容的视觉对象图表。 使用视觉对象图表可以查看、测量和关联数据点,以帮助确定服务是否在可接受的范围内执行。 HDInsight 指标包括查看群集负载的网关请求,以及可用辅助角色的数量,这使你可以监视 HDInsight 群集的群集大小

诊断设置

这些设置使你能够选择一个目标(存储帐户、事件中心服务或日志分析帐户)以接收有关已启用服务的诊断数据。 日志将发送到选定的目标,这使你能够记录一段时间内的服务活动,并在以后进行分析。 仅当要对服务进行深入分析时,才应设置这些设置。

Azure Monitor

可以直接链接到 Azure Monitor,以便可以使用 Azure Monitor 提供的全部功能。

资源运行状况

此仪表板是 Azure 中所有服务的标准,它使你能够在给定日期查看 HDInsight 服务的运行状况。 此区域没有通知,你必须自行调查。 资源运行状况可提供运行状况信息的概述。