启用 HDInsight 作业监视。
数据工程师和 IT 管理员都对 HDInsight 群集的监视感兴趣,因此他们可以监视群集的以下区域:
- 群集运行状况和可用性
- 资源利用率和性能
- 工作负载信息和日志
IT 管理员将使用监视来查看群集的运行状况和可用性,以及监视群集的安全性。 数据工程师对以下各项感兴趣:
- 工作负载信息和日志
- 关注工作的失败或成功
- 群集的性能
- 使用日志查看工作负载
有两种主要工具可用于监视:Apache Ambari 和 Azure Monitor。
Apache Ambari
此工具用于开源群集管理和监视。 它为仪表板提供了一系列小组件,使你能够从群集和节点级别的硬件角度查看 HDInsight 群集的运行状况。 可以从 Azure 门户中 HDInsight 群集的概述屏幕访问仪表板。
Apache Ambari 在提供监视工具仪表板的 Web 浏览器中打开。
Apache Ambari 的许多领域对 IT 管理员和数据工程师都很有用。 初始仪表板对于 IT 管理员实时监视群集运行状况非常有用。 还有一些其他的区域,如 YARN 屏幕,使数据工程师能够查看队列容量、作业和相关的日志,以监视群集上的工作负载。 此外,警报功能使你能够识别出故障组件,以便能够主动支持群集。
监视
Azure Monitor 是 Azure 范围的监视工具,可用于 HDInsight 群集以监视服务的运行状况。 Azure Monitor 的各个方面直接在 Azure 门户中公开:
警报
警报是一种非常有用的工具,可主动监视 Azure 中的资源,并根据条件执行操作。 可以针对给定资源(如 HDInsight 群集)设置警报,以确定指示是否触发警报的条件阈值。 可能包含的条件已启用自动缩放。 这种情况可能为 true 或 false。 根据条件的定义,操作范围可以从发送电子邮件到重启服务。
指标
指标是 Azure Monitor 的一个组件,它使你可以设置特定于要监视的内容的视觉对象图表。 使用视觉对象图表可以查看、测量和关联数据点,以帮助确定服务是否在可接受的范围内执行。 HDInsight 指标包括查看群集负载的网关请求,以及可用辅助角色的数量,这使你可以监视 HDInsight 群集的群集大小
诊断设置
这些设置使你能够选择一个目标(存储帐户、事件中心服务或日志分析帐户)以接收有关已启用服务的诊断数据。 日志将发送到选定的目标,这使你能够记录一段时间内的服务活动,并在以后进行分析。 仅当要对服务进行深入分析时,才应设置这些设置。
Azure Monitor
可以直接链接到 Azure Monitor,以便可以使用 Azure Monitor 提供的全部功能。
资源运行状况
此仪表板是 Azure 中所有服务的标准,它使你能够在给定日期查看 HDInsight 服务的运行状况。 此区域没有通知,你必须自行调查。 资源运行状况可提供运行状况信息的概述。