HDInsight ジョブの監視を有効にします。
HDInsight クラスターの監視は、データ エンジニアと IT 管理者の両方にとっての関心事項であるため、クラスターの次の領域を監視できます。
- クラスターの正常性と可用性
- リソース使用率とパフォーマンス
- ワークロードの情報とログ
IT 管理者は、監視を使用してクラスターの正常性と可用性を確認し、クラスターのセキュリティを監視します。 データ エンジニアは次のことに関心があります。
- ワークロードの情報とログ
- ジョブの失敗または成功の監視
- クラスターのパフォーマンス
- ログを使用したワークロードの表示
監視に使用できる 2 つの主なツールは、Apache Ambari と Azure Monitor です。
Apache Ambari
このツールは、オープンソースのクラスターの管理と監視に使用します。 このダッシュボードは、クラスターとノード レベルの両方でハードウェアの観点から HDInsight クラスターの正常性を確認できる一連のウィジェットを備えています。 ダッシュボードには、Azure portal の HDInsight クラスターの [概要] 画面からアクセスできます。
Apache Ambari を Web ブラウザーで開くと、監視ツールのダッシュボードが表示されます。
Apache Ambari の多くの領域が、IT 管理者とデータ エンジニアの両方に役立ちます。 初期ダッシュボードは、IT 管理者がクラスターの正常性をリアルタイムで監視するのに役立ちます。 YARN 画面などの追加の領域があり、データ エンジニアは、キューの容量、ジョブ、関連するログを表示して、クラスター上のワークロードを監視できます。 また、アラート機能を使用すると、誤動作しているコンポーネントを特定して、クラスターのサポートをプロアクティブに行うことができます。
監視
Azure Monitor は、サービスの正常性を監視するために HDInsight クラスター上で使用できる Azure 全体の監視ツールです。 Azure Monitor の次の機能は、Azure portal 内で直接参照できます。
アラート
アラートは、Azure のリソースを事前に監視し、条件に基づいて動作するのに有用なツールです。 特定のリソース (HDInsight クラスターなど) に対してアラートを設定して、アラートを発生させるかどうかを判断する条件のしきい値を決定できます。 自動スケーリングが有効という条件を含めることができます。 この条件は、true または false のいずれかになります。 条件の定義方法に応じて、アクションはメール送信からサービスの再起動まで多岐にわたります。
メトリック
メトリックは、Azure Monitor のコンポーネントで、監視対象に固有の視覚的なグラフを設定できます。 視覚的なグラフを使用すると、データ ポイントを表示、測定、関連付けることができ、サービスが許容範囲内で実行されているかどうかを判断するのに役立ちます。 HDInsight メトリックには、クラスターの負荷を確認するためのゲートウェイ要求や、HDInsight クラスターのクラスター サイズを監視できるアクティブなワーカーの数があります。
診断設定
これらの設定を使用すると、有効にしたサービスに関する診断データを受信するために、ターゲット (ストレージ アカウント、イベント ハブ サービス、または Log Analytics アカウントのいずれか) を選択できます。 選択したターゲットにログが送信されます。これにより、サービス活動を一定期間にわたってログに記録し、後で分析することができます。 これらの設定は、サービスの詳細な分析を行う場合にのみ設定してください。
Azure Monitor
Azure Monitor で用意されているすべての機能を使用できるように、Azure Monitor への直接リンクがあります。
リソース正常性
このダッシュボードは、Azure のすべてのサービスで標準使用でき、特定の日の HDInsight サービスの正常性を表示できます。 この領域からの通知はないため、自分で調査する必要があります。 リソース正常性で、正常性に関する情報の概要が得られます。