ノートブック内で Spark ジョブを監視する

Microsoft Fabric ノートブックは、Apache Spark ジョブを開発し、機械学習実験を行うための Web ベースの対話型サーフェスです。 この記事では、Spark ジョブの進行状況を監視し、Spark ログにアクセスし、ノートブック内でアドバイスを受け取り、ノートブック全体のより包括的な監視情報を得るために Spark アプリケーション 詳細ビューまたは Spark UI に移動する方法について説明します。

Spark ジョブの進行状況を監視する

Spark ジョブ進行状況インジケーターには、各ノートブック セルのジョブ実行状態を監視するのに役立つリアルタイム進行状況バーが用意されています。 Spark ジョブとステージすべてにわたって状態とタスクの進行状況を表示できます。

リソース配分状況の監視

Executor の使用状況グラフには、Spark ジョブ Executor の割り当てとリソースの使用状況が視覚的に表示されます。 現時点で、この機能を表示するのは spark 3.4 以上のランタイム情報のみです。 [リソース] タブをクリックすると、コード セルのリソース配分状況の折れ線グラフが表示されます。

Spark Advisor の推奨事項を表示する

組み込みの Spark Advisor は、ノートブック コードと Spark の実行をリアルタイムで分析して、ノートブックの実行パフォーマンスを最適化し、障害のデバッグを支援します。 組み込みのアドバイスには、情報、警告、エラーの 3 種類があります。 数字付きアイコンは、特定のノートブック セルに対して Spark Advisor によって生成された各カテゴリ (情報、警告、エラー) のアドバイスのそれぞれの数を示します。

アドバイスを表示するには、最初の矢印をクリックして展開し、詳細を表示します。

Advisor セクションを展開すると、1 つ以上のアドバイスが表示されるようになります。

Spark Advisor スキュー検出

データ スキューは、ユーザーがよく行き当たる一般的な問題です。 Spark Advisor ではスキュー検出がサポートされており、スキューが検出された場合は、対応する分析が下に表示されます。

Spark リアルタイム ログにアクセスする

Spark ログは、例外の場所の特定とパフォーマンスまたは障害の診断に不可欠です。 ノートブックのコンテキスト監視機能は、実行中の特定のセルのログを直接提供します。 ログを検索したり、エラーや警告でフィルター処理したりできます。

Spark 監視の詳細と Spark UI に移動する

ノートブック レベルで Spark の実行に関する追加情報にアクセスしたい場合は、コンテキスト メニューで使用できるオプションを通して、Spark アプリケーションの詳細ページまたは Spark UI に移動できます。

関連するコンテンツ

• Spark Advisor について学習する
• Apache Spark アプリケーションの詳細の監視
• 拡張された Spark History Server を使用してアプリをデバッグする