Azure Databricks の監視

  • [アーティクル]

Azure Databricks は、ビッグ データ分析ソリューションと人工知能 (AI) ソリューションの高速な開発とデプロイを容易にする、Apache Spark ベースの高速かつ強力な分析サービスです。 多くのユーザーが、自分の Azure Databricks ソリューションでノートブックのシンプルさを活用しています。 より堅牢なコンピューティング オプションを必要とするユーザーのために、Azure Databricks では、カスタム アプリケーション コードの分散実行がサポートされています。

監視はどの運用レベル ソリューションでも重要な要素です。そして Azure Databricks は、カスタム アプリケーション メトリック、ストリーミング クエリ イベント、アプリケーション ログ メッセージを監視するための堅牢な機能を提供します。 Azure Databricks では、この監視データをさまざまなログ記録サービスに送信できます。

以下の記事では、Azure Databricks から Azure Monitor (Azure の監視データ プラットフォーム) に監視データを送信する方法について説明します。

これらの記事に付属しているコード ライブラリを使用すると、Spark のメトリック、イベント、ログ情報を Azure Monitor に送信する Azure Databricks の基本的な監視機能が拡張されます。

これらの記事と付属のコード ライブラリの対象ユーザーは、Apache Spark と Azure Databricks のソリューション開発者です。 コードは、Java アーカイブ (JAR) ファイルに組み込まれ、Azure Databricks クラスターにデプロイされる必要があります。 コードでは Scala と Java が組み合わされていて、出力 JAR ファイルをビルドするための、対応する一連の Maven プロジェクト オブジェクト モデル (POM) ファイルがあります。 前提条件として Java、Scala、Maven について理解することをお勧めします。

次のステップ

まずはコード ライブラリを構築して、それを Azure Databricks クラスターにデプロイしましょう。

Azure Databricks アプリケーション ログを Azure Monitor に送信する