Unityカタログのボリュームにサーバーレスログを配信する

サーバーレスログ配信は、サーバーレスジョブからアプリケーションログをUnity Catalogボリュームに書き込みます。 ワークスペースの管理者が、ワークスペースの保存先を構成することで、チームがログを保持し、可観測性ツールを使って処理できるようなります。 ログはジョブ完了後に非同期で配信されます。 配信には数分かかることがあり、処理やアップロード時間によって変動します。

Important

この機能は ベータ版です。 これを使用するには、ワークスペース管理者がPreviewsページからUnityカタログのボリュームへのServerlessログ配信を有効にする必要があります。 Manage Azure Databricks プレビューを参照してください。

Requirements

  • サーバーレスコンピュートとUnity Catalogが有効化されたワークスペース。
  • サーバーレス環境のバージョン 5 以降
  • ログの配信を構成するためのワークスペース管理者ロール。 ユーザーにワークスペース管理者ロールを割り当てるを参照してください。
  • ワークスペースで UnityカタログボリュームへのServerlessログ配信 プレビューが有効になりました。 すでに有効になっている可能性もあります。 無効化されている場合は、ワークスペース管理者が プレビュー ページで有効にすることができます。 プレビューを有効にすると、構成が利用可能になりますが、配信は開始されません。
  • 宛先のボリューム。 配信構成を行う管理者は、カタログに USE CATALOG、スキーマに USE SCHEMA、ボリュームに READ VOLUME と WRITE VOLUME を設定する必要があります。 Unity カタログ ボリュームの特権を参照してください。

Note

アクセスが制限された信頼できるボリュームにのみ構成します。 配信されたログには、ユーザーメール、ストレージパス、スタックトレース、内部識別子、一時署名URLなどの機密情報が含まれていることがあります。 ログに秘密情報が含まれないことは保証されません

宛先にアクセスできるユーザーは、他のユーザーのジョブログを含む配信されたログを読むことができます。 それに応じてボリュームへのアクセスを制限してください。

Limitations

サーバーレスログ配信はサーバーレスジョブのみをサポートします。 Lakeflowパイプラインやインタラクティブノートブックには対応していません。

ログ配信を有効にする

ワークスペース管理者は、ワークスペースのログ配信を有効にする必要があります。

  1. ユーザーメニューから設定を開いてください。
  2. ワークスペース管理者 で、コンピューティング をクリックします。
  3. ログ配信セクションで、サーバーレスログ配信をオンにしてください。
  4. ログ配信の構成 で、ボリュームのパス (例: /Volumes/observability/production/serverless_logs) を入力するか、フォルダーアイコンをクリックしてボリュームを参照します。
  5. 保存 をクリックします。 宛先を保存することで配信が可能になります。

この設定はワークスペースレベルで適用されます。 各ジョブを個別に設定する必要はありません。

送信されたログを読み込む

アプリケーション出力には、ユーザー定義関数(UDF)を含むユーザー コードからの標準出力および標準エラーが含まれます。 カタログエクスプローラーを使って宛先のボリュームを閲覧し、届いたファイルをチェックしてください。 Unity カタログ ボリューム内のファイルの操作を参照してください。

ログデリバリーはクラスタメトリクスやクエリプロファイルを提供しません。 ジョブ実行ページを使って、アプリケーションのログとともに実行状況やパフォーマンスを調査してください。 「Lakeflow ジョブの監視」を参照してください。

SQL を使用してクエリ実行ログを取得する

read_filesを使って、配信されたテキストファイルを照会してください。 この例のボリューム パスを宛先のパスに置き換えてください。 ログを読むには、カタログに対する USE CATALOG、スキーマに対する USE SCHEMA、およびボリュームに対する READ VOLUME が必要です。

ファイルパスからジョブおよびランの識別子を抽出し、ログ出力の各行を保持する一時的なビューを作成します:

CREATE OR REPLACE TEMPORARY VIEW serverless_job_logs AS
SELECT
  regexp_extract(_metadata.file_path, '/job_id=([^/]+)/', 1) AS job_id,
  regexp_extract(_metadata.file_path, '/job_run_id=([^/]+)/', 1) AS job_run_id,
  regexp_extract(_metadata.file_path, '/task_run_id=([^/]+)/', 1) AS task_run_id,
  _metadata.file_name AS file_name,
  value AS log_line
FROM read_files(
  '/Volumes/observability/production/serverless_logs/',
  format => 'text'
);

複数のジョブ実行にまたがるエラーを含む行を見つける:

SELECT job_id, job_run_id, task_run_id, file_name, log_line
FROM serverless_job_logs
WHERE log_line LIKE '%ERROR%';

エラーラインが最も多いジョブを特定する:

SELECT
  job_id,
  count(*) AS error_lines,
  count(DISTINCT job_run_id) AS affected_runs
FROM serverless_job_logs
WHERE log_line LIKE '%ERROR%'
GROUP BY job_id
ORDER BY error_lines DESC;

これらのクエリはリテラル文字列 ERROR を検索します。 フィルターをアプリケーションのログ形式に合わせて調整してください。 テーブル値関数read_files参照してください。

宛先を変更するか、配信を無効にしてください

宛先を変更するには、設定 > コンピュート > ログ配信を開き、ボリューム名の横にある鉛筆アイコンをクリックし、新しいパスを入力するか、参照して選択し、保存をクリックします。 宛先を保存しておくと、配信が無効になっている場合を含め、配信が可能になります。

配信を無効にするには、 設定 > Compute > ログ配信 を開き、 Serverless log deliveryをオフにしてください。 この設定では宛先が保持されるため、別のボリュームを選択しなくても、再度配信を有効にすることができます。 配信を無効にしても、すでにそのボリュームに書き込まれたファイルは削除されません。 それらのファイルのアクセスと保持は別々に管理してください。

ログが見つからない場合のトラブルシューティング

作業完了後にログが表示されない場合:

  1. 設定 > コンピューティング > ログ配信 で、サーバーレス ログ配信が有効になっていることを確認してください。 プレビューを有効にしても配信は開始されません。
  2. 設定されたボリュームが存在し、配信を設定した管理者が必要な権限を保持しているかを確認してください。
  3. ジョブがサーバーレスコンピュートを使用し、アプリケーション出力を生成していることを確認しましょう。 ジョブ完了後、非同期配信のため数分お待ちください。 処理やアップロードの時間が配信を遅らせることがあります。

古典的なコンピュートログデリバリーについては、 Compute log Deliveryを参照してください。