このページでは、Azure Databricks のノートブック、ワークフロー、および Lakeflow Spark 宣言パイプラインに接続してサーバーレス コンピューティングを使用する方法について説明します。
サーバーレス コンピューティングとは
サーバーレス コンピューティングは、ユーザーがノートブック、ワークフロー、および Lakeflow Spark 宣言型パイプラインのオンデマンド コンピューティング リソースにすばやく接続できるようにする、Azure Databricks で管理されるサービスです。
サーバーレス コンピューティングを使用する場合は、クラウド アカウント内のコンピューティング リソースをプロビジョニングせずにワークロードを実行できます。 代わりに、Databricks は必要なコンピューティング リソースを自動的に割り当てて管理します。 これにより、起動とスケーリングの時間が短縮され、アイドル時間が最小限に抑え、コンピューティング リソースを管理する必要性が軽減されます。
サーバーレス ワークロードは、複数のセキュリティ 層によって保護され、エンタープライズ対応に設計されています。 詳細については、「 Databricks サーバーレス セキュリティ」を参照してください。
注
サーバーレス コンピューティングは、ほとんどのワークスペースで既定で使用でき、有効化は必要ありません。 Unity カタログが有効で 、サポートされているリージョン にあるワークスペースは、サーバーレス コンピューティングに自動的にアクセスできます。 要件の完全な一覧については、 サーバーレス コンピューティング 要件を参照してください。
サーバーレス SQL ウェアハウス、モデル サービス、AI 機能など、他の Azure Databricks 機能は、サーバーレス インフラストラクチャを個別に使用し、独自の構成パスを持ちます。 このページでは、ノートブック、ワークフロー、および Lakeflow Spark 宣言パイプラインのみのサーバーレス コンピューティングについて説明します。
ワークロードにサーバーレス コンピューティングを使用する
サーバーレス コンピューティングを使用するようにワークロードを構成する方法については、次のページを参照してください。
- AI ランタイム (プレビュー)
- AI ランタイムのガイド
サーバーレス インフラストラクチャを使用するその他の機能
多くの Azure Databricks 機能はサーバーレス インフラストラクチャで実行されますが、ノートブック、ジョブ、Lakeflow Spark 宣言パイプラインのサーバーレス コンピューティングとは別に構成および管理されます。 例えば次が挙げられます。
サーバーレス コンピューティングの要件
サーバーレス コンピューティングは、ほとんどのワークスペースで既定で使用できます。 手動の有効化手順は必要ありません。
サーバーレス コンピューティングにアクセスするには、ワークスペースが次の要件を満たしている必要があります。
- Unity カタログが有効になっている必要があります。
- サーバーレス コンピューティングでサポートされているリージョンに存在する必要があります。 サーバーレスの可用性に関する情報を参照してください。
- コンプライアンス セキュリティ プロファイルで PCI-DSS が有効になっていない必要があります。 PCI DSS v4.0 を参照してください。
ワークスペースがこれらの要件を満たしている場合、サーバーレス コンピューティングは既に使用できます。 Unity カタログに対して有効になっていないレガシ ワークスペースは、サーバーレス コンピューティングにアクセスできません。 「Azure Databricks ワークスペースを Unity カタログにアップグレードする」を参照してください。
サーバーレス コンピューティングの制限事項
制限事項の一覧については、「サーバーレス コンピューティングの制限事項」を参照してください。
よく寄せられる質問 (FAQ)
- リリースのロール アウト方法
- 実行中のサーバーレス ージョンの確認方法
- サーバーレスのコストを見積もる方法
- 特定のワークロードに対する DBU の使用状況を分析する方法
- ジョブまたはクエリを実行してから、課金対象の使用状況システム テーブルに対する料金の表示までの間に遅延はありますか。
- サーバーレス ワークロードを実行していない場合でも、サーバーレス ジョブの課金レコードが表示されるのはなぜですか?
- サーバーレス コンピューティングはプライベート リポジトリをサポートしていますか?
- ジョブ タスクのライブラリをインストールする方法
- カスタム データ ソースに接続できますか?
- サーバーレス コンピューティング プレーン ネットワークのしくみ
- 宣言型オートメーション バンドルを使用してジョブのサーバーレス コンピューティングを構成できますか?
- ローカル開発マシンまたはデータ アプリケーションからサーバーレス ワークロードを実行するにはどうすればよいですか?
リリースの展開方法
サーバーレス コンピューティングは、バージョンレス製品です。つまり、Databricks は、プラットフォームの機能強化とアップグレードをサポートするために、サーバーレス コンピューティング ランタイムを自動的にアップグレードします。 すべてのユーザーが同じ更新プログラムを取得し、短期間でロール アウトされます。
実行中のサーバーレス ージョンの確認方法
サーバーレス ワークロードは常に最新のランタイム バージョンで実行されます。 最新バージョンのリリース ノートを参照してください。
サーバーレスのコストを見積もる方法
Databricks では、代表的なワークロードまたは特定のワークロードを実行してベンチマークを行ってから、課金システム テーブルを分析することをお勧めします。 「課金対象の使用状況システム テーブル参照」を参照してください。
特定のワークロードに対する DBU の使用状況を分析する方法
特定のワークロードのコストを確認するには、system.billing.usage システム テーブルに対してクエリを実行します。 サンプル クエリと、コスト監視ダッシュボードのダウンロード方法については、「サーバーレス コンピュートのコストを監視する」を参照してください。
ジョブまたはクエリを実行してから、課金対象の使用状況システム テーブルに対する料金の表示までの間に遅延はありますか?
はい。ワークロードを実行してから、その使用状況が課金対象の使用状況システム テーブルに反映されるまでに最大 24 時間の遅延が発生する可能性があります。
サーバーレス ワークロードを実行していない場合でも、サーバーレス ジョブの課金レコードが表示されるのはなぜですか?
データ品質の監視 と 予測最適化 は、サーバーレス インフラストラクチャで実行され、サーバーレス ジョブ SKU で課金されます。 これらの機能は、ノートブック、ワークフロー、Lakeflow Spark 宣言パイプラインのサーバーレス コンピューティングとは別に管理されます。
サーバーレス コンピューティングはプライベート リポジトリをサポートしていますか?
リポジトリはプライベートにすることも、認証を必要とすることもできます。 セキュリティ上の理由から、認証済みリポジトリにアクセスするときは、事前に署名された URL が必要です。
ジョブ タスクのライブラリをインストールする方法
Databricks では、ジョブのライブラリをインストールおよび管理するために、環境を利用することを推奨します。 ジョブ・タスクの環境の構成を参照してください。
カスタム データ ソースに接続できますか?
いいえ。サポートされるのは、Lakehouse フェデレーションを使用するソースのみです。 「サポートされているデータ ソース」を参照してください。
サーバーレス コンピューティング プレーン ネットワークのしくみ
サーバーレス コンピューティング リソースは、Azure Databricks によって管理されるサーバーレス コンピューティング プレーンで実行されます。 ネットワークとアーキテクチャの詳細については、「サーバーレス コンピューティング プレーン ネットワーク」を参照してください。
宣言型オートメーション バンドルを使用してジョブのサーバーレス コンピューティングを構成できますか?
はい。宣言型オートメーション バンドルを使用して、サーバーレス コンピューティングを使用するジョブを構成できます。 サーバーレス コンピューティングを使用するジョブを参照してください。
ローカル開発マシンまたはデータ アプリケーションからサーバーレス ワークロードを実行するにはどうすればよいですか?
Databricks Connect を使用すると、ローカル コンピューターから Databricks に接続し、サーバーレスでワークロードを実行できます。 「Databricks Connect とは」を参照してください。