トレーニング
認定資格
Microsoft Certified: Azure Database Administrator Associate - Certifications
Microsoft PaaS リレーショナル データベース オファリングを使用して、クラウド、オンプレミス、ハイブリッド リレーショナル データベースの SQL Server データベース インフラストラクチャを管理します。
このブラウザーはサポートされなくなりました。
Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。
この記事には、Databricks ジョブのコンピューティングを構成するための推奨事項とリソースが含まれています。
重要
ジョブのサーバーレス コンピューティングには次のような制限事項があります。
制限事項の詳細については、「サーバーレス コンピューティングの制限事項」を参照してください。
各ジョブには、1 つ以上のタスクを含めることができます。 各タスクのコンピューティング リソースを定義します。 同じジョブに対して定義された複数のタスクで、同じコンピューティング リソースを使用できます。
次の表は、各タスクの種類に対して推奨されるコンピューティングの種類とサポートされているコンピューティングの種類を示しています。
注意
ジョブのサーバーレス コンピューティングには制限があり、すべてのワークロードをサポートしているわけではありません。 「サーバーレス コンピューティングの制限事項」を参照してください。
タスク | 推奨されるコンピューティング | サポートされているコンピューティング |
---|---|---|
ノートブック | サーバーレス ジョブ | サーバーレス ジョブ、クラシック ジョブ、クラシック汎用 |
Python スクリプト | サーバーレス ジョブ | サーバーレス ジョブ、クラシック ジョブ、クラシック汎用 |
Python ホイール | サーバーレス ジョブ | サーバーレス ジョブ、クラシック ジョブ、クラシック汎用 |
SQL | サーバーレス SQL ウェアハウス | サーバーレス SQL ウェアハウス、プロ SQL ウェアハウス |
Delta Live Tables パイプライン | サーバーレス パイプライン | サーバーレス パイプライン、クラシック パイプライン |
dbt | サーバーレス SQL ウェアハウス | サーバーレス SQL ウェアハウス、プロ SQL ウェアハウス |
dbt CLI コマンド | サーバーレス ジョブ | サーバーレス ジョブ、クラシック ジョブ、クラシック汎用 |
JAR | クラシック ジョブ | クラシック ジョブ、クラシック 汎用 |
Spark Submit | クラシック ジョブ | クラシック ジョブ |
ジョブの価格は、タスクの実行に使用されるコンピューティングに関連付けられています。 詳細については、「Databricks の価格」を参照してください。
クラシック ジョブ コンピューティングは Databricks ジョブ UI から直接構成できます。これらの構成はジョブ定義の一部となります。 その他の使用可能なコンピューティングの種類はすべて、その構成を他のワークスペース アセットと共に格納します。 次の表に詳細を示します。
コンピューティングの種類 | 詳細 |
---|---|
クラシック ジョブ コンピューティング | 汎用コンピューティングで使用できるのと同じ UI と設定を使用して、クラシック ジョブのコンピューティングを構成します。 「コンピューティング構成リファレンス」を参照してください。 |
ジョブのサーバーレス コンピューティング | サーバーレスコンピューティングは、対応するすべてのタスクにおいて既定の計算方法です。 Databricks がサーバーレス コンピューティングのコンピューティング設定を管理します。 「ワークフローでサーバーレス コンピューティングを使用して Azure Databricks ジョブを実行する」を参照してください。 nn このオプションを表示するには、ワークスペース管理者がサーバーレス コンピューティングを有効にする必要があります。 「サーバーレス コンピューティングを有効にする」をご覧ください。 |
SQL ウェアハウス | サーバーレスおよびプロ SQL ウェアハウスは、無制限のクラスター作成特権を持つワークスペース管理者またはユーザーによって構成されます。 既存の SQL ウェアハウスに対して実行するタスクを構成します。 「SQL ウェアハウスに接続する」を参照してください。 |
Delta Live Tables パイプライン コンピューティング | パイプラインの構成中に Delta Live Tables パイプラインのコンピューティング設定を構成します。 デルタ ライブ テーブル パイプライン コンピューティングの構成を参照してください。 nn Azure Databricks は、サーバーレス Delta Live Tables パイプラインのコンピューティング リソースを管理します。 サーバーレス Delta Live Tables パイプラインの構成を参照してください。 |
All-Purpose Compute | 必要に応じて、クラシック汎用コンピューティングを使用してタスクを構成できます。 Databricks では、運用環境の場合、この構成はお勧めしません。 「コンピューティング構成リファレンス」と「ジョブには常に汎用コンピューティングを使用した方がよいでしょうか?」を参照してください。 |
複数のタスクのオーケストレーションを行うジョブでリソースの使用量を最適化するために、同じジョブ コンピューティング リソースを使用するようにタスクを構成します。 タスク間でコンピューティングを共有すると、起動時間に関連する待機時間を短縮できます。
1 つのジョブ コンピューティング リソースを使用して、ジョブの一部であるすべてのタスク、または特定のワークロード用に最適化された複数のジョブ リソースを実行できます。 ジョブの一部として構成されたジョブ コンピューティングは、ジョブ内の他のすべてのタスクで使用できます。
次の表は、1 つのタスク用に構成されたジョブ コンピューティングと、タスク間で共有されるジョブ コンピューティングの違いを示しています。
1 つのタスク | タスク間で共有 | |
---|---|---|
Start | タスクの実行が開始されたとき。 | コンピューティング リソースを使用するように構成された最初のタスクの実行が開始されたとき。 |
Terminate | タスクの実行後。 | コンピューティング リソースを使用するように構成された最後のタスクが実行された後。 |
アイドル状態のコンピューティング | 該当なし。 | コンピューティング リソースを使用していないタスクの実行中も、コンピューティングはオンのままでアイドル状態になります。 |
共有ジョブ クラスターのスコープは 1 つのジョブ実行に設定され、同じジョブの他のジョブまたは実行では使用できません。
ライブラリを共有ジョブ クラスター構成で宣言することはできません。 依存ライブラリはタスク設定に追加する必要があります。
[ジョブの詳細] パネルの [コンピューティング] セクションには、現在のジョブのタスク用に構成されているすべてのコンピューティングが一覧表示されます。
コンピューティング仕様にマウス ポインターを合わせると、コンピューティング リソースを使用するように構成されたタスクがタスク グラフで強調表示されます。
[スワップ] ボタンを使用して、コンピューティング リソースに関連付けられているすべてのタスクのコンピューティングを変更します。
クラシック ジョブ コンピューティング リソースには、構成オプションがあります。 その他のコンピューティング リソースには、コンピューティング構成の詳細を表示および変更するためのオプションがあります。
このセクションでは、一部のワークフローに役立つ機能と構成に関する一般的な推奨事項について説明します。 コンピューティング リソースのサイズと種類を構成するための具体的な推奨事項は、ワークロードによって異なります。
Databricks では、Photon Acceleration を有効にし、最新の Databricks Runtime バージョンを使用し、Unity カタログ用に構成されたコンピューティングを使用することをお勧めします。
ジョブのサーバーレス コンピューティングでは、以下の事項を考慮しなくてもよいように、すべてのインフラストラクチャが管理されます。 「ワークフローでサーバーレス コンピューティングを使用して Azure Databricks ジョブを実行する」を参照してください。
注意
構造化ストリーミング ワークフローには、特定の推奨事項があります。 「構造化ストリーミングの運用に関する考慮事項」を参照してください。
Databricks では、ジョブに共有アクセス モードを使用することをお勧めします。 「アクセス モード」を参照してください。
注意
共有アクセス モードでは、一部のワークロードと機能はサポートされていません。 Databricks では、これらのワークロードに単一ユーザー アクセス モードをお勧めします。 Unity Catalog のコンピューティング アクセス モードの制限事項に関する記事を参照してください。
Databricks では、ワークスペース管理者がジョブのクラスター ポリシーを定義し、ジョブの構成を行うすべてのユーザーに対してこれらのポリシーを適用することをお勧めします。
クラスター ポリシーを使用すると、ワークスペース管理者はコスト制御を設定し、ユーザーの構成オプションを制限できます。 クラスター ポリシー構成の詳細については、「コンピューティング ポリシーの作成と管理」を参照してください。
Azure Databricks には、ジョブ用に構成された既定のポリシーが用意されています。 管理者は、このポリシーを他のワークスペース ユーザーが使用できるようにできます。 「ジョブ コンピューティング」を参照してください。
実行時間の長いタスクがジョブの実行中にワーカー ノードを動的に追加および削除できるように、自動スケールを構成します。 「自動スケールの有効化」を参照してください。
コンピューティング プールを使用すると、クラウド プロバイダーのコンピューティング リソースを予約できます。 プールは、新しいジョブ クラスターの開始時間を短縮し、コンピューティング リソースの可用性を確保するのに役立ちます。 「プール構成リファレンス」を参照してください。
コストを最適化するために待機時間の要件が緩いワークロードのスポット インスタンスを構成します。 「スポット インスタンス」を参照してください。
Databricks では、ジョブに汎用コンピューティングの使用を推奨しない理由が次のように多数あります。
ジョブに対して汎用コンピューティングを使用する場合のユース ケースを次に示します。
汎用コンピューティングで実行することが不適当と考えられるタスクの種類のほとんどについて、代替としてジョブのサーバーレス コンピューティングをお勧めします。
トレーニング
認定資格
Microsoft Certified: Azure Database Administrator Associate - Certifications
Microsoft PaaS リレーショナル データベース オファリングを使用して、クラウド、オンプレミス、ハイブリッド リレーショナル データベースの SQL Server データベース インフラストラクチャを管理します。