Spark の自動スケーリング課金により、Microsoft Fabric の Spark ワークロードに対して、サーバーレスの従量課金制コンピューティングが可能になります。 有効にすると、Spark ジョブは共有容量を消費しなくなり、Spark ワークロードを個別にスケーリングし、コストを最適化する柔軟性が得られます。
このガイドでは、ファブリック容量に対して自動スケール課金を有効にし、Spark ジョブの最大容量ユニット (CU) 制限を構成する方法について説明します。
必要条件
- 容量: Fabric F-SKU (F2 以上) でのみ利用可能です。 P-SKU または Fabric 試用容量ではサポートされていません。
- アクセス ロール: 自動スケーリング課金を構成するには、Fabric 容量管理者である必要があります。
重要
最大容量ユニット数の有効化、無効化、または削減を行うと、自動スケール課金で実行中のすべてのアクティブな Spark ジョブがキャンセルされ、課金の重複が回避されます。
Spark の自動スケーリング課金を構成する方法
ファブリック容量の自動スケール課金設定を有効にして管理するには、次の手順に従います。
Microsoft Fabric 管理ポータルに移動します。
ガバナンスと分析情報セクションで、管理ポータルを選択します。
左側のメニューから[容量設定]を選択し、[ファブリック容量]タブに移動します。
構成する容量を選択します。
ある。 容量の設定ページで、Fabric Spark の自動スケーリング課金セクションまでスクロールします。
b。 [自動スケーリング課金] トグルを有効にします。
c. スライダーを使用して、Spark ジョブに割り当てる最大容量ユニット (CU)を設定します。
- スライダーの上限まで設定できます。この制限は、Azure サブスクリプションに対して承認されたクォータに基づいており、使用しているサブスクリプションの種類にも基づいています。 クォータを増やすには、このドキュメントの「#B0 クォータ管理の #C1」セクションに記載されている手順に従ってください。
- この制限まで、使用したコンピューティングに対してのみ課金されます。
容量設定の「自動スケーリング課金」トグルと「CU スライダー」を表示しているスクリーンショット。
d. 保存をクリックして設定を適用してください。
注
- 保存した Spark プールでは、自動スケール課金によって設定された新しい CU クォータを利用できるようになりました。
- 必要に応じて、コストを最適化するために Spark ワークロードを新しい課金モデルに移動したので、容量のサイズを変更することもできます。 これは Azure portal で行います。SKU サイズを変更するには、Azure 管理者である必要があります。 Spark からの不要な使用量が容量制限に対してカウントされなくなったことを確認するには、容量を一時停止して使用量をクリアし、再起動することを強くお勧めします。 これを行う方法については、以下に説明します。
(省略可能)コスト最適化のための容量のサイズ変更とリセット
自動スケールの課金を有効にした後、Spark のワークロードがファブリック容量を必要としなくなった場合、その容量を縮小できます。 Azure portalで次の手順に従ってください。
Azure ポータルにアクセスします。
[Fabric の容量] を検索して選択します。
一時停止 をクリックして、容量を一時的に停止します。
これにより、共有容量でのアクティブまたは不要な Spark の使用状況がクリアされます。
5分待ってから、「再開」をクリックしてキャパシティを再開します。
次に、残りのワークロード (Power BI、Data Warehouse、Real-Time インテリジェンス、データベースなど) に合わせて容量を小さい SKU にサイズ変更します。
注
SKU のサイズを変更できるのは Azure 管理者だけです。 変更は Fabric の設定内ではなく、Azure ポータル で行います。
課金と使用状況の監視
自動スケーリングの課金を有効にした後、Azure の組み込みのコスト管理ツールを使用してコンピューティングの使用状況を追跡します。
Azure ポータルに移動します。
ファブリック容量にリンクされたサブスクリプションを選択します。
サブスクリプションページで、コスト分析にアクセスします。
リソース (ファブリック容量) でフィルター処理し、メーターを使用します。
Autoscale for Spark Capacity Usage CU
オートスケール ビリングを利用して、Spark ワークロードのリアルタイムのコンピュート消費額を確認します。
追加のクォータを要求する
データ エンジニアリングワークロードまたはデータ サイエンス ワークロードで、現在の最大容量ユニット (CU) 制限よりも高いクォータが必要な場合は、Azure クォータ ページを使用して引き上げを要求できます。
- Azure portal に移動し、サインインします。
- 検索バーに「Azure クォータ」と入力して選択します。
- 使用可能なサービスの一覧からMicrosoft Fabricを選択します。
- Fabric 容量に関連付けられているサブスクリプションを選択します。
- 取得する新しい CU 制限を入力して、クォータ制限を編集します。
- クォータ要求を送信します。
Azure portal の [Azure クォータ] ページを使用して、より多くのクォータを取得することにより、Fabric リソースのクォータを増やす方法を示すグラフィック。
要求が承認されると、新しい CU 制限が更新され、Fabric 容量に適用されます。 これにより、自動スケール課金モデルは、Spark ワークロードを中断することなく、需要の増加に対応できます。