この記事では、Apache Spark ワークスペースの管理設定に関してよく寄せられる質問への回答を示します。
RBAC ロールを使用して Spark ワークスペース設定を構成するにはどうすればよいですか?
[Manage Access] (アクセスの管理) メニューを使用して、特定のユーザー、配布グループ、またはセキュリティ グループに管理者のアクセス許可を追加します。 このメニューを使用して、ワークスペースに変更を加えることや、Spark ワークスペースの設定を追加、変更、または削除するためのアクセス権を付与することもできます。
環境レベルで Spark プロパティに加えられた変更は、アクティブなノートブック セッションまたはスケジュールされた Spark ジョブに適用されますか?
ワークスペース レベルで構成を変更しても、アクティブな Spark セッションには適用されません。 これには、バッチまたはノートブックベースのセッションも含まれます。 設定を有効にするには、新しい構成設定を保存した後で、新しいノートブックまたはバッチ セッションを開始する必要があります。
容量レベルでノード ファミリ、Spark ランタイム、Spark プロパティを構成できますか?
はい。ランタイムを変更することや、容量管理設定ページの一部としてデータ エンジニアリング/サイエンス設定を使用して Spark プロパティを管理することができます。 これらの容量設定を表示および変更するには、容量管理者アクセス権が必要です。
ワークスペースでノートブックと Spark ジョブ定義ごとに異なるノード ファミリを選択できますか?
現時点では、ワークスペース全体に対してメモリ最適化ベースのノード ファミリのみ選択できます。
ノートブック レベルでこれらの設定を構成できますか?
はい。%%configure を使用して、ノートブックの Spark セッション レベルでプロパティをカスタマイズできます
選択したノード ファミリのノードの最小数と最大数を構成できますか?
はい。Fabric ワークスペースにリンクされている Fabric 容量のバースト許容上限に基づいて、最小および最大ノードを選択できます。
メモリ最適化またはハードウェア アクセラレータによる GPU ベースのノード ファミリで Spark プールの自動スケーリングを有効にできますか?
自動スケールは Spark プールで使用でき、実行時にシステムがジョブ ステージに基づいてコンピューティングを自動的にスケールアップできるようにします。 現在 GPU は使用できません。 この機能は、今後のリリースで利用可能になる予定です。
Spark プールのインテリジェント キャッシュは、ワークスペースで既定でサポートされているか、有効になっていますか?
インテリジェント キャッシュは、すべてのワークスペースの Spark プールで既定で有効になっています。