Microsoft Fabric 環境は、すべてのハードウェアおよびソフトウェア設定の統合アイテムです。 環境では、さまざまな Spark ランタイムの選択、コンピューティング リソースの構成、パブリック リポジトリまたはローカル ディレクトリからのライブラリのインストール、その他の設定を行うことができます。
この記事では、環境を作成、構成、および使用する方法の概要について説明します。
環境の作成
複数のエントリ ポイントから新しい環境を作成できます。
標準エントリ ポイント:
選択中に作成:
環境が作成されたら、ランタイム バージョンを選択します。 ドロップダウン メニューから [Runtime 1.3 (Spark 3.5、Delta 3.2)] を選択します。
環境を構成する
環境には、次の 3 つの主要なコンポーネントがあります。
- Spark ランタイムを含む Spark コンピューティング。
- ライブラリ。
- リソース。
発行を有効にするには、Spark コンピューティングとライブラリの構成が必要です。 リソースは、リアルタイムで変更できる共有ストレージです。 詳細については、「 変更を保存して発行する」を参照してください。
Spark コンピューティングの構成
環境の場合は、独自の既定の設定とプレインストールされたパッケージを使用して、さまざまな Spark ランタイム から選択できます。 使用可能なランタイムを表示するには、環境の [ ホーム ] タブに移動し、[ ランタイム] を選択します。 ニーズに最も適したランタイムを選択します。
重要
- 既存の構成またはライブラリを使用して環境のランタイムを更新する場合は、更新されたランタイム バージョンに基づいて内容を再発行する必要があります。
- 既存の構成またはライブラリが新しく更新されたランタイム バージョンと互換性がない場合、発行は失敗します。 互換性のない構成またはライブラリを削除し、環境をもう一度発行する必要があります。
Fabric Spark コンピューティング は、Spark と要件に合わせたエクスペリエンスで実行される比類のない速度と効率を提供します。 環境では、ワークスペース管理者と容量管理者によって作成されたさまざまなプールから選択できます。 構成をさらに調整し、Spark セッションで有効になるように Spark プロパティを管理できます。 詳細については、「Fabric 環境での Spark コンピューティング構成設定」を参照してください。
ライブラリを管理する
各 Spark ランタイムには、組み込みのライブラリが用意されています。 Fabric 環境では、パブリック ソースからライブラリをインストールしたり、自分または組織が構築したカスタム ライブラリをアップロードしたりすることもできます。 ライブラリを正常にインストールすると、Spark セッションでライブラリを使用できるようになります。 詳細については、「Fabric 環境でのライブラリ管理」を参照してください。 Fabric でライブラリを管理するためのベスト プラクティスについては、Fabric での Apache Spark ライブラリの管理に関するページを参照してください。
リソースを使用する
環境内の [リソース ] セクションでは、開発フェーズ中に小規模なリソースを管理する機能が容易になります。 環境にアップロードされたファイルは、アタッチされているノートブック間でアクセスできます。 詳細については、「 ファブリック環境でのリソースの管理」を参照してください。
変更を保存して発行する
[ ホーム ] タブでは、[ 保存して発行] を 簡単に見 つけることができます。 これらは、ライブラリと Spark コンピューティング セクションに未保存または未発行の保留中の変更がある場合にアクティブ化されます。
重要
- Private Link が有効になっている場合、ワークスペース内の最初の Spark ジョブで VNet プロビジョニングをトリガーする必要があります。これは約 10 ~ 15 分かかる場合があります。 環境の発行は Spark ジョブとしても実行されるため、Private Link が有効になった後に最初に実行された Spark ジョブである場合は、追加の遅延が発生する可能性があります。
保留中の変更が [ライブラリ ] セクションと [Spark コンピューティング ] セクションにある場合は、 保存 して 発行するように求めるバナーも表示されます。 機能は、ボタンの場合と同じです。
- ブラウザーを更新する、または開いたままにすると、保存されていない変更は失われます。 [保存] を選択して、退出する前に変更が確実に記録されるようにします。 保存では構成は適用されませんが、変更はシステムにキャッシュされます。
- 変更をライブラリと Spark コンピューティングに適用するには、[発行] を選択します。 公開前の最終レビューの [ 保留中の変更] ページが表示されます。 次に、[ すべて発行] を選択して、ファブリック環境で構成を開始します。 このプロセスには、特にライブラリの変更が関係する場合に、しばらく時間がかかる場合があります。
- 発行プロセスを取り消すには、バナーで [進行状況の表示 ] を選択し、操作を取り消します。
- 発行の完了時には通知が表示されます。 プロセス中に問題がある場合、エラー通知が発生します。
環境では、一度に 1 つの 発行 アクションのみを受け入れます。 進行中の発行アクション中に、ライブラリまたは Spark コンピューティング セクションに変更を加えることはできません。
発行は、[ リソース ] セクションのファイルとフォルダーの追加、削除、または編集には影響しません。 リソースを管理するアクションはリアルタイムで行われます。 [発行] アクションでは、[リソース] セクションの変更はブロックされません。
既存の環境の共有
Fabric では、さまざまなレベルのアクセス許可を持つアイテムの共有がサポートされています。
環境アイテムを共有すると、受信者は自動的に読み取りアクセス許可を受け取ります。 このアクセス許可を使用すると、環境の構成を調べて、ノートブックまたは Spark ジョブにアタッチできます。 コードを円滑に実行するには、ノートブックと Spark ジョブ定義を共有するときに、アタッチされた環境に対する読み取りアクセス許可を付与してください。
また、共有と編集のアクセス許可を使用して環境を共有することもできます。 共有アクセス許可を持つユーザーは、環境を他のユーザーと共有し続けることができます。 一方、編集アクセス許可を持つ受信者は、環境のコンテンツを更新できます。
環境を追加する
ファブリック環境は、 データ エンジニアリング/サイエンス ワークスペース、またはノートブックと Spark ジョブ定義にアタッチできます。
ワークスペースの既定値として環境をアタッチする
重要
ワークスペースの既定として環境を選択すると、ワークスペース管理者のみが既定の環境の内容を更新できます。
ワークスペースの設定>Data Engineering/Science>Spark 設定を選択して、[環境] タブを表示します。
ワークスペース管理者は、ワークスペース全体のデフォルトのワークロードを定義できます。 ここで構成した値は、ワークスペース設定に連携するこれらのノートブックと Spark ジョブ定義
[既定の環境を設定] トグルを使用すると、ユーザー エクスペリエンスを向上させることができます。 既定では、このトグルは [オフ] に設定されています。 ワークスペースの既定として必要な既定の Spark プロパティまたはライブラリがない場合は、この状況で Spark ランタイムを定義できます。 ワークスペースの既定の Spark コンピューティングとライブラリを準備する場合は、トグルを [オン ] に切り替えて、ワークスペースの既定値として環境を簡単にアタッチできます。 このオプションを選択すると、環境内のすべての構成が、ワークスペースの設定有効になります。
ノートブックまたは Spark ジョブ定義に環境をアタッチする
この環境は、 Notebook タブと Spark ジョブ定義 タブの両方で使用できます。 ノートブックと Spark ジョブ定義が環境にアタッチされると、そのライブラリ、コンピューティング構成、およびリソースにアクセスできます。 エクスプローラーには、自分と共有され、現在のワークスペースから取得され、アクセス権を持つ他のワークスペースからのすべての使用可能な環境が一覧表示されます。
アクティブなセッション中に別の環境に切り替えた場合、新しく選択した環境は次のセッションまで有効になりません。
別のワークスペースから環境をアタッチする場合、両方のワークスペースに 同じ容量とネットワーク セキュリティ設定が必要です。 容量やネットワーク セキュリティ設定が異なるワークスペースから環境を選択することはできますが、セッションの開始に失敗します。
別のワークスペースから環境をアタッチすると、その環境内のコンピューティング構成は無視されます。 代わりに、プールとコンピューティングの構成は、既定で現在のワークスペースの設定になります。
環境の削除
不要になった環境は削除できます。 環境を削除する前に、次の点を考慮してください。
重要
- 環境の削除は永続的であり、元に戻すことはできません。
- 現在環境にアタッチされているノートブックまたは Spark ジョブ定義は、別の環境またはワークスペース設定を使用するように再構成する必要があります。
- 環境がワークスペースの既定値として設定されている場合は、最初にワークスペースの既定の設定を変更してから削除する必要があります。
REST API を使用して環境を削除する
Fabric REST API を使用して、プログラムで環境を削除できます。
エンドポイント:DELETE https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/environments/{environmentId}
必要なアクセス許可: Environment.ReadWrite.All または Item.ReadWrite.All
REST API の詳細については、「 環境の削除」を参照してください。