DBFS とは

DBFS という用語は、プラットフォームの 2 つの部分を記述するために使用されます。

• DBFS ルート
• DBFS マウント

DBFS ルートまたは DBFS マウントを使用したデータの保存とアクセスは非推奨のパターンであり、Databricks では推奨されません。

Databricks ファイル システムとは

DBFS という用語は、Azure Databricks がクラウドベースのストレージを操作するために使用する分散ファイル システムを記述する Databricks ファイル システムに由来します。

DBFS に関連付けられている基になるテクノロジは、引き続き Azure Databricks プラットフォームの一部です。 たとえば、dbfs:/ は、Unity Catalog ボリュームを操作するときのオプションのスキームです。

DBFS に関する過去および現在の警告と注意事項は、DBFS ルートまたは DBFS マウントにのみ適用されます。

DBFS と Unity Catalog の連携方法

Databricks では、Unity Catalog を使用してすべてのデータへのアクセスを管理することをお勧めします。

Unity Catalog では、組織がクラウド オブジェクト ストレージ内のデータに最小限の特権でアクセスできるように、外部の場所とストレージ資格情報、およびボリュームの概念が追加されています。

一部のセキュリティ構成では、Unity Catalog で管理されるリソースと DBFS の両方に直接アクセスできます。これは、主に、移行が完了しているか、Unity Catalog に部分的に移行された組織に対して行われます。 「DBFS と Unity Catalog のベスト プラクティス」をご覧ください。

DBFS ルートとは

DBFS ルート は、Azure Databricks ワークスペースを含むクラウド アカウントでのワークスペース作成の一環としてプロビジョニングされるストレージの場所です。 DBFS ルートの構成とデプロイの詳細については、Azure Databricks のクイック スタートを参照してください。

Databricks では、運用データ、ライブラリ、またはスクリプトを DBFS ルートに保存することはお勧めしません。 「DBFS ルートの使用方法に関する推奨事項」を参照してください。

DBFS ルートを含むストレージ アカウントのカスタマー マネージド キーを構成するには、DBFS ルートのカスタマー マネージド キーに関する記事を参照してください。

DBFS ルートを含むストレージ アカウントへのネットワーク アクセスを制限するには、「ワークスペース ストレージ アカウントのファイアウォール サポートを有効にする」を参照してください。

オブジェクト ストレージをマウントする

Note

DBFS マウントは非推奨です。 Databricks では、Unity Catalog ボリュームを使用することをお勧めします。 「ボリュームの作成と操作」を参照してください。

オブジェクト ストレージを DBFS にマウントすると、ローカル ファイル システム上のオブジェクトと同じように、オブジェクト ストレージ内のオブジェクトにアクセスできるようになります。 マウントには、ストレージへのアクセスに必要な Hadoop 構成が保存されます。 詳細については、「Azure Databricks へのクラウド オブジェクト ストレージのマウント」を参照してください。