Unity カタログ のセキュリティ保護可能なオブジェクト を (カタログ エクスプローラー、SQL DROPなどを使用して) 削除する場合の動作は、オブジェクトの種類とストレージの種類によって異なります。 このページでは、削除後のデータ ファイルのライフサイクル、ストレージの課金、回復オプションについて説明します。
ストレージの種類によって、データ ファイルの動作が決まります
テーブルとボリュームの場合、基になるデータ ファイルの動作は、資産が管理されているか外部であるかによって異なります。 この違いについて詳しくは、 Unity カタログの管理対象アセットと外部アセットに関するページをご覧ください。
マネージド テーブルとボリューム: Unity カタログは、ストレージの場所とデータ ファイルのライフサイクルを制御します。 データ ファイルは、メタストア、カタログ、またはスキーマ レベルで定義されたマネージド ストレージの場所に格納されます。 マネージド テーブルまたはボリュームを削除すると、Unity カタログは、複数フェーズのライフサイクルを通じて基になるデータ ファイルを削除します。 マネージド ストレージの場所には、次の 2 種類があります。
- Azure Databricks の既定のストレージ: Azure Databricks がお客様の Azure Databricks アカウント内でプロビジョニングし、管理するオブジェクト ストレージ。
- 顧客提供のマネージド ストレージ: Azure Databricks がデータの書き込みと管理を行う、クラウド アカウント内のクラウド ストレージ ロケーション。これは、メタストア、カタログ、またはスキーマ レベルで設定されます。
どちらのフレーバーも同じデータ ファイルのライフサイクルを共有しますが、課金と削除後のファイルの保持期間は異なります。 既定のストレージと顧客が提供Azure Databricksストレージ上のマネージド オブジェクトを参照してください。
外部テーブルとボリューム: ストレージの場所とライフサイクルを制御します。 外部テーブルまたはボリュームを削除すると、Unity カタログはメタデータをメタストアから削除しますが、データ ファイルはクラウドストレージの場所に残ります。
外部カタログとフェデレーション カタログ: データは別のデータ ソースに存在します (Lakehouse フェデレーションによるフェデレーション データベース、Hive メタストア フェデレーションによる Hive メタストアなど)。 Unity カタログには、接続メタデータのみが保持されます。 外部カタログを削除すると、Unity カタログによって接続メタデータが削除されます。 ソース システム内のデータは影響を受けません。
その他のセキュリティ保護可能なオブジェクト (カタログ、スキーマ、ビュー、関数、モデル) の場合、削除によって削除されたメタデータのみが削除されます。Unity カタログで管理する関連データ ファイルはありません。
CASCADEを使用してカタログまたはスキーマを削除すると、前述の独自のマネージドまたは外部の動作に従って、含まれているテーブルとボリュームが削除されます。
削除されたオブジェクトを回復する
削除されたオブジェクトを回復する方法は、オブジェクトの種類によって異なります。
| オブジェクトの種類 | 復元 |
|---|---|
| テーブル、具体化されたビュー、ストリーミング テーブル | 削除から 7 日以内に UNDROP を使用します。 具体化されたビューとストリーミング テーブルは ETL パイプラインから作成されている必要があり、そのパイプラインは引き続き存在する必要があります。 |
| カタログ、スキーマ、ボリューム、ビュー、関数、モデル | 削除後に回復できません。 |
Warning
復旧は時間制限があり、ベスト エフォートです。 データが不要になったと確認した後でのみ、オブジェクトを削除します。
RESTRICTとDROP CATALOGで DROP SCHEMA オプション (既定値) を使用すると、空でないオブジェクトが誤って再帰的に削除されるのを防ぐことができます。
削除後のマネージド データのライフサイクル
マネージド テーブルまたはボリュームを削除しても、クラウド ストレージからデータ ファイルがすぐに削除されることはありません。 データ ファイルは回復期間中に保持され、後で完全に削除されます。
フェーズ 1: 回復ウィンドウ
削除後 7 日間、Unity カタログは論理的に削除されたデータを保持して、オブジェクトを回復できるようにします。 このウィンドウでは、次の操作を行います。
- UNDROP SQL コマンドを使用して、テーブル、具体化されたビュー、およびストリーミング テーブルを回復します。
- Unity Catalog は削除されたオブジェクトのメタデータを保持し、ストレージの課金は続行されます。
フェーズ 2: 消去
7 日間の回復期間が終了すると、オブジェクトは回復できなくなります。 Unity カタログは、48 時間以内にデータ ファイルを完全に削除します。 各フェーズのストレージ課金の詳細については、「 削除後のストレージ課金」を参照してください。
Azure Databricks 上のマネージド オブジェクト: 既定のストレージと顧客提供ストレージの比較
マネージド オブジェクトでは、2 種類のマネージド ストレージを使用できます。 データ ライフサイクルと Unity カタログの消去動作は同じですが、課金と消去後のファイルの保持期間は異なります。
| ストレージの種類 | ファイルの消去 |
|---|---|
| 既定のストレージAzure Databricks (ユーザーに代わってAzure Databricksによって管理されます) | Unity カタログは、回復ウィンドウが終了してから 48 時間以内にデータ ファイルを完全に削除します。 |
| 顧客が提供するマネージド ストレージ (メタストア、カタログ、またはスキーマで構成したクラウド ストレージの場所) | Unity カタログは、回復ウィンドウが終了してから 48 時間以内にデータ ファイルを完全に削除します。 クラウド ストレージ ポリシー (オブジェクトのバージョン管理、論理的な削除、ライフサイクル ルール) では、この時点を過ぎたファイルが保持される場合があります。 クラウド プロバイダーから、これらのポリシーに従ってストレージの料金が請求されます。 |
既定Azure Databricksストレージの詳細については、「Databricks の既定のストレージ」を参照してください。 お客様が提供するマネージド ストレージを構成するには、「 Unity カタログでマネージド ストレージの場所を指定する」を参照してください。
外部テーブルとボリューム
外部テーブルまたは外部ボリュームを削除すると、Unity カタログによってメタデータがメタストアから削除されます。 クラウド ストレージ内のデータ ファイルは削除されません。 クラウドプロバイダーは、バケットのポリシーに従って、ストレージの料金を引き続き請求します。
ファイルを削除するには、クラウド ストレージから直接削除します。
外部カタログとフェデレーション カタログ
外部カタログには、外部データ ソースを参照するメタデータが含まれています。 外部カタログを削除すると、Unity カタログによって接続メタデータが削除されます。 ソース システム内のデータは影響を受けません。 Azure Databricksは、ソース システム内のストレージに対して課金されません。ソース システムの課金が適用されます。
削除後のストレージ課金
次の表は、Azure Databricksとクラウド プロバイダーが各フェーズのストレージに対して課金する方法をまとめたものです。 Azure Databricks では、Azure Databricks の既定ストレージのストレージ使用分のみが課金対象となり、課金されるのは復旧期間中だけです。7 日間の復旧期間が過ぎると、ストレージ課金は停止します。 顧客が提供するマネージド ストレージと外部ストレージの場合、クラウド プロバイダーから直接請求されます。
| ストレージの種類 | 回復ウィンドウ | フェーズ 2 の消去 | パージ後 |
|---|---|---|---|
| Azure Databricks の既定のストレージで管理 | 課金対象の Azure Databricks | 顧客が課金できない (復旧期間が過ぎると課金が停止する) | 適用なし |
| 顧客が提供するストレージで管理 | クラウドプロバイダーによる請求 | クラウド プロバイダーへの課金 | 課金されるクラウド プロバイダー (バケットのポリシーによって管理されます) |
| 外部テーブルとボリューム | クラウド プロバイダーの課金 (ファイルは削除されません) | クラウドプロバイダーに請求済み | クラウドプロバイダーの請求 |
| 外部カタログとフェデレーション カタログ | 適用なし | 適用なし | 適用なし |
顧客が提供するストレージ上のマネージド オブジェクトを削除しても、クラウド プロバイダーからのストレージ料金が表示される場合があります。 これらの料金を減らすには、バケットのオブジェクトのバージョニング、ソフト削除、ライフサイクル ポリシーを確認してください。
カタログ エクスプローラーからオブジェクトを削除する
ワークスペース UI のカタログ エクスプローラーから Unity カタログ オブジェクトを削除できます。 この記事で説明するデータ ライフサイクルは、カタログ エクスプローラーからオブジェクトを削除するか、SQL DROP ステートメントを実行するかに関係なく適用されます。
ワークスペースを削除するとどうなりますか
既定では、ワークスペースを削除しても、ワークスペースの既定の Unity カタログ カタログは自動的に削除されません。 カタログが保持されている場合、そのマネージド テーブルとボリュームは残り、ストレージの課金はカタログが削除されるまで続行されます。
Azure Databricksには、ワークスペースの削除の一部としてワークスペース カタログとそのデータを削除する強制削除オプションが用意されています。 ワークスペース カタログの強制削除を参照してください。 ワークスペース カタログが強制的に削除されない場合、ワークスペースカタログはワークスペースの削除後も保持され、手動で削除する必要があります。
ワークスペースの削除の詳細については、「 ワークスペースの削除」を参照してください。