Ciclo de vida de almacenamiento de objetos en el catálogo de Unity

Al eliminar un objeto protegible del catálogo de Unity (a través del Explorador de catálogos, SQL DROP, etc.), lo que sucede depende del tipo de objeto y del tipo de almacenamiento. En esta página se describen el ciclo de vida del archivo de datos, la facturación de almacenamiento y las opciones de recuperación después de la eliminación.

El tipo de almacenamiento determina lo que sucede con los archivos de datos

En el caso de tablas y volúmenes, lo que sucede con los archivos de datos subyacentes depende de si el recurso se administra o es externo. Para obtener más información sobre esta distinción, consulte Recursos administrados frente a recursos externos en el catálogo de Unity.

  • Tablas y volúmenes administrados: El catálogo de Unity controla la ubicación de almacenamiento y el ciclo de vida de los archivos de datos. Los archivos de datos residen en la ubicación de almacenamiento administrada definida en el nivel de metastore, catálogo o esquema. Al eliminar una tabla o volumen administrados, El catálogo de Unity elimina los archivos de datos subyacentes a través de un ciclo de vida de varias fases. Las ubicaciones de almacenamiento administradas vienen en dos tipos:

    • almacenamiento predeterminado de Azure Databricks: almacenamiento de objetos que Azure Databricks aprovisiona y administra en su cuenta de Azure Databricks.
    • Almacenamiento administrado proporcionado por el cliente: una ubicación de almacenamiento en la nube en su cuenta en la nube, configurada en el nivel de metastore, catálogo o esquema, en la que Azure Databricks escribe y administra datos.

    Ambas variantes comparten el mismo ciclo de vida de los archivos de datos, pero la facturación y la retención de archivos tras la eliminación difieren. Consulte Objetos administrados en el almacenamiento predeterminado de Azure Databricks frente al almacenamiento proporcionado por el cliente.

  • Tablas y volúmenes externos: controla la ubicación y el ciclo de vida del almacenamiento. Al eliminar una tabla externa o un volumen externo, Unity Catalog elimina los metadatos del metastore, pero los archivos de datos permanecen en la ubicación de almacenamiento en la nube.

  • Catálogos externos y federados: los datos residen en otro origen de datos (como una base de datos federada a través de la federación de Lakehouse o una metastore de Hive a través de la federación de metastore de Hive). El catálogo de Unity contiene solo los metadatos de conexión. Al eliminar un catálogo externo, El catálogo de Unity quita los metadatos de conexión. Los datos del sistema de origen no se ven afectados.

En el caso de otros objetos protegibles (catálogos, esquemas, vistas, funciones, modelos), la eliminación elimina solo los metadatos; no hay archivos de datos asociados para que el Catálogo de Unity lo administre. Al eliminar un catálogo o esquema con CASCADE, se eliminan las tablas y los volúmenes que contiene, cada uno según su propio comportamiento como administrado o externo descrito anteriormente.

Recuperación de un objeto eliminado

La forma de recuperar un objeto eliminado depende del tipo de objeto.

Tipo de objeto Recuperación
Tablas, vistas materializadas, tablas de streaming Use UNDROP en un plazo de 7 días a partir de la eliminación. Las vistas materializadas y las tablas de streaming deben haberse creado a partir de un proceso ETL, y dicho proceso debe seguir existiendo.
Catálogos, esquemas, volúmenes, vistas, funciones, modelos No se puede recuperar después de eliminar.

Advertencia

La recuperación está limitada en el tiempo y se realiza sobre la base del mejor esfuerzo. Elimine un objeto solo después de confirmar que ya no necesita los datos. Use la RESTRICT opción (valor predeterminado) en DROP CATALOG y DROP SCHEMA para evitar la eliminación recursiva accidental de objetos no vacíos.

Ciclo de vida de los datos administrados después de una eliminación

La eliminación de una tabla o volumen administrados no elimina inmediatamente los archivos de datos del almacenamiento en la nube. Los archivos de datos se conservan durante una ventana de recuperación y se eliminan permanentemente después.

Fase 1: Ventana recuperación

Durante los 7 días posteriores a la eliminación, Unity Catalog conserva los datos eliminados de forma lógica para que pueda recuperar el objeto. Durante esta ventana:

  • Use el comando SQL UNDROP para recuperar tablas, vistas materializadas y tablas de streaming.
  • El catálogo de Unity conserva los metadatos del objeto quitado y la facturación del almacenamiento continúa.

Fase 2: Purgar

Cuando finaliza la ventana de recuperación de 7 días, el objeto ya no se puede recuperar. El Catálogo de Unity elimina permanentemente los archivos de datos en un plazo de 48 horas. Para obtener detalles de facturación de almacenamiento en cada fase, consulte Facturación de almacenamiento después de una eliminación.

Objetos administrados en Azure Databricks: almacenamiento predeterminado frente al almacenamiento proporcionado por el cliente

Los objetos administrados pueden usar dos tipos de almacenamiento administrado. El ciclo de vida de los datos y el comportamiento de purga de Unity Catalog son los mismos, pero la facturación y la retención de archivos tras la purga difieren.

Tipo de almacenamiento Purga de archivos
Azure Databricks almacenamiento predeterminado (administrado por Azure Databricks en su nombre) El Catálogo de Unity elimina permanentemente los archivos de datos en un plazo de 48 horas a partir de la finalización de la ventana de recuperación.
Almacenamiento administrado proporcionado por el cliente (una ubicación de almacenamiento en la nube que configuró en el metastore, el catálogo o el esquema) El Catálogo de Unity elimina permanentemente los archivos de datos en un plazo de 48 horas a partir de la finalización de la ventana de recuperación. Las directivas de almacenamiento en la nube (control de versiones de objetos, eliminación temporal y reglas de ciclo de vida) pueden conservar archivos más allá de este punto. El proveedor de nube le factura el almacenamiento según esas directivas.

Para más información sobre Azure Databricks almacenamiento predeterminado, consulte Almacenamiento predeterminado en Databricks. Para configurar el almacenamiento administrado proporcionado por el cliente, consulte Especificar una ubicación de almacenamiento administrada en el catálogo de Unity.

Tablas y volúmenes externos

Cuando eliminas una tabla externa o un volumen externo, Unity Catalog elimina los metadatos del metastore. Los archivos de datos del almacenamiento en la nube no se eliminan. Tu proveedor de servicios en la nube te sigue cobrando el almacenamiento según las políticas de tu bucket.

Para quitar los archivos, elimínelos directamente del almacenamiento en la nube.

Catálogos externos y federados

Un catálogo externo contiene metadatos que hacen referencia a un origen de datos externo. Al eliminar un catálogo externo, El catálogo de Unity quita los metadatos de conexión. Los datos del sistema de origen no se ven afectados. Azure Databricks no le factura el almacenamiento en el sistema de origen; se aplica la facturación del sistema de origen.

Facturación de almacenamiento tras una eliminación

La siguiente tabla resume cómo Azure Databricks y su proveedor de nube facturan por el almacenamiento en cada fase. Azure Databricks solo factura el almacenamiento en Azure Databricks almacenamiento predeterminado y solo durante la ventana de recuperación: la facturación de almacenamiento se detiene una vez que se supera la ventana de recuperación de 7 días. Para el almacenamiento administrado proporcionado por el cliente y el almacenamiento externo, el proveedor de nube le factura directamente.

Tipo de almacenamiento Ventana recuperación Purga de fase 2 Después de la purga
Administrado en el almacenamiento predeterminado de Azure Databricks Facturado por Azure Databricks No facturable por el cliente (la facturación se detiene una vez que pasa la ventana de recuperación) No aplicable
Administrado en el almacenamiento proporcionado por el cliente Proveedor de servicios en la nube facturado Proveedor de servicios en la nube facturado Facturado por el proveedor de nube (regido por las directivas de su depósito)
Tablas y volúmenes externos Proveedor de nube facturado (los archivos no se eliminan) Proveedor de servicios en la nube facturado Proveedor de servicios en la nube facturado
Catálogos externos y federados No aplicable No aplicable No aplicable

Después de eliminar un objeto administrado en el almacenamiento proporcionado por el cliente, es posible que siga viendo los cargos de almacenamiento del proveedor de nube. Para reducir estos costes, compruebe las directivas de control de versiones de objetos, eliminación temporal y ciclo de vida de su depósito.

Eliminar un objeto del Explorador de catálogos

Puede eliminar objetos de Unity Catalog desde Catalog Explorer en la interfaz de usuario del espacio de trabajo. El ciclo de vida de los datos descrito en este artículo se aplica si elimina un objeto del Explorador de catálogos o ejecuta una instrucción SQL DROP .

¿Qué ocurre al eliminar un área de trabajo?

De forma predeterminada, la eliminación de un área de trabajo no elimina automáticamente el catálogo predeterminado del área de trabajo de Unity Catalog. Si se mantiene el catálogo, sus tablas administradas y volúmenes se mantienen, y la facturación del almacenamiento continúa hasta que se elimina el catálogo.

Azure Databricks ofrece una opción de eliminación forzada que quita el catálogo del área de trabajo y sus datos como parte de la eliminación del área de trabajo. Consulte Eliminar forzosamente el catálogo del área de trabajo. Si el catálogo del área de trabajo no se elimina de forma forzada, se conserva después de eliminar el área de trabajo y debe eliminarse manualmente.

Para más información sobre la eliminación del área de trabajo, consulte Eliminación de un área de trabajo.

Recursos adicionales

  • Last updated on