Compartir a través de

Administración de metastores del catálogo de Unity

En este artículo se muestra cómo actualizar, eliminar y administrar el comportamiento de los metastores del catálogo de Unity en la cuenta de Azure Databricks.

Para obtener información sobre las metastores del catálogo de Unity y cómo crearlas, consulte Creación de un metastore de catálogo de Unity.

Permitir que una tienda de metadatos se asigne automáticamente a nuevas áreas de trabajo

Para asignar automáticamente un metastore existente de Unity Catalog a nuevos espacios de trabajo en la región de ese metastore, un administrador de cuenta puede habilitar la asignación automática de espacios de trabajo para el metastore. Si no se selecciona esta configuración, el administrador que crea un área de trabajo en la misma región que la metastore debe habilitar manualmente el área de trabajo para el catálogo de Unity y seleccionar la metastore en una lista desplegable.

Antes de que un administrador de la cuenta habilite esta opción, debe asegurarse de comprender los siguientes impactos en las nuevas áreas de trabajo:

Para habilitar la asignación automática:

  1. Como administrador de la cuenta, vaya a la consola de la cuenta de Azure Databricks.
  2. Haga clic en el icono Datos.Catálogo.
  3. Seleccione su metastore.
  4. En la pestaña Configuración , en Asignación del área de trabajo, seleccione Asignar automáticamente nuevas áreas de trabajo en <region> esta metastore.
  5. En el cuadro de diálogo de confirmación, haga clic en Habilitar asignación automática.

Adición de almacenamiento administrado a un metastore existente

El almacenamiento administrado de nivel de metastore es opcional y no se incluye para las metastores que se crearon automáticamente. Es posible que quiera agregar almacenamiento de nivel de metastore a su metastore si prefiere un modelo de aislamiento de datos que almacene los datos de forma centralizada para varias áreas de trabajo. Necesita almacenamiento de nivel de metastore si es un asociado de Azure Databricks que usa ubicaciones de almacenamiento provisional personales.

Consulte también Especificación de una ubicación de almacenamiento administrada en Unity Catalog.

Requisitos

  • Debe tener al menos una área de trabajo asociada al metastore de Unity Catalog.
  • Permisos de Azure Databricks necesarios:
    • Para crear una ubicación externa, debe ser un administrador o usuario de metastore con los privilegios CREATE EXTERNAL LOCATION y CREATE STORAGE CREDENTIAL.
    • Para agregar la ubicación de almacenamiento a la definición de metastore, debe ser administrador de la cuenta. Para obtener instrucciones sobre cómo habilitar el rol de administrador de la cuenta en su cuenta, consulte Establecimiento del primer administrador de la cuenta.
  • Permisos de inquilino de Azure necesarios:
    • Permiso para crear una cuenta de almacenamiento que se usará con Azure Data Lake Storage. Esta cuenta de almacenamiento debe tener un espacio de nombres jerárquico. Consulte Creación de una cuenta de almacenamiento para su uso con Azure Data Lake Storage habilitado.
    • Permiso para crear un nuevo recurso que contenga una identidad administrada asignada por el sistema. Esto requiere que sea colaborador o propietario de un grupo de recursos en cualquiera de las suscripciones del inquilino.

Paso 1: Crear la ubicación de almacenamiento

Siga las instrucciones del paso 1 (opcional): cree un contenedor de almacenamiento para el almacenamiento administrado de nivel de metastore y el paso 2 (opcional): cree una identidad administrada para acceder a la ubicación de almacenamiento administrada para crear un contenedor de almacenamiento en Azure Data Lake Storage y un conector de acceso de Azure Databricks que contenga una identidad administrada que tenga acceso al contenedor de almacenamiento.

Paso 2: Crear una ubicación externa en Unity Catalog

En este paso, creará una ubicación externa en Unity Catalog que hace referencia a la ruta de acceso de ADLS Gen 2 que acaba de crear.

  1. Cree una credencial de almacenamiento.

    La credencial de almacenamiento representará la identidad administrada de Azure que creó en el Paso 1: Creación de la ubicación de almacenamiento.

    Siga las instrucciones de Creación de una credencial de almacenamiento para conectarse a Azure Data Lake Storage.

  2. Cree una ubicación externa que haga referencia a la credencial de almacenamiento que creó en el paso anterior y el contenedor de almacenamiento de ADLS Gen 2 que creó en el Paso 1: Crear la ubicación de almacenamiento.

    Siga las instrucciones de Creación de una ubicación externa para conectar el almacenamiento en la nube a Azure Databricks

  3. Conceda el privilegio CREATE MANAGED STORAGE en la ubicación externa.

    1. Haga clic en el nombre de la ubicación externa para abrir el panel de detalles.
    2. En la pestaña Permisos, haga clic en Conceder.
    3. En el cuadro de diálogo Conceder en <external location>, seleccione usted mismo en el campo Entidades de seguridad y seleccione CREATE MANAGED STORAGE.
    4. Haga clic en Conceder.

Paso 3: Agregar la ubicación de almacenamiento al metastore

Después de crear una ubicación externa que represente el cubo de almacenamiento de metastore, puede agregarla al metastore.

  1. Como administrador de la cuenta, inicie sesión en la consola de la cuenta.

  2. Haga clic en el icono Datos.Catálogo.

  3. Haga clic en el nombre del metastore.

  4. Confirme que es el Administrador de metastore.

    Si no lo es, haga clic en Editar y asígnese como administrador de metastore. Puede anular la asignación cuando haya terminado con este procedimiento.

  5. En la pestaña Configuración, junto a la ruta de acceso deADLS Gen 2, haga clic en Establecer.

  6. En el cuadro de diálogo Establecer raíz de metastore, escriba la ruta de acceso de ADLS Gen 2 que usó para crear la ubicación externa y haga clic en Actualizar.

    No puede modificar esta ruta de acceso una vez establecida, pero puede quitarla y agregar una nueva ruta de acceso si es necesario.

Eliminar el almacenamiento de metastore

Si tiene almacenamiento de nivel de metastore para tablas y volúmenes administrados (también conocido como raíz de almacenamiento de metastore), pero quiere aplicar el aislamiento de almacenamiento de datos en el nivel de catálogo o esquema, puede quitar la opción de almacenamiento de nivel de metastore para el metastore. Cuando lo haga, ocurre lo siguiente:

  • Los catálogos existentes que no tienen ninguna raíz de almacenamiento especificada se asignan a la ubicación de almacenamiento en la nube de la raíz de almacenamiento de metastore como su ubicación de almacenamiento administrada de nivel de catálogo. En otras palabras, la raíz de almacenamiento de metastore se "inserta" en estos catálogos. El acceso a los datos de estos catálogos sigue funcionando sin interrupciones.
  • Dependiendo de cómo se creó el metastore, es posible que no haya una ubicación externa protegible definida en el Catálogo de Unity para la raíz de almacenamiento de metastore. En ese caso, se crea una nueva ubicación externa y las credenciales de almacenamiento asociadas. La nueva ubicación externa se denomina prior_metastore_root_location de forma predeterminada.
  • Cada vez que un usuario crea un catálogo, debe proporcionar una ubicación de almacenamiento dedicada registrada en el catálogo de Unity como una ubicación externa.

Nota:

Si usa Delta Sharing para compartir cuadernos y usó la raíz de metastore como almacenamiento de cuadernos compartido, debe hacer lo siguiente para poder quitar la raíz de metastore:

  1. Retire el cuaderno de la compartición.
  2. Vuelva a agregar el cuaderno mediante una ubicación de almacenamiento dedicada.

Consulte Agregar archivos de cuaderno a un recurso compartido.

Para quitar la raíz del almacenamiento de metastore:

  1. Como administrador de la cuenta, inicie sesión en la consola de la cuenta.
  2. Haga clic en el icono Datos.Catálogo.
  3. Haga clic en el nombre del metastore.
  4. En la pestaña Configuración , en ruta de acceso de ADLS Gen 2, haga clic en el botón Quitar .
  5. En el cuadro de diálogo de confirmación, haga clic en Quitar.

Adición de un administrador de metastore

Los administradores de metastore son opcionales, pero hay situaciones en las que es posible que desee una para la metastore. Consulte Asignación de un administrador de metastore.

Eliminar un metastore

Si va a cerrar la cuenta de Azure Databricks o tiene otro motivo para eliminar el acceso a los datos administrados por el metastore de Unity Catalog, puede eliminar el metastore.

Advertencia

Todos los objetos administrados por el metastore serán inaccesibles desde las áreas de trabajo de Azure Databricks. Esta operación no se puede deshacer.

Los datos y metadatos de la tabla administrada se eliminarán automáticamente después de 30 días. La eliminación del metastore no afecta a los datos de tabla externos del almacenamiento en la nube.

Para eliminar un metastore:

  1. Como administrador del metastore, inicie sesión en la consola de la cuenta.
  2. Haga clic en el icono Datos.Catálogo.
  3. Haga clic en el nombre del metastore.
  4. En la pestaña Configuración, haga clic en el menú de tres botones situado en la esquina superior derecha y seleccione Eliminar.
  5. En el cuadro de diálogo de confirmación, escriba el nombre del metastore y haga clic en Eliminar.