Configurar la ubicación de almacenamiento de resultados del cuaderno

Los requisitos de privacidad de su organización requieren que almacene todos los resultados del cuaderno interactivo en la instancia raíz de Azure Storage de la cuenta en la nube, en lugar de la ubicación predeterminada del plano de control que administra Databricks, donde se almacenan algunos resultados de los comandos del cuaderno.

La salida del comando Notebook se almacena de forma diferente en función de cómo se ejecute el cuaderno.

De forma predeterminada, al ejecutar un cuaderno de forma interactiva, haga clic en Ejecutar en el cuaderno:

• Si los resultados son de pequeño tamaño, se almacenan en el plano de control de Azure Databricks, junto con el contenido y los metadatos del comando del cuaderno.
• Los resultados más grandes se almacenan en la instancia raíz de Azure Storage del área de trabajo en la suscripción de Azure. Azure Databricks crea automáticamente la instancia raíz de Azure Storage. Azure Databricks usa esta área de almacenamiento para los datos del sistema del área de trabajo y la raíz de DBFS del área de trabajo. Los resultados del cuaderno se guardan en el almacenamiento de datos del sistema del área de trabajo, al que los usuarios no pueden acceder.

Al ejecutar un cuaderno como un trabajo programando o haciendo clic en Ejecutar ahora en la página Trabajos, todos los resultados se almacenan en la instancia raíz de Azure Storage del área de trabajo en la cuenta.

Puede configurar el área de trabajo para almacenar todos los resultados de cuadernos interactivos en la cuenta en la nube, independientemente del tamaño del resultado.

Configuración de la ubicación de almacenamiento para los resultados interactivos del cuaderno

Puede configurar el área de trabajo para almacenar todos los resultados de cuadernos interactivos en la suscripción de Azure, en lugar del plano de control. Puede habilitar esta característica mediante la página de configuración de administración o la API de REST. Esta configuración no tiene ningún efecto en los cuadernos que se ejecutan como trabajos, cuyos resultados ya están almacenados en la suscripción de Azure de forma predeterminada.

No olvide estas cuestiones:

• Los cambios en esta configuración solo son efectivos para los nuevos resultados. Los resultados del cuaderno existentes no se mueven.
• Algunos metadatos sobre los resultados, como los nombres de las columnas del gráfico, se siguen almacenando en el plano de control.
• Se pueden incurrir en mayores costos de almacenamiento en el proveedor de nube.
• Se puede producir un aumento de la latencia de red y E/S al leer y escribir resultados.

Almacenamiento de todos los resultados del cuaderno en la cuenta mediante la página de configuración de administración

Como administrador del área de trabajo:

1. Vaya a la página de configuración.
2. Haga clic en la pestaña Security (Seguridad).
3. Haga clic en botón de alternancia Almacenamiento de resultados del bloc de notas interactivos en la cuenta de cliente.

Almacenamiento de todos los resultados en la cuenta mediante la consola mediante la API de REST

Para configurar el área de trabajo para almacenar todos los resultados de los cuadernos en la suscripción de Azure mediante la API de REST:

• Debe ser administrador del área de trabajo.
• Necesita un token de acceso personal. En las instrucciones siguientes, se supone que ya ha configurado un archivo .netrc con el token de acceso personal para que pueda usar la opción -n en los comandos curl. Consulte el artículo al que se hizo referencia antes, para obtener más información.

Para obtener la configuración actual, llame al punto de conexión GET /workspace-conf y establezca keys en storeInteractiveNotebookResultsInCustomerAccount:

curl -n --request GET \
  'https://<databricks-instance>/api/2.0/workspace-conf?keys=storeInteractiveNotebookResultsInCustomerAccount'

Para permitir que el área de trabajo almacene los resultados del cuaderno interactivo en la suscripción de Azure, llame al punto de conexión PATCH /workspace-conf y establezca storeInteractiveNotebookResultsInCustomerAccount en true del cuerpo de la solicitud:

curl -n --request PATCH \
 'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "true"
}'

Para deshabilitar la característica, establezca la misma marca en false:

curl -n --request PATCH \
  'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "false"
}'