Compartir vía

Trabajo con archivos en Azure Databricks

  • Artículo

Azure Databricks proporciona varias utilidades y API para interactuar con archivos en las siguientes ubicaciones:

  • Volúmenes de Unity Catalog
  • Archivos del área de trabajo
  • Almacenamiento de objetos en la nube
  • Montajes de DBFS y raíz de DBFS
  • Almacenamiento efímero conectado al nodo del controlador del clúster

En este artículo se proporcionan ejemplos para interactuar con archivos en estas ubicaciones para las siguientes herramientas:

  • Apache Spark
  • Spark SQL y Databricks SQL
  • Utilidades del sistema de archivos de Databricks (dbutils.fs o %fs)
  • CLI de Databricks
  • API REST de Databricks
  • Comandos de shell de Bash (%sh)
  • Instalaciones en la biblioteca con ámbito de cuaderno mediante %pip
  • pandas
  • Utilidades de procesamiento y administración de archivos de Python de OSS

Importante

Las operaciones de archivo que requieren acceso a datos FUSE no pueden acceder directamente al almacenamiento de objetos en la nube mediante URI. Databricks recomienda usar volúmenes de Unity Catalog para configurar el acceso a estas ubicaciones para FUSE.

Scala admite FUSE para volúmenes de Unity Catalog y archivos de área de trabajo en el proceso configurado con Unity Catalog y el modo de acceso compartido. En el proceso configurado con el modo de acceso de usuario único y Databricks Runtime 14.3 y versiones posteriores, Scala admite FUSE para archivos de área de trabajo y volúmenes de Unity Catalog, excepto los subprocesos que se originan en Scala, como el comando de Scala "cat /Volumes/path/to/file".!!.

¿Es necesario proporcionar un esquema de URI para acceder a los datos?

Las rutas de acceso a datos de Azure Databricks siguen uno de los siguientes estándares:

  • Las rutas de acceso de estilo URI incluyen un esquema URI. En el caso de las soluciones de acceso a datos nativos de Databricks, los esquemas de URI son opcionales para la mayoría de los casos de uso. Cuando acceda directamente a los datos del almacenamiento de objetos en la nube, debe proporcionar el esquema URI correcto para el tipo de almacenamiento.

    Diagrama de rutas de acceso de URI

  • Las rutas de estilo POSIX proporcionan acceso a datos relativos a la raíz del controlador (/). Las rutas de estilo POSIX nunca requieren un esquema. Puede usar volúmenes de Unity Catalog o montajes DBFS para proporcionar acceso de estilo POSIX a los datos en el almacenamiento de objetos en la nube. Muchos marcos de ML y otros módulos de Python de OSS requieren FUSE y solo pueden usar rutas de estilo POSIX.

    Diagrama de rutas de acceso POSIX

Trabajo con archivos en volúmenes de Unity Catalog

Databricks recomienda utilizar volúmenes de Unity Catalog para configurar el acceso a archivos de datos no tabulares en el almacenamiento de objetos en la nube. Ver ¿Qué son los volúmenes de Unity Catalog?

Herramienta Ejemplo
Spark de Apache spark.read.format("json").load("/Volumes/my_catalog/my_schema/my_volume/data.json").show()
Spark SQL y Databricks SQL SELECT * FROM csv.`/Volumes/my_catalog/my_schema/my_volume/data.csv`;
LIST '/Volumes/my_catalog/my_schema/my_volume/';
Utilidades del sistema de archivos de Databricks dbutils.fs.ls("/Volumes/my_catalog/my_schema/my_volume/")
%fs ls /Volumes/my_catalog/my_schema/my_volume/
CLI de Databricks databricks fs cp /path/to/local/file dbfs:/Volumes/my_catalog/my_schema/my_volume/
API REST de Databricks POST https://<databricks-instance>/api/2.1/jobs/create
{"name": "A multitask job", "tasks": [{..."libraries": [{"jar": "/Volumes/dev/environment/libraries/logging/Logging.jar"}],},...]}
Comandos de shell de Bash %sh curl http://<address>/text.zip -o /Volumes/my_catalog/my_schema/my_volume/tmp/text.zip
Instalaciones de biblioteca %pip install /Volumes/my_catalog/my_schema/my_volume/my_library.whl
Pandas df = pd.read_csv('/Volumes/my_catalog/my_schema/my_volume/data.csv')
OSS Python os.listdir('/Volumes/my_catalog/my_schema/my_volume/path/to/directory')

Nota:

El esquema dbfs:/ es necesario cuando se trabaja con la CLI de Databricks.

Limitaciones de volúmenes

Los volúmenes tienen las siguientes limitaciones:

  • No se admiten escrituras de anexión directa o no secuenciales (aleatorias), como escribir archivos Zip y Excel. En el caso de las cargas de trabajo de anexión directa o escritura aleatoria, realice primero las operaciones en un disco local y luego copie los resultados en volúmenes de Catálogo de Unity. Por ejemplo:

    # python
import xlsxwriter
from shutil import copyfile

workbook = xlsxwriter.Workbook('/local_disk0/tmp/excel.xlsx')
worksheet = workbook.add_worksheet()
worksheet.write(0, 0, "Key")
worksheet.write(0, 1, "Value")
workbook.close()

copyfile('/local_disk0/tmp/excel.xlsx', '/Volumes/my_catalog/my_schema/my_volume/excel.xlsx')

  • No se admiten archivos dispersos. Para copiar archivos dispersos, use cp --sparse=never:

    $ cp sparse.file /Volumes/my_catalog/my_schema/my_volume/sparse.file
error writing '/dbfs/sparse.file': Operation not supported
$ cp --sparse=never sparse.file /Volumes/my_catalog/my_schema/my_volume/sparse.file

Trabajo con archivos del área de trabajo

Los archivos del área de trabajo de Databricks son el conjunto de archivos de un área de trabajo que no son cuadernos. Puede usar archivos de área de trabajo para almacenar datos y otros archivos guardados junto con cuadernos y otros recursos del área de trabajo y acceder a ellos. Dado que los archivos de área de trabajo tienen restricciones de tamaño, Databricks solo recomienda almacenar archivos de datos pequeños aquí principalmente para desarrollo y pruebas.

Herramienta Ejemplo
Spark de Apache spark.read.format("json").load("file:/Workspace/Users/<user-folder>/data.json").show()
Spark SQL y Databricks SQL SELECT * FROM json.`file:/Workspace/Users/<user-folder>/file.json`;
Utilidades del sistema de archivos de Databricks dbutils.fs.ls("file:/Workspace/Users/<user-folder>/")
%fs ls file:/Workspace/Users/<user-folder>/
CLI de Databricks databricks workspace list
API REST de Databricks POST https://<databricks-instance>/api/2.0/workspace/delete
{"path": "/Workspace/Shared/code.py", "recursive": "false"}
Comandos de shell de Bash %sh curl http://<address>/text.zip -o /Workspace/Users/<user-folder>/text.zip
Instalaciones de biblioteca %pip install /Workspace/Users/<user-folder>/my_library.whl
Pandas df = pd.read_csv('/Workspace/Users/<user-folder>/data.csv')
OSS Python os.listdir('/Workspace/Users/<user-folder>/path/to/directory')

Nota:

El esquema file:/ es necesario cuando se trabaja con utilidades de Databricks, Apache Spark o SQL.

Para conocer las limitaciones de trabajar con archivos del área de trabajo, consulte Limitaciones.

¿Dónde van los archivos del área de trabajo eliminados?

Al borrar un archivo de área de trabajo, se envía a la papelera. Puede recuperar o eliminar definitivamente archivos de la papelera mediante la interfaz de usuario.

Vea Eliminación de un objeto.

Trabajo con archivos en el almacenamiento de objetos en la nube

Databricks recomienda usar volúmenes de Unity Catalog para configurar el acceso seguro a los archivos en el almacenamiento de objetos en la nube. Si decide acceder directamente a los datos en el almacenamiento de objetos en la nube mediante URI, debe configurar los permisos. Consulte Administración de ubicaciones externas, tablas externas y volúmenes externos.

En los ejemplos siguientes se usan URI para acceder a los datos en el almacenamiento de objetos en la nube:

Herramienta Ejemplo
Spark de Apache spark.read.format("json").load("abfss://container-name@storage-account-name.dfs.core.windows.net/path/file.json").show()
Spark SQL y Databricks SQL SELECT * FROM csv.`abfss://container-name@storage-account-name.dfs.core.windows.net/path/file.json`; LIST 'abfss://container-name@storage-account-name.dfs.core.windows.net/path';
Utilidades del sistema de archivos de Databricks dbutils.fs.ls("abfss://container-name@storage-account-name.dfs.core.windows.net/path/") %fs ls abfss://container-name@storage-account-name.dfs.core.windows.net/path/
CLI de Databricks No compatible
API REST de Databricks No compatible
Comandos de shell de Bash No compatible
Instalaciones de biblioteca %pip install abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl
Pandas No compatible
OSS Python No compatible

Nota:

El almacenamiento de objetos en la nube no admite el paso directo de credenciales.

Trabajo con archivos en montajes de DBFS y raíz de DBFS

Los montajes DBFS no se pueden proteger mediante Unity Catalog y Databricks ya no los recomienda. Todos los usuarios del área de trabajo pueden acceder a los datos almacenados en la raíz de DBFS. Databricks recomienda que no se almacenen datos de producción o información confidencial en la raíz de DBFS. Consulte ¿Qué es DBFS?

Herramienta Ejemplo
Spark de Apache spark.read.format("json").load("/mnt/path/to/data.json").show()
Spark SQL y Databricks SQL SELECT * FROM json.`/mnt/path/to/data.json`;
Utilidades del sistema de archivos de Databricks dbutils.fs.ls("/mnt/path")
%fs ls /mnt/path
CLI de Databricks databricks fs cp dbfs:/mnt/path/to/remote/file /path/to/local/file
API REST de Databricks POST https://<host>/api/2.0/dbfs/delete --data '{ "path": "/tmp/HelloWorld.txt" }'
Comandos de shell de Bash %sh curl http://<address>/text.zip > /dbfs/mnt/tmp/text.zip
Instalaciones de biblioteca %pip install /dbfs/mnt/path/to/my_library.whl
Pandas df = pd.read_csv('/dbfs/mnt/path/to/data.csv')
OSS Python os.listdir('/dbfs/mnt/path/to/directory')

Nota:

El esquema dbfs:/ es necesario cuando se trabaja con la CLI de Databricks.

Trabajo con archivos en almacenamiento efímero conectado al nodo del controlador

El almacenamiento efímero adjunto al nodo controlador es un almacenamiento en bloque con acceso a rutas basado en POSIX incorporado. Los datos almacenados en esta ubicación desaparecen cuando un clúster finaliza o se reinicia.

Herramienta Ejemplo
Spark de Apache No compatible
Spark SQL y Databricks SQL No compatible
Utilidades del sistema de archivos de Databricks dbutils.fs.ls("file:/path")
%fs ls file:/path
CLI de Databricks No compatible
API REST de Databricks No compatible
Comandos de shell de Bash %sh curl http://<address>/text.zip > /tmp/text.zip
Instalaciones de biblioteca No compatible
Pandas df = pd.read_csv('/path/to/data.csv')
OSS Python os.listdir('/path/to/directory')

Nota:

El esquema file:/ es necesario cuando se trabaja con las utilidades de Databricks.

Traslado de datos del almacenamiento efímero a volúmenes

Es posible que quiera acceder a los datos descargados o guardados en el almacenamiento efímero mediante Apache Spark. Debido a que el almacenamiento efímero está conectado con el controlador y Spark es un motor de procesamiento distribuido, no todas las operaciones pueden acceder directamente a los datos aquí. Supongamos que debe mover datos del sistema de archivos del controlador a los volúmenes del catálogo de Unity. En ese caso, puede copiar archivos mediante comandos magic o utilidades de Databricks, como en los ejemplos siguientes:

dbutils.fs.cp ("file:/<path>", "/Volumes/<catalog>/<schema>/<volume>/<path>")

%sh cp /<path> /Volumes/<catalog>/<schema>/<volume>/<path>

%fs cp file:/<path> /Volumes/<catalog>/<schema>/<volume>/<path>

Recursos adicionales

Para obtener información sobre cómo cargar archivos locales o descargar archivos de Internet en Azure Databricks, consulte Carga de archivos en Azure Databricks.