Groupes de commandes fs

Remarque

Ces informations s’appliquent à Databricks CLI versions 0.205 et ultérieures. L’interface CLI Databricks est en préversion publique.

L’utilisation de l’interface CLI Databricks est soumise à la licence Databricks et à la notification de confidentialité Databricks, y compris les dispositions relatives aux données d’utilisation.

Le groupe de commandes fs au sein de l’interface CLI Databricks vous permet d’automatiser les volumes dans Unity Catalog et d’automatiser les objets du système de fichiers Databricks (DBFS).

Vous exécutez les commandes fs en les ajoutant à databricks fs. Pour afficher l’aide sur la commande fs, exécutez databricks fs -h.

Les commandes fs nécessitent que les chemins d’accès au volume commencent par dbfs:/Volumes et nécessitent des chemins d’accès de répertoire et de fichier dans DBFS pour commencer par dbfs:/.

Lister le contenu d'un répertoire

Pour lister le contenu d'un répertoire dans un volume ou dans DBFS, utilisez la commande ls. Spécifiez le chemin d'accès au répertoire. Les exemples suivants répertorient les noms des objets trouvés dans la racine du volume spécifié ou dans la racine DBFS :

databricks fs ls dbfs:/Volumes/main/default/my-volume
databricks fs ls dbfs:/

Pour afficher des informations complètes, y compris les types d'objets, leurs tailles, les temps de modification depuis Epoch en millisecondes, ainsi que les noms des objets, utilisez l'option --long ou -l. Les exemples suivants répertorient les informations complètes des objets trouvés dans la racine du volume spécifié ou dans un répertoire tmp dans la racine DBFS :

databricks fs ls dbfs:/Volumes/main/default/my-volume -l
databricks fs ls dbfs:/tmp -l

Pour afficher les chemins d’accès complets aux objets, utilisez l’option --absolute . Les exemples suivants répertorient les informations complètes des objets et les chemins d’accès complets des objets, trouvés dans la racine du volume spécifié ou dans un répertoire tmp à la racine DBFS :

databricks fs ls dbfs:/Volumes/main/default/my-volume -l --absolute
databricks fs ls dbfs:/tmp -l --absolute

Afficher le contenu d'un fichier

Pour afficher le contenu d'un fichier, utilisez la commande cat. Spécifiez le chemin d'accès au fichier dans DBFS. Les exemples suivants génèrent le contenu du fichier nommé babynames.csv dans la racine du volume spécifié ou dans un répertoire tmp dans la racine DBFS :

databricks fs cat dbfs:/Volumes/main/default/my-volume/babynames.csv
databricks fs cat dbfs:/tmp/babynames.csv

Les exemples suivants retournent des erreurs, car ils tentent de générer le contenu d’un répertoire au lieu d’un fichier :

databricks fs cat dbfs:/Volumes/main/default/my-volume
databricks fs cat dbfs:/tmp

Créer un répertoire

Pour créer un répertoire, utilisez la commande mkdir. Spécifiez le chemin d'accès au répertoire à créer dans un volume ou dans DBFS. Si le répertoire existe déjà, rien ne se passe. Les exemples suivants créent un répertoire nommé squirrel-data dans la racine du volume spécifié ou dans un répertoire nommé tmp à la racine DBFS :

databricks fs mkdir dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs mkdir dbfs:/tmp/squirrel-data

Copier un répertoire ou un fichier

Pour copier un répertoire ou un fichier, utilisez la commande cp. Spécifiez les chemins d'accès au répertoire ou fichier source à copier et à sa destination. Vous pouvez copier des répertoires et des fichiers entre le système de fichiers local et DBFS, ainsi que des répertoires et des fichiers entre des chemins DBFS. Pour écraser les fichiers existants, utilisez l'option --overwrite. Pour copier de manière récursive des fichiers dans un répertoire, utilisez l'option --recursive ou -r.

La commande cp suppose file:/, si file:/ est omise.

Les exemples suivants copient un répertoire nommé squirrel-data et son contenu, à partir d’un chemin de système de fichiers local vers un répertoire squirrels à la racine du volume spécifié ou à la racine DBFS.

databricks fs cp /Users/<username>/squirrel-data dbfs:/Volumes/main/default/my-volume/squirrels -r
databricks fs cp /Users/<username>/squirrel-data dbfs:/squirrels -r

L'exemple suivant copie un fichier nommé squirrels.csv à partir d'un chemin de système de fichiers local squirrel-data dans la racine du volume spécifié ou dans la racine DBFS. Si le fichier existe déjà dans la destination, il est écrasé.

databricks fs cp /Users/<username>/squirrels.csv dbfs:/Volumes/main/default/my-volume/squirrel-data --overwrite
databricks fs cp /Users/<username>/squirrels.csv dbfs:/squirrel-data --overwrite

Supprimer un répertoire

Pour supprimer un répertoire, utilisez la commande rm. Spécifiez le chemin d'accès au répertoire existant dans DBFS. Les exemples suivants suppriment un répertoire nommé squirrel-data de la racine du volume spécifié ou d’un répertoire tmp dans la racine DBFS :

databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs rm dbfs:/tmp/squirrel-data

Si le répertoire n'existe pas, rien ne se passe et aucune erreur n'est renvoyée.

Si le répertoire existe mais n’est pas vide, une erreur est retournée. Pour supprimer un répertoire non vide et tout son contenu, utilisez l'option --recursive ou -r. Les exemples suivants suppriment un répertoire non vide nommé squirrel-data de la racine du volume spécifié ou d’un répertoire tmp dans la racine DBFS :

databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data -r
databricks fs rm dbfs:/tmp/squirrel-data -r