fs группа команд
Примечание.
Эта информация относится к Интерфейсу командной строки Databricks версии 0.205 и выше. Интерфейс командной строки Databricks находится в общедоступной предварительной версии.
Использование интерфейса командной строки Databricks распространяется на лицензию Databricks и уведомление о конфиденциальности Databricks, включая все положения об использовании.
Группа fs команд в интерфейсе командной строки Databricks позволяет автоматизировать тома в каталоге Unity и автоматизировать объекты файловой системы Databricks (DBFS).
Команды выполняются fs путем добавления их в databricks fs. Чтобы отобразить справку по команде fs , выполните команду databricks fs -h.
fs для команд требуется, чтобы пути тома начинались с dbfs:/Volumes и требуются пути к каталогу и файлам в DBFS для начала dbfs:/.
Вывод списка содержимого каталога
Чтобы вывести список содержимого каталога в томе или в DBFS, используйте ls команду. Укажите путь к каталогу. В следующих примерах перечислены имена объектов, найденных в корневом каталоге указанного тома или в корневом каталоге DBFS:
databricks fs ls dbfs:/Volumes/main/default/my-volume
databricks fs ls dbfs:/
Чтобы отобразить полную информацию, включая типы объектов, размеры, время изменения с момента эпохи в миллисекундах, а также имена объектов, используйте --long или -l параметр. В следующих примерах приведены полные сведения об объектах, найденных в корневом каталоге указанного тома или в tmp каталоге в корневом каталоге DBFS:
databricks fs ls dbfs:/Volumes/main/default/my-volume -l
databricks fs ls dbfs:/tmp -l
Чтобы отобразить полные пути к объекту --absolute , используйте этот параметр. В следующих примерах перечислены полные сведения о объектах и полные пути объектов, найденные в корневом каталоге указанного тома или в tmp каталоге в корневом каталоге DBFS:
databricks fs ls dbfs:/Volumes/main/default/my-volume -l --absolute
databricks fs ls dbfs:/tmp -l --absolute
Вывод содержимого файла
Чтобы вывести содержимое файла, используйте cat команду. Укажите путь к файлу в DBFS. В следующих примерах выводится содержимое файла с именем babynames.csv , найденного в корневом каталоге указанного тома или в каталоге в tmp корневом каталоге DBFS:
databricks fs cat dbfs:/Volumes/main/default/my-volume/babynames.csv
databricks fs cat dbfs:/tmp/babynames.csv
В следующих примерах возвращаются ошибки, так как они пытаются вывести содержимое каталога вместо файла:
databricks fs cat dbfs:/Volumes/main/default/my-volume
databricks fs cat dbfs:/tmp
Создание каталога
Чтобы создать каталог, используйте mkdir команду. Укажите путь к каталогу, который нужно создать в томе или в DBFS. Если каталог уже существует, ничего не происходит. В следующих примерах создается каталог с именем squirrel-data в корневом каталоге указанного тома или в каталоге с именем tmp в корневом каталоге DBFS:
databricks fs mkdir dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs mkdir dbfs:/tmp/squirrel-data
Копирование каталога или файла
Чтобы скопировать каталог или файл, используйте cp команду. Укажите пути к исходному каталогу или файлу для копирования и назначения. Каталоги и файлы можно скопировать между локальной файловой системой и DBFS, а также скопировать каталоги и файлы между путями DBFS. Чтобы перезаписать существующие --overwrite файлы, используйте этот параметр. Чтобы рекурсивно копировать файлы в каталоге, используйте --recursive или -r параметр.
Команда cp предполагает, file:/ что file:/если опущен.
В следующих примерах копируется каталог с именем squirrel-data и его содержимым из пути локальной файловой системы к squirrels каталогу в корневом каталоге указанного тома или корневом каталоге DBFS.
databricks fs cp /Users/<username>/squirrel-data dbfs:/Volumes/main/default/my-volume/squirrels -r
databricks fs cp /Users/<username>/squirrel-data dbfs:/squirrels -r
В следующем примере файл с именем из пути локальной файловой системы копируется в каталог с именем squirrels.csv squirrel-data в корневом каталоге указанного тома или корневом каталоге DBFS. Если файл уже существует в назначении, он перезаписан.
databricks fs cp /Users/<username>/squirrels.csv dbfs:/Volumes/main/default/my-volume/squirrel-data --overwrite
databricks fs cp /Users/<username>/squirrels.csv dbfs:/squirrel-data --overwrite
Удаление каталога
Чтобы удалить каталог, используйте rm команду. Укажите путь к существующему каталогу в DBFS. В следующих примерах удаляется каталог с именем squirrel-data из корневого каталога указанного тома или из tmp каталога в корневом каталоге DBFS:
databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs rm dbfs:/tmp/squirrel-data
Если каталог не существует, ничего не происходит, и ошибка не возвращается.
Если каталог существует, но не пуст, возвращается ошибка. Чтобы удалить непустый каталог и все его содержимое, используйте --recursive или -r параметр. В следующих примерах удаляется непустый каталог squirrel-data из корневого каталога указанного тома или из tmp каталога в корневом каталоге DBFS:
databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data -r
databricks fs rm dbfs:/tmp/squirrel-data -r