fs группа команд

Note

Эта информация относится к Интерфейсу командной строки Databricks версии 0.205 и выше. Интерфейс командной строки Databricks находится в общедоступной предварительной версии.

Использование интерфейса командной строки Databricks подчиняется лицензии Databricks и уведомлению о конфиденциальности Databricks, включая любые положения о данных использования.

Группа fs команд в интерфейсе командной строки Databricks позволяет выполнять операции файловой системы с томами в каталоге Unity и файловой системе Databricks (DBFS).

fs команды требуют, чтобы пути тома начинались с dbfs:/Volumes, и пути к каталогам и файлам в DBFS должны начинаться с dbfs:/.

Для выполнения операций с файлами рабочей области в каталоге /Workspace используйте databricks workspace команды. Смотрите workspace группу команд.

Important

Использование интерфейса командной строки Databricks или REST API с контейнерами хранилища с поддержкой брандмауэра не поддерживается. Databricks рекомендует использовать Databricks Connect или az storage.

databricks fs cat

Выводит содержимое файла. Укажите путь к файлу в DBFS.

databricks fs cat FILE_PATH [flags]

Arguments

FILE_PATH

    Выходной файл

Options

Глобальные флаги

Examples

В следующих примерах выводится содержимое файла с именем babynames.csv , найденного в корневом каталоге указанного тома или в каталоге в tmp корневом каталоге DBFS:

databricks fs cat dbfs:/Volumes/main/default/my-volume/babynames.csv
databricks fs cat dbfs:/tmp/babynames.csv

В следующих примерах возвращаются ошибки, так как они пытаются вывести содержимое каталога вместо файла:

databricks fs cat dbfs:/Volumes/main/default/my-volume
databricks fs cat dbfs:/tmp

databricks fs cp

Скопируйте каталог или файл. Укажите пути к исходному каталогу или файлу для копирования и назначения. Каталоги и файлы можно скопировать между локальной файловой системой и DBFS, а также скопировать каталоги и файлы между путями DBFS.

Команда cp предполагает file:/, если file:/ опущен.

databricks fs cp SOURCE_PATH TARGET_PATH [flags]

Arguments

SOURCE_PATH

    Исходный каталог или путь к файлу

TARGET_PATH

    Целевой каталог или путь к файлу

Options

--overwrite

    Перезапись существующих файлов

-r, --recursive

    Рекурсивное копирование файлов в каталоге

Глобальные флаги

Examples

В следующих примерах копируется каталог с именем squirrel-data и его содержимым из пути локальной файловой системы к squirrels каталогу в корневом каталоге указанного тома или корневом каталоге DBFS.

databricks fs cp /Users/<username>/squirrel-data dbfs:/Volumes/main/default/my-volume/squirrels -r
databricks fs cp /Users/<username>/squirrel-data dbfs:/squirrels -r

В следующем примере файл с именем squirrels.csv копируется из пути локальной файловой системы в каталог с именем squirrel-data в корневом каталоге указанного тома или в корневом каталоге DBFS. Если файл уже существует в месте назначения, он будет перезаписан.

databricks fs cp /Users/<username>/squirrels.csv dbfs:/Volumes/main/default/my-volume/squirrel-data --overwrite
databricks fs cp /Users/<username>/squirrels.csv dbfs:/squirrel-data --overwrite

databricks fs ls

Вывод списка содержимого указанного каталога в томе или в DBFS.

databricks fs ls DIR_PATH [flags]

Arguments

DIR_PATH

    Путь к каталогу

Options

--absolute

    Отображение абсолютных путей.

--long, -l

    Отображает полные сведения, включая размер, тип файла и время изменения с начала эпохи Unix в миллисекундах.

Глобальные флаги

Examples

В следующих примерах перечислены имена объектов, найденных в корневом каталоге указанного тома или в корневом каталоге DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume
databricks fs ls dbfs:/

В следующих примерах перечислены полные (длинные) сведения о объектах, найденных в корневом каталоге указанного тома или в tmp каталоге в корневом каталоге DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume -l
databricks fs ls dbfs:/tmp -l

В следующих примерах перечислены полные сведения о объектах и полные пути объектов, найденные в корневом каталоге указанного тома или в tmp каталоге в корневом каталоге DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume -l --absolute
databricks fs ls dbfs:/tmp -l --absolute

databricks fs mkdir

Создает каталог. Укажите путь к каталогу, который нужно создать в томе или в DBFS. Если каталог уже существует, ничего не происходит.

databricks fs mkdir DIR_PATH [flags]

Arguments

DIR_PATH

    Путь к создаваемому каталогу

Options

Глобальные флаги

Examples

В следующих примерах создается каталог с именем squirrel-data в корневом каталоге указанного тома или в каталоге с именем tmp в корневом каталоге DBFS:

databricks fs mkdir dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs mkdir dbfs:/tmp/squirrel-data

databricks fs rm

Удаляет каталог. Укажите путь к существующему каталогу в DBFS.

Если каталог существует, но не пуст, возвращается ошибка. Если каталог не существует, ничего не происходит.

databricks fs rm PATH [flags]

Arguments

PATH

    Путь к существующему каталогу в DBFS

Options

-r, --recursive

    Удаление всего содержимого

Глобальные флаги

Examples

В следующих примерах удаляется каталог с именем squirrel-data из корневого каталога указанного тома или из tmp каталога в корневом каталоге DBFS:

databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs rm dbfs:/tmp/squirrel-data

В следующих примерах удаляется непустый каталог squirrel-data из корневого каталога указанного тома или из tmp каталога в корневом каталоге DBFS:

databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data -r
databricks fs rm dbfs:/tmp/squirrel-data -r

Глобальные флаги

--debug

  Следует ли включить ведение журнала отладки.

-h или --help

    Отобразить справку по интерфейсу командной строки Databricks, связанной группе команд или отдельной команде.

--log-file струна

    Строка, представляющая файл для записи журналов выходных данных. Если этот флаг не указан, по умолчанию используется запись журналов выходных данных в stderr.

--log-format формат

    Тип формата журнала: text или json. Значение по умолчанию — text.

--log-level струна

    Строка, представляющая уровень формата журнала. Если не указано, уровень формата журнала отключен.

типа -o, --output

    Тип выходных данных команды: text или json. Значение по умолчанию — text.

-p, --profile струна

    Имя профиля в ~/.databrickscfg файле, используемого для выполнения команды. Если флаг не указан, используется профиль DEFAULT, если он существует.

--progress-format формат

    Формат для отображения журналов хода выполнения: default, appendinplace, илиjson

-t, --target струна

    Если применимо, целевой объект пакета для использования