Поделиться через

ИНТЕРФЕЙС командной строки DBFS (устаревшая версия)

  • Статья

Важно!

Поддержка этой документации прекращена, она может больше не обновляться.

Эта информация относится к устаревшим интерфейсам командной строки Databricks версии 0.18 и ниже. Databricks рекомендует использовать более новую версию Интерфейса командной строки Databricks версии 0.205 или более поздней. См. сведения о интерфейсе командной строки Databricks?. Чтобы найти версию интерфейса командной строки Databricks, выполните команду databricks -v.

Сведения о миграции из Databricks CLI версии 0.18 или ниже в Databricks CLI версии 0.205 или более поздней, см. в статье Databricks CLI.

Вы запускаете подкомандам ИНТЕРФЕЙСА командной строки Databricks DBFS, добавляя их к databricks fs (или псевдониму dbfs), префиксируя все пути DBFS с помощью dbfs:/. Эти вложенные команды вызывают API DBFS.

databricks fs -h

Usage: databricks fs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with DBFS. DBFS paths are all prefixed
  with dbfs:/. Local paths can be absolute or local.

Options:
  -v, --version
  -h, --help     Show this message and exit.

Commands:
  cat        Shows the contents of a file. Does not work for directories.
  configure
  cp         Copies files to and from DBFS.
    Options:
      -r, --recursive
      --overwrite     Overwrites files that exist already.
  ls         Lists files in DBFS.
    Options:
      --absolute      Displays absolute paths.
      -l              Displays full information including size and file type.
  mkdirs     Makes directories in DBFS.
  mv         Moves a file between two DBFS paths.
  rm         Removes files from DBFS.
    Options:
      -r, --recursive

Для операций, которые перечисляют, перемещают или удаляют более 10 000 файлов, настоятельно рекомендуется использовать интерфейс командной строки DBFS.

  • Время ожидания операции list (databricks fs ls) истекает приблизительно через 60 с.
  • Время ожидания операции move (databricks fs mv) истечет приблизительного через 60 с, что может привести к частичному перемещению данных.
  • Операция delete (databricks fs rm) будет выполнять постепенное удаление пакетов файлов.

Рекомендуется выполнять такие операции в контексте кластера с помощью Программы файловой системы (dbutils.fs). dbutils.fs охватывает функциональную область REST API DBFS, но из записных книжек. Выполнение таких операций с помощью записных книжек улучшает контроль, например выборочное удаление, управляемость и возможность автоматизации периодических заданий.

Ограничения

Использование Databricks DBFS CLI с контейнерами хранилища, которые поддерживают брандмауэр, не поддерживается. Для Databricks рекомендуется использовать Databricks Connect или az storage.

Получение содержимого файла

Чтобы просмотреть документацию по использованию, выполните команду databricks fs cat --help.

databricks fs cat dbfs:/tmp/my-file.txt

Apache Spark is awesome!

Копирование файла

Чтобы просмотреть документацию по использованию, выполните команду databricks fs cp --help.

databricks fs cp dbfs:/tmp/your_file.txt dbfs:/parent/child/grandchild/my_file.txt --overwrite

При успешном выполнении этой команды ничего не отображается.

Вывод списка сведений о файлах и каталогах

Чтобы просмотреть документацию по использованию, выполните команду databricks fs ls --help.

databricks fs ls dbfs:/tmp --absolute -l

file  42408084  dbfs:/tmp/LoanStats.csv    1590005159000
file        40  dbfs:/tmp/file_b.txt       1603991038000
dir          0  dbfs:/tmp/hive                         0
dir          0  dbfs:/tmp/mlflow                       0
file       385  dbfs:/tmp/multi-line.json  1597770632000
dir          0  dbfs:/tmp/new                          0
dir          0  dbfs:/tmp/parent                       0
file       243  dbfs:/tmp/test.json        1597770628000
file        40  dbfs:/tmp/test_dbfs.txt    1603989162000

Создание каталога

Чтобы просмотреть документацию по использованию, выполните команду databricks fs mkdirs --help.

databricks fs mkdirs dbfs:/tmp/new-dir

При успешном выполнении этой команды ничего не отображается.

Перемещение файла

Чтобы просмотреть документацию по использованию, выполните команду databricks fs mv --help.

databricks fs mv dbfs:/tmp/my-file.txt dbfs:/parent/child/grandchild/my-file.txt

При успешном выполнении этой команды ничего не отображается.

Удаление файла

Чтобы просмотреть документацию по использованию, выполните команду databricks fs rm --help.

databricks fs rm dbfs:/tmp/parent/child/grandchild/my-file.txt

Delete finished successfully.