sync команда

Note

Эта информация относится к Интерфейсу командной строки Databricks версии 0.205 и выше. Интерфейс командной строки Databricks находится в общедоступной предварительной версии.

Использование интерфейса командной строки Databricks подчиняется лицензии Databricks и уведомлению о конфиденциальности Databricks, включая любые положения о данных использования.

Группа sync команд в интерфейсе командной строки Databricks позволяет односторонней синхронизации локальных изменений кода и файлов в каталоге на локальном компьютере разработки в папку в удаленной рабочей области Azure Databricks.

Note

• sync Не удается синхронизировать изменения файлов из папки в удаленной рабочей области Azure Databricks обратно в каталог на локальном компьютере разработки.
• sync может синхронизировать изменения файлов с локального компьютера разработки только с файлами пользователя рабочей области (/Users) в рабочей области Azure Databricks. Он не может синхронизироваться с файлами DBFS (dbfs:/). Чтобы синхронизировать изменения файлов с локального компьютера разработки с DBFS (dbfs:/) в рабочей области Azure Databricks, используйте служебную программу синхронизации dbx .

Синхронизация Databricks

Синхронизация локального каталога с каталогом рабочей области.

databricks sync [flags] SRC DST

Arguments

SRC

    Путь к исходному каталогу

DST

    Путь к целевому каталогу

Options

--dry-run

    Имитация выполнения синхронизации без внесения фактических изменений

--exclude strings

    Шаблоны для исключения из синхронизации (можно указать несколько раз)

--exclude-from string

    Файл, содержащий шаблоны для исключения из синхронизации (один шаблон на строку)

--full

    Выполнение полной синхронизации (по умолчанию — добавочная)

--include strings

    Шаблоны для включения в синхронизацию (можно указать несколько раз)

--include-from string

    Файл, содержащий шаблоны для синхронизации (один шаблон на строку)

--interval duration

    Интервал опроса файловой системы (для --watch) (по умолчанию 1s)

--watch

    Отслеживание изменений в локальной файловой системе

Глобальные флаги

Examples

В следующих разделах показано, как использовать sync команду.

Пошаговая синхронизация изменений локальных файлов с удаленным каталогом

Чтобы выполнить однократную добавочную синхронизацию изменений файлов в локальном каталоге в папку в удаленной рабочей области Azure Databricks, выполните sync команду следующим образом:

databricks sync <local-directory-path> <remote-directory-path>

Например, чтобы выполнить однократную одностороннюю синхронизацию всех изменений файлов в папке с именем my-local-folder в локальном текущем рабочем каталоге, в папку my-workspace-folder в удаленной рабочей области выполните следующую команду:

databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder

В этом примере только изменения файлов с момента последнего выполнения команды sync синхронизированы с /Users/someone@example.com/my-workspace-folder. По умолчанию URL-адрес рабочей области в профиле вызывающего объекта DEFAULT используется для определения удаленной рабочей области для синхронизации.

Синхронизация только определенных файлов

Чтобы включить или исключить определенные файлы для синхронизации на основе указанных шаблонов, используйте --includeпараметр , --include-from--excludeили --exclude-from параметры.

databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --exclude-from .gitignore

Note

Если вы хотите синхронизировать файлы в пакете, используйте sync конфигурационное сопоставление. См. синхронизацию с.

В следующем примере некоторые шаблоны файлов исключаются из синхронизации:

databricks sync --exclude "*.pyc" --exclude "__pycache__" ./my-local-folder /Users/someone@example.com/my-workspace-folder

Полная синхронизация изменений локального файла в удаленном каталоге

Для выполнения одной полной односторонней синхронизации изменений файлов в локальном каталоге в папку в удаленной рабочей области Azure Databricks независимо от того, когда была запущена последняя sync команда, используйте --full этот параметр, например:

databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --full

Непрерывная синхронизация изменений локального файла с удаленным каталогом

Чтобы включить непрерывную одностороннюю синхронизацию изменений файлов из локального каталога в папку в удаленной рабочей области Azure Databricks, используйте параметр --watch, например:

databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --watch

Односторонняя синхронизация продолжается, пока команда не будет остановлена из терминала, как правило, путем нажатия клавиши Ctrl + c или Ctrl + z.

Опрос возможных событий синхронизации происходит один раз в секунду по умолчанию. Чтобы изменить этот интервал, используйте --interval параметр вместе с количеством секунд для опроса, за которым следует символ s, например в течение пяти секунд:

databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --watch --interval 5s

Измените формат вывода прогресса синхронизации

Информация о ходе синхронизации выводится в терминале в текстовом формате по умолчанию. Чтобы указать формат выходных данных хода синхронизации, используйте параметр --output, указав либо text (значение по умолчанию, если --output не указано в противном случае), либо json, например:

databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --output json

Предварительный просмотр операций с файлами для синхронизации

Чтобы предварительно просмотреть синхронизацию без выполнения операций синхронизации файлов, используйте --dry-run этот параметр, например:

databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --dry-run

Warn: Running in dry-run mode. No actual changes will be made.
Action: PUT: test.txt
Uploaded test.txt
Initial Sync Complete

Глобальные флаги

--debug

  Следует ли включить ведение журнала отладки.

-h или --help

    Отобразить справку по интерфейсу командной строки Databricks, связанной группе команд или отдельной команде.

--log-file струна

    Строка, представляющая файл для записи журналов выходных данных. Если этот флаг не указан, по умолчанию используется запись журналов выходных данных в stderr.

--log-format формат

    Тип формата журнала: text или json. Значение по умолчанию — text.

--log-level струна

    Строка, представляющая уровень формата журнала. Если не указано, уровень формата журнала отключен.

типа -o, --output

    Тип выходных данных команды: text или json. Значение по умолчанию — text.

-p, --profile струна

    Имя профиля в ~/.databrickscfg файле, используемого для выполнения команды. Если флаг не указан, используется профиль DEFAULT, если он существует.

--progress-format формат

    Формат для отображения журналов хода выполнения: default, appendinplace, илиjson

-t, --target струна

    Если применимо, целевой объект пакета для использования