Поддержка конвейеров загрузки Microsoft SharePoint

Это важно

Соединитель Microsoft SharePoint находится в бета-версии.

На этой странице описываются текущие операции по обслуживанию конвейеров приема Microsoft SharePoint.

Общее обслуживание конвейера

Задачи обслуживания конвейера в этом разделе применяются ко всем управляемым соединителям в Lakeflow Connect.

Полностью обновить целевые таблицы

Полное обновление конвейера загрузки данных очищает данные и состояние целевых таблиц, а затем обрабатывает заново все записи из источника данных. Вы можете полностью обновить все таблицы в конвейере или выбрать таблицы для обновления.

1. На боковой панели рабочей области Azure Databricks щелкните "Конвейеры".
2. Выберите конвейер.
3. На странице сведений о конвейере щелкните "Полное обновление" или щелкните " Выбрать таблицы для обновления", выберите нужные таблицы, а затем нажмите кнопку "Полный выбор обновления".

Это важно

Обновление конвейера приема может завершиться сбоем во время этапа Initializing или этапа Resetting tables. Lakeflow Connect автоматически повторит поток несколько раз. Если автоматические повторные попытки прекращены вручную или окончательно терпят неудачу, начните новое обновление конвейерного процесса вручную, используя ранее выбранный параметр обновления таблицы. Это может привести к тому, что целевые таблицы остаются в несогласованном состоянии с частичными данными. Если повторные попытки вручную также завершаются ошибкой, создайте запрос в службу поддержки.

Изменение графика сбора данных в конвейере обработки

1. На боковой панели рабочей области Azure Databricks щелкните "Конвейеры".
2. Выберите конвейер и нажмите кнопку "Расписание".

Настройка оповещений и уведомлений

Lakeflow Connect автоматически настраивает уведомления для всех конвейеров загрузки данных и заданий по расписанию. Вы можете настроить уведомления в пользовательском интерфейсе или с помощью API конвейеров.

Пользовательский интерфейс

1. На левой панели нажмите кнопку "Конвейеры".
2. Выберите конвейер.
3. Щелкните Расписание.
4. Если у вас уже есть расписание, для которого вы хотите получать уведомления: a. Найдите расписание в списке. a. Щелкните меню кебаб и нажмите кнопку "Изменить". a. Нажмите кнопку "Дополнительные параметры" и добавьте уведомления.
5. Если вам нужен новый график: a. Нажмите кнопку "Добавить расписание". a. Настройте расписание. a. Нажмите кнопку "Дополнительные параметры" и добавьте уведомления.

API (Интерфейс программирования приложений)

См. уведомления в документации PUT /api/2.0/pipelines/{pipeline_id} .

Указание таблиц для приема

API конвейеров предоставляет два метода, чтобы указать таблицы для загрузки в поле objectsingestion_definition:

• Спецификация таблицы: загрузка индивидуальной таблицы из указанного исходного каталога и схемы в указанный целевой каталог и схему.
• Спецификация схемы: загрузка всех таблиц из указанного исходного каталога и схемы в указанный каталог и схему.

Если вы решили загружать всю схему, вам следует ознакомиться с ограничениями на количество таблиц в рамках конвейера для вашего соединителя.

Команды CLI

Чтобы изменить конвейер, выполните следующую команду:

databricks pipelines update --json "<<pipeline_definition OR json file path>"

Чтобы получить определение конвейера, выполните следующую команду:

databricks pipelines get "<your_pipeline_id>"

Чтобы удалить конвейер, выполните следующую команду:

databricks pipelines delete "<your_pipeline_id>"

Для получения дополнительных сведений всегда можно выполнить следующую команду:

databricks pipelines --help
databricks pipelines <create|update|get|delete|...> --help