Azure Databricks

Azure Databricks предлагает единую платформу для масштабируемого управления данными, управления и аналитики, объединения оптимизированных рабочих процессов с возможностью эффективного обработки различных типов данных

Этот соединитель доступен в следующих продуктах и регионах:

Услуга	Class	Регионы
Copilot Studio	Премия	Все регионы Power Automate , кроме следующих:      - Правительство США (GCC)      - Правительство США (GCC High)      — Облако Китая, управляемое 21Vianet      - Министерство обороны США (DoD)
Power Apps	Премия	Все регионы Power Apps , кроме следующих:      - Правительство США (GCC)      - Правительство США (GCC High)      — Облако Китая, управляемое 21Vianet      - Министерство обороны США (DoD)
Power Automate	Премия	Все регионы Power Automate , кроме следующих:      - Правительство США (GCC)      - Правительство США (GCC High)      — Облако Китая, управляемое 21Vianet      - Министерство обороны США (DoD)

Контакт
Имя	Поддержка Databricks
URL	https://help.databricks.com
Адрес электронной почты	eng-partner-eco-help@databricks.com

Метаданные соединителя
Publisher	Databricks Inc.
Веб-сайт	https://www.databricks.com/
Политика конфиденциальности	https://www.databricks.com/legal/privacynotice
Категории	Данные

Подключение к Azure Databricks из Microsoft Power Platform

На этой странице объясняется, как подключиться к Azure Databricks из Microsoft Power Platform, добавив Azure Databricks в качестве подключения к данным. При подключении можно использовать данные Azure Databricks на следующих платформах:

• Power Apps: создание приложений, которые могут считывать и записывать данные в Azure Databricks, сохраняя элементы управления Azure Databricks.
• Power Automate: создание потоков и добавление действий, позволяющих выполнять настраиваемый SQL или существующее задание и возвращать результаты.
• Copilot Studio: создание пользовательских агентов с помощью данных Azure Databricks в качестве источника знаний.

Перед тем как начать

Перед подключением к Azure Databricks из Power Platform необходимо выполнить следующие требования:

• У вас есть учетная запись Microsoft Entra ID (прежнее название — Azure Active Directory).
• У вас есть лицензия Power Apps уровня "Премиум".
• У вас есть учетная запись Azure Databricks.
• У вас есть доступ к хранилищу SQL в Azure Databricks.

Необязательно. Подключение к виртуальным сетям Azure

Если рабочая область Azure Databricks использует виртуальные сети, существует два способа подключения:

1. Интегрируйте Power Platform с ресурсами внутри вашей виртуальной сети, не подвергая их доступу через открытый Интернет. Чтобы подключиться к частной конечной точке рабочей области Azure Databricks, сделайте следующее после настройки частного подключения к Azure Databricks:

   • Настройка поддержки виртуальной сети для Power Platform.

   • Если виртуальная сеть Power Platform (основная или вторичная) отличается от виртуальной сети Azure Databricks, используйте пиринг между виртуальными сетями для подключения виртуальной сети к Azure Databricks.

   Дополнительные сведения о виртуальных сетях см. в обзоре поддержки виртуальных сетей.

2. Включите доступ к гибридному развертыванию, где интерфейсная приватная связь с общедоступной конечной точкой защищена списком ДОСТУПА к IP-адресам рабочей области. Чтобы включить доступ, сделайте следующее:

   1. Включение общедоступного доступа на уровне рабочей области. Дополнительные сведения см. в разделе "Настройка списков IP-доступа для рабочих областей".
   2. Добавьте диапазон IP-адресов AzureConnectors или определенный диапазон IP-адресов Power Platform в зависимости от региона вашей среды в список доступа к IP-адресам рабочей области.

Необязательно. Создание субъекта-службы Microsoft Entra

Важно!

Если Azure Databricks и Power Platform находятся в разных клиентах, необходимо использовать субъекты-службы для проверки подлинности.

Перед подключением выполните следующие действия, чтобы создать, настроить и назначить учетную запись службы Microsoft Entra вашей учетной записи или рабочей области Azure Databricks.

• Зарегистрируйте новую учетную запись службы в Microsoft Entra ID.
• Добавьте субъекты-службы в учетную запись.
• Назначьте служебный принципал рабочей области.

Шаг 1. Добавление подключения Azure Databricks к Power Platform

Заметка: Если вы используете Copilot Studio, рекомендуется создать подключение Databricks в Power Apps или Power Automate. Затем его можно использовать в Copilot Studio.

Чтобы добавить подключение Azure Databricks, сделайте следующее:

1. В Power Apps или Power Automate на боковой панели щелкните "Подключения".

2. Нажмите кнопку +Создать подключение в левом верхнем углу.

3. Найдите "Azure Databricks" с помощью строки поиска в правом верхнем углу.

4. Выберите плитку Azure Databricks .

5. Выберите тип проверки подлинности в раскрывающемся меню.

6. Выберите метод проверки подлинности и введите сведения о проверке подлинности.

   • Если развертывание Power Platform и учетная запись Azure Databricks находятся в одном клиенте Microsoft Entra, можно использовать подключение OAuth. Введите следующие сведения:

     • Для имени узла сервера введите имя узла хранилища SQL Azure Databricks.
     • В поле HTTP Path введите HTTP-путь к хранилищу SQL.
     • Нажмите кнопку "Создать".
     • Войдите с помощью идентификатора Microsoft Entra.

   • Подключение служебного принципала можно использовать в любом сценарии. Перед подключением создайте объект-службы Microsoft Entra. Введите следующие сведения:

     • Для идентификатора клиента введите идентификатор сервисного принципала.
     • Для секрета клиента введите секрет принципала службы.
     • Для клиента введите клиент субъекта-службы.
     • Для имени хоста введите имя хоста SQL хранилища Azure Databricks.
     • В поле HTTP Path введите HTTP-путь к хранилищу SQL.
     • (Необязательно) После создания подключения можно переименовать его или поделиться подключением служебного субъекта с коллегами.

   • Чтобы найти сведения о подключении к хранилищу SQL Azure Databricks, ознакомьтесь с сведениями о подключении для вычислительного ресурса Azure Databricks.

7. Нажмите кнопку "Создать".

Шаг 2. Использование подключения Azure Databricks

После создания подключения Azure Databricks в Power Apps или Power Automate можно использовать данные Azure Databricks для создания приложений Power Canvas, потоков Power Automate и агентов Copilot Studio.

Использование данных Azure Databricks для создания приложений на основе холста Power

Важно!

Приложения холста можно использовать только при непосредственном подключении к Azure Databricks в приложении. Нельзя использовать виртуальные таблицы.

Чтобы добавить данные Azure Databricks в приложение, сделайте следующее:

1. В левой панели навигации нажмите кнопку "Создать".
2. Нажмите кнопку "Начать с пустого холста" и выберите нужный размер холста , чтобы создать новое приложение холста.
3. В приложении щелкните "Добавить>данных >". Выберите созданное подключение Azure Databricks.
4. Выберите каталог на боковой панели выбора набора данных .
5. На боковой панели выбора набора данных выберите все таблицы, к которым нужно подключить приложение холста.
6. Нажмите кнопку "Подключить".

Операции с данными в Power Apps:

Соединитель поддерживает операции создания, обновления и удаления, но только для таблиц с определенным первичным ключом. При выполнении операций создания необходимо всегда указывать первичный ключ.

Заметка: Azure Databricks поддерживает созданные столбцы удостоверений. В этом случае значения первичного ключа автоматически создаются на сервере во время создания строк и не могут быть указаны вручную.

Использование данных Azure Databricks для создания потоков Power Automate

API выполнения инструкций и API заданий предоставляются в Power Automate, что позволяет создавать инструкции SQL и выполнять существующие задания. Чтобы создать поток Power Automate с помощью Azure Databricks в качестве действия, сделайте следующее:

1. В левой панели навигации нажмите кнопку "Создать".
2. Создайте поток и добавьте любой тип триггера.
3. В новом потоке щелкните и найдите +"Databricks" , чтобы просмотреть доступные действия.

Чтобы написать SQL, выберите одно из следующих действий:

• Выполните инструкцию SQL: запись и запуск инструкции SQL. Введите следующее:

  • В поле Body/warehouse_id введите идентификатор хранилища, на котором выполняется инструкция SQL.
  • В поле Body/statement_id введите идентификатор инструкции SQL для выполнения.
  • Дополнительные сведения о расширенных параметрах см. здесь.

• Проверьте состояние и получите результаты: проверьте состояние инструкции SQL и соберите результаты. Введите следующее:

  • Для идентификатора инструкции введите идентификатор, возвращаемый при выполнении инструкции SQL.
  • Дополнительные сведения о параметре см. здесь.

• Отмена выполнения инструкции: завершение выполнения инструкции SQL. Введите следующее:

  • Для идентификатора инструкции введите идентификатор инструкции SQL для завершения.
  • Дополнительные сведения о параметре см. здесь.

• Получение результата по индексу блока: получение результатов по индексу блока, который подходит для больших результирующих наборов. Введите следующее:

  • Для идентификатора инструкции введите идентификатор инструкции SQL, результаты которой требуется получить.
  • Для индекса блока введите целевой индекс блока.
  • Дополнительные сведения о параметрах см. здесь.

Чтобы взаимодействовать с существующим заданием Databricks, выберите одно из следующих действий:

• Список заданий: извлекает список заданий. Дополнительные сведения см. здесь.
• Активируйте новый запуск задания: выполняет задание и возвращает run_id триггера. Дополнительные сведения см. здесь.
• Получение одного запуска задания: возвращает метаданные о выполнении, включая состояние выполнения (например, RUN, SUCCESS, FAILED), время начала и окончания, длительность выполнения, сведения о кластере и т. д. Дополнительные сведения см. здесь.
• Отмена выполнения задания: отменяет выполнение задания или выполнение задачи. Для получения дополнительных сведений см. здесь.
• Получите выходные данные для одного выполнения задания: извлекает выходные данные и метаданные одной задачи. Для получения дополнительных сведений см. здесь.

Использование Azure Databricks в качестве источника знаний в Copilot Studio

Чтобы добавить данные Azure Databricks в качестве источника знаний в агент Copilot Studio, выполните следующие действия:

1. На боковой панели щелкните "Агент".
2. Выберите существующий агент или создайте новый агент, нажав кнопку +Создать агент.
   • Опишите агент, введите сообщение и нажмите кнопку "Создать".
   • Или нажмите кнопку "Пропустить" , чтобы вручную указать сведения агента.
3. На вкладке "Знания" нажмите кнопку +Знания.
4. Нажмите кнопку "Дополнительно".
5. Выберите Azure Databricks в качестве источника знаний.
6. Введите название каталога, в котором находятся ваши данные.
7. Нажмите кнопку "Подключить".
8. Выберите таблицы, которые нужно использовать агентом в качестве источника знаний, и нажмите кнопку "Добавить".

Создание виртуальных таблиц Dataverse с помощью данных Azure Databricks

Вы также можете создавать виртуальные таблицы Dataverse с помощью соединителя Azure Databricks. Виртуальные таблицы, также известные как виртуальные сущности, интегрируют данные из внешних систем с Microsoft Dataverse. Виртуальная таблица определяет таблицу в Dataverse без хранения физической таблицы в базе данных Dataverse. Дополнительные сведения о виртуальных таблицах см. в статье "Начало работы с виртуальными таблицами (сущностями)".

Примечание.

Хотя виртуальные таблицы не используют емкость хранилища Dataverse, Databricks рекомендует использовать прямые подключения для повышения производительности.

У вас должна быть роль настройщика системы или системного администратора. Дополнительные сведения см. в разделе "Роли безопасности" для Power Platform.

Выполните следующие действия, чтобы создать виртуальную таблицу Dataverse:

1. В Power Apps на боковой панели щелкните "Таблицы".

2. Щелкните +Создать таблицу в строке меню и выберите "Создать виртуальную таблицу".

3. Выберите существующее подключение Azure Databricks или создайте новое подключение к Azure Databricks. Чтобы добавить новое подключение, см. шаг 1. Добавление подключения Azure Databricks к Power Platform.

   Databricks рекомендует использовать подключение учетной записи службы для создания виртуальной таблицы.

4. Нажмите кнопку Далее.

5. Выберите таблицы для представления в виде виртуальной таблицы Dataverse.

   • Для виртуальных таблиц dataverse требуется первичный ключ. Поэтому представления не могут быть виртуальными таблицами, но материализованные представления могут быть.

6. Нажмите кнопку Далее.

7. При необходимости настройте виртуальную таблицу, обновив сведения о таблице.

8. Нажмите кнопку Далее.

9. Подтвердите сведения о источнике данных и нажмите кнопку "Готово".

10. Используйте виртуальную таблицу Dataverse в Power Apps, Power Automate и Copilot Studio.

Список известных ограничений виртуальных таблиц Dataverse см. в разделе "Известные ограничения" и "Устранение неполадок".

Проведение пакетных обновлений

Если вам нужно выполнить массовые операции создания, обновления или удаления в ответ на входные данные Power Apps, Databricks рекомендует реализовать поток Power Automate. Для этого сделайте следующее:

1. Создайте приложение Canvas, используя ваше подключение Azure Databricks в Power Apps.

2. Создайте поток Power Automate с помощью подключения Azure Databricks и используйте Power Apps в качестве триггера.

3. В триггере Power Automate добавьте поля ввода, которые необходимо передать из Power Apps в Power Automate.

4. Создайте объект коллекции в Power Apps для сбора всех изменений.

5. Добавьте поток Power Automate в ваше полотно приложения.

6. Вызовите поток Power Automate из приложения Canvas и выполните итерацию по коллекции с использованием команды ForAll.

   ForAll(collectionName, FlowName.Run(input field 1, input field 2, input field 3, …)
   

Одновременные операции записи

Параллелизм на уровне строк уменьшает конфликты между параллельными операциями записи, обнаруживая изменения на уровне строки и автоматически разрешая конфликты, возникающие при одновременном обновлении или удалении разных строк в одном файле данных.

Параллелизм на уровне строк включен в Databricks Runtime 14.2 или более поздней версии. Параллелизм на уровне строк по умолчанию поддерживается для следующих типов таблиц:

• Таблицы с включенными векторами удаления и без секционирования
• Таблицы с динамическим кластерированием, если векторы удаления не отключены

Чтобы включить векторы удаления, выполните следующую команду SQL:

ALTER TABLE table_name SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

Дополнительные сведения о параллельных конфликтах записи в Azure Databricks см. в разделе "Уровни изоляции" и конфликты записи в Azure Databricks.

Добавление Azure Databricks в политику данных

Добавив Azure Databricks в политику данных предприятия, Azure Databricks не может совместно использовать данные с коннекторами в других группах. Это защищает данные и предотвращает его совместное использование с теми, кто не должен иметь к нему доступ. Дополнительные сведения см. в разделе "Управление политиками данных".

Чтобы добавить коннектор Azure Databricks в политику данных Power Platform:

1. В любом приложении Power Platform щелкните шестеренку параметров в правом верхнем углу и выберите Центр администрирования.
2. На боковой панели щелкните Политики>данных.
3. Если вы используете новый центр администрирования, щелкните "Данные безопасности>" и"Политика> данных".
4. Нажмите кнопку +Создать политику или выберите существующую политику.
5. При создании новой политики введите имя.
6. Выберите среду для добавления в политику и нажмите кнопку +Добавить в политику выше.
7. Нажмите кнопку Далее.
8. Найдите и выберите соединитель Azure Databricks .
9. Нажмите кнопку "Перейти к бизнесу " и нажмите кнопку "Далее".
10. Просмотрите политику и нажмите кнопку "Создать политику".

Ограничения

• Соединитель Power Platform не поддерживает облака для государственных организаций.

Ограничения Power App

Следующие формулы PowerFx вычисляют значения, используя только полученные локально данные:

Категория	Formula
Функция таблицы	— GroupBy -Ясный
Aggregation	— CountRows - StdevP - StdevS

Создание подключения

Соединитель поддерживает следующие типы проверки подлинности:

Подключение OAuth	Подключение OAuth	Все регионы	Недоступен для совместного использования
Подключение субъекта-службы	Подключение субъекта-службы	Все регионы	Доступный для общего пользования
По умолчанию [не рекомендуется]	Этот параметр предназначен только для старых подключений без явного типа проверки подлинности и предоставляется только для обратной совместимости.	Все регионы	Недоступен для совместного использования

Подключение OAuth

Идентификатор проверки подлинности: oauth2-auth

Применимо: все регионы

Подключение OAuth

Это недоступно для общего доступа. Если приложение power предоставляется другому пользователю, пользователю будет предложено явно создать новое подключение.

Имя	Тип	Description	Обязательно
Имя узла сервера (пример: adb-3980263885549757139.2.azuredatabricks.net)	струна	Имя сервера рабочей области Databricks	True
HTTP-путь (пример: /sql/1.0/warehouses/a9c4e781bd29f315)	струна	HTTP-путь к хранилищу SQL Databricks	True

Подключение субъекта-службы

Идентификатор проверки подлинности: oAuthClientCredentials

Применимо: все регионы

Подключение субъекта-службы

Это совместное подключение. Если приложение power app предоставлено другому пользователю, подключение также предоставляется совместно. Дополнительные сведения см. в обзоре соединителей для приложений на основе холста — Power Apps | Документация Майкрософт

Имя	Тип	Description	Обязательно
Идентификатор клиента	струна		True
Секрет клиента	securestring		True
Tenant	струна		True
Имя узла сервера (пример: adb-3980263885549757139.2.azuredatabricks.net)	струна	Имя сервера рабочей области Databricks	True
HTTP-путь (пример: /sql/1.0/warehouses/a9c4e781bd29f315)	струна	HTTP-путь к хранилищу SQL Databricks	True

По умолчанию [не рекомендуется]

Применимо: все регионы

Этот параметр предназначен только для старых подключений без явного типа проверки подлинности и предоставляется только для обратной совместимости.

Это недоступно для общего доступа. Если приложение power предоставляется другому пользователю, пользователю будет предложено явно создать новое подключение.

Ограничения регулирования

Имя	Вызовы	Период обновления
Вызовы API для каждого подключения	100	60 секунд

Действия

Azure Databricks Genie	Запрос пространств Genie для получения аналитических сведений из данных.
Выполнение инструкции SQL	Выполните инструкцию SQL и при необходимости ожидайте его результаты в течение указанного времени.
Запуск нового задания	Запустите задание и верните run_id запуска.
Отмена выполнения	Отменяет выполнение задания или выполнение задачи. Запуск отменяется асинхронно, поэтому он по-прежнему может выполняться при завершении этого запроса.
Отмена выполнения инструкции	Запрашивает отмену инструкции выполнения. Вызывающие абоненты должны провести опрос состояния, чтобы увидеть состояние терминала.
Получение выходных данных для одного запуска	Получение выходных данных и метаданных одной задачи. Когда задача записной книжки возвращает значение через вызов dbutils.notebook.exit(), эту конечную точку можно использовать для получения этого значения. Azure Databricks ограничивает этот API, чтобы вернуть первые 5 МБ выходных данных. Чтобы вернуть более крупный результат, можно сохранить результаты задания в облачной службе хранилища. Эта конечная точка проверяет, является ли параметр run_id допустимым и возвращает код состояния HTTP 400, если параметр run_id недопустим. Запуски автоматически удаляются через 60 дней. Если вы хотите ссылаться на них за 60 дней, необходимо сохранить старые результаты выполнения до истечения срока их действия.
Получение одного запуска задания	Извлекает метаданные запуска. Большие массивы в результатах будут разбиены на страницы, когда они превышают 100 элементов. Запрос на один запуск вернет все свойства для этого выполнения, а первые 100 элементов свойств массива (задачи, job_clusters, job_parameters и repair_history). Используйте поле next_page_token, чтобы проверить наличие дополнительных результатов и передать его значение в качестве page_token в последующих запросах. Если любые свойства массива имеют более 100 элементов, дополнительные результаты будут возвращены при последующих запросах. Массивы без дополнительных результатов будут пустыми на последующих страницах.
Получение результата по индексу блока	После успешного выполнения инструкции этот запрос можно использовать для получения любого блока по индексу.
Проверка состояния и получение результатов	Получение состояния, манифеста и результатов инструкции
Список заданий	Извлекает список заданий.

Azure Databricks Genie

Идентификатор операции:

InvokeGenieMCP

Запрос пространств Genie для получения аналитических сведений из данных.

Параметры

Имя	Ключ	Обязательно	Тип	Описание
Идентификатор пространства Genie	genie_space_id	True	string	Идентификатор пространства Genie

Выполнение инструкции SQL

Идентификатор операции:

SqlExecuteStatement

Выполните инструкцию SQL и при необходимости ожидайте его результаты в течение указанного времени.

Параметры

Имя	Ключ	Обязательно	Тип	Описание
warehouse_id	warehouse_id	True	string	Идентификатор целевого хранилища
заявление	statement	True	string	Инструкция SQL для выполнения. Оператор может быть параметризован при необходимости, см. параметры
имя	name	True	string	Имя маркера параметра
type	type		string	Тип данных параметра
value	value		string	Значение параметра
catalog	catalog		string	Каталог по умолчанию для выполнения
schema	schema		string	Схема по умолчанию для выполнения
расположение	disposition		string	Режим получения результатов
format	format		string	Формат результирующих наборов
on_wait_timeout	on_wait_timeout		string	Действие во время ожидания
wait_timeout	wait_timeout		string	Время ожидания результата
byte_limit	byte_limit		integer	Ограничение байтов результатов
row_limit	row_limit		integer	Ограничение строки результата

Возвращаемое значение

Ответ на выполнение инструкции

Тело

SqlStatementResponse

Запуск нового задания

Идентификатор операции:

JobsRunNow

Запустите задание и верните run_id запуска.

Параметры

Имя	Ключ	Обязательно	Тип	Описание
idempotency_token	idempotency_token		string	Необязательный маркер, обеспечивающий идемпотентность запросов выполнения заданий. Если запуск с предоставленным маркером уже существует, запрос не создает новый запуск, но возвращает идентификатор существующего запуска. Если выполнение с предоставленным маркером удаляется, возвращается ошибка. Если указать маркер идемпотентности, при сбое можно повторить попытку до успешного выполнения запроса. Azure Databricks гарантирует, что запускается ровно один запуск с помощью этого маркера идемпотентности. Этот маркер должен содержать не более 64 символов. Дополнительные сведения см. в разделе "Как обеспечить идемпотентность для заданий".
job_id	job_id	True	integer	Идентификатор выполняемого задания
job_parameters	job_parameters		object	Параметры уровня задания, используемые в выполнении. например "param": "overriding_val"
только	only		array of string	Список ключей задач, выполняемых внутри задания. Если это поле не указано, все задачи в задании будут выполняться.
performance_target	performance_target		string
full_refresh	full_refresh		boolean	Если значение true, активирует полное обновление в разностной динамической таблице.
enabled	enabled	True	boolean	Если значение true, включите очередь для задания. Это обязательное поле.

Возвращаемое значение

Тело

JobsRunNowResponse

Отмена выполнения

Идентификатор операции:

JobsCancelRun

Отменяет выполнение задания или выполнение задачи. Запуск отменяется асинхронно, поэтому он по-прежнему может выполняться при завершении этого запроса.

Параметры

Имя	Ключ	Обязательно	Тип	Описание
run_id	run_id	True	integer	Это поле является обязательным.

Отмена выполнения инструкции

Идентификатор операции:

SqlCancelExecution

Запрашивает отмену инструкции выполнения. Вызывающие абоненты должны провести опрос состояния, чтобы увидеть состояние терминала.

Параметры

Имя	Ключ	Обязательно	Тип	Описание
Идентификатор оператора	statement_id	True	string	Идентификатор оператора

Получение выходных данных для одного запуска

Идентификатор операции:

JobsGetRunOutput

Получение выходных данных и метаданных одной задачи. Когда задача записной книжки возвращает значение через вызов dbutils.notebook.exit(), эту конечную точку можно использовать для получения этого значения. Azure Databricks ограничивает этот API, чтобы вернуть первые 5 МБ выходных данных. Чтобы вернуть более крупный результат, можно сохранить результаты задания в облачной службе хранилища. Эта конечная точка проверяет, является ли параметр run_id допустимым и возвращает код состояния HTTP 400, если параметр run_id недопустим. Запуски автоматически удаляются через 60 дней. Если вы хотите ссылаться на них за 60 дней, необходимо сохранить старые результаты выполнения до истечения срока их действия.

Параметры

Имя	Ключ	Обязательно	Тип	Описание
Идентификатор запуска	run_id	True	integer	Канонический идентификатор для выполнения.

Возвращаемое значение

Тело

JobsRunOutput

Получение одного запуска задания

Идентификатор операции:

JobsGetRun

Извлекает метаданные запуска. Большие массивы в результатах будут разбиены на страницы, когда они превышают 100 элементов. Запрос на один запуск вернет все свойства для этого выполнения, а первые 100 элементов свойств массива (задачи, job_clusters, job_parameters и repair_history). Используйте поле next_page_token, чтобы проверить наличие дополнительных результатов и передать его значение в качестве page_token в последующих запросах. Если любые свойства массива имеют более 100 элементов, дополнительные результаты будут возвращены при последующих запросах. Массивы без дополнительных результатов будут пустыми на последующих страницах.

Параметры

Имя	Ключ	Обязательно	Тип	Описание
Идентификатор запуска	run_id	True	integer	Канонический идентификатор запуска, для которого извлекаются метаданные. Это поле является обязательным.
Журнал включения	include_history		boolean	Следует ли включить журнал восстановления в ответ.
Включение разрешенных значений	include_resolved_values		boolean	Следует ли включать в ответ значения разрешенных параметров.
Маркер страницы	page_token		string	Используйте next_page_token, возвращенные из предыдущего ответа GetRun, чтобы запросить следующую страницу свойств массива запуска.

Возвращаемое значение

Тело

JobsRun

Получение результата по индексу блока

Идентификатор операции:

SqlGetStatementResultChunkN

После успешного выполнения инструкции этот запрос можно использовать для получения любого блока по индексу.

Параметры

Имя	Ключ	Обязательно	Тип	Описание
Идентификатор оператора	statement_id	True	string	Идентификатор оператора
Индекс блока	chunk_index	True	string	Индекс блока

Возвращаемое значение

Тело

SqlResultData

Проверка состояния и получение результатов

Идентификатор операции:

SqlGetStatement

Получение состояния, манифеста и результатов инструкции

Параметры

Имя	Ключ	Обязательно	Тип	Описание
Идентификатор оператора	statement_id	True	string	Идентификатор оператора

Возвращаемое значение

Ответ на выполнение инструкции

Тело

SqlStatementResponse

Список заданий

Идентификатор операции:

JobsListJobs

Извлекает список заданий.

Параметры

Имя	Ключ	Обязательно	Тип	Описание
Лимит	limit		integer	Количество возвращаемых заданий. Это значение должно быть больше 0 и меньше или равно 100. Значение по умолчанию — 20.
Развертывание задач	expand_tasks		boolean	Следует ли включать сведения о задаче и кластере в ответ. Обратите внимание, что отображаются только первые 100 элементов. Используйте :method:jobs/get to paginate через все задачи и кластеры.
Имя задания	name		string	Фильтр по списку на основе точного (регистра без учета) имени задания.
Маркер страницы	page_token		string	Используйте next_page_token или prev_page_token, возвращенные из предыдущего запроса, чтобы отобразить следующую или предыдущую страницу заданий соответственно.

Возвращаемое значение

Тело

JobsListJobsResponse

Определения

Object

SqlBaseChunkInfo

Метаданные для блока результирующих наборов

Имя	Путь	Тип	Описание
byte_count	byte_count	integer	Количество байтов в блоке результатов
chunk_index	chunk_index	integer	Позиция в последовательности блоков результирующих наборов
row_count	row_count	integer	Количество строк в результирующем блоке
row_offset	row_offset	integer	Запуск смещения строки в результирующем наборе

SqlColumnInfo

Имя	Путь	Тип	Описание
имя	name	string	Имя столбца
позиция	position	integer	Позиция столбца (на основе 0)
type_interval_type	type_interval_type	string	Формат типа интервала
type_name	type_name	SqlColumnInfoTypeName	Имя базового типа данных. Это не содержит подробных сведений о сложных типах, таких как STRUCT, MAP или ARRAY.
type_precision	type_precision	integer	Число цифр для типа DECIMAL
type_scale	type_scale	integer	Число десятичных разрядов для типа DECIMAL
type_text	type_text	string	Полная спецификация типа SQL

SqlColumnInfoTypeName

Имя базового типа данных. Это не содержит подробных сведений о сложных типах, таких как STRUCT, MAP или ARRAY.

Имя базового типа данных. Это не содержит подробных сведений о сложных типах, таких как STRUCT, MAP или ARRAY.

string

SqlStatementResponse

Ответ на выполнение инструкции

Имя	Путь	Тип	Описание
очевидный	manifest	SqlResultManifest	Схема результирующих наборов и метаданные
результат	result	SqlResultData
statement_id	statement_id	string	Идентификатор оператора
статус	status	SqlStatementStatus	Состояние выполнения инструкции

SqlResultManifest

Схема результирующих наборов и метаданные

Имя	Путь	Тип	Описание
Куски	chunks	array of SqlBaseChunkInfo	Метаданные блока результатов
format	format	string
schema	schema	SqlResultSchema	Определения столбцов результирующих наборов
total_byte_count	total_byte_count	integer	Всего байтов в результирующем наборе
total_chunk_count	total_chunk_count	integer	Общее количество блоков
total_row_count	total_row_count	integer	Общее количество строк
усеченный	truncated	boolean	Состояние усечения результатов

SqlStatementStatus

Состояние выполнения инструкции

Имя	Путь	Тип	Описание
ошибка	error	SqlServiceError
государство	state	SqlStatementState	Состояние выполнения инструкции

SqlStatementState

Состояние выполнения инструкции

Состояние выполнения инструкции

string

SqlServiceError

Имя	Путь	Тип	Описание
error_code	error_code	string
сообщение	message	string	Сообщение об ошибке

SqlResultSchema

Определения столбцов результирующих наборов

Имя	Путь	Тип	Описание
column_count	column_count	integer
columns	columns	array of SqlColumnInfo

SqlResultData

Имя	Путь	Тип	Описание
byte_count	byte_count	integer	Байты в фрагменте результатов
chunk_index	chunk_index	integer	Позиция блока
data_array	data_array	SqlJsonArray	Массив массивов со строковыми значениями
external_links	external_links	array of SqlExternalLink
next_chunk_index	next_chunk_index	integer	Следующий индекс блока
next_chunk_internal_link	next_chunk_internal_link	string	Следующая ссылка на блоки
row_count	row_count	integer	Строки в блоке
row_offset	row_offset	integer	Начальная смещение строки

SqlJsonArray

Массив массивов со строковыми значениями

Имя	Путь	Тип	Описание
Товары		array of

SqlExternalLink

Имя	Путь	Тип	Описание
byte_count	byte_count	integer	Байты в блоке
chunk_index	chunk_index	integer	Позиция блока
истечение	expiration	date-time	Время истечения срока действия ссылки
external_link	external_link	string
http_headers	http_headers	object	Обязательные заголовки HTTP
next_chunk_index	next_chunk_index	integer	Следующий индекс блока
next_chunk_internal_link	next_chunk_internal_link	string	Следующая ссылка на блоки
row_count	row_count	integer	Строки в блоке
row_offset	row_offset	integer	Начальная смещение строки

JobsRunNowResponse

Имя	Путь	Тип	Описание
run_id	run_id	integer	Глобальный уникальный идентификатор только что активированного запуска.

JobsPerformanceTarget

string

JobsPipelineParams

Имя	Путь	Тип	Описание
full_refresh	full_refresh	boolean	Если значение true, активирует полное обновление в разностной динамической таблице.

JobsQueueSettings

Имя	Путь	Тип	Описание
enabled	enabled	boolean	Если значение true, включите очередь для задания. Это обязательное поле.

JobsListJobsResponse

Имя	Путь	Тип	Описание
jobs	jobs	array of JobsBaseJob	Список заданий. Только в ответе, если есть задания для списка.
next_page_token	next_page_token	string	Маркер, который можно использовать для перечисления следующей страницы заданий (если применимо).
prev_page_token	prev_page_token	string	Маркер, который можно использовать для перечисления предыдущей страницы заданий (если применимо).

JobsBaseJob

Имя	Путь	Тип	Описание
created_time	created_time	integer	Время создания этого задания в миллисекундах эпохи (миллисекундах с 1.1.1.1970 UTC).
creator_user_name	creator_user_name	string	Имя пользователя-создателя. Это поле не будет включено в ответ, если пользователь уже удален.
effective_budget_policy_id	effective_budget_policy_id	uuid	Идентификатор политики бюджета, используемой этим заданием для целей по присвоению затрат. Это может быть задано (в порядке приоритета): 1. Администраторы бюджета через учетную запись или консоль рабочей области 2. Пользовательский интерфейс заданий на странице сведений о задании и API заданий с помощью budget_policy_id 3. Выводится по умолчанию на основе доступных политик бюджета удостоверения run_as при создании или изменении заданий.
есть_еще	has_more	boolean	Указывает, имеет ли задание больше свойств массива (задач, job_clusters), которые не отображаются. Доступ к ней можно получить с помощью :method:jobs/get endpoint. Это относится только к API 2.2 :method:jobs/list requests with expand_tasks=true.
job_id	job_id	integer	Канонический идентификатор для этого задания.
settings	settings	JobsJobSettings
trigger_state	trigger_state	JobsTriggerStateProto

JobsJobSettings

Имя	Путь	Тип	Описание
budget_policy_id	budget_policy_id	uuid	Идентификатор указанной пользователем политики бюджета, используемой для этого задания. Если не указано, при создании или изменении задания может применяться политика бюджета по умолчанию. См. effective_budget_policy_id политики бюджета, используемой этой рабочей нагрузкой.
непрерывный	continuous	JobsContinuous
развертывание	deployment	JobsJobDeployment
описание	description	string	Необязательное описание задания. Максимальная длина — 27700 символов в кодировке UTF-8.
edit_mode	edit_mode	JobsJobEditMode
email_notifications	email_notifications	JobsJobEmailNotifications
environments	environments	array of JobsJobEnvironment	Список спецификаций среды выполнения задач, на которые можно ссылаться бессерверными задачами этого задания. Среда должна присутствовать для бессерверных задач. Для бессерверных задач записной книжки среда доступна на панели среды записной книжки. Для других бессерверных задач необходимо указать среду задач с помощью environment_key в параметрах задач.
git_source	git_source	JobsGitSource
Здоровье	health	JobsJobsHealthRules
job_clusters	job_clusters	array of JobsJobCluster	Список спецификаций кластера заданий, которые могут совместно использоваться и повторно использоваться в задачах этой работы. Библиотеки нельзя объявлять в общем кластере заданий. Необходимо объявить зависимые библиотеки в параметрах задач.
max_concurrent_runs	max_concurrent_runs	integer	Максимально допустимое количество (необязательно) параллельных процессов выполнения задания. Задайте это значение, если требуется одновременное выполнение нескольких процессов выполнения одного и того же задания. Это полезно, например, если вы активируете задание по частому расписанию и хотите разрешить последовательные запуски перекрываться друг с другом, или если требуется активировать несколько запусков, которые отличаются их входными параметрами. Этот параметр влияет только на новые запуски. Например, предположим, что параллелизм задания равен 4, и существует 4 параллельных активных выполнения. Затем при задании параллелизма значение 3 не убьет ни одного из активных запусков. Однако с этого момента новые запуски пропускаются, если не менее 3 активных запусков. Это значение не может превышать 1000. При задании этого значения значение 0 приводит к пропускам всех новых запусков.
имя	name	string	Опциональное имя для задания. Максимальная длина — 4096 байт в кодировке UTF-8.
notification_settings	notification_settings	JobsJobNotificationSettings
parameters	parameters	array of JobsJobParameterDefinition	Определения параметров уровня задания
performance_target	performance_target	JobsPerformanceTarget
очередь	queue	JobsQueueSettings
запуск_как	run_as	JobsJobRunAs
планирование	schedule	JobsCronSchedule
tags	tags	object	Карта тегов, связанных с заданием. Они перенаправляются в кластер в виде тегов кластера для кластеров заданий и имеют те же ограничения, что и теги кластера. В задание можно добавить не более 25 тегов.
tasks	tasks	array of JobsTask	Список спецификаций задач, выполняемых этим заданием. Он поддерживает до 1000 элементов в конечных точках записи (:method:jobs/create, :method:jobs/reset, :method:jobs/update, :method:jobs/submit). Чтение конечных точек возвращает только 100 задач. Если доступны более 100 задач, вы можете выполнить разбивку по ним с помощью метода:method:jobs/get. Используйте поле next_page_token в корне объекта, чтобы определить, доступны ли дополнительные результаты.
timeout_seconds	timeout_seconds	integer	Необязательное время ожидания, применяемое к каждому запуску этой задачи. Значение 0 означает, что время ожидания не истекло.
trigger	trigger	JobsTriggerSettings
webhook_notifications	webhook_notifications	JobsWebhookNotifications

JobsContinuous

Имя	Путь	Тип	Описание
pause_status	pause_status	JobsPauseStatus

JobsPauseStatus

string

JobsJobDeployment

Имя	Путь	Тип	Описание
добрый	kind	JobsJobDeploymentKind
metadata_file_path	metadata_file_path	string	Путь к файлу, который содержит метаданные развертывания.

JobsJobDeploymentKind

string

JobsJobEditMode

string

JobsJobEmailNotifications

Имя	Путь	Тип	Описание
on_duration_warning_threshold_exceeded	on_duration_warning_threshold_exceeded	array of string	Список адресов электронной почты, которые необходимо уведомить, когда длительность выполнения превышает пороговое значение, указанное для метрики RUN_DURATION_SECONDS в поле работоспособности. Если в поле работоспособности задания не указано правило для метрики RUN_DURATION_SECONDS, уведомления не отправляются.
on_failure	on_failure	array of string	Список адресов электронной почты, которые необходимо уведомить при неудачном завершении выполнения. Выполнение считается неудачным, если заканчивается INTERNAL_ERROR life_cycle_state или сбоем или TIMED_OUT result_state. Если это не указано при создании задания, сбросе или обновлении списка пусто, а уведомления не отправляются.
on_start	on_start	array of string	Список адресов электронной почты, которые необходимо уведомить при запуске. Если не указано при создании, сбросе или обновлении задания, список пуст, а уведомления не отправляются.
on_streaming_backlog_exceeded	on_streaming_backlog_exceeded	array of string	Список адресов электронной почты для уведомления о превышении пороговых значений невыполненной потоковой передачи для любого потока. Пороговые значения невыполненной работы потоковой передачи можно задать в поле работоспособности с помощью следующих метрик: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS или STREAMING_BACKLOG_FILES. Оповещение основано на 10-минутном среднем этих метрик. Если проблема сохраняется, уведомления будут обидены каждые 30 минут.
on_success	on_success	array of string	Список адресов электронной почты, которые необходимо уведомить при успешном завершении выполнения. Выполнение считается успешно завершенным, если заканчивается завершенным life_cycle_state и успешной result_state успешного выполнения. Если не указано при создании, сбросе или обновлении задания, список пуст, а уведомления не отправляются.

JobsJobEnvironment

Имя	Путь	Тип	Описание
environment_key	environment_key	string	Ключ среды. Он должен быть уникальным в задании.
спекуляция	spec	ComputeEnvironment

ComputeEnvironment

Имя	Путь	Тип	Описание
зависимости	dependencies	array of string	Список зависимостей pip, поддерживаемых версией pip в этой среде. Каждая зависимость является допустимой строкой файла требований pip для каждого https://pip.pypa.io/en/stable/reference/requirements-file-format/. Допустимые зависимости включают описатель требований, URL-адрес архива, локальный путь проекта (например, тома WSFS или UC в Azure Databricks) или URL-адрес проекта VCS.
environment_version	environment_version	string	Обязательное. Версия среды, используемая средой. Каждая версия поставляется с определенной версией Python и набором пакетов Python. Версия — это строка, состоящая из целого числа. См. https://learn.microsoft.com/azure/databricks/release-notes/serverless/#serverless-environment-versions.

JobsGitSource

Имя	Путь	Тип	Описание
git_branch	git_branch	string	Имя ветви, которую необходимо извлечь и использовать в этом задании. Это поле нельзя указать в сочетании с git_tag или git_commit.
git_commit	git_commit	string	Фиксация для проверки и использования этим заданием. Это поле нельзя указать в сочетании с git_branch или git_tag.
git_provider	git_provider	JobsGitProvider
git_snapshot	git_snapshot	JobsGitSnapshot
git_tag	git_tag	string	Имя тега, который будет извлечен и использован этим заданием. Это поле нельзя указать в сочетании с git_branch или git_commit.
git_url	git_url	string	URL-адрес репозитория, клонированного этим заданием.

JobsGitProvider

string

JobsGitSnapshot

Имя	Путь	Тип	Описание
used_commit	used_commit	string	Фиксация, используемая для выполнения выполнения. Если git_branch задано, это указывает на голову ветви во время выполнения; Если был указан git_tag, это указывает на фиксацию тега, на который указывает тег.

JobsJobsHealthRules

Имя	Путь	Тип	Описание
правила	rules	array of JobsJobsHealthRule

JobsJobsHealthRule

Имя	Путь	Тип	Описание
metric	metric	JobsJobsHealthMetric
оп	op	JobsJobsHealthOperator
value	value	integer	Указывает пороговое значение, которое метрика работоспособности должна соответствовать правилу работоспособности.

JobsJobsHealthMetric

string

JobsJobsHealthOperator

string

JobsJobCluster

Имя	Путь	Тип	Описание
job_cluster_key	job_cluster_key	string	Уникальное имя кластера заданий. Это поле является обязательным и должно быть уникальным в задании. JobTaskSettings может ссылаться на это поле, чтобы определить, какой кластер будет запущен для выполнения задачи.
new_cluster	new_cluster	ComputeClusterSpec

ComputeClusterSpec

Имя	Путь	Тип	Описание
apply_policy_default_values	apply_policy_default_values	boolean	Если задано значение true, фиксированные и значения по умолчанию из политики будут использоваться для полей, которые опущены. Если задано значение false, будут применены только фиксированные значения из политики.
autoscale	autoscale	ComputeAutoScale
autotermination_minutes	autotermination_minutes	integer	Автоматически завершает кластер после его бездействия в течение указанного времени в минутах. Если параметры этого кластера не установлены, он не будет автоматически завершен. Если задано, пороговое значение должно составлять от 10 до 10000 минут. Пользователи также могут задать для этого значения значение 0, чтобы явно отключить автоматическое завершение.
azure_attributes	azure_attributes	ComputeAzureAttributes
cluster_log_conf	cluster_log_conf	ComputeClusterLogConf
имя_кластера	cluster_name	string	Имя кластера, запрошенное пользователем. Это не обязательно должно быть уникальным. Если он не указан при создании, имя кластера будет пустой строкой. Для кластеров заданий имя кластера автоматически устанавливается на основе идентификаторов заданий и выполнения заданий.
custom_tags	custom_tags	object	Дополнительные теги для ресурсов кластера. Azure Databricks помечает все ресурсы кластера (например, экземпляры AWS и тома EBS) с этими тегами в дополнение к default_tags. Примечания. В настоящее время Azure Databricks допускает не более 45 пользовательских тегов. Кластеры могут повторно использовать облачные ресурсы, если теги ресурсов являются подмножеством тегов кластера.
data_security_mode	data_security_mode	ComputeDataSecurityMode
docker_image	docker_image	ComputeDockerImage
driver_instance_pool_id	driver_instance_pool_id	string	Необязательный идентификатор пула экземпляров, к которому принадлежит драйвер кластера. Кластер пула использует пул экземпляров с идентификатором (instance_pool_id), если пул драйверов не назначен.
driver_node_type_id	driver_node_type_id	string	Тип узла драйвера Spark. Обратите внимание, что это поле является необязательным; Если не задано, тип узла драйвера будет задан как то же значение, что и node_type_id, определенное выше. Это поле вместе с node_type_id не следует задавать, если virtual_cluster_size задано. Если указаны оба driver_node_type_id, node_type_id и virtual_cluster_size, driver_node_type_id и node_type_id имеют приоритет.
enable_elastic_disk	enable_elastic_disk	boolean	Автоматическое масштабирование локального хранилища: когда включено, этот кластер динамически получает дополнительное дисковое пространство, если пользователи Spark испытывают недостаток места на диске. Для правильной работы этой функции требуются определенные разрешения AWS. Дополнительные сведения см. в руководстве пользователя.
enable_local_disk_encryption	enable_local_disk_encryption	boolean	Включение LUKS на локальных дисках виртуальных машин кластера
init_scripts	init_scripts	array of ComputeInitScriptInfo	Конфигурация для хранения скриптов инициализации. Можно указать любое количество мест назначения. Скрипты выполняются последовательно в указанном порядке. Если указан cluster_log_conf, журналы скриптов init отправляются в <целевое место назначения>,< идентификатор> кластера или init_scripts.
instance_pool_id	instance_pool_id	string	Необязательный идентификатор пула экземпляров, к которому принадлежит кластер.
is_single_node	is_single_node	boolean	Это поле можно использовать только в том случае, если тип = CLASSIC_PREVIEW. Если задано значение true, Azure Databricks автоматически устанавливает один узел, связанный с custom_tags, spark_conf и num_workers
добрый	kind	ComputeKind
node_type_id	node_type_id	string	Используя отдельное значение, это поле кодирует доступные ресурсы для каждого узла Spark в этом кластере. Например, узлы Spark могут быть подготовлены и оптимизированы для операций в памяти или для ресурсоемких рабочих нагрузок. Список доступных типов узлов можно получить с помощью вызова API :method:clusters/listNodeTypes.
num_workers	num_workers	integer	Необходимое число рабочих узлов текущего кластера. Кластер имеет один драйвер Spark и num_workers исполнителя для всего num_workers и 1 узлов Spark. Примечание. При чтении свойств кластера это поле отражает требуемое количество рабочих ролей, а не фактическое текущее число рабочих ролей. Например, если кластер изменяется с 5 до 10 рабочих ролей, это поле будет немедленно обновлено, чтобы отразить целевой размер 10 рабочих ролей, в то время как рабочие, перечисленные в spark_info, постепенно будут увеличиваться с 5 до 10 по мере подготовки новых узлов.
policy_id	policy_id	string	Идентификатор политики кластера, используемой для создания кластера, если это применимо.
runtime_engine	runtime_engine	ComputeRuntimeEngine
single_user_name	single_user_name	string	Имя одного пользователя, если data_security_mode SINGLE_USER
spark_conf	spark_conf	object	Объект с набором необязательных, определяемых пользователем пар "ключ-значение" в конфигурации Spark. Пользователи также могут передавать строку дополнительных параметров JVM драйверу и исполнителям через spark.driver.extraJavaOptions и spark.executor.extraJavaOptions соответственно.
spark_env_vars	spark_env_vars	object	Объект, содержащий набор необязательных пар "ключ-значение", определяемых пользователем переменных среды. Обратите внимание, что пара "ключ-значение" формы (X,Y) будет экспортирована (т. е. экспорт X='Y) при запуске драйвера и работников. Чтобы указать дополнительный набор SPARK_DAEMON_JAVA_OPTS, рекомендуется добавить их в $SPARK_DAEMON_JAVA_OPTS, как показано в примере ниже. Это гарантирует, что все управляемые переменные среды databricks по умолчанию также включены. Пример переменных среды Spark: {"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} или "{"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}
spark_version	spark_version	string	Версия Spark кластера, например 3.3.x-scala2.11. Список доступных версий Spark можно получить с помощью вызова API :method:clusters/sparkVersions.
ssh_public_keys	ssh_public_keys	array of string	Содержимое открытого ключа SSH, которое будет добавлено на каждый узел Spark в этом кластере. Соответствующие закрытые ключи можно использовать для входа с помощью ubuntu имени пользователя через порт 2200. Можно указать до 10 ключей.
use_ml_runtime	use_ml_runtime	boolean	Это поле можно использовать только в том случае, если тип = CLASSIC_PREVIEW. effective_spark_version определяется spark_version (выпуск DBR), это поле use_ml_runtime и является ли node_type_id узлом gpu или нет.
workload_type	workload_type	ComputeWorkloadType

ComputeAutoScale

Имя	Путь	Тип	Описание
max_workers	max_workers	integer	Максимальное число рабочих ролей, к которым кластер может увеличиваться при перегрузке. Обратите внимание, что max_workers должны быть строго больше min_workers.
min_workers	min_workers	integer	Минимальное число рабочих ролей, в которых кластер может уменьшиться при недостаточном использовании. Это также начальное число рабочих ролей, которые кластер будет иметь после создания.

ComputeAzureAttributes

Имя	Путь	Тип	Описание
availability	availability	ComputeAzureAvailability
first_on_demand	first_on_demand	integer	Первые first_on_demand узлы кластера будут размещены на экземплярах по запросу. Это значение должно быть больше 0, чтобы убедиться, что узел драйвера кластера помещается в экземпляр по запросу. Если это значение больше или равно текущему размеру кластера, все узлы будут размещены на экземплярах по запросу. Если это значение меньше текущего размера кластера, first_on_demand узлы будут помещены на экземпляры по запросу, а оставшаяся часть будет помещена в экземпляры доступности. Обратите внимание, что это значение не влияет на размер кластера и в настоящее время не может быть мутировано в течение всего времени существования кластера.
log_analytics_info	log_analytics_info	ComputeLogAnalyticsInfo
spot_bid_max_price	spot_bid_max_price	double	Максимальная цена на ставку, используемая для точечных экземпляров Azure. Максимальная цена на ставку не может быть выше, чем цена по запросу экземпляра. Если значение по умолчанию не указано, значение по умолчанию равно -1, указывающее, что экземпляр не может быть вытеснен на основе цены, и только на основе доступности. Кроме того, значение должно быть > равно 0 или -1.

ComputeAzureAvailability

string

ComputeLogAnalyticsInfo

Имя	Путь	Тип	Описание
log_analytics_primary_key	log_analytics_primary_key	string
log_analytics_workspace_id	log_analytics_workspace_id	string

ComputeClusterLogConf

Имя	Путь	Тип	Описание
dbfs	dbfs	ComputeDbfsStorageInfo
volumes	volumes	ComputeVolumesStorageInfo

ComputeDbfsStorageInfo

Имя	Путь	Тип	Описание
destination	destination	string	назначение dbfs, например dbfs:/my/path

ComputeVolumesStorageInfo

Имя	Путь	Тип	Описание
destination	destination	string	Назначение томов UC, например /Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh или dbfs:/Volumes/catalog/vol1/init-scripts/setup-datadog.sh

ComputeDataSecurityMode

string

ComputeDockerImage

Имя	Путь	Тип	Описание
basic_auth	basic_auth	ComputeDockerBasicAuth
URL-адрес	url	string	URL-адрес образа Docker.

ComputeDockerBasicAuth

Имя	Путь	Тип	Описание
пароль	password	string	Пароль пользователя
username	username	string	Имя пользователя

ComputeInitScriptInfo

Имя	Путь	Тип	Описание
abfss	abfss	ComputeAdlsgen2Info
file	file	ComputeLocalFileInfo
gcs	gcs	ComputeGcsStorageInfo
volumes	volumes	ComputeVolumesStorageInfo
workspace	workspace	ComputeWorkspaceStorageInfo

ComputeAdlsgen2Info

Имя	Путь	Тип	Описание
destination	destination	string	Назначение abfss, например abfss://< container-name@>storage-account-name.dfs.core.windows.net/<>< directory-name>.

ComputeLocalFileInfo

Имя	Путь	Тип	Описание
destination	destination	string	назначение локального файла, например file:/my/local/file.sh

ComputeGcsStorageInfo

Имя	Путь	Тип	Описание
destination	destination	string	Назначение или URI GCS, например gs://my-bucket/some-prefix

ComputeWorkspaceStorageInfo

Имя	Путь	Тип	Описание
destination	destination	string	назначение wsfs, например рабочая область:/cluster-init-scripts/setup-datadog.sh

ComputeKind

string

ComputeRuntimeEngine

string

ComputeWorkloadType

Имя	Путь	Тип	Описание
clients	clients	ComputeClientsTypes

ComputeClientsTypes

Имя	Путь	Тип	Описание
jobs	jobs	boolean	С набором заданий кластер можно использовать для заданий.
Ноутбуков	notebooks	boolean	С набором записных книжек этот кластер можно использовать для записных книжек.

JobsJobNotificationSettings

Имя	Путь	Тип	Описание
no_alert_for_canceled_runs	no_alert_for_canceled_runs	boolean	Если значение true, не отправляйте уведомления получателям, указанным в on_failure, если выполнение отменено.
no_alert_for_skipped_runs	no_alert_for_skipped_runs	boolean	Если значение true, не отправляйте уведомления получателям, указанным в on_failure, если выполнение пропущено.

JobsJobParameterDefinition

Имя	Путь	Тип	Описание
default	default	string	Значение параметра по умолчанию.
имя	name	string	Имя определенного параметра. Может содержать только буквенно-цифровые символы, _, -и.

JobsJobRunAs

Имя	Путь	Тип	Описание
service_principal_name	service_principal_name	string	Идентификатор приложения активного субъекта-службы. Для этого поля требуется роль servicePrincipal/user.
user_name	user_name	string	Электронная почта активного пользователя рабочей области. Пользователи, не являющиеся администраторами, могут задать это поле только для собственного сообщения электронной почты.

JobsCronSchedule

Имя	Путь	Тип	Описание
pause_status	pause_status	JobsPauseStatus
quartz_cron_expression	quartz_cron_expression	string	Выражение Cron с использованием синтаксиса Qualcom, описывающего расписание задания. Дополнительные сведения см. в разделе "Триггер Cron ". Это поле является обязательным.
timezone_id	timezone_id	string	Идентификатор часового пояса Java. Расписание задания разрешается в отношении этого часового пояса. Дополнительные сведения см. в часовом поясе Java . Это поле является обязательным.

JobsTask

Имя	Путь	Тип	Описание
clean_rooms_notebook_task	clean_rooms_notebook_task	Object
condition_task	condition_task	JobsConditionTask
dashboard_task	dashboard_task	JobsDashboardTask
dbt_task	dbt_task	Object
depends_on	depends_on	array of JobsTaskDependency	Необязательный массив объектов, указывающий граф зависимостей задачи. Все задачи, указанные в этом поле, должны выполняться перед выполнением этой задачи. Задача будет выполняться только в том случае, если условие run_if имеет значение true. Ключ task_key, а значение — имя, назначенное зависимой задаче.
описание	description	string	Необязательное описание этой задачи.
disable_auto_optimization	disable_auto_optimization	boolean	Параметр отключения автоматической оптимизации в бессерверном режиме
email_notifications	email_notifications	JobsTaskEmailNotifications
environment_key	environment_key	string	Ключ, ссылающийся на спецификацию среды в задании. Это поле требуется для скриптов Python, колесика Python и задач dbt при использовании бессерверных вычислений.
existing_cluster_id	existing_cluster_id	string	Если existing_cluster_id, идентификатор существующего кластера, который используется для всех запусков. При выполнении заданий или задач в существующем кластере может потребоваться вручную перезапустить кластер, если он перестает отвечать. Мы рекомендуем выполнять задания и задачи в новых кластерах для повышения надежности
for_each_task	for_each_task	JobsForEachTask
Здоровье	health	JobsJobsHealthRules
job_cluster_key	job_cluster_key	string	Если job_cluster_key, эта задача выполняется повторно, а кластер, указанный в job.settings.job_clusters.
libraries	libraries	array of ComputeLibrary	Необязательный список библиотек, установленных в кластере. Значение по умолчанию — пустой список.
max_retries	max_retries	integer	Необязательное максимальное количество раз повторения неудачного выполнения. Выполнение считается неудачным, если оно завершается сбоем result_state или INTERNAL_ERROR life_cycle_state. Значение -1 означает повторение на неопределенный срок, а значение 0 означает, что никогда не повторяться.
min_retry_interval_millis	min_retry_interval_millis	integer	Необязательный минимальный интервал в миллисекундах между началом неудачного выполнения и последующим повторным выполнением. Поведение по умолчанию заключается в том, что неудачные запуски немедленно извлекаются.
new_cluster	new_cluster	ComputeClusterSpec
notebook_task	notebook_task	JobsNotebookTask
notification_settings	notification_settings	JobsTaskNotificationSettings
pipeline_task	pipeline_task	JobsPipelineTask
power_bi_task	power_bi_task	Object
python_wheel_task	python_wheel_task	JobsPythonWheelTask
retry_on_timeout	retry_on_timeout	boolean	Необязательная политика, указывая, следует ли повторить задание при истечении времени ожидания. Поведение по умолчанию заключается в том, чтобы не повторить время ожидания.
run_if	run_if	JobsRunIf
run_job_task	run_job_task	JobsRunJobTask
spark_jar_task	spark_jar_task	JobsSparkJarTask
spark_python_task	spark_python_task	JobsSparkPythonTask
spark_submit_task	spark_submit_task	JobsSparkSubmitTask
sql_task	sql_task	Object
task_key	task_key	string	Уникальное имя задачи. Это поле используется для ссылки на эту задачу из других задач. Это поле является обязательным и должно быть уникальным в родительском задании. При обновлении или сбросе это поле используется для ссылки на задачи для обновления или сброса.
timeout_seconds	timeout_seconds	integer	Дополнительное время ожидания, применяемое к каждому выполнению этой задачи задания. Значение 0 означает, что время ожидания не истекло.
webhook_notifications	webhook_notifications	JobsWebhookNotifications

JobsConditionTask

Имя	Путь	Тип	Описание
левый	left	string	Левый операнды задачи условия. Может быть строковым значением или ссылкой на состояние задания или ссылку на параметр.
оп	op	JobsConditionTaskOp
Правильно	right	string	Правый операнд задачи условия. Может быть строковым значением или ссылкой на состояние задания или ссылку на параметр.

JobsConditionTaskOp

string

JobsDashboardTask

Имя	Путь	Тип	Описание
dashboard_id	dashboard_id	string	Идентификатор обновляемой панели мониторинга.
subscription	subscription	JobsSubscription
warehouse_id	warehouse_id	string	Необязательный: идентификатор хранилища для выполнения панели мониторинга с расписанием. Если это не указано, будет использоваться хранилище панели мониторинга по умолчанию.

JobsSubscription

Имя	Путь	Тип	Описание
custom_subject	custom_subject	string	Необязательно. Позволяет пользователям указывать настраиваемую строку темы в электронной почте, отправленной подписчикам.
Приостановлена	paused	boolean	Если задано значение true, подписка не будет отправлять сообщения электронной почты.
абоненты	subscribers	array of JobsSubscriptionSubscriber	Список подписчиков для отправки моментального снимка панели мониторинга.

JobsSubscriptionSubscriber

Имя	Путь	Тип	Описание
destination_id	destination_id	string	Моментальный снимок панели мониторинга будет отправлен в место назначения при наличии поля destination_id.
user_name	user_name	string	Моментальный снимок панели мониторинга будет отправлен пользователю по электронной почте при наличии поля user_name.

JobsSource

string

JobsTaskDependency

Имя	Путь	Тип	Описание
результат	outcome	string	Можно указать только зависимости задачи условия. Результат зависимой задачи, которую необходимо выполнить для выполнения этой задачи.
task_key	task_key	string	Имя задачи, от которой зависит эта задача.

JobsTaskEmailNotifications

Имя	Путь	Тип	Описание
on_duration_warning_threshold_exceeded	on_duration_warning_threshold_exceeded	array of string	Список адресов электронной почты, которые необходимо уведомить, когда длительность выполнения превышает пороговое значение, указанное для метрики RUN_DURATION_SECONDS в поле работоспособности. Если в поле работоспособности задания не указано правило для метрики RUN_DURATION_SECONDS, уведомления не отправляются.
on_failure	on_failure	array of string	Список адресов электронной почты, которые необходимо уведомить при неудачном завершении выполнения. Выполнение считается неудачным, если заканчивается INTERNAL_ERROR life_cycle_state или сбоем или TIMED_OUT result_state. Если это не указано при создании задания, сбросе или обновлении списка пусто, а уведомления не отправляются.
on_start	on_start	array of string	Список адресов электронной почты, которые необходимо уведомить при запуске. Если не указано при создании, сбросе или обновлении задания, список пуст, а уведомления не отправляются.
on_streaming_backlog_exceeded	on_streaming_backlog_exceeded	array of string	Список адресов электронной почты для уведомления о превышении пороговых значений невыполненной потоковой передачи для любого потока. Пороговые значения невыполненной работы потоковой передачи можно задать в поле работоспособности с помощью следующих метрик: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS или STREAMING_BACKLOG_FILES. Оповещение основано на 10-минутном среднем этих метрик. Если проблема сохраняется, уведомления будут обидены каждые 30 минут.
on_success	on_success	array of string	Список адресов электронной почты, которые необходимо уведомить при успешном завершении выполнения. Выполнение считается успешно завершенным, если заканчивается завершенным life_cycle_state и успешной result_state успешного выполнения. Если не указано при создании, сбросе или обновлении задания, список пуст, а уведомления не отправляются.

ComputeLibrary

Имя	Путь	Тип	Описание
Кран	cran	ComputeRCranLibrary
банка	jar	string	URI библиотеки JAR для установки. Поддерживаемые URI включают пути к рабочей области, пути каталога Unity и URL-адреса ADLS. Например: { jar: "/Workspace/path/to/library.jar" }, { jar: "/Volumes/path/to/library.jar" } или { jar: "abfss://my-bucket/library.jar" }. Если используется ADLS, убедитесь, что кластер имеет доступ на чтение в библиотеке. Для доступа к URI ADLS может потребоваться запустить кластер с субъектом-службой идентификатора Microsoft Entra ID.
maven	maven	ComputeMavenLibrary
pypi	pypi	ComputePythonPyPiLibrary
requirements	requirements	string	URI файла requirements.txt для установки. Поддерживаются только пути к рабочей области и пути каталога Unity. Например: { "requirements": "/Workspace/path/to/requirements.txt" } или { "requirements" : "/Volumes/path/to/requirements.txt" }
whl	whl	string	Универсальный код ресурса (URI) устанавливаемой библиотеки колес. Поддерживаемые URI включают пути к рабочей области, пути каталога Unity и URL-адреса ADLS. Например: { "whl": "/Workspace/path/to/library.whl" }, { "whl" : "/Volumes/path/to/library.whl" } или { "whl": "abfss://my-bucket/library.whl" }. Если используется ADLS, убедитесь, что кластер имеет доступ на чтение в библиотеке. Для доступа к URI ADLS может потребоваться запустить кластер с субъектом-службой идентификатора Microsoft Entra ID.

JobsForEachTask

Имя	Путь	Тип	Описание
конкурентность	concurrency	integer	Необязательное максимально допустимое количество одновременных запусков задачи. Задайте это значение, если вы хотите иметь возможность одновременно выполнять несколько запусков задачи.
входные данные	inputs	string	Массив для выполнения итерации задачи. Это может быть строка JSON или ссылка на параметр массива.
задача	task	Object

ComputeRCranLibrary

Имя	Путь	Тип	Описание
пакет	package	string	Имя устанавливаемого пакета CRAN.
Репо	repo	string	Репозиторий, в котором можно найти пакет. Если не указано, используется репозиторий CRAN по умолчанию.

ComputeMavenLibrary

Имя	Путь	Тип	Описание
Координаты	coordinates	string	Координаты maven в стиле Gradle. Например: org.jsoup:jsoup:1.7.2.
Исключения	exclusions	array of string	Список зависимостей, которые следует исключить. Например: ["slf4j:slf4j", "*:hadoop-client"]. Исключения зависимостей Maven: https://maven.apache.org/guides/introduction/introduction-to-optional-and-excludes-dependencies.html.
Репо	repo	string	Репозиторий Maven для установки пакета Maven из. Если опущено, поиск выполняется как в центральном репозитории Maven, так и в пакетах Spark.

ComputePythonPyPiLibrary

Имя	Путь	Тип	Описание
пакет	package	string	Имя устанавливаемого пакета pypi. Также поддерживается дополнительная точную спецификацию версии. Примеры: Simplejson и Simplejson==3.8.0.
Репо	repo	string	Репозиторий, в котором можно найти пакет. Если не указано, используется индекс pip по умолчанию.

JobsNotebookTask

Имя	Путь	Тип	Описание
base_parameters	base_parameters	object	Базовые параметры, используемые для каждого запуска этого задания. Если запуск инициируется вызовом :method:jobs/run Now с указанными параметрами, два сопоставления параметров объединяются. Если тот же ключ указан в base_parameters и в запуске, используется значение из запуска. Используйте переменные параметра задачи для задания параметров, содержащих сведения о выполнении задания. Если записная книжка принимает параметр, который не указан в base_parameters задания или переопределяет параметры запуска, используется значение по умолчанию из записной книжки. Получите эти параметры в записной книжке с помощью dbutils.widgets.get. Представление json этого поля не может превышать 1 МБ.
notebook_path	notebook_path	string	Путь к записной книжке, выполняемой в рабочей области Azure Databricks или удаленном репозитории. Для записных книжек, хранящихся в рабочей области Azure Databricks, путь должен быть абсолютным и начинаться с косой черты. Для записных книжек, хранящихся в удаленном репозитории, путь должен быть относительным. Это поле является обязательным.
source	source	JobsSource
warehouse_id	warehouse_id	string	Необязательный warehouse_id для запуска записной книжки в хранилище SQL. Классические хранилища SQL не поддерживаются, используйте бессерверные или профессиональные хранилища SQL. Обратите внимание, что хранилища SQL поддерживают только ячейки SQL; Если записная книжка содержит ячейки, отличные от SQL, выполнение завершится ошибкой.

JobsTaskNotificationSettings

Имя	Путь	Тип	Описание
alert_on_last_attempt	alert_on_last_attempt	boolean	Если значение true, не отправляйте уведомления получателям, указанным в on_start для повторных запусков, и не отправляйте уведомления получателям, указанным в on_failure до последнего повтора выполнения.
no_alert_for_canceled_runs	no_alert_for_canceled_runs	boolean	Если значение true, не отправляйте уведомления получателям, указанным в on_failure, если выполнение отменено.
no_alert_for_skipped_runs	no_alert_for_skipped_runs	boolean	Если значение true, не отправляйте уведомления получателям, указанным в on_failure, если выполнение пропущено.

JobsPipelineTask

Имя	Путь	Тип	Описание
full_refresh	full_refresh	boolean	Если значение true, активирует полное обновление в разностной динамической таблице.
pipeline_id	pipeline_id	string	Полное имя выполняемой задачи конвейера.

JobsPythonWheelTask

Имя	Путь	Тип	Описание
entry_point	entry_point	string	Именованной точкой входа, используемой, если она не существует в метаданных пакета, она выполняет функцию из пакета непосредственно с помощью $packageName.$entryPoint()
named_parameters	named_parameters	object	Параметры командной строки, переданные задаче колеса Python в виде ["--name=task", "--data=dbfs:/path/to/data.json"]. Оставьте его пустым, если параметры не являются null.
package_name	package_name	string	Имя пакета для выполнения
parameters	parameters	array of string	Параметры командной строки, передаваемые задаче колеса Python. Оставьте его пустым, если named_parameters не имеет значения NULL.

JobsRunIf

string

JobsRunJobTask

Имя	Путь	Тип	Описание
job_id	job_id	integer	Идентификатор запускаемого задания.
job_parameters	job_parameters	object	Параметры уровня задания, используемые для активации задания.
pipeline_params	pipeline_params	JobsPipelineParams

JobsSparkJarTask

Имя	Путь	Тип	Описание
main_class_name	main_class_name	string	Полное имя класса, который содержит главный метод, который будет выполнен. Этот класс должен содержаться в файле JAR, предоставляемом в виде библиотеки. Код должен использовать SparkContext.getOrCreate для получения контекста Spark; в противном случае выполнение задания завершается ошибкой.
parameters	parameters	array of string	Параметры, переданные основному методу. Используйте переменные параметра задачи для задания параметров, содержащих сведения о выполнении задания.

JobsSparkPythonTask

Имя	Путь	Тип	Описание
parameters	parameters	array of string	Параметры командной строки, передаваемые в файл Python. Используйте переменные параметра задачи для задания параметров, содержащих сведения о выполнении задания.
python_file	python_file	string	Исполняемый файл Python. Поддерживаются URI облачных файлов (например, dbfs:/, s3:/, adls:/, gcs:/) и пути к рабочей области. Для файлов Python, хранящихся в рабочей области Azure Databricks, путь должен быть абсолютным и начинаться с /. Для файлов, хранящихся в удаленном репозитории, путь должен быть относительным. Это поле является обязательным.
source	source	JobsSource

JobsSparkSubmitTask

Имя	Путь	Тип	Описание
parameters	parameters	array of string	Параметры командной строки, переданные в отправку Spark. Используйте переменные параметра задачи для задания параметров, содержащих сведения о выполнении задания.

JobsWebhookNotifications

Имя	Путь	Тип	Описание
on_duration_warning_threshold_exceeded	on_duration_warning_threshold_exceeded	array of JobsWebhook	Необязательный список идентификаторов системных уведомлений для вызова, когда длительность выполнения превышает пороговое значение, указанное для метрики RUN_DURATION_SECONDS в поле работоспособности. Для свойства on_duration_warning_threshold_exceeded можно указать не более 3 назначения.
on_failure	on_failure	array of JobsWebhook	Необязательный список идентификаторов системных уведомлений для вызова при сбое выполнения. Для свойства on_failure можно указать не более 3 назначения.
on_start	on_start	array of JobsWebhook	Необязательный список идентификаторов системных уведомлений для вызова при запуске. Для свойства on_start можно указать не более 3 назначения.
on_streaming_backlog_exceeded	on_streaming_backlog_exceeded	array of JobsWebhook	Необязательный список идентификаторов системных уведомлений для вызова при превышении пороговых значений невыполненной потоковой передачи для любого потока. Пороговые значения невыполненной работы потоковой передачи можно задать в поле работоспособности с помощью следующих метрик: STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS или STREAMING_BACKLOG_FILES. Оповещение основано на 10-минутном среднем этих метрик. Если проблема сохраняется, уведомления будут обидены каждые 30 минут. Для свойства on_streaming_backlog_exceeded можно указать не более 3 назначения.
on_success	on_success	array of JobsWebhook	Необязательный список идентификаторов системных уведомлений для вызова при успешном завершении выполнения. Для свойства on_success можно указать не более 3 назначения.

JobsWebhook

Имя	Путь	Тип	Описание
id	id	string

JobsTriggerSettings

Имя	Путь	Тип	Описание
file_arrival	file_arrival	JobsFileArrivalTriggerConfiguration
pause_status	pause_status	JobsPauseStatus
периодический	periodic	JobsPeriodicTriggerConfiguration

JobsFileArrivalTriggerConfiguration

Имя	Путь	Тип	Описание
min_time_between_triggers_seconds	min_time_between_triggers_seconds	integer	Если задано, триггер запускает запуск только после указанного времени, прошедшего с момента последнего запуска триггера. Минимально допустимое значение — 60 секунд
URL-адрес	url	string	URL-адрес для отслеживания прибытия файлов. Путь должен указывать на корневой каталог или подпатку внешнего расположения.
wait_after_last_change_seconds	wait_after_last_change_seconds	integer	Если задано, триггер запускается только после того, как действие файла не произошло в течение указанного периода времени. Это позволяет ждать отправки пакета входящих файлов перед активацией запуска. Минимально допустимое значение — 60 секунд.

JobsPeriodicTriggerConfiguration

Имя	Путь	Тип	Описание
interval	interval	integer	Интервал выполнения триггера.
единица	unit	JobsPeriodicTriggerConfigurationTimeUnit

JobsPeriodicTriggerConfigurationTimeUnit

string

JobsTriggerStateProto

Имя	Путь	Тип	Описание
file_arrival	file_arrival	JobsFileArrivalTriggerState

JobsFileArrivalTriggerState

Имя	Путь	Тип	Описание
using_file_events	using_file_events	boolean	Указывает, используется ли триггер событий файлов для обнаружения поступлений файлов.

JobsRun

Имя	Путь	Тип	Описание
attempt_number	attempt_number	integer	Порядковый номер этой попытки выполнения для запуска активированного задания. Начальная попытка выполнения имеет attempt_number 0. Если начальная попытка выполнения завершается ошибкой, а задание имеет политику повторных попыток (max_retries > 0), последующие запуски создаются с original_attempt_run_id идентификатора исходной попытки и добавочного attempt_number. Запуски извлекаются только до тех пор, пока они не будут выполнены, и максимальное attempt_number совпадает с значением max_retries для задания.
cleanup_duration	cleanup_duration	integer	Время в миллисекундах потребовалось для завершения кластера и очистки всех связанных артефактов. Длительность выполнения задачи — это сумма setup_duration, execution_duration и cleanup_duration. Поле cleanup_duration имеет значение 0 для выполнения многозадакных заданий. Общая длительность выполнения многофакторного задания — это значение поля run_duration.
cluster_instance	cluster_instance	JobsClusterInstance
cluster_spec	cluster_spec	JobsClusterSpec
creator_user_name	creator_user_name	string	Имя пользователя-создателя. Это поле не будет включено в ответ, если пользователь уже удален.
описание	description	string	Описание выполнения
effective_performance_target	effective_performance_target	JobsPerformanceTarget
время окончания	end_time	integer	Время окончания этого запуска в миллисекундах эпохи (миллисекундах с 1.1.1.1970 UTC). Это поле имеет значение 0, если задание по-прежнему выполняется.
execution_duration	execution_duration	integer	Время в миллисекундах, затраченное на выполнение команд в JAR-файле или записной книжке, пока они не завершились, не завершились сбоем, истекло время ожидания, были отменены или произошла непредвиденная ошибка. Длительность выполнения задачи — это сумма setup_duration, execution_duration и cleanup_duration. Поле execution_duration имеет значение 0 для выполнения многозадакных заданий. Общая длительность выполнения многофакторного задания — это значение поля run_duration.
git_source	git_source	JobsGitSource
есть_еще	has_more	boolean	Указывает, имеет ли выполнение больше свойств массива (задач, job_clusters), которые не отображаются. К ней можно получить доступ через конечную точку :method:jobs/getrun. Он относится только к запросам API 2.2 :method:jobs/listruns с expand_tasks=true.
job_clusters	job_clusters	array of JobsJobCluster	Список спецификаций кластера заданий, которые могут совместно использоваться и повторно использоваться в задачах этой работы. Библиотеки нельзя объявлять в общем кластере заданий. Необходимо объявить зависимые библиотеки в параметрах задач. Если доступны более 100 кластеров заданий, вы можете разогнать их с помощью :method:jobs/getrun.
job_id	job_id	integer	Канонический идентификатор задания, содержащего этот запуск.
job_parameters	job_parameters	array of JobsJobParameter	Параметры уровня задания, используемые в выполнении
job_run_id	job_run_id	integer	Идентификатор выполнения задания, к которому принадлежит этот запуск. Для устаревших и однозаготовых заданий поле заполняется идентификатором выполнения задания. Для выполнения задач поле заполняется идентификатором запуска задания, к которому принадлежит выполнение задачи.
next_page_token	next_page_token	string	Маркер, который можно использовать для перечисления следующей страницы свойств массива.
original_attempt_run_id	original_attempt_run_id	integer	Если этот запуск является повтором предыдущей попытки выполнения, это поле содержит run_id исходной попытки; в противном случае оно совпадает с run_id.
overriding_parameters	overriding_parameters	JobsRunParameters
queue_duration	queue_duration	integer	Время в миллисекундах, затраченное на выполнение в очереди.
repair_history	repair_history	array of JobsRepairHistoryItem	Журнал восстановления выполнения.
run_duration	run_duration	integer	Время в миллисекундах потребовалось выполнение задания и все его ремонты, чтобы завершить.
run_id	run_id	integer	Канонический идентификатор запуска. Этот идентификатор уникален во всех запусках всех заданий.
run_name	run_name	string	Необязательное имя для выполнения. Максимальная длина — 4096 байт в кодировке UTF-8.
run_page_url	run_page_url	string	URL-адрес страницы сведений запуска.
тип запуска	run_type	JobsRunType
планирование	schedule	JobsCronSchedule
setup_duration	setup_duration	integer	Время в миллисекундах, необходимое для настройки кластера. Для запусков, которые выполняются в новых кластерах, это время создания кластера, для запусков, выполняемых в существующих кластерах, на этот раз должно быть очень коротким. Длительность выполнения задачи — это сумма setup_duration, execution_duration и cleanup_duration. Поле setup_duration имеет значение 0 для выполнения многозадакных заданий. Общая длительность выполнения многофакторного задания — это значение поля run_duration.
время начала	start_time	integer	Время начала этого запуска в миллисекундах эпохи (миллисекундах с 1.1.1.1970 UTC). Это не может быть время, когда задача задания начинает выполняться, например, если задание планируется запустить в новом кластере, это время, когда будет выдан вызов создания кластера.
статус	status	JobsRunStatus
tasks	tasks	array of JobsRunTask	Список задач, выполняемых выполнением. Каждая задача имеет собственный run_id, который можно использовать для вызова JobsGetOutput для получения повторов выполнения. Если доступны более 100 задач, их можно разогнать с помощью :method:jobs/getrun. Используйте поле next_page_token в корне объекта, чтобы определить, доступны ли дополнительные результаты.
trigger	trigger	JobsTriggerType
trigger_info	trigger_info	JobsTriggerInfo

JobsClusterInstance

Имя	Путь	Тип	Описание
cluster_id	cluster_id	string	Канонический идентификатор кластера, используемого выполнением. Это поле всегда доступно для запуска в существующих кластерах. При запуске в новых кластерах он становится доступным после создания кластера. Это значение можно использовать для просмотра журналов, перейдя в журналы /#setting/sparkui/$cluster_id/driver-logs. Журналы по-прежнему будут доступны после завершения выполнения. Ответ не будет включать это поле, если идентификатор еще недоступен.
spark_context_id	spark_context_id	string	Канонический идентификатор контекста Spark, используемого выполнением. Это поле заполняется после начала выполнения. Это значение можно использовать для просмотра пользовательского интерфейса Spark, перейдя в раздел /#setting/sparkui/$cluster_id/$spark_context_id. Пользовательский интерфейс Spark по-прежнему доступен после завершения выполнения. Ответ не будет включать это поле, если идентификатор еще недоступен.

JobsClusterSpec

Имя	Путь	Тип	Описание
existing_cluster_id	existing_cluster_id	string	Если existing_cluster_id, идентификатор существующего кластера, который используется для всех запусков. При выполнении заданий или задач в существующем кластере может потребоваться вручную перезапустить кластер, если он перестает отвечать. Мы рекомендуем выполнять задания и задачи в новых кластерах для повышения надежности
job_cluster_key	job_cluster_key	string	Если job_cluster_key, эта задача выполняется повторно, а кластер, указанный в job.settings.job_clusters.
libraries	libraries	array of ComputeLibrary	Необязательный список библиотек, установленных в кластере. Значение по умолчанию — пустой список.
new_cluster	new_cluster	ComputeClusterSpec

JobsJobParameter

Имя	Путь	Тип	Описание
default	default	string	Необязательное значение по умолчанию параметра
имя	name	string	Имя параметра
value	value	string	Значение, используемое в выполнении

JobsRunParameters

Имя	Путь	Тип	Описание
pipeline_params	pipeline_params	JobsPipelineParams

JobsRepairHistoryItem

Имя	Путь	Тип	Описание
effective_performance_target	effective_performance_target	JobsPerformanceTarget
время окончания	end_time	integer	Время окончания выполнения (исправлено).
id	id	integer	Идентификатор восстановления. Возвращается только для элементов, представляющих восстановление в repair_history.
время начала	start_time	integer	Время начала выполнения (исправлено).
статус	status	JobsRunStatus
task_run_ids	task_run_ids	array of integer	Идентификаторы выполнения задачи, запущенные в рамках этого элемента журнала восстановления.
type	type	JobsRepairHistoryItemType

JobsRunStatus

Имя	Путь	Тип	Описание
queue_details	queue_details	JobsQueueDetails
государство	state	JobsRunLifecycleStateV2State
termination_details	termination_details	JobsTerminationDetails

JobsQueueDetails

Имя	Путь	Тип	Описание
код	code	JobsQueueDetailsCodeCode
сообщение	message	string	Описательное сообщение с подробными сведениями о очереди. Это поле неструктурировано, и его точный формат подлежит изменению.

JobsQueueDetailsCode

string

JobsRunLifecycleStateV2State

string

JobsTerminationDetails

Имя	Путь	Тип	Описание
код	code	JobsTerminationCodeCode
сообщение	message	string	Описательное сообщение с сведениями о завершении. Это поле неструктурировано и формат может измениться.
type	type	JobsTerminationTypeType

JobsTerminationCodeCode

string

JobsTerminationTypeType

string

JobsRepairHistoryItemType

string

JobsRunType

string

JobsRunTask

Имя	Путь	Тип	Описание
attempt_number	attempt_number	integer	Порядковый номер этой попытки выполнения для запуска активированного задания. Начальная попытка выполнения имеет attempt_number 0. Если начальная попытка выполнения завершается ошибкой, а задание имеет политику повторных попыток (max_retries > 0), последующие запуски создаются с original_attempt_run_id идентификатора исходной попытки и добавочного attempt_number. Запуски извлекаются только до тех пор, пока они не будут выполнены, и максимальное attempt_number совпадает с значением max_retries для задания.
clean_rooms_notebook_task	clean_rooms_notebook_task	Object
cleanup_duration	cleanup_duration	integer	Время в миллисекундах потребовалось для завершения кластера и очистки всех связанных артефактов. Длительность выполнения задачи — это сумма setup_duration, execution_duration и cleanup_duration. Поле cleanup_duration имеет значение 0 для выполнения многозадакных заданий. Общая длительность выполнения многофакторного задания — это значение поля run_duration.
cluster_instance	cluster_instance	JobsClusterInstance
condition_task	condition_task	JobsRunConditionTask
dashboard_task	dashboard_task	Object
dbt_task	dbt_task	Object
depends_on	depends_on	array of JobsTaskDependency	Необязательный массив объектов, указывающий граф зависимостей задачи. Все задачи, указанные в этом поле, должны успешно завершиться перед выполнением этой задачи. Ключ task_key, а значение — имя, назначенное зависимой задаче.
описание	description	string	Необязательное описание этой задачи.
effective_performance_target	effective_performance_target	JobsPerformanceTarget
email_notifications	email_notifications	JobsJobEmailNotifications
время окончания	end_time	integer	Время окончания этого запуска в миллисекундах эпохи (миллисекундах с 1.1.1.1970 UTC). Это поле имеет значение 0, если задание по-прежнему выполняется.
environment_key	environment_key	string	Ключ, ссылающийся на спецификацию среды в задании. Это поле требуется для скриптов Python, колесика Python и задач dbt при использовании бессерверных вычислений.
execution_duration	execution_duration	integer	Время в миллисекундах, затраченное на выполнение команд в JAR-файле или записной книжке, пока они не завершились, не завершились сбоем, истекло время ожидания, были отменены или произошла непредвиденная ошибка. Длительность выполнения задачи — это сумма setup_duration, execution_duration и cleanup_duration. Поле execution_duration имеет значение 0 для выполнения многозадакных заданий. Общая длительность выполнения многофакторного задания — это значение поля run_duration.
existing_cluster_id	existing_cluster_id	string	Если existing_cluster_id, идентификатор существующего кластера, который используется для всех запусков. При выполнении заданий или задач в существующем кластере может потребоваться вручную перезапустить кластер, если он перестает отвечать. Мы рекомендуем выполнять задания и задачи в новых кластерах для повышения надежности
for_each_task	for_each_task	Object
git_source	git_source	JobsGitSource
job_cluster_key	job_cluster_key	string	Если job_cluster_key, эта задача выполняется повторно, а кластер, указанный в job.settings.job_clusters.
libraries	libraries	array of Object	Необязательный список библиотек, установленных в кластере. Значение по умолчанию — пустой список.
new_cluster	new_cluster	Object
notebook_task	notebook_task	JobsNotebookTask
notification_settings	notification_settings	Object
pipeline_task	pipeline_task	Object
power_bi_task	power_bi_task	Object
python_wheel_task	python_wheel_task	Object
queue_duration	queue_duration	integer	Время в миллисекундах, затраченное на выполнение в очереди.
resolved_values	resolved_values	JobsResolvedValues
run_duration	run_duration	integer	Время в миллисекундах потребовалось выполнение задания и все его ремонты, чтобы завершить.
run_id	run_id	integer	Идентификатор выполнения задачи.
run_if	run_if	JobsRunIf
run_job_task	run_job_task	JobsRunJobTask
run_page_url	run_page_url	string
setup_duration	setup_duration	integer	Время в миллисекундах, необходимое для настройки кластера. Для запусков, которые выполняются в новых кластерах, это время создания кластера, для запусков, выполняемых в существующих кластерах, на этот раз должно быть очень коротким. Длительность выполнения задачи — это сумма setup_duration, execution_duration и cleanup_duration. Поле setup_duration имеет значение 0 для выполнения многозадакных заданий. Общая длительность выполнения многофакторного задания — это значение поля run_duration.
spark_jar_task	spark_jar_task	Object
spark_python_task	spark_python_task	Object
spark_submit_task	spark_submit_task	Object
sql_task	sql_task	Object
время начала	start_time	integer	Время начала этого запуска в миллисекундах эпохи (миллисекундах с 1.1.1.1970 UTC). Это не может быть время, когда задача задания начинает выполняться, например, если задание планируется запустить в новом кластере, это время, когда будет выдан вызов создания кластера.
статус	status	JobsRunStatus
task_key	task_key	string	Уникальное имя задачи. Это поле используется для ссылки на эту задачу из других задач. Это поле является обязательным и должно быть уникальным в родительском задании. При обновлении или сбросе это поле используется для ссылки на задачи для обновления или сброса.
timeout_seconds	timeout_seconds	integer	Дополнительное время ожидания, применяемое к каждому выполнению этой задачи задания. Значение 0 означает, что время ожидания не истекло.
webhook_notifications	webhook_notifications	Object

JobsRunConditionTask

Имя	Путь	Тип	Описание
левый	left	string	Левый операнды задачи условия. Может быть строковым значением или ссылкой на состояние задания или ссылку на параметр.
оп	op	JobsConditionTaskOp
результат	outcome	string	Результат оценки выражения условия. Заполнено, если задача успешно завершена. Может быть "true" или "false"
Правильно	right	string	Правый операнд задачи условия. Может быть строковым значением или ссылкой на состояние задания или ссылку на параметр.

JobsTriggerType

string

JobTriggerInfo

Имя	Путь	Тип	Описание
run_id	run_id	integer	Идентификатор выполнения задачи запуска задания

JobsRunOutput

Имя	Путь	Тип	Описание
clean_rooms_notebook_output	clean_rooms_notebook_output	Object
dashboard_output	dashboard_output	Object
dbt_output	dbt_output	Object
ошибка	error	string	Сообщение об ошибке, указывающее, почему задача завершилась ошибкой или почему выходные данные недоступны. Сообщение неструктурировано, и его точный формат подлежит изменению.
error_trace	error_trace	string	Если произошла ошибка при выполнении выполнения, это поле содержит все доступные трассировки стека.
info	info	string
logs	logs	string	Выходные данные задач, записываемых в стандартные потоки (stdout/stderr), такие как spark_jar_task, spark_python_task, python_wheel_task. Он не поддерживается для notebook_task, pipeline_task или spark_submit_task. Azure Databricks ограничивает этот API, чтобы вернуть последние 5 МБ этих журналов.
logs_truncated	logs_truncated	boolean	Усекаются ли журналы.
metadata	metadata	Object
notebook_output	notebook_output	JobsNotebookOutput
run_job_output	run_job_output	JobsRunJobOutput
sql_output	sql_output	Object

JobsNotebookOutput

Имя	Путь	Тип	Описание
результат	result	string	Значение, переданное dbutils.notebook.exit(). Azure Databricks ограничивает этот API, чтобы вернуть первые 5 МБ значения. Для большего результата задание может хранить результаты в облачной службе хранилища. Это поле отсутствует, если dbutils.notebook.exit() никогда не вызывалось.
усеченный	truncated	boolean	Независимо от того, был ли результат усечен.

JobsRunJobOutput

Имя	Путь	Тип	Описание
run_id	run_id	integer	Идентификатор выполнения триггерного задания

JobsResolvedValues

Имя	Путь	Тип	Описание
condition_task	condition_task	JobsResolvedConditionTaskValues
dbt_task	dbt_task	JobsResolvedDbtTaskValues
notebook_task	notebook_task	JobsResolvedNotebookTaskValues
python_wheel_task	python_wheel_task	JobsResolvedPythonWheelTaskValues
run_job_task	run_job_task	JobsResolvedRunJobTaskValues
simulation_task	simulation_task	JobsResolvedParamPairValues
spark_jar_task	spark_jar_task	JobsResolvedStringParamsValues
spark_python_task	spark_python_task	JobsResolvedStringParamsValues
spark_submit_task	spark_submit_task	JobsResolvedStringParamsValues
sql_task	sql_task	JobsResolvedParamPairValues

JobsResolvedConditionTaskValues

Имя	Путь	Тип	Описание
левый	left	string
Правильно	right	string

JobsResolvedDbtTaskValues

Имя	Путь	Тип	Описание
commands	commands	array of string

JobsResolvedNotebookTaskValues

Имя	Путь	Тип	Описание
base_parameters	base_parameters	object

JobsResolvedPythonWheelTaskValues

Имя	Путь	Тип	Описание
named_parameters	named_parameters	object
parameters	parameters	array of string

JobsResolvedRunJobTaskValues

Имя	Путь	Тип	Описание
job_parameters	job_parameters	object
parameters	parameters	object

JobsResolvedParamPairValues

Имя	Путь	Тип	Описание
parameters	parameters	object

JobsResolvedStringParamsValues

Имя	Путь	Тип	Описание
parameters	parameters	array of string