Очередь заданий в Microsoft Fabric Spark

Область применения: Инжиниринг данных и Обработка и анализ данных в Microsoft Fabric

Microsoft Fabric поддерживает очередь фоновых заданий, когда вы достигли пределов вычислений Spark для емкости Fabric. Система очередей заданий предлагает автоматические повторные попытки для заданий, которые добавляются в очередь до истечения срока действия очереди. Когда пользователи создают емкость Microsoft Fabric в Azure, они выбирают размер емкости в зависимости от размера рабочей нагрузки аналитики. После приобретения емкости администраторы могут создавать рабочие области в пределах емкости в Microsoft Fabric. Задания Spark, выполняемые в этих рабочих областях, могут использовать до максимального числа ядер, выделенных для данной емкости, и после достижения максимального предела задания будут регулироваться или помещаются в очередь.

Дополнительные сведения об ограничениях параллелизма Spark в Microsoft Fabric

Очередь заданий поддерживается для заданий записной книжки, которые активируются конвейерами или с помощью планировщика, а также для определений заданий Spark. Очередь не поддерживается для интерактивных заданий записных книжек и заданий записной книжки, активированных через общедоступный API записной книжки.

Очередь работает в режиме First-In-First-Out (FIFO), где задания добавляются в очередь на основе времени их отправки и постоянно извлекаются и начинают выполняться при освобождении емкости.

Примечание.

Очередь заданий Spark не поддерживается, если емкость Fabric находится в состоянии регулирования. Все новые отправленные задания будут отклонены.

После добавления задания в очередь его состояние обновляется до "Не запущено " в центре мониторинга. Записные книжки и определения заданий Spark при выборе из очереди и начале выполнения их состояние обновляется с not Started to In progress.

Примечание.

Срок действия очереди составляет 24 часа для всех заданий с момента их поступления в очередь. После достижения срока действия задания необходимо повторно отправить.

Размеры очередей

Fabric Spark применяет размеры очередей на основе размера SKU емкости, подключенной к рабочей области, предоставляя механизм регулирования и очереди, где пользователи могут отправлять задания на основе приобретенных номеров SKU емкости Fabric.

В следующем разделе перечислены различные размеры очередей для рабочих нагрузок Spark на основе Microsoft Fabric на основе номеров SKU емкости:

Номер SKU емкости Fabric	Эквивалентный номер SKU Power BI	Ограничение очереди
F2	-	4
F4	-	4
F8	-	8
F16	-	16
F32	-	32
F64	P1	64
F128	P2	128
F256	P3	256
F512	P4	512
F1024	-	1024
F2048	-	2048
Емкость пробной версии	P1	Неприменимо

Примечание.

Очереди не поддерживаются для емкостей пробной версии Fabric. Пользователям придется перейти на платный номер SKU Fabric F или P, чтобы использовать очередь для заданий Spark.

После достижения максимального предела очереди для емкости Fabric новые задания будут регулироваться с сообщением об ошибке [TooManyRequestsForCapacity] Это задание spark не может быть запущено, так как вы достигли ограничения скорости вычислений Spark или API. Чтобы запустить это задание Spark, отмените активное задание Spark через центр мониторинга, выберите номер SKU большей емкости или повторите попытку позже. Код состояния HTTP: 430 {Подробнее} Код состояния HTTP: 430.

Связанный контент

• Сведения о выставлении счетов и использовании для Spark в Microsoft Fabric.
• Узнайте о вычислительных ресурсах Spark для проектирования и обработки и анализа данных Fabric .