Ограничения параллелизма и скорости API для пулов Apache Spark в Azure Synapse Analytics

  • Статья

В следующих разделах перечислены различные числовые ограничения для пулов Spark и API для управления заданиями в Azure Synapse Analytics.

Ограничения ресурсов

В следующей таблице показаны максимальные ограничения заданий и ядер для отдельных рабочих областей и пулов Spark.

Важно!

Ограничения, указанные для пулов Spark, применяются независимо от размеров узлов, виртуальных ядер и конфигураций памяти и применяются ко всем созданным экземплярам пула Spark независимо от пользователя, если не указано иное.

Ресурс Metric Ограничение Область Регионы Примечания
Задания Выполняется одновременно 50 Пул Spark Все Ограничение применяется ко всем пользователям определения пула Spark. Например, если два пользователя отправляют задания для одного пула Spark, совокупное число заданий, запущенных для этих двух пользователей, не может превышать 50.
Задания Поставлено в очередь 200 Пул Spark Все Ограничение применяется ко всем пользователям определения пула Spark.
Задания Максимальное количество активных заданий 250 Пул Spark Все Ограничение применяется ко всем пользователям определения пула Spark.
Задания Максимальное количество активных заданий 1000 Рабочая область All
Ядра Ограничение ядер на пользователя На основе определения пула Пул Spark Все Например, если пул Spark определен как пул с 50 ядрами, каждый пользователь может использовать до 50 ядер в определенном пуле Spark, так как каждый пользователь получает свой собственный экземпляр пула.
Ядра Ограничение ядер для всех пользователей На основе определения рабочей области Рабочая область All Например, если рабочая область имеет ограничение в 200 ядер, то все пользователи во всех пулах в рабочей области не могут использовать более 200 ядер вместе взятых.
Livy Максимальный размер полезных данных для запроса Livy 100 кб Livy Все

Примечание

  • Максимальное число активных заданий — это общее число отправленных заданий, включая Jobs Running Simultaneously и Jobs Queued, т. е. Max Active Jobs = Jobs Running Simultaneously + Jobs Queued

Ограничения частоты запросов API

В следующей таблице показаны ограничения регулирования для API-интерфейсов управления заданиями Spark и сеансами.

Ресурс Metric Ограничение (количество запросов в секунду) Область Регионы
API заданий Получение сеанса Spark 200 Сеанс Spark Все
API заданий Получение сеанса Spark 200 Пул Spark Все
API заданий Получение инструкции Spark 200 Сеанс Spark Все
API заданий Получение нескольких инструкций Spark 200 Сеанс Spark Все
API заданий Создание сеанса 2 Рабочая область EastUS, EastUS2, WestUS, WestUS2, CentralUS, EastUS2EUAP, Западная Европа
API заданий Создание сеанса 2 Рабочая область Все другие регионы
API заданий Создание пакетного задания 2 Рабочая область All
API заданий Получение пакетного задания Spark 200 Рабочая область All
API заданий Получение нескольких пакетных заданий Spark 200 Рабочая область All

Примечание

Максимальное количество запросов для всех ресурсов и операций составляет 200 запросов в секунду для всех регионов.

Совет

Если появляется сообщение об ошибке или ответ HTTP 429 с текстом

Your request has hit layered throttling rate-limit of 200 requests per 1 second(s) for requests on resource(s) identified by pattern {subscriptionId}. {workspaceName}. {HTTP-Verb}. {operationName} - You are currently hitting at a rate of 282 requests per 1 second(s). Please retry after 1 second(s)

либо

Your request has hit layered throttling rate-limit of 2 requests per 1 second(s) for requests on resource(s) identified by {subscriptionId}. {workspaceName}. {HTTP-Verb}. {operationName} - You are currently hitting at a rate of 24 requests per 1 second(s). Please retry after 1 second(s)

Пользователь должен использовать значение периода времени, указанное в заголовке HTTP-ответа "Retry-After", чтобы дождаться этого интервала при выполнении повторных попыток.В сценариях с большим трафиком использование случайного, постоянного или экспоненциального интервала времени для повторных попыток по-прежнему приведет к сбоям HTTP 429 и приведет к большому количеству повторных попыток за счет увеличения общего времени, затраченного на принятие запросов службой.

Вместо этого с помощью службы, предоставленной Retry-After значение, пользователи будут испытывать более высокий показатель успешности при отправке заданий, так как значение в секундах вычисляется на основе трафика до точки во времени для оптимизации количества повторных попыток и времени, затраченного на принятие сервером запросов клиента.

Дальнейшие действия