Что такое пакетная служба Azure?

Завершено

В некоторых организациях есть ресурсы для поддержки постоянных развертываний супер-мощных вычислительных платформ, которые могут использоваться только иногда для емкости. Как правило, для обеспечения вычислительной мощности требуется гибкое и масштабируемое вычислительное решение, например пакетная служба Azure.

В рамках процесса выполнения OCR на загруженных фотографиях счетчиков очистки воды с помощью пакетная служба Azure необходимо понять основные компоненты рабочего процесса пакетная служба Azure.

Здесь вы узнаете, для чего предназначена пакетная служба Azure и как ее компоненты используются в типичном рабочем процессе.

Ресурсоемкие вычислительные задачи и параллельные рабочие нагрузки

Для некоторых рабочих нагрузок требуются огромные вычислительные ресурсы. Примеры включают в себя моделирование финансовых рисков, отрисовку трехмерных изображений, перекодирование мультимедиа и анализ генетических последовательностей. В некоторых случаях эти рабочие нагрузки можно разбить на отдельные подзадачи и выполняться параллельно, чтобы задачи выполнялись гораздо меньше времени. Три виртуальные машины могут выполнять работу одной машины за треть времени.

В рамках проекта OCR для некоммерческой организации вы можете использовать пакетная служба Azure для секционирования работы по выполнению OCR, чтобы обработка выполнялась параллельно и занимает гораздо меньше времени.

Компоненты пакетной службы Azure

Вы можете использовать пакетная служба Azure для этих крупномасштабных параллельных и вычислительных интенсивных задач в Azure. На высоком уровне пакетная служба Azure включает в себя множество компонентов, работающих вместе. Все должно выполняться в контексте учетной записи пакетной службы Azure, которая действует как контейнер для всех ресурсов пакетной службы.

В некоторых случаях может потребоваться связать эту учетную запись с учетной записью служба хранилища Azure, чтобы скачать входные файлы и приложения для использования во время выполнения и хранения их результатов. В вашей учетной записи пакетная служба Azure можно создавать пулы виртуальных вычислительных узлов под управлением Windows или Linux из указанного количества и размера ЦП и памяти, которым управляет пакетная служба Azure и планируется. Учетная запись пакетной службы может содержать множество пулов пакетной службы.

Создав один или несколько пулов, вы создадите отдельные задания, которые действуют как логические контейнеры для всех запланированных задач и могут иметь общие свойства. Опять-таки, у вас может быть множество заданий.

Наконец, вы создаете задачи, которые описывают, как на самом деле выполняется работа. Вы можете использовать задачи для непосредственного вызова командной строки, или задачи могут запускать приложения, которые вы отправляете в службу хранилища Azure. В следующем упражнении мы увидим, как все основные компоненты пакетной службы Azure работают вместе.

Типичный рабочий процесс пакетной службы Azure

Так как же на самом деле выглядит типичный рабочий процесс пакетной службы Azure? Как показано на следующем рисунке, типичный сценарий пакетная служба Azure в реальном мире требует файлов данных и приложений. Рабочий процесс пакетной службы начинается с отправки этих данных и файлов приложений в учетную запись хранения Azure. Затем нужно создать пул пакетной службы с нужным количеством виртуальных вычислительных узлов Windows или Linux. Их можно также автомасштабирование в соответствии с требованиями рабочих нагрузок с течением времени.

Затем пакетная служба обрабатывает перенос узлов в сети и планирование задач для выполнения на узлах. Перед началом выполнения задач они могут скачать все данные и файлы приложений из хранилища, необходимых для обработки. Во время выполнения задач можно запрашивать состояние узлов и ход выполнения задач. Как только узлы завершат выполнение своих задач, их выходные данные можно будет просмотреть или отправить в хранилище Azure.

Diagram of the Azure Batch workflow.