Определение ресурсов Машинное обучение Azure

  • 6 мин

Ресурсы в Машинное обучение Azure ссылаются на инфраструктуру, необходимую для запуска рабочего процесса машинного обучения. В идеале вы хотите, чтобы администратор создавал ресурсы и управлял ими.

К ресурсам в Машинное обучение Azure относятся:

  • Рабочая область
  • Вычислительные ресурсы
  • Хранилища данных

Создание рабочей области и управление ею

Рабочая область — это ресурс верхнего уровня для Машинное обучение Azure. Специалистам по обработке и анализу данных требуется доступ к рабочей области для обучения и отслеживания моделей, а также для развертывания моделей в конечных точках.

Однако вы хотите быть осторожными с тем, кто имеет полный доступ к рабочей области. Рядом со ссылками на вычислительные ресурсы и хранилища данных можно найти все журналы, метрики, выходные данные, модели и моментальные снимки кода в рабочей области.

Создание вычислительных ресурсов и управление ими

Одним из наиболее важных ресурсов, необходимых при обучении или развертывании модели, является вычисление. В рабочей области Машинное обучение Azure существует пять типов вычислений:

  • Вычислительные экземпляры: аналогично виртуальной машине в облаке, управляемой рабочей областью. Идеально подходит для использования в качестве среды разработки для запуска записных книжек Jupyter.
  • Вычислительные кластеры: кластеры по запросу вычислительных узлов ЦП или GPU в облаке, управляемые рабочей областью. Идеально подходит для рабочих нагрузок, так как они автоматически масштабируются в соответствии с вашими потребностями.
  • Кластеры Kubernetes: позволяет создавать или присоединять кластер Служба Azure Kubernetes (AKS). Идеально подходит для развертывания обученных моделей машинного обучения в рабочих сценариях.
  • Подключенные вычисления: позволяет подключать другие вычислительные ресурсы Azure к рабочей области, например пулы Azure Databricks или Synapse Spark.
  • Бессерверные вычисления: полностью управляемые вычислительные ресурсы по запросу, которые можно использовать для заданий обучения.

Примечание.

Так как Машинное обучение Azure создает бессерверные вычислительные ресурсы и управляет ими, он не указан на странице вычислений в студии. Дополнительные сведения об использовании бессерверных вычислений для обучения модели

Хотя вычисление является наиболее важным ресурсом при работе с рабочими нагрузками машинного обучения, он также может быть самым дорогостоящим. Поэтому рекомендуется разрешить администраторам создавать вычислительные ресурсы и управлять ими. Специалисты по обработке и анализу данных не должны изменять вычисления, но использовать только доступные вычислительные ресурсы для выполнения рабочих нагрузок.

Создание хранилищ данных и управление ими

Рабочая область не сохраняет сами данные. Вместо этого все данные хранятся в хранилищах данных, которые ссылаются на службы данных Azure. Сведения о подключении к службе данных, представляющей хранилище данных, хранятся в Azure Key Vault.

При создании рабочей области создается учетная запись служба хранилища Azure и автоматически подключается к рабочей области. В результате в рабочую область уже добавлено четыре хранилища данных:

  • workspaceartifactstore: Подключение в azureml контейнер учетной записи служба хранилища Azure, созданной в рабочей области. Используется для хранения журналов вычислений и экспериментов при выполнении заданий.
  • workspaceworkingdirectory: Подключение к общей папке учетной записи служба хранилища Azure, созданной с рабочей областью, используемой разделом записных книжек студии. При отправке файлов или папок для доступа из вычислительного экземпляра он передается в эту общую папку.
  • workspaceblobstore: Подключение к служба хранилища BLOB-объектов учетной записи служба хранилища Azure, созданной в рабочей области. azureml-blobstore-... В частности, контейнер. Задайте в качестве хранилища данных по умолчанию, что означает, что при создании ресурса данных и отправке данных он хранится в этом контейнере.
  • workspacefilestore: Подключение к общей папке учетной записи служба хранилища Azure, созданной в рабочей области. В частности, azureml-filestore-... общая папка.

Кроме того, можно создавать хранилища данных для подключения к другим службам данных Azure. Чаще всего хранилища данных подключаются к учетной записи служба хранилища Azure или Azure Data Lake служба хранилища (2-го поколения), так как эти службы данных чаще всего используются в проектах обработки и анализа данных.