Поделиться через


core Пакет

Содержит основные пакеты, модули и классы для Машинного обучения Microsoft Azure.

Основные области включают управление целевыми объектами вычислений, создание рабочих областей и экспериментов и управление ими, отправку запусков модели и доступ ним, а также получение выходных данных выполнения и ведения журнала.

Пакеты

compute

Этот пакет содержит классы, используемые для управления целевыми объектами вычислений в Машинном обучении Azure.

Дополнительные сведения о выборе целевых объектов вычислений для обучения и развертывания см. в статье Целевые объекты вычислений в Машинном обучении Microsoft Azure.

image

Содержит функциональные возможности для управления образами, развернутыми в качестве конечной точки веб-службы в Машинном обучении Azure.

Использовать этот класс НЕ РЕКОМЕНДУЕТСЯ. Используйте вместо этого класс Environment.

Образ используется для развертывания Model, создания скриптов и связанных файлов в качестве конечной точки веб-службы или устройства IoT Edge. Конечная точка обрабатывает входящие запросы на оценку и возвращает прогнозы. Ключевыми классами этого пакета являются класс Image, родительский класс образов Машинного обучения Azure и производный класс ContainerImage для образов Docker, а также образы предварительной версии, такие как ППВМ.

При отсутствии рабочего процесса, специально требующего использования образов, следует использовать класс Environment для определения изображения. Затем можно использовать объект среды с использованием метода Modeldeploy() для развертывания модели в качестве веб-службы. Можно также использовать метод package() модели для создания образа, который можно скачать в локальную установку Docker в виде образа или файла Dockerfile.

Сведения об использовании класса модель приведены в разделе Развертывание моделей с помощью Машинного обучения Azure.

Сведения об использовании пользовательских образов приведены в статье Развертывание модели с помощью пользовательского базового образа Docker.

webservice

Содержит функции для развертывания моделей машинного обучения в качестве конечных точек веб-служб в Машинном обучении Azure.

При развертывании модели Машинного обучения Azure в качестве веб-службы создается конечная точка и REST API. Через этот API вы можете отправлять данные в модель и получать от нее прогнозы.

Вы создаете веб-службу при развертывании Model или Image в Экземплярах контейнеров Azure (модуль aci), службе Azure Kubernetes (модуль aks) и конечной точке Azure Kubernetes (AksEndpoint) или программируемой пользователем вентильной матрице (ППВМ). Развертывание с использованием модели рекомендуется для большинства вариантов использования, а развертывание с использованием образа рекомендуется для расширенных вариантов использования. Оба типа развертывания поддерживаются в классах этого модуля.

Модули

authentication

Содержит функциональные возможности для управления различными типами проверки подлинности в Машинном обучении Azure.

Поддерживаемые типы проверки подлинности:

  • Интерактивный вход — режим по умолчанию при использовании пакета SDK Машинного обучения Azure. Использует интерактивное диалоговое окно.
  • Azure CLI — для использования с пакетом azure-cli.
  • Субъект-служба — для использования с рабочими процессами автоматизированного машинного обучения.
  • MSI — для использования с ресурсами, которые поддерживают удостоверение управляемой службы, например, с виртуальной машиной Azure.
  • Маркер Azure ML — используется для получения маркеров Azure ML только для отправленных запусков.

Дополнительные сведения об этих механизмах проверки подлинности приведены в https://aka.ms/aml-notebook-auth.

compute_target

Содержит функциональные возможности для целевых объектов вычислений, не управляемых Машинным обучением Azure.

Целевые объекты вычислений определяют среду вычислений для обучения и могут быть либо локальными, либо удаленными ресурсами в облаке. Удаленные ресурсы позволяют легко увеличивать масштаб экспериментов машинного обучения вертикально или горизонтально, используя преимущества ускоренной обработки ЦП и GPU.

Сведения о целевых объектах вычислений, управляемых с помощью Машинного обучения Azure приведены в классе ComputeTarget. Дополнительные сведения см. в статье Целевые объекты вычислений в Машинном обучении Microsoft Azure.

conda_dependencies

Содержит функциональные возможности для управления зависимостями среды Conda.

Используйте класс CondaDependencies для загрузки существующих файлов среды Conda и настройки новых сред, в которых выполняются эксперименты, а также управления ими.

container_registry

Содержит функциональные возможности для управления Реестром контейнеров Azure.

databricks

Содержит функциональные возможности для управления средами Databricks в Машинном обучении Azure.

Дополнительные сведения о работе с Databricks в Машинном обучении Azure приведены в статье Настройка среды разработки для Машинного обучения Azure.

dataset

Управляет взаимодействием с наборами данных Машинного обучения Azure.

Этот модуль предоставляет функциональные возможности для использования необработанных данных, управления данными и выполнения действий с данными в Машинном обучении Azure. Используйте класс Dataset в этом модуле для создания наборов данных вместе с функциями пакета data, которые содержат вспомогательные классы FileDataset и TabularDataset.

Чтобы приступить к работе с наборами данных, см. статью Добавление & регистрировать наборы данных.

datastore

Содержит функциональные возможности для управления хранилищами данных в Машинном обучении Azure.

environment

Содержит функциональные возможности для создания воспроизводимых сред в Машинном обучении Azure и управления ими.

Среды предоставляют способ управления зависимостью от программного обеспечения, чтобы контролируемые среды были воспроизводимы с минимальной ручной конфигурацией при переходе между локальными и распределенными средами облачной разработки. Среда инкапсулирует пакеты Python, переменные среды, параметры программного обеспечения для сценариев обучения и оценки, а также время выполнения для Python, Spark или Docker. Дополнительные сведения об использовании сред для обучения и развертывания с помощью Машинного обучения Azure приведены в статье Создание повторно используемых сред и управление ими.

experiment

Содержит функциональные возможности для отправки экспериментов и управления журналом экспериментов в Машинном обучении Azure.

keyvault

Содержит функциональные возможности для управления секретами в Key Vault, связанным с рабочей областью Машинного обучения Azure.

Этот модуль содержит удобные методы для добавления, извлечения, удаления и перечисления секретов из Azure Key Vault, связанного с рабочей областью.

linked_service

Содержит функциональные возможности для создания связанной службы в рабочей области AML и управления ею.

model

Содержит функциональные возможности для управления целевыми объектами вычислений Машинного обучения Azure в Машинном обучении Azure.

С помощью класса Model можно выполнять следующие основные задачи:

  • Зарегистрируйте модель в рабочей области
  • Профилируйте модель для понимания требований к развертыванию
  • Упакуйте модель для использования с Docker
  • Осуществите развертывание модели на конечной точке вывода в качестве веб-службы

Дополнительные сведения об использовании моделей приведены в статье Принцип работы Машинного обучения Azure: архитектура и основные понятия.

private_endpoint

Содержит функциональные возможности для определения и настройки частных конечных точек Azure.

profile

Содержит функциональные возможности для профилирования моделей в Машинном обучении Azure.

resource_configuration

Содержит функциональные возможности для управления конфигурацией ресурсов для сущностей Машинного обучения Azure.

run

Содержит функциональные возможности для управления метриками и артефактами экспериментов в Машинном обучении Azure.

runconfig

Содержит функциональные возможности для управления конфигурацией выполнения экспериментов в Машинном обучении Microsoft Azure.

Класс ключа в этом модуле — RunConfiguration. Он инкапсулирует сведения, необходимые для отправки обучающего прогона указанному целевому объекту вычислений. Конфигурация включает широкий набор определений поведения, например, следует ли использовать имеющуюся среду Python или среду Conda, созданную из спецификации.

Доступ к другим классам конфигурации в модуле осуществляется с помощью RunConfiguration.

script_run

Содержит функциональные возможности для управления отправленными обучающими запусками в Машинном обучении Azure.

script_run_config

Содержит функциональные возможности для управления конфигурацией отправки обучающих прогонов в Машинном обучении Azure.

util

Содержит класс для указания уровня детализации ведения журнала.

workspace

Содержит функциональные возможности для управления рабочей областью — ресурсом верхнего уровня в Машинном обучении Azure.

Этот модуль содержит класс Workspace и его методы и атрибуты, позволяющие управлять артефактами машинного обучения, такими как целевые объекты вычислений, среды, хранилища данных, эксперименты и модели. Рабочая область связана с подпиской Azure и группой ресурсов и является основным средством выставления счетов. Рабочие области поддерживают управление доступом на основе ролей (RBAC) Azure Resource Manager и соответствие регионам для всех данных машинного обучения, сохраненных в рабочей области.

Классы

ComputeTarget

Абстрактный родительский класс для всех целевых объектов вычислений, управляемых с помощью Машинного обучения Microsoft Azure.

Целевой объект вычислений — это назначенный вычислительный ресурс или среда для выполнения сценария обучения или размещения развертываемой службы. Это может быть локальный компьютер или облачный ресурс вычислений. Дополнительные сведения см. в статье Целевые объекты вычислений в Машинном обучении Microsoft Azure.

Конструктор ComputeTarget класса.

Получение облачного представления вычислительного объекта, связанного с предоставленной рабочей областью. Возвращает экземпляр дочернего класса, соответствующий конкретному типу извлеченного объекта Compute.

ContainerRegistry

Определяет подключение к Реестру контейнеров Azure.

Конструктор Класса ContainerRegistry.

Dataset

Представляет ресурс для изучения, преобразования и администрирования данных в Машинном обучении Azure.

Набор данных — это ссылка на данные в Datastore или в расположениях по общедоступным URL-адресам.

Улучшенные интерфейсы API для нерекомендуемых методов в этом классе см. в описании класса AbstractDataset.

Поддерживаются следующие типы наборов данных:

  • TabularDataset представляет в табличном формате данные, созданные путем синтаксического анализа указанного файла или списка файлов.

  • FileDataset ссылается на один или несколько файлов, размещенных в хранилищах данных или по общедоступным URL-адресам.

Чтобы приступить к работе с наборами данных, см. статью Добавление & регистрировать наборы данных или записные книжки https://aka.ms/tabulardataset-samplenotebook и https://aka.ms/filedataset-samplenotebook.

Инициализируйте объект Dataset.

Чтобы получить набор данных, который уже зарегистрирован в рабочей области, используйте метод get.

Datastore

Представляет абстракцию хранилища для учетной записи хранения Машинного обучения Azure.

Хранилища данных подключаются к рабочим областям и используются для хранения сведений о подключении к службам хранилища Azure, чтобы можно было ссылаться на них по имени, не запоминая сведения о подключении и секреты, используемые для подключения к службам хранилища.

Примеры поддерживаемых служб хранилища Azure, которые можно зарегистрировать в качестве хранилищ данных:

  • контейнер BLOB-объектов Azure;

  • Общая папка Azure

  • Azure Data Lake

  • Azure Data Lake 2-го поколения

  • База данных SQL Azure

  • База данных Azure для PostgreSQL

  • Файловая система Databricks

  • База данных Azure для MySQL

Этот класс используется для выполнения операций управления, включая регистрацию, вывод списка, получение и удаление хранилищ данных. Хранилища данных для каждой службы создаются с помощью методов register* этого класса. Для доступа к данным с использованием хранилища необходимо иметь соответствующее разрешение, которое зависит от учетных данных, зарегистрированных в этом хранилище.

Дополнительные сведения о хранилищах данных и способах их использования в машинном обучении см. в следующих статьях:

Возвращает хранилище данных по имени. Этот вызов выполнит запрос к службе хранилища данных.

Environment

Настраивает воспроизводимую среду Python для экспериментов с машинным обучением.

Среда определяет пакеты Python, переменные среды и параметры Docker, используемые в экспериментах машинного обучения, включая подготовку данных, обучение и развертывание в веб-службе. Управление средой и ее версиями осуществляется в Машинном обучении Azure Workspace. Вы можете обновить существующую среду и получить версию для повторного использования. Среды являются уникальными для рабочей области, в которой они созданы, и не могут быть использованы в других рабочих областях.

Дополнительные сведения о средах см. в статье Создание повторно используемых сред и управление ими.

Конструктор среды классов.

Experiment

Представляет главную точку входа для создания экспериментов в Машинном обучении Azure и работы с ними.

Эксперимент — это контейнер попыток выполнения, которые представляют собой многократные выполнения модели.

Конструктор экспериментов.

Image

Определяет абстрактный родительский класс для образов Машинного обучения Azure.

Использовать этот класс НЕ РЕКОМЕНДУЕТСЯ. Используйте вместо этого класс Environment.

Конструктор изображений.

Использовать этот класс НЕ РЕКОМЕНДУЕТСЯ. Используйте вместо этого класс Environment.

Конструктор изображений используется для получения облачного представления объекта Image, связанного с предоставленной рабочей областью. Возвращает экземпляр дочернего класса, соответствующий конкретному типу полученного объекта Image.

Keyvault

Управляет секретами, которые хранятся в Azure Key Vault, связанном с рабочей областью Машинного обучения Azure.

С каждой рабочей областью Машинного обучение Azure связано Azure Key Vault. Класс Keyvault — это упрощенная программа-оболочка Azure Key Vault, которая позволяет управлять секретами в хранилище ключей, в том числе настраивать, извлекать, удалять и перечислять секреты. Используйте класс Keyvault, чтобы безопасно передавать секреты для удаленного выполнения без предоставления конфиденциальной информации в виде открытого текста.

Дополнительные сведения см. в статье Использование секретов в учебных запусках.

Конструктор Keyvault класса.

LinkedService

Примечание

Это экспериментальный класс, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental.

Определяет ресурс для управления связыванием рабочей области AML с другими службами в Azure.

Инициализация объекта LinkedService.

Model

Представляет результат обучающих прогонов машинного обучения.

Модель — это результат обучающего прогона машинного обучения Microsoft Azure Run или другого процесса обучения модели за пределами Azure. Независимо от того, как создается модель, ее можно зарегистрировать в рабочей области, где она будет представлена с помощью имени и версии. С помощью класса модели можно упаковывать модели для использования с Docker, развертывать их в качестве конечной точки для прогнозирования в реальном времени и использовать эту точку для запросов на вывод.

Полное руководство по созданию и использованию моделей и управлению ими см. в статье Обучение модели классификации изображений с помощью данных MNIST и моделей scikit-learn, использующих Машинное обучение Microsoft Azure.

Конструктор модели.

Конструктор модели используется для получения облачного представления объекта Model, связанного с предоставленной рабочей областью. Необходимо указать имя или идентификатор.

PrivateEndPoint

Определяет частную конечную точку для управления подключениями к частным конечным точкам, связанным с рабочей областью Azure ML.

Инициализация PrivateEndPoint.

PrivateEndPointConfig

Определяет конфигурацию для частной конечной точки Azure.

Частная конечная точка Azure — это сетевой интерфейс, обеспечивающий защищенное частное подключение к рабочей области Azure ML на базе Приватного канала.

Инициализация PrivateEndPointConfig.

Run

Определяет базовый класс для всех выполнений экспериментов Машинного обучения Azure.

Запуск представляет собой одну попытку выполнения эксперимента. Запуски используются для наблюдения за асинхронной реализацией попытки, записи метрик журнала и хранения выходных данных попытки, а также для анализа результатов и доступа к артефактам, формируемым в ходе попытки.

Объекты запуска создаются при отправке скрипта для обучения модели во множестве различных сценариев Машинного обучения Azure, в том числе при запусках HyperDrive, конвейера и AutoML. Объект запуска также создается при использовании submit или start_logging с классом Experiment.

Сведения о том, как приступить к работе с экспериментами и запусками, приведены в следующих статьях:

Инициализируйте объект Run.

RunConfiguration

Представляет конфигурацию для выполнений экспериментов, предназначенных для различных целевых объектов вычислений в Машинном обучении Azure.

Объект RunConfiguration инкапсулирует сведения, необходимые для отправки обучающего выполнения в эксперименте. Как правило, объект RunConfiguration не создается напрямую, но берется из метода, возвращающего его, например, метода submit класса Experiment.

RunConfiguration — это конфигурация базовой среды, которая также используется в других видах действий по настройке, которые зависят от запускаемого типа выполнения. Например, при настройке PythonScriptStep можно получить доступ к объекту RunConfiguration этапа и настроить зависимости Conda или получить доступ к свойствам среды для выполнения.

Примеры конфигураций запусков см. в статье Выбор и использование целевого объекта вычислений для обучения вашей модели.

Инициализируйте RunConfiguration с параметрами по умолчанию.

ScriptRun

Предоставляет программный доступ для управления отправленными запусками обучения.

Запуск, отправленный с помощью ScriptRunConfig, представляет одну пробную версию в эксперименте. При отправке запуска возвращается объект ScriptRun, который можно использовать для наблюдения за асинхронным выполнением запуска, метрик журнала и хранения выходных данных запуска, а также для анализа результатов и доступа к артефактам, созданным при запуске.

Чтобы начать работу с экспериментами и объектом ScriptRunConf, см. разделы

Конструктор Class ScriptRun.

ScriptRunConfig

Представляет сведения о конфигурации для отправки обучающего выполнения в Машинном обучении Azure.

ScriptRunConfig добавляет в пакет сведения о конфигурации, необходимые для отправки запуска в Azure ML, включая скрипт, целевой объект вычислений, среду и все конфигурации, относящиеся к распределенному заданию.

После настройки и отправки запуска скрипта с помощью метода submit возвращается ScriptRun.

Конструктор Class ScriptRunConfig.

SynapseWorkspaceLinkedServiceConfiguration

Примечание

Это экспериментальный класс, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental.

Определяет конфигурацию связанной службы для связывания рабочей области Synapse.

Инициализация объекта SynapseWorkspaceLinkedServiceConfiguration.

Webservice

Определяет базовые функции для развертывания моделей в качестве конечных точек веб-службы в Машинном обучении Azure.

Конструктор WebService используется для получения облачного представления объекта WebService, связанного с указанным объектом Workspace. Возвращает экземпляр дочернего класса, соответствующий конкретному типу полученного объекта WebService. Класс WebService позволяет развертывать модели машинного обучения из объекта Model или Image.

Дополнительные сведения о работе с классом WebService см. в статье Развертывание моделей в Машинном обучении Azure.

Инициализируйте экземпляр Webservice.

Конструктор Webservice извлекает облачное представление объекта Webservice, связанного с предоставленной рабочей областью. Он вернет экземпляр дочернего класса, соответствующий конкретному типу полученного объекта Webservice.

Workspace

Определяет ресурс Машинного обучения Azure для управления артефактами обучения и развертывания.

Рабочая область — это фундаментальный ресурс для машинного обучения в Машинном обучении Azure. Рабочая область используется для экспериментов, обучения и развертывания моделей машинного обучения. Каждая рабочая область связана с подпиской Azure и группой ресурсов и имеет соответствующий номер SKU.

Дополнительные сведения о рабочих областях приведены в статьях:

Конструктор рабочей области класса для загрузки существующей рабочей области Машинного обучения Azure.

diagnostic_log

Направляет журналы отладки в указанный файл.

Функции

attach_legacy_compute_target

Подключает целевой объект вычислений к этому проекту.

attach_legacy_compute_target(experiment, source_directory, compute_target)

Параметры

Имя Описание
experiment
Обязательно
source_directory
Обязательно
str
compute_target
Обязательно
str

Целевой объект вычислений для подключения.

Возвращаемое значение

Тип Описание

None, если подключение выполнено успешно, в противном случае вызывает исключение.

get_run

Возвращает запуск для этого эксперимента с идентификатором запуска.

get_run(experiment, run_id, rehydrate=True, clean_up=True)

Параметры

Имя Описание
experiment
Обязательно

Содержащий эксперимент.

run_id
Обязательно

Идентификатор запуска.

rehydrate
<xref:boolean>

Указывает, возвращен ли исходный объект запуска или базовый объект запуска. При значении True, эта функция возвращает исходный тип объекта запуска. Например, при запуске AutoML возвращается объект AutoMLRun, а при запуске HyperDrive возвращается объект HyperDriveRun.

При значении False, функция возвращает объект Run.

значение по умолчанию: True
clean_up

Если значение равно true, вызовите _register_kill_handler из run_base

значение по умолчанию: True

Возвращаемое значение

Тип Описание
Run

Отправленный запуск.

is_compute_target_prepared

Проверяет, подготовлен ли целевой объект вычислений.

Проверяет, был ли целевой объект вычислений, указанный в run_config, уже подготовлен, или он отсутствует для указанной конфигурации запуска.

is_compute_target_prepared(experiment, source_directory, run_config)

Параметры

Имя Описание
experiment
Обязательно
source_directory
Обязательно
str
run_config
Обязательно

Конфигурация запуска. Это может быть имя конфигурации запуска в качестве строки или объект azureml.Core.runconfig.RunConfiguration.

Возвращаемое значение

Тип Описание

Значение True, если целевой объект вычислений подготовлен.

prepare_compute_target

Подготовка целевого объекта вычислений.

Устанавливает все необходимые пакеты для запуска эксперимента на основе run_config и custom_run_config.

prepare_compute_target(experiment, source_directory, run_config)

Параметры

Имя Описание
experiment
Обязательно
source_directory
Обязательно
str
run_config
Обязательно

Конфигурация запуска. Это может быть имя конфигурации запуска в качестве строки или объект azureml.Core.runconfig.RunConfiguration.

Возвращаемое значение

Тип Описание

Объект запуска

remove_legacy_compute_target

Удаление целевого объекта вычислений из проекта.

remove_legacy_compute_target(experiment, source_directory, compute_target_name)

Параметры

Имя Описание
experiment
Обязательно
source_directory
Обязательно
str
compute_target_name
Обязательно
str

Возвращаемое значение

Тип Описание

None, если удаление целевого объекта вычислений выполнено успешно, в противном случае вызывает исключение.