Создавайте прогнозы с помощью ONNX на моделях компьютерной службы зрения из AutoML

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

В этой статье вы узнаете, как использовать Open Neural Network Exchange (ONNX) для прогнозирования моделей компьютерного зрения, созданных из автоматизированного машинного обучения (AutoML) в Машинное обучение Azure.

Чтобы использовать ONNX для прогнозов, необходимо:

  1. Скачайте файлы модели ONNX из запуска обучения AutoML.
  2. Изучите входные и выходные данные модели ONNX.
  3. Подготовьте данные, чтобы они были в нужном формате для входных изображений.
  4. Выполняйте вывод с помощью среды выполнения ONNX для Python.
  5. Визуализируйте прогнозы для задач обнаружения объектов и сегментирования экземпляров.

ONNX — это открытый стандарт для моделей машинного обучения и глубокого обучения. Он обеспечивает импорт и экспорт модели (взаимодействие) на различных популярных платформах искусственного интеллекта. Для получения дополнительных сведений изучите проект ONNX GitHub.

Среда выполнения ONNX — это проект с открытым исходным кодом, поддерживающий межплатформенный вывод. Среда выполнения ONNX предоставляет API-интерфейсы на разных языках программирования (включая Python, C++, C#, C, Java и JavaScript). Эти API-интерфейсы можно использовать для вывода входных изображений. После экспорта модели в формат ONNX можно использовать эти API на любом языке программирования, который требуется вашему проекту.

В этом руководстве вы узнаете, как использовать API Python для среды выполнения ONNX для прогнозирования изображений для популярных задач визуального распознавания. Эти экспортированные модели ONNX можно использовать на разных языках.

Необходимые компоненты

Скачивание файлов модели ONNX

Файлы модели ONNX можно скачать из AutoML с помощью пользовательского интерфейса студии Машинного обучения Azure или пакета SDK для языка Python для Машинного обучения Azure. Мы рекомендуем выполнить скачивание с помощью пакета SDK с именем эксперимента и идентификатором родительского запуска.

Студия машинного обучения Azure

В студии Машинного обучения Azure перейдите к эксперименту, используя гиперссылку на эксперимент, созданный в учебной записной книжке, или выберите имя эксперимента на вкладке Эксперименты в разделе Активы. Затем выберите лучший дочерний запуск.

В рамках лучшего дочернего запуска перейдите к разделу Выходы и журналы>train_artifacts. Используйте кнопку Скачать, чтобы вручную скачать следующие файлы:

  • labels.json:файл, содержащий все классы или метки в наборе данных для обучения.
  • model.onnx: модель в формате ONNX.

Screenshot that shows selections for downloading O N N X model files.

Сохраните скачанные файлы модели в каталоге. В примере в этой статье используется каталог ./automl_models.

Пакет SDK Python для Машинного обучения Azure

С помощью пакета SDK можно выбрать лучший дочерний запуск (по основной метрике) с именем эксперимента и идентификатором родительского запуска. Затем можно скачать файлы labels.json и model.onnx.

Следующий код возвращает лучший дочерний запуск, основанный на соответствующей основной метрике.

from azure.identity import DefaultAzureCredential
from azure.ai.ml import MLClient
mlflow_client = MlflowClient()

credential = DefaultAzureCredential()
ml_client = None
try:
    ml_client = MLClient.from_config(credential)
except Exception as ex:
    print(ex)
    # Enter details of your Azure Machine Learning workspace
    subscription_id = ''   
    resource_group = ''  
    workspace_name = ''
    ml_client = MLClient(credential, subscription_id, resource_group, workspace_name)

import mlflow
from mlflow.tracking.client import MlflowClient

# Obtain the tracking URL from MLClient
MLFLOW_TRACKING_URI = ml_client.workspaces.get(
    name=ml_client.workspace_name
).mlflow_tracking_uri

mlflow.set_tracking_uri(MLFLOW_TRACKING_URI)

# Specify the job name
job_name = ''

# Get the parent run
mlflow_parent_run = mlflow_client.get_run(job_name)
best_child_run_id = mlflow_parent_run.data.tags['automl_best_child_run_id']
# get the best child run
best_run = mlflow_client.get_run(best_child_run_id)

Скачайте файл labels.json, который содержит все классы и метки в наборе данных для обучения.

local_dir = './automl_models'
if not os.path.exists(local_dir):
    os.mkdir(local_dir)

labels_file = mlflow_client.download_artifacts(
    best_run.info.run_id, 'train_artifacts/labels.json', local_dir
)

Скачайте файл model. onnx.

onnx_model_path = mlflow_client.download_artifacts(
    best_run.info.run_id, 'train_artifacts/model.onnx', local_dir
)

В случае вывода пакета для обнаружения объектов и сегментации экземпляров с помощью моделей ONNX см. раздел о создании моделей для пакетной оценки.

Создание моделей для пакетной оценки

По умолчанию AutoML для образов поддерживает пакетную оценку для классификации. Однако модели ONYX для сегментации экземпляров и обнаружения объектов не поддерживают вывод пакетов. В случае вывода пакета для обнаружения объектов и сегментации экземпляров используйте следующую процедуру, чтобы создать модель ONNX для требуемого размера пакета. Модели, созданные для определенного размера пакета, не работают для других размеров пакетов.

Скачайте файл среды conda и создайте объект среды, который будет использоваться с командным заданием.

#  Download conda file and define the environment

conda_file = mlflow_client.download_artifacts(
    best_run.info.run_id, "outputs/conda_env_v_1_0_0.yml", local_dir
)
from azure.ai.ml.entities import Environment
env = Environment(
    name="automl-images-env-onnx",
    description="environment for automl images ONNX batch model generation",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-cuda11.1-cudnn8-ubuntu18.04",
    conda_file=conda_file,
)

Используйте следующие аргументы конкретной модели для отправки скрипта. Дополнительные сведения о аргументах см. в статье о конкретных гиперпараметров модели и поддерживаемых именах моделей обнаружения объектов см. в разделе поддерживаемой архитектуры модели.

Чтобы получить значения аргументов, необходимые для создания модели пакетной оценки, обратитесь к скриптам оценки, созданным в папке выходных данных выполнения обучения AutoML. Используйте значения параметров, доступные в переменной настройки модели в файле оценки, для лучшего дочернего запуска.

Для классификации многоклассовых образов созданная модель ONNX для лучшего дочернего запуска по умолчанию поддерживает оценку пакетов. Поэтому для этого типа задачи не требуются аргументы конкретной модели. Можно перейти к разделу Загрузка файлов меток и модели ONNX.

Скачайте и сохраните файл ONNX_batch_model_generator_automl_for_images.py в текущем каталоге для отправки скрипта. Используйте следующее командное задание для отправки скрипта ONNX_batch_model_generator_automl_for_images.py, доступного в репозитории GitHub примеров AzureML, чтобы создать модель ONNX для определенного размера пакета. В следующем коде среда обученной модели используется для отправки этого скрипта для создания и сохранения модели ONNX в каталоге выходных данных.

Для классификации многоклассовых образов созданная модель ONNX для лучшего дочернего запуска по умолчанию поддерживает оценку пакетов. Поэтому для этого типа задачи не требуются аргументы конкретной модели. Можно перейти к разделу Загрузка файлов меток и модели ONNX.

После создания модели пакетной службы загрузите ее из раздела Выходные данные и журналы>выходные данные вручную через пользовательский интерфейс или используйте следующий метод:

batch_size = 8  # use the batch size used to generate the model
returned_job_run = mlflow_client.get_run(returned_job.name)

# Download run's artifacts/outputs
onnx_model_path = mlflow_client.download_artifacts(
    returned_job_run.info.run_id, 'outputs/model_'+str(batch_size)+'.onnx', local_dir
)

После завершения загрузки модели используйте пакет Python для среды выполнения ONNX для выполнения вывода с использованием файла model.onnx. В демонстрационных целях в этой статье используются наборы данных из раздела Порядок подготовки наборов данных образа для каждой задачи службы зрения.

Мы обучили модели для всех задач визуального зрения с соответствующими наборами данных, чтобы продемонстрировать вывод модели ONNX.

Загрузка файлов меток и модели ONNX

Следующий фрагмент кода загружает labels.json, где имена классов упорядочены. То есть, если модель ONNX прогнозирует идентификатор метки как 2, то она соответствует имени метки, заданному в третьем индексе в файле labels.json.

import json
import onnxruntime

labels_file = "automl_models/labels.json"
with open(labels_file) as f:
    classes = json.load(f)
print(classes)
try:
    session = onnxruntime.InferenceSession(onnx_model_path)
    print("ONNX model loaded...")
except Exception as e: 
    print("Error loading ONNX file: ", str(e))

Получение ожидаемых входных и выходных данных для модели ONNX

При наличии модели важно иметь представление о некоторых особенностях конкретной модели и конкретных задач. Эти сведения включают число входов и количество выходов, ожидаемую форму входных данных или формат для предварительной обработки изображения и формы выходных данных, чтобы узнать, какие выходные данные относятся к конкретной модели или задаче.

sess_input = session.get_inputs()
sess_output = session.get_outputs()
print(f"No. of inputs : {len(sess_input)}, No. of outputs : {len(sess_output)}")

for idx, input_ in enumerate(range(len(sess_input))):
    input_name = sess_input[input_].name
    input_shape = sess_input[input_].shape
    input_type = sess_input[input_].type
    print(f"{idx} Input name : { input_name }, Input shape : {input_shape}, \
    Input type  : {input_type}")  

for idx, output in enumerate(range(len(sess_output))):
    output_name = sess_output[output].name
    output_shape = sess_output[output].shape
    output_type = sess_output[output].type
    print(f" {idx} Output name : {output_name}, Output shape : {output_shape}, \
    Output type  : {output_type}")

Ожидаемые форматы входных и выходных данных для модели ONNX

Каждая модель ONNX имеет предопределенный набор форматов входных и выходных данных.

В этом примере применяется модель, обученная на наборе данных fridgeObjects с 134 изображениями и 4 классами и метками для объяснения вывода модели ONNX. Дополнительные сведения о обучении задачи классификации изображений см. в записной книжке классификации образов.

Формат входных данных

Входные данные представляют собой предварительно обработанный образ.

Ввод имени Форма входных данных Тип Ввода Description
Входные данные 1 (batch_size, num_channels, height, width) Ndarray(float) Входные данные — это предварительно обработанное изображение с фигурой (1, 3, 224, 224) для размера пакета 1, а также высотой и шириной 224. Эти числа соответствуют значениям, используемым для crop_size в примере обучения.

Формат вывода

Выходные данные представляют собой массив логитс для всех классов и меток.

Имя вывода Форма выходных данных Тип выходных данных Description
Выходные данные 1 (batch_size, num_classes) Ndarray(float) Модель возвращает логитс (без softmax ). Например, для классов с размером 1 и 4 он возвращает (1, 4).

Предварительная обработка

Выполните следующие шаги предварительной обработки для вывода модели ONNX:

  1. Преобразуйте изображения в RGB.
  2. Измените размер изображения до значений valid_resize_size и valid_resize_size, которые соответствуют значениям, используемым при преобразовании набора данных проверки во время обучения. Значение по умолчанию для valid_resize_size равно 256.
  3. Центрирование обрезки изображения до height_onnx_crop_size и width_onnx_crop_size. Он соответствует valid_crop_size со значением по умолчанию 224.
  4. Измените HxWxC на CxHxW.
  5. Преобразуйте в тип float.
  6. Нормализация с помощью mean = [0.485, 0.456, 0.406] и std = [0.229, 0.224, 0.225] ImageNet.

Если вы выбрали разные значения для гиперпараметровvalid_resize_size и valid_crop_size во время обучения, то должны использоваться эти значения.

Получите входную фигуру, необходимую для модели ONNX.

batch, channel, height_onnx_crop_size, width_onnx_crop_size = session.get_inputs()[0].shape
batch, channel, height_onnx_crop_size, width_onnx_crop_size

Без PyTorch

import glob
import numpy as np
from PIL import Image

def preprocess(image, resize_size, crop_size_onnx):
    """Perform pre-processing on raw input image
    
    :param image: raw input image
    :type image: PIL image
    :param resize_size: value to resize the image
    :type image: Int
    :param crop_size_onnx: expected height of an input image in onnx model
    :type crop_size_onnx: Int
    :return: pre-processed image in numpy format
    :rtype: ndarray 1xCxHxW
    """

    image = image.convert('RGB')
    # resize
    image = image.resize((resize_size, resize_size))
    #  center  crop
    left = (resize_size - crop_size_onnx)/2
    top = (resize_size - crop_size_onnx)/2
    right = (resize_size + crop_size_onnx)/2
    bottom = (resize_size + crop_size_onnx)/2
    image = image.crop((left, top, right, bottom))

    np_image = np.array(image)
    # HWC -> CHW
    np_image = np_image.transpose(2, 0, 1) # CxHxW
    # normalize the image
    mean_vec = np.array([0.485, 0.456, 0.406])
    std_vec = np.array([0.229, 0.224, 0.225])
    norm_img_data = np.zeros(np_image.shape).astype('float32')
    for i in range(np_image.shape[0]):
        norm_img_data[i,:,:] = (np_image[i,:,:]/255 - mean_vec[i])/std_vec[i]
             
    np_image = np.expand_dims(norm_img_data, axis=0) # 1xCxHxW
    return np_image

# following code loads only batch_size number of images for demonstrating ONNX inference
# make sure that the data directory has at least batch_size number of images

test_images_path = "automl_models_multi_cls/test_images_dir/*" # replace with path to images
# Select batch size needed
batch_size = 8
# you can modify resize_size based on your trained model
resize_size = 256
# height and width will be the same for classification
crop_size_onnx = height_onnx_crop_size 

image_files = glob.glob(test_images_path)
img_processed_list = []
for i in range(batch_size):
    img = Image.open(image_files[i])
    img_processed_list.append(preprocess(img, resize_size, crop_size_onnx))
    
if len(img_processed_list) > 1:
    img_data = np.concatenate(img_processed_list)
elif len(img_processed_list) == 1:
    img_data = img_processed_list[0]
else:
    img_data = None

assert batch_size == img_data.shape[0]

С PyTorch

import glob
import torch
import numpy as np
from PIL import Image
from torchvision import transforms

def _make_3d_tensor(x) -> torch.Tensor:
    """This function is for images that have less channels.

    :param x: input tensor
    :type x: torch.Tensor
    :return: return a tensor with the correct number of channels
    :rtype: torch.Tensor
    """
    return x if x.shape[0] == 3 else x.expand((3, x.shape[1], x.shape[2]))

def preprocess(image, resize_size, crop_size_onnx):
    transform = transforms.Compose([
        transforms.Resize(resize_size),
        transforms.CenterCrop(crop_size_onnx),
        transforms.ToTensor(),
        transforms.Lambda(_make_3d_tensor),
        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])
    
    img_data = transform(image)
    img_data = img_data.numpy()
    img_data = np.expand_dims(img_data, axis=0)
    return img_data

# following code loads only batch_size number of images for demonstrating ONNX inference
# make sure that the data directory has at least batch_size number of images

test_images_path = "automl_models_multi_cls/test_images_dir/*"  # replace with path to images
# Select batch size needed
batch_size = 8
# you can modify resize_size based on your trained model
resize_size = 256
# height and width will be the same for classification
crop_size_onnx = height_onnx_crop_size 

image_files = glob.glob(test_images_path)
img_processed_list = []
for i in range(batch_size):
    img = Image.open(image_files[i])
    img_processed_list.append(preprocess(img, resize_size, crop_size_onnx))
    
if len(img_processed_list) > 1:
    img_data = np.concatenate(img_processed_list)
elif len(img_processed_list) == 1:
    img_data = img_processed_list[0]
else:
    img_data = None

assert batch_size == img_data.shape[0]

Вывод с помощью среды выполнения ONNX

Вывод с использованием среды выполнения ONNX для каждой задачи службы зрения компьютера различается.

def get_predictions_from_ONNX(onnx_session, img_data):
    """Perform predictions with ONNX runtime
    
    :param onnx_session: onnx model session
    :type onnx_session: class InferenceSession
    :param img_data: pre-processed numpy image
    :type img_data: ndarray with shape 1xCxHxW
    :return: scores with shapes
            (1, No. of classes in training dataset) 
    :rtype: numpy array
    """

    sess_input = onnx_session.get_inputs()
    sess_output = onnx_session.get_outputs()
    print(f"No. of inputs : {len(sess_input)}, No. of outputs : {len(sess_output)}")    
    # predict with ONNX Runtime
    output_names = [ output.name for output in sess_output]
    scores = onnx_session.run(output_names=output_names,\
                                               input_feed={sess_input[0].name: img_data})
    
    return scores[0]

scores = get_predictions_from_ONNX(session, img_data)

Постобработка

Примените softmax() к более прогнозируемым значениям, чтобы получить показатели достоверности классификации (вероятностные) для каждого класса. Затем прогноз будет классом с наибольшей вероятностью.

Без PyTorch

def softmax(x):
    e_x = np.exp(x - np.max(x, axis=1, keepdims=True))
    return e_x / np.sum(e_x, axis=1, keepdims=True)

conf_scores = softmax(scores)
class_preds = np.argmax(conf_scores, axis=1)
print("predicted classes:", ([(class_idx, classes[class_idx]) for class_idx in class_preds]))

С PyTorch

conf_scores = torch.nn.functional.softmax(torch.from_numpy(scores), dim=1)
class_preds = torch.argmax(conf_scores, dim=1)
print("predicted classes:", ([(class_idx.item(), classes[class_idx]) for class_idx in class_preds]))

Визуализация прогнозов

Визуализировать входной образ с помощью меток.

import matplotlib.image as mpimg
import matplotlib.pyplot as plt
%matplotlib inline

sample_image_index = 0 # change this for an image of interest from image_files list
IMAGE_SIZE = (18, 12)
plt.figure(figsize=IMAGE_SIZE)
img_np = mpimg.imread(image_files[sample_image_index])

img = Image.fromarray(img_np.astype('uint8'), 'RGB')
x, y = img.size

fig,ax = plt.subplots(1, figsize=(15, 15))
# Display the image
ax.imshow(img_np)

label = class_preds[sample_image_index]
if torch.is_tensor(label):
    label = label.item()
    
conf_score = conf_scores[sample_image_index]
if torch.is_tensor(conf_score):
    conf_score = np.max(conf_score.tolist())
else:
    conf_score = np.max(conf_score)

display_text = '{} ({})'.format(label, round(conf_score, 3))
print(display_text)

color = 'red'
plt.text(30, 30, display_text, color=color, fontsize=30)

plt.show()

Следующие шаги