Запустите модель с помощью API среды выполнения машинного обучения Windows

Important

API Windows ML Runtime в настоящее время являются экспериментальными и не поддерживаются для использования в продуктивных средах. Приложения, пытающиеся использовать эти API, не должны публиковаться в Microsoft Store.

В этом руководстве показана стандартная последовательность API среды выполнения, не предписывая, как приложение получает или упаковывает свою модель. Модель может быть в любом месте, откуда приложение может читать; передайте абсолютный или относительный путь к LoadModelFromFile.

Приведённый ниже помощник намеренно предполагает модель с одним входом фиксированной формы FLOAT32. Это сохраняет код тензор-выделения, ориентированный на API среды выполнения и не является ограничением продукта. Если приложение использует свободные измерения, привяжите конкретные тензорные измерения для каждого запуска; если приложение использует другие типы данных, создайте соответствующее хранилище входных данных.

Перед началом

Настройка проекта C++ для API среды выполнения машинного обучения Windows завершена. Вам также нужна модель ONNX, входной контракт которой вам понятен.

Добавить помощник для запуска модели

Добавьте эти заголовки и вспомогательный компонент RunModel в проект:

// Copyright (C) Microsoft Corporation. All rights reserved.

#include <Windows.h>
#include <cstdint>
#include <iostream>
#include <string>
#include <vector>
#include <winrt/base.h>

#include <WinMLRuntime.h>

#pragma comment(lib, "windowsapp.lib")

void RunModel(std::wstring const& modelPath)
{
    winrt::com_ptr<IWinMLRuntime> runtime;
    winrt::check_hresult(WinMLCreateRuntime(
        __uuidof(IWinMLRuntime),
        runtime.put_void()));

    winrt::com_ptr<IWinMLModel> model;
    winrt::check_hresult(runtime->LoadModelFromFile(
        modelPath.c_str(),
        nullptr,
        nullptr,
        model.put()));

    winrt::com_ptr<IWinMLExecutionTarget> target;
    winrt::check_hresult(runtime->CreateCpuExecutionTarget(target.put()));

    winrt::com_ptr<IWinMLPipelineBuilder> builder;
    winrt::check_hresult(runtime->CreatePipelineBuilder(builder.put()));

    winrt::com_ptr<IWinMLStage> stage;
    winrt::check_hresult(builder->AddModelStage(
        model.get(),
        target.get(),
        L"model",
        stage.put()));

    winrt::com_ptr<IWinMLPipeline> pipeline;
    winrt::check_hresult(builder->Build(pipeline.put()));

    winrt::com_ptr<IWinMLModelSchema> schema;
    winrt::check_hresult(model->QueryInterface(
        __uuidof(IWinMLModelSchema),
        schema.put_void()));

    WINML_TENSOR_SCHEMA_DESC inputSchema = {};
    winrt::check_hresult(schema->GetInputTensorDesc(0, &inputSchema));

    if (inputSchema.dataType != WINML_TENSOR_DATA_TYPE_FLOAT32 ||
        (inputSchema.dimensionCount > 0 &&
         inputSchema.dimensions == nullptr))
    {
        winrt::throw_hresult(E_INVALIDARG);
    }

    UINT64 elementCount = 1;
    for (UINT32 i = 0; i < inputSchema.dimensionCount; ++i)
    {
        const UINT64 dimension = inputSchema.dimensions[i];
        if (dimension == 0 ||
            dimension == UINT64_MAX ||
            elementCount > UINT64_MAX / dimension)
        {
            winrt::throw_hresult(E_INVALIDARG);
        }

        elementCount *= dimension;
    }

    if (elementCount > SIZE_MAX)
    {
        winrt::throw_hresult(E_BOUNDS);
    }

    std::vector<float> inputData(
        static_cast<size_t>(elementCount),
        0.5f);

    WINML_TENSOR_DESC inputDesc = {};
    inputDesc.dataType = inputSchema.dataType;
    inputDesc.dimensionCount = inputSchema.dimensionCount;
    inputDesc.dimensions = inputSchema.dimensions;

    winrt::com_ptr<IWinMLRawTensorFactory> tensorFactory;
    winrt::check_hresult(target->QueryInterface(
        __uuidof(IWinMLRawTensorFactory),
        tensorFactory.put_void()));

    winrt::com_ptr<IWinMLTensor> inputTensor;
    winrt::check_hresult(tensorFactory->CreateTensor(
        &inputDesc,
        inputData.data(),
        inputData.size() * sizeof(float),
        inputTensor.put()));

    winrt::check_hresult(stage->BindInput(0, inputTensor.get()));
    winrt::check_hresult(pipeline->Run());

    winrt::com_ptr<IWinMLTensor> outputTensor;
    winrt::check_hresult(stage->GetOutput(0, outputTensor.put()));

    winrt::com_ptr<IWinMLTensorDataLock> outputLock;
    winrt::check_hresult(outputTensor->Lock(
        WINML_TENSOR_LOCK_MODE_READ,
        WINML_TENSOR_LOCK_FLAG_NONE,
        outputLock.put()));

    BYTE* outputBytes = nullptr;
    UINT64 outputSizeInBytes = 0;
    winrt::check_hresult(outputLock->GetData(
        &outputBytes,
        &outputSizeInBytes));

    (void)outputBytes;
    std::wcout << L"Output bytes: " << outputSizeInBytes << L'\n';
}

Передайте цель выполнения и в AddModelStage, и в фабрику тензоров, чтобы обеспечить подготовку модели и размещение тензоров на одной и той же цели.

Lock устанавливает окно доступа со стороны ЦП для выходного тензора. Он выполняет любое требуемое сопоставление или синхронизацию, а указатель, возвращаемый GetData, остается действительным, только пока существует outputLock.

Вызвать помощника

Вызовите RunModel, указав путь к модели. Например, следующий wmain принимает путь в командной строке:

int wmain(int argc, wchar_t** argv)
{
    if (argc != 2)
    {
        std::wcerr << L"Usage: RuntimeApp.exe <model-path>\n";
        return 1;
    }

    RunModel(argv[1]);
    return 0;
}

Создайте и запустите приложение:

.\x64\Release\RuntimeApp.exe C:\models\model.onnx

Замените путь на путь к своей модели. Интерпретируйте возвращаемый тензор в соответствии со схемой выходных данных модели; метки классификации, сэмплирование токенов, предварительная обработка изображений и другое поведение, зависящее от модели, относятся к вашему приложению.

Дальнейшие действия

  • Последнее обновление: