Executar um modelo com a API Windows ML Runtime

Importante

As APIs do Windows ML Runtime são atualmente experimentais e não são suportadas para utilização em ambientes de produção. Os aplicativos que experimentam essas APIs não devem ser publicados na Microsoft Store.

Este tutorial mostra a sequência padrão da API em tempo de execução sem especificar como a sua aplicação adquire ou empacota o seu modelo. O modelo pode estar em qualquer lugar que a sua aplicação possa ler; passe um caminho absoluto ou relativo para LoadModelFromFile.

A função auxiliar abaixo assume intencionalmente um modelo com uma entrada FLOAT32 de forma fixa. Isso mantém o código de alocação de tensor focado na API de Runtime e não é uma limitação do produto. Se a sua aplicação usar dimensões livres, associe dimensões concretas do tensor para cada execução; se usar outros tipos de dados, crie armazenamento de entrada correspondente.

Antes de começares

Concluir Configurar um projeto C++ para a API de Execução do Windows ML. Também precisas de um modelo ONNX cujo contrato de entrada compreendes.

Adicionar um auxiliar para a execução do modelo

Adicione estes cabeçalhos e o RunModel assistente ao seu projeto:

// Copyright (C) Microsoft Corporation. All rights reserved.

#include <Windows.h>
#include <cstdint>
#include <iostream>
#include <string>
#include <vector>
#include <winrt/base.h>

#include <WinMLRuntime.h>

#pragma comment(lib, "windowsapp.lib")

void RunModel(std::wstring const& modelPath)
{
    winrt::com_ptr<IWinMLRuntime> runtime;
    winrt::check_hresult(WinMLCreateRuntime(
        __uuidof(IWinMLRuntime),
        runtime.put_void()));

    winrt::com_ptr<IWinMLModel> model;
    winrt::check_hresult(runtime->LoadModelFromFile(
        modelPath.c_str(),
        nullptr,
        nullptr,
        model.put()));

    winrt::com_ptr<IWinMLExecutionTarget> target;
    winrt::check_hresult(runtime->CreateCpuExecutionTarget(target.put()));

    winrt::com_ptr<IWinMLPipelineBuilder> builder;
    winrt::check_hresult(runtime->CreatePipelineBuilder(builder.put()));

    winrt::com_ptr<IWinMLStage> stage;
    winrt::check_hresult(builder->AddModelStage(
        model.get(),
        target.get(),
        L"model",
        stage.put()));

    winrt::com_ptr<IWinMLPipeline> pipeline;
    winrt::check_hresult(builder->Build(pipeline.put()));

    winrt::com_ptr<IWinMLModelSchema> schema;
    winrt::check_hresult(model->QueryInterface(
        __uuidof(IWinMLModelSchema),
        schema.put_void()));

    WINML_TENSOR_SCHEMA_DESC inputSchema = {};
    winrt::check_hresult(schema->GetInputTensorDesc(0, &inputSchema));

    if (inputSchema.dataType != WINML_TENSOR_DATA_TYPE_FLOAT32 ||
        (inputSchema.dimensionCount > 0 &&
         inputSchema.dimensions == nullptr))
    {
        winrt::throw_hresult(E_INVALIDARG);
    }

    UINT64 elementCount = 1;
    for (UINT32 i = 0; i < inputSchema.dimensionCount; ++i)
    {
        const UINT64 dimension = inputSchema.dimensions[i];
        if (dimension == 0 ||
            dimension == UINT64_MAX ||
            elementCount > UINT64_MAX / dimension)
        {
            winrt::throw_hresult(E_INVALIDARG);
        }

        elementCount *= dimension;
    }

    if (elementCount > SIZE_MAX)
    {
        winrt::throw_hresult(E_BOUNDS);
    }

    std::vector<float> inputData(
        static_cast<size_t>(elementCount),
        0.5f);

    WINML_TENSOR_DESC inputDesc = {};
    inputDesc.dataType = inputSchema.dataType;
    inputDesc.dimensionCount = inputSchema.dimensionCount;
    inputDesc.dimensions = inputSchema.dimensions;

    winrt::com_ptr<IWinMLRawTensorFactory> tensorFactory;
    winrt::check_hresult(target->QueryInterface(
        __uuidof(IWinMLRawTensorFactory),
        tensorFactory.put_void()));

    winrt::com_ptr<IWinMLTensor> inputTensor;
    winrt::check_hresult(tensorFactory->CreateTensor(
        &inputDesc,
        inputData.data(),
        inputData.size() * sizeof(float),
        inputTensor.put()));

    winrt::check_hresult(stage->BindInput(0, inputTensor.get()));
    winrt::check_hresult(pipeline->Run());

    winrt::com_ptr<IWinMLTensor> outputTensor;
    winrt::check_hresult(stage->GetOutput(0, outputTensor.put()));

    winrt::com_ptr<IWinMLTensorDataLock> outputLock;
    winrt::check_hresult(outputTensor->Lock(
        WINML_TENSOR_LOCK_MODE_READ,
        WINML_TENSOR_LOCK_FLAG_NONE,
        outputLock.put()));

    BYTE* outputBytes = nullptr;
    UINT64 outputSizeInBytes = 0;
    winrt::check_hresult(outputLock->GetData(
        &outputBytes,
        &outputSizeInBytes));

    (void)outputBytes;
    std::wcout << L"Output bytes: " << outputSizeInBytes << L'\n';
}

Passe o alvo de execução tanto a AddModelStage como à fábrica de tensores para manter a preparação do modelo e a colocação do tensor no mesmo alvo.

Lock estabelece uma janela de acesso à CPU para o tensor de saída. Realiza qualquer mapeamento ou sincronização necessário, e o ponteiro devolvido por GetData permanece válido apenas enquanto outputLock estiver vivo.

Chamar o assistente

Chame RunModel com o caminho do modelo. Por exemplo, o seguinte wmain aceita o caminho na linha de comandos:

int wmain(int argc, wchar_t** argv)
{
    if (argc != 2)
    {
        std::wcerr << L"Usage: RuntimeApp.exe <model-path>\n";
        return 1;
    }

    RunModel(argv[1]);
    return 0;
}

Constrói e executa a aplicação:

.\x64\Release\RuntimeApp.exe C:\models\model.onnx

Substitua o caminho pelo seu modelo. Interprete o tensor devolvido de acordo com o esquema de saída desse modelo; etiquetas de classificação, amostragem de tokens, pré-processamento de imagens e outros comportamentos específicos do modelo pertencem à sua aplicação.

Passos seguintes

  • Última atualização a