Megosztás:

Útmutató a Windows ML-hez

Ez a rövid oktatóanyag végigvezeti a Windows ML-t a ResNet-50 rendszerképbesorolási modell Windows rendszeren való futtatásához, részletezve a modellek beszerzésének és előfeldolgozásának lépéseit. Az implementáció magában foglalja a végrehajtási szolgáltatók dinamikus kiválasztását az optimalizált következtetési teljesítmény érdekében.

A ResNet-50 modell egy képosztályozásra szánt PyTorch-modell.

Ebben az oktatóanyagban letöltheti a ResNet-50 modellt a Hugging Face-ről, és AI Toolkit használatával QDQ ONNX formátumba konvertálhatja.

Ezután betölti a modellt, előkészíti a bemeneti tenzorokat, és következtetést futtat a Windows ML API-kkal, beleértve a softmax alkalmazásának utófeldolgozási lépéseit, és lekéri a legfontosabb előrejelzéseket.

A modell beszerzése és az előfeldolgozás

A ResNet-50-et az Hugging Face-ból szerezheti be (az a platform, ahol az ML-közösség modelleken, adatkészleteken és alkalmazásokon együttműködik). A ResNet-50-et QDQ ONNX formátumra konvertálja az AI-eszközkészlet használatával (további információért tekintse meg a modellek ONNX formátumra konvertálását ).

Ennek a példakódnak a célja az, hogy a Windows ML futtatókörnyezetet használva nagy teljesítményű számításokat végezzen.

A Windows ML-futtatókörnyezet a következő lesz:

  • A modellt töltse be.
  • Dinamikusan válassza ki a modell számára előnyben részesített IHV-végrehajtási szolgáltatót (EP), és igény szerint töltse le az EP-t a Microsoft Store-ból.
  • Futtassa a következtetést a modellen az EP használatával.

Az API-ra vonatkozó referencia: OrtSessionOptions és ExecutionProviderCatalog osztály.

// Create a new instance of EnvironmentCreationOptions
EnvironmentCreationOptions envOptions = new()
{
    logId = "ResnetDemo",
    logLevel = OrtLoggingLevel.ORT_LOGGING_LEVEL_ERROR
};

// Pass the options by reference to CreateInstanceWithOptions
OrtEnv ortEnv = OrtEnv.CreateInstanceWithOptions(ref envOptions);

// Use Windows ML to download and register Execution Providers
var catalog = Microsoft.Windows.AI.MachineLearning.ExecutionProviderCatalog.GetDefault();
Console.WriteLine("Ensuring and registering execution providers...");
await catalog.EnsureAndRegisterCertifiedAsync();

//Create Onnx session
Console.WriteLine("Creating session ...");
var sessionOptions = new SessionOptions();
// Set EP Selection Policy
sessionOptions.SetEpSelectionPolicy(ExecutionProviderDevicePolicy.MIN_OVERALL_POWER);

EP-összeállítás

Ha a modell még nincs lefordítva az EP-hez (ami az eszköztől függően változhat), a modellt először az adott EP-hez kell lefordítani. Ez egy egyszeri folyamat. Az alábbi példakód úgy kezeli, hogy az első futtatáskor összeállítja a modellt, majd helyben tárolja. A kód későbbi futtatásai felveszik a lefordított verziót, és futtatják azt; optimalizált gyors következtetést eredményez.

Api-referenciaként lásd : Ort::ModelCompilationOptions struct, Ort::Status struct és Ort::CompileModel.

// Prepare paths
string executableFolder = Path.GetDirectoryName(Assembly.GetEntryAssembly()!.Location)!;
string labelsPath = Path.Combine(executableFolder, "ResNet50Labels.txt");
string imagePath = Path.Combine(executableFolder, "dog.jpg");
            
// TODO: Please use AITK Model Conversion tool to download and convert Resnet, and paste the converted path here
string modelPath = @"";
string compiledModelPath = @"";

// Compile the model if not already compiled
bool isCompiled = File.Exists(compiledModelPath);
if (!isCompiled)
{
    Console.WriteLine("No compiled model found. Compiling model ...");
    using (var compileOptions = new OrtModelCompilationOptions(sessionOptions))
    {
        compileOptions.SetInputModelPath(modelPath);
        compileOptions.SetOutputModelPath(compiledModelPath);
        compileOptions.CompileModel();
        isCompiled = File.Exists(compiledModelPath);
        if (isCompiled)
        {
            Console.WriteLine("Model compiled successfully!");
        }
        else
        {
            Console.WriteLine("Failed to compile the model. Will use original model.");
        }
    }
}
else
{
    Console.WriteLine("Found precompiled model.");
}
var modelPathToUse = isCompiled ? compiledModelPath : modelPath;

A következtetés futtatása

A bemeneti kép tenzoros adatformátummá lesz konvertálva, majd a következtetés fut rajta. Bár ez az ONNX futtatókörnyezetet használó összes kódra jellemző, a különbség ebben az esetben az, hogy az ONNX-futtatókörnyezet közvetlenül a Windows ML-n keresztül történik. Az egyetlen követelmény, hogy a #include <winml/onnxruntime_cxx_api.h> elemet hozzáadjuk a kódhoz.

Lásd még : Modell átalakítása AI-eszközkészlettel a VS Code-hoz

API-referenciához lásd a Ort::Session struct, Ort::MemoryInfo struct, Ort::Value struct, Ort::AllocatorWithDefaultOptions struct, Ort::RunOptions struct dokumentációkat.

using var session = new InferenceSession(modelPathToUse, sessionOptions);

Console.WriteLine("Preparing input ...");
// Load and preprocess image
var input = await PreprocessImageAsync(await LoadImageFileAsync(imagePath));
// Prepare input tensor
var inputName = session.InputMetadata.First().Key;
var inputTensor = new DenseTensor<float>(
    input.ToArray(),          // Use the DenseTensor<float> directly
    new[] { 1, 3, 224, 224 }, // Shape of the tensor
    false                     // isReversedStride should be explicitly set to false
);

// Bind inputs and run inference
var inputs = new List<NamedOnnxValue>
{
    NamedOnnxValue.CreateFromTensor(inputName, inputTensor)
};

Console.WriteLine("Running inference ...");
var results = session.Run(inputs);
for (int i = 0; i < 40; i++)
{
    results = session.Run(inputs);
}

// Extract output tensor
var outputName = session.OutputMetadata.First().Key;
var resultTensor = results.First(r => r.Name == outputName).AsEnumerable<float>().ToArray();

// Load labels and print results
var labels = LoadLabels(labelsPath);
PrintResults(labels, resultTensor);

Utófeldolgozás

A rendszer a softmax függvényt alkalmazza a visszaadott nyers kimenetre, a címkeadatok pedig az öt legnagyobb valószínűségű nevek leképezésére és nyomtatására szolgálnak.

private static void PrintResults(IList<string> labels, IReadOnlyList<float> results)
{
    // Apply softmax to the results
    float maxLogit = results.Max();
    var expScores = results.Select(r => MathF.Exp(r - maxLogit)).ToList(); // stability with maxLogit
    float sumExp = expScores.Sum();
    var softmaxResults = expScores.Select(e => e / sumExp).ToList();

    // Get top 5 results
    IEnumerable<(int Index, float Confidence)> topResults = softmaxResults
        .Select((value, index) => (Index: index, Confidence: value))
        .OrderByDescending(x => x.Confidence)
        .Take(5);

    // Display results
    Console.WriteLine("Top Predictions:");
    Console.WriteLine("-------------------------------------------");
    Console.WriteLine("{0,-32} {1,10}", "Label", "Confidence");
    Console.WriteLine("-------------------------------------------");

    foreach (var result in topResults)
    {
        Console.WriteLine("{0,-32} {1,10:P2}", labels[result.Index], result.Confidence);
    }

    Console.WriteLine("-------------------------------------------");
}

Kimenet

Íme egy példa a várható kimenet típusára.

285, Egyptian cat with confidence of 0.904274
281, tabby with confidence of 0.0620204
282, tiger cat with confidence of 0.0223081
287, lynx with confidence of 0.00119624
761, remote control with confidence of 0.000487919

Teljes kódminták

A teljes kódminták a WindowsAppSDK-Samples GitHub-adattárban érhetők el. Lásd: WindowsML.

  • Last updated on