Ferramentas DirectML

As ferramentas a seguir estão disponíveis para aprimorar o DirectML e incorporá-lo ao seu aplicativo de IA.

ONNX Runtime Go Live (Olive)

O Olive é uma ferramenta de otimização de modelo com reconhecimento de hardware fácil de usar que compõe técnicas líderes do setor em compactação, otimização e compilação de modelos. Você pode passar um modelo pelo Olive com DirectML como back-end de destino e o Olive compõe as técnicas de otimização mais adequadas para produzir o(s) modelo(s) mais eficiente(s). Para obter mais informações e exemplos sobre como usar o Olive, consulte a documentação do Olive.

DxDispatch

DxDispatch é um executável simples da linha de comandos para iniciar programas de computação DirectX 12 sem escrever todo o texto clichê do C++. A entrada para a ferramenta é um modelo JSON que define recursos, expedidores (sombreadores de computação, operadores DirectML e modelos ONNX) e comandos a serem executados. Para obter mais informações, consulte o guia do DxDispatch no Github.

DirectMLX

DirectMLX é uma biblioteca auxiliar somente de cabeçalho C++ para DirectML, destinada a facilitar a composição de operadores individuais em gráficos. Para obter mais informações, acesse a documentação do DirectMLX

Testes de Perf em tempo de execução do ONNX

O teste de perf onnxruntime é uma ferramenta que mede o desempenho da execução de modelos ONNX com diferentes provedores de execução (EPs) na estrutura onnxruntime. Ele pode relatar métricas como latência, taxa de transferência, uso de memória e utilização de CPU/GPU para cada EP e modelo. O teste onnxruntime perf também pode comparar os resultados de diferentes EPs e modelos e gerar gráficos e tabelas para análise.

Para usar o teste de perf onnxruntime com o ep directml, instale o pacote onnxruntime-directml e especifique o directml como o EP nos argumentos da linha de comando. Por exemplo, o comando a seguir executa o teste perf para o modelo resnet50 com o ep directml e as configurações padrão:

onnxruntime_perf_test -m resnet50 -e directml

O teste perf produzirá a latência média, o pico de memória do conjunto de trabalho e a utilização média da CPU/GPU para o ep directml e o modelo resnet50. Também é possível usar outras opções para personalizar o teste de perf, como alterar o número de iterações, o tamanho do lote, a simultaneidade, as execuções de aquecimento, as entradas do modelo e os formatos de saída. Para obter mais detalhes, confira a documentação do teste perf onnxruntime.