DirectML 도구

DirectML을 향상시키고 AI 앱에 통합하는 데 사용할 수 있는 도구는 다음과 같습니다.

ONNX 런타임 Go Live(Olive)

Olive는 모델 압축, 최적화 및 컴파일에서 업계 최고의 기술을 구성하는 사용하기 쉬운 하드웨어 인식 모델 최적화 도구입니다. 대상 백 엔드로 DirectML을 사용하여 Olive를 통해 모델을 전달할 수 있으며 Olive는 가장 효율적인 모델을 출력하는 가장 적합한 최적화 기술을 구성합니다. 올리브를 사용하는 방법에 대한 자세한 내용과 샘플은 Olive의 설명서를 참조하세요.

DxDispatch

DxDispatch는 모든 C++ 상용구 작성 없이 DirectX 12 컴퓨팅 프로그램을 시작하기 위한 간단한 명령줄 실행 파일입니다. 도구에 대한 입력은 실행할 리소스, 디스패치 가능 항목(컴퓨팅 셰이더, DirectML 연산자 및 ONNX 모델) 및 명령을 정의하는 JSON 모델입니다. 자세한 내용은 Github의 DxDispatch 가이드를 참조하세요.

DirectMLX

DirectMLX는 개별 연산자를 그래프로 쉽게 작성할 수 있도록 하는 DirectML용 C++ 헤더 전용 도우미 라이브러리입니다. 자세한 내용은 DirectMLX 설명서를 참조 하세요.

ONNX 런타임 성능 테스트

onnxruntime 성능 테스트는 onnxruntime 프레임워크에서 여러 EP(실행 공급자)를 사용하여 ONNX 모델을 실행하는 성능을 측정하는 도구입니다. 각 EP 및 모델에 대한 대기 시간, 처리량, 메모리 사용량 및 CPU/GPU 사용률과 같은 메트릭을 보고할 수 있습니다. 또한 onnxruntime 성능 테스트는 다양한 EP 및 모델의 결과를 비교하고 분석을 위한 차트와 테이블을 생성할 수 있습니다.

directml ep와 함께 onnxruntime perf 테스트를 사용하려면 onnxruntime-directml 패키지를 설치하고 명령줄 인수에서 directml을 EP로 지정합니다. 예를 들어 다음 명령은 directml ep 및 기본 설정을 사용하여 resnet50 모델에 대한 성능 테스트를 실행합니다.

onnxruntime_perf_test -m resnet50 -e directml

성능 테스트는 directml ep 및 resnet50 모델에 대한 평균 대기 시간, 최고 작업 집합 메모리 및 평균 CPU/GPU 사용률을 출력합니다. 반복 횟수, 일괄 처리 크기, 동시성, 준비 실행, 모델 입력 및 출력 형식 변경과 같은 다른 옵션을 사용하여 성능 테스트를 사용자 지정할 수도 있습니다. 자세한 내용은 onnxruntime 성능 테스트 설명서를 참조 하세요.