Einführung
NVIDIA Triton Inference Server ist Open-Source-Software mit mehreren Frameworks, die für Rückschluss optimiert ist. Sie unterstützt beliebte Machine Learning-Frameworks wie TensorFlow, die ONNX-Runtime, PyTorch, NVIDIA TensorRT und andere. NVIDIA Triton kann verwendet werden, um Rückschlüsse für CPU- oder GPU-Workloads zu verarbeiten. In diesem Modul stellen Sie Ihr Produktionsmodell in NVIDIA Triton Server bereit, um Rückschlüsse auf einer in der Cloud gehosteten VM auszuführen.
Voraussetzungen
Szenario: Bereitstellen eines Produktionsmodells auf NVIDIA Triton Server für die Verarbeitung von Rückschlüssen
Sie sind ein Data Scientist, der den Auftrag erhalten hat, die Automatisierung in einer Produktionsanlage mithilfe von maschinellem Sehen zu verbessern. Ihr Team hat ein ONNX-basiertes (Open Neural Network Exchange) Objekterkennungsmodell mit Azure Machine Learning Studio entwickelt und ist bereit, dieses Modell in der Produktion einzusetzen. NVIDIA Triton Inference Server wird aufgrund der Möglichkeit, das ONNX-Format auf CPU- oder GPU-basierter Hardware auszuführen, als Rückschlussprozessor ausgewählt. Ihr Team möchte eine in der Cloud gehostete VM für die Ausführung des Modells einsetzen, die es Ihnen ermöglicht, Rückschlüsse für Bildframes auszuführen, die aus der Produktionsumgebung empfangen werden.
Was lernen Sie?
Nach Abschluss dieses Moduls können Sie Folgendes:
- Erstellen einer NVIDIA-VM mit GPU-Beschleunigung
- Konfigurieren von NVIDIA Triton Inference Server und der zugehörigen Voraussetzungen
- Ausführen einer Rückschlussworkload in NVIDIA Triton Inference Server
Was ist das Hauptziel?
Dieses Modul zeigt Ihnen, wie Sie ein Produktionsmodell in NVIDIA Triton Inference Server für die Rückschlussverarbeitung bereitstellen.