Bereitstellen des Modells auf NVIDIA Triton Inference Server
NVIDIA Triton Inference Server ist Open-Source-Software mit mehreren Frameworks, die für Rückschluss optimiert ist. Sie unterstützt beliebte Frameworks für maschinelles Lernen wie TensorFlow, die ONNX-Runtime (Open Neural Network Exchange), PyTorch, NVIDIA TensorRT und andere. Sie kann für Ihre CPU- oder GPU-Arbeitslasten verwendet werden. In diesem Modul stellen Sie Ihr Produktionsmodell auf dem NVIDIA Triton-Server bereit, um Rückschlüsse auf einer in der Cloud gehosteten VM auszuführen.
Lernziele
In diesem Modul lernen Sie Folgendes:
- Erstellen einer NVIDIA-VM mit GPU-Beschleunigung
- Konfigurieren von NVIDIA Triton Inference Server und der zugehörigen Voraussetzungen
- Ausführen einer Rückschlussworkload auf NVIDIA Triton Inference Server