Wnioskowanie modelu przy użyciu biblioteki TensorFlow i TensorRT
Przykładowy notes w tym artykule przedstawia zalecany przepływ pracy wnioskowania uczenia głębokiego usługi Azure Databricks za pomocą bibliotek TensorFlow i TensorFlowRT. W tym przykładzie pokazano, jak zoptymalizować wytrenowany model ResNet-50 przy użyciu biblioteki TensorRT na potrzeby wnioskowania modelu.
NVIDIA TensorRT to optymalizator wnioskowania o wysokiej wydajności i środowisko uruchomieniowe, które zapewnia małe opóźnienia i wysoką przepływność dla aplikacji wnioskowania głębokiego. TensorRT jest instalowany w wersji środowiska Databricks Runtime z obsługą procesora GPU dla usługi Machine Edukacja.