Modellslutsatsdragning med TensorFlow och TensorRT
Exempelanteckningsboken i den här artikeln visar det rekommenderade arbetsflödet för djupinlärningsinferens i Azure Databricks med TensorFlow och TensorFlowRT. Det här exemplet visar hur du optimerar en tränad ResNet-50-modell med TensorRT för modellinferens.
NVIDIA TensorRT är en högpresterande slutsatsdragningsoptimerare och körning som ger låg svarstid och högt dataflöde för djupinlärningsinferensprogram. TensorRT installeras i den GPU-aktiverade versionen av Databricks Runtime for Machine Learning.