Modellslutsatsdragning med TensorFlow och TensorRT

Exempelanteckningsboken i den här artikeln visar det rekommenderade arbetsflödet för djupinlärningsinferens i Azure Databricks med TensorFlow och TensorFlowRT. Det här exemplet visar hur du optimerar en tränad ResNet-50-modell med TensorRT för modellinferens.

NVIDIA TensorRT är en högpresterande slutsatsdragningsoptimerare och körning som ger låg svarstid och högt dataflöde för djupinlärningsinferensprogram. TensorRT installeras i den GPU-aktiverade versionen av Databricks Runtime for Machine Learning.

Modellinferens TensorFlow-TensorRT Anteckningsbok

Hämta anteckningsbok