Inférence de modèle à l’aide de TensorFlow et TensorRT
L’exemple de notebook de cet article illustre le workflow d’inférence Deep Learning recommandé par Azure Databricks avec TensorFlow et TensorFlowRT. Cet exemple montre comment optimiser un modèle ResNet-50 entraîné avec TensorRT pour l’inférence de modèle.
NVIDIA TensorRT est un optimiseur et un runtime d’inférence haute performance qui offre une faible latence et un débit élevé pour les applications d’inférence de Deep Learning. TensorRT est installé dans la version compatible GPU de Databricks Runtime pour l’apprentissage automatique.