Inferenza del modello con TensorFlow e TensorRT

Il notebook di esempio di questo articolo illustra il flusso di lavoro di inferenza di Deep Learning consigliato di Azure Databricks con TensorFlow e TensorFlowRT. Questo esempio illustra come ottimizzare un modello ResNet-50 addestrato con TensorRT per l'inferenza.

NVIDIA TensorRT è un ottimizzatore di inferenza e un runtime con prestazioni elevate che offre bassa latenza e alto throughput per le applicazioni di inferenza di deep learning. TensorRT è installato nella versione abilitata per GPU di Databricks Runtime per Machine Learning.

Notebook di inferenza del modello TensorFlow-TensorRT

Ottieni il notebook