Inferência de modelos com o TensorFlow e TensorRT

O bloco de anotações de exemplo neste artigo demonstra o fluxo de trabalho de inferência de aprendizado profundo recomendado pelo Azure Databricks com o TensorFlow e o TensorFlowRT. Este exemplo mostra como otimizar um modelo ResNet-50 treinado com TensorRT para inferência de modelo.

O NVIDIA TensorRT é um otimizador de inferência e tempo de execução de alto desempenho que oferece baixa latência e alta taxa de transferência para aplicativos de inferência de aprendizado profundo. TensorRT é instalado na versão habilitada para GPU do Databricks Runtime for Machine Learning.

Notebook de inferência de modelo TensorFlow-TensorRT

Obter bloco de notas