Inferencia de modelos mediante TensorFlow y TensorRT

El cuaderno de ejemplo de este artículo muestra el flujo de trabajo de inferencia de aprendizaje profundo recomendado por Azure Databricks con TensorFlow y TensorFlowRT. En este ejemplo se muestra cómo optimizar un modelo ResNet-50 entrenado con TensorRT para la inferencia de modelos.

NVIDIA TensorRT es un entorno de ejecución y optimizador de inferencia de alto rendimiento que ofrece baja latencia y una capacidad de proceso elevada para aplicaciones de inferencia de aprendizaje profundo. TensorRT se instala en la versión habilitada para GPU de Databricks Runtime para Machine Learning.

Cuaderno de inferencia de modelos TensorFlow-TensorRT

Obtener el cuaderno