Вывод модели с использованием TensorFlow и TensorRT

Пример блокнота в этой статье демонстрирует рекомендуемый рабочий процесс инференции глубокого обучения в Azure Databricks с использованием TensorFlow и TensorFlowRT. В этом примере показано, как оптимизировать обученную модель ResNet-50 с TensorRT для вывода модели.

NVIDIA TensorRT — это высокопроизводительный оптимизатор вывода и среда выполнения, обеспечивающая низкую задержку и высокую пропускную способность для приложений вывода для глубокого обучения. TensorRT устанавливается в версии Databricks Runtime с поддержкой GPU для машинного обучения.

Записная книжка для инференса модели TensorFlow-TensorRT

Заберите блокнот