Вывод модели с использованием TensorFlow и TensorRT
Пример записной книжки в этой статье демонстрирует рекомендуемый рабочий процесс вывода глубокого обучения Azure Databricks с TensorFlow и TensorFlowRT. В этом примере показано, как оптимизировать обученную модель ResNet-50 с помощью TensorRT для вывода модели.
NVIDIA TensorRT — это высокопроизводительный оптимизатор вывода и среда выполнения, обеспечивающая низкую задержку и высокую пропускную способность для приложений вывода для глубокого обучения. TensorRT устанавливается в версии Databricks Runtime с поддержкой GPU для Машинное обучение.