TensorFlow ve TensorRT kullanarak model çıkarımı

Bu makaledeki örnek not defteri, TensorFlow ve TensorFlowRT ile Azure Databricks tarafından önerilen derin öğrenme çıkarım iş akışını gösterir. Bu örnek, tensorRT ile eğitilmiş bir ResNet-50 modelinin model çıkarımı için nasıl iyileştirileceğini gösterir.

NVIDIA TensorRT , derin öğrenme çıkarım uygulamaları için düşük gecikme süresi ve yüksek aktarım hızı sunan yüksek performanslı bir çıkarım iyileştiricisi ve çalışma zamanıdır. TensorRT, Machine Learning için Databricks Runtime'ın GPU özellikli sürümüne yüklenir.

Model çıkarımı TensorFlow-TensorRT not defteri

not defteri alma