Aracılığıyla paylaş

Derin öğrenme model çıkarımı iş akışı

  • Makale

Derin öğrenme uygulamaları için model çıkarımı için Azure Databricks aşağıdaki iş akışını önerir. TensorFlow ve PyTorch kullanan not defterleri için bkz . Derin öğrenme modeli çıkarım örnekleri.

  1. Verileri Spark DataFrames'e yükleyin. Veri türüne bağlı olarak, Azure Databricks verileri yüklemek için aşağıdaki yolları önerir:

    • Görüntü dosyaları (JPG,PNG): Görüntü yollarını bir Spark DataFrame'e yükleyin. Görüntü yükleme ve ön işleme giriş verileri pandas UDF'de gerçekleşir.
    files_df = spark.createDataFrame(map(lambda path: (path,), file_paths), ["path"])
    • TFRecords: Spark-tensorflow-connector kullanarak verileri yükleyin.
    df = spark.read.format("tfrecords").load(image_path)
    • Parquet, CSV, JSON, JDBC ve diğer meta veriler gibi veri kaynakları: Spark veri kaynaklarını kullanarak verileri yükleyin.

  2. Pandas UDF'lerini kullanarak model çıkarımı gerçekleştirin. pandas UDF'leri verileri aktarmak için Apache Arrow ve verilerle çalışmak için pandas kullanır. Model çıkarımı yapmak için, pandas UDF'leri ile iş akışındaki geniş adımlar aşağıdadır.

    1. Eğitilen modeli yükleme: Verimlilik için Azure Databricks, modelin ağırlıklarını sürücüden yayınlamayı ve model grafını yüklemeyi ve pandas UDF'de yayınlanan değişkenlerden ağırlıkları almayı önerir.
    2. Giriş verilerini yükleme ve ön işleme: Azure Databricks, verileri toplu olarak yüklemek için TensorFlow için tf.data API'sinin ve PyTorch için DataLoader sınıfının kullanılmasını önerir. Her ikisi de GÇ bağlı gecikme süresini gizlemek için önceden hazırlamayı ve çok iş parçacıklı yüklemeyi destekler.
    3. Model tahminini çalıştırma: Veri toplu işleminde model çıkarımı çalıştırma.
    4. Tahminleri Spark DataFrames'e geri gönderme: tahmin sonuçlarını toplayın ve olarak pd.Seriesdöndürin.

Derin öğrenme modeli çıkarım örnekleri

Bu bölümdeki örnekler önerilen derin öğrenme çıkarım iş akışını izler. Bu örnekler, önceden eğitilmiş derin artık ağlar (ResNets) sinir ağı modeli kullanarak model çıkarımının nasıl gerçekleştirileceğini göstermektedir.