Alur kerja inferensi model pembelajaran mendalam
Untuk inferensi model untuk aplikasi pembelajaran mendalam, Azure Databricks merekomendasikan alur kerja berikut. Misalnya buku catatan yang menggunakan TensorFlow dan PyTorch, lihat Contoh inferensi model pembelajaran mendalam.
Memuat data ke Spark DataFrames. Bergantung pada tipe data, Azure Databricks merekomendasikan cara-cara berikut untuk memuat data:
- File gambar (JPG,PNG): Muat jalur gambar ke Spark DataFrame. Data input pemuatan dan preprocessing gambar terjadi di UDF panda.
files_df = spark.createDataFrame(map(lambda path: (path,), file_paths), ["path"])- TFRecords: Muat data menggunakan konektor-tensorflow-spark.
df = spark.read.format("tfrecords").load(image_path)- Sumber data seperti Parquet, CSV, JSON, JDBC, dan metadata lainnya: Muat data menggunakan sumber data Spark.
Lakukan inferensi model menggunakan UDF pandas. UDF panda menggunakan Apache Arrow untuk mentransfer data dan panda untuk bekerja dengan data. Untuk melakukan inferensi model, berikut ini adalah langkah-langkah luas dalam alur kerja dengan UDF panda.
- Memuat model terlatih: Untuk efisiensi, Azure Databricks merekomendasikan untuk menyiarkan bobot model dari driver dan memuat bagan model dan mendapatkan bobot dari variabel yang disiarkan di UDF panda.
- Memuat dan memproses data input: Untuk memuat data dalam batch, Azure Databricks merekomendasikan penggunaan API tf.data untuk TensorFlow dan kelas DataLoader untuk PyTorch. Keduanya juga mendukung pemuatan prefetching dan multi-threaded untuk menyembunyikan latensi terikat IO.
- Jalankan prediksi model: jalankan inferensi model pada kumpulan data.
- Kirim prediksi kembali ke Spark DataFrames: kumpulkan hasil prediksi dan kembalikan sebagai
pd.Series.
Contoh inferensi model pembelajaran mendalam
Contoh di bagian ini mengikuti alur kerja inferensi pembelajaran mendalam yang direkomendasikan. Contoh ini mengilustrasikan bagaimana melakukan inferensi model menggunakan model jaringan neural jaringan residual (ResNets) pra terlatih.