Görüntü uygulamaları için başvuru çözümü
Birçok gerçek dünya görüntü uygulaması tarafından paylaşılan ortak bir yapılandırmada pandas UDF, PyTorch ve TensorFlow kullanarak başvuru çözümü not defterlerinden dağıtılmış görüntü modeli çıkarımını yapmayı öğrenin. Bu yapılandırma, bir nesne deposunda birçok görüntü depoladığınız ve isteğe bağlı olarak sürekli yeni görüntülerin geldiğini varsayar.
Görüntü modeli çıkarım için iş akışı
Görüntü sınıflandırma ve nesne algılama için eğitilmiş birkaç derin öğrenme (DL) modeliniz olduğunu (örneğin, gizliliği korumaya yardımcı olmak için kullanıcı tarafından yüklenen fotoğraflardaki insan nesnelerini algılamaya yönelik MobileNetV2) ve bu DL modellerini depolanan görüntülere uygulamak istediğinizi varsayalım.
Modelleri yeniden eğitebilir ve önceden hesaplanan tahminleri güncelleştirebilirsiniz. Bununla birlikte, çok sayıda görüntü yüklemek ve DL modelleri uygulamak hem G/Ç hem de işlem yoğunlukludur. Neyse ki çıkarım iş yükü utanç verici derecede paraleldir ve teoride kolayca dağıtılabilir. Bu kılavuz, iki ana aşama içeren pratik bir çözümde size yol gösterir:
- Otomatik Yükleyici'yi kullanarak Delta tablosuna ETL görüntüleri ekleme
- Pandas UDF kullanarak dağıtılmış çıkarım gerçekleştirme
Otomatik Yükleyici'yi kullanarak Delta tablosuna ETL görüntüleri ekleme
Eğitim ve çıkarım görevleri de dahil olmak üzere görüntü uygulamaları için Databricks, OTOMATIK Yükleyici ile BIR Delta tablosuna ETL görüntüleri eklemenizi önerir. Otomatik Yükleyici, veri yönetimine yardımcı olur ve sürekli gelen yeni görüntüleri otomatik olarak işler.
Delta tablosu not defterine ETL görüntü veri kümesi
Pandas UDF kullanarak dağıtılmış çıkarım gerçekleştirme
Aşağıdaki not defterleri PyTorch ve TensorFlow tf kullanır. Keras başvuru çözümünü göstermek için.
Pytorch ve pandas UDF not defteri aracılığıyla dağıtılmış çıkarım
Keras ve pandas UDF not defteri aracılığıyla dağıtılmış çıkarım
Sınırlamalar: Görüntü dosyası boyutları
Büyük görüntü dosyaları (ortalama görüntü boyutu 100 MB'tan büyük) için Databricks, Delta tablosunu yalnızca meta verileri (dosya adları listesi) yönetmek ve gerektiğinde yollarını kullanarak nesne deposundan görüntüleri yüklemek için kullanmanızı önerir.