İşlem hatları için Python bağımlılıklarını yönetme

Lakeflow Spark Bildirimli İşlem Hatları, işlem hatlarınızdaki dış bağımlılıkları destekler. Databricks, Python paketlerini yüklemek için iki desenden birinin kullanılmasını önerir:

1. İşlem hattındaki tüm kaynak dosyalar için işlem hattı ortamına paket eklemek için Ortam ayarlarını kullanın.
2. Çalışma alanı dosyalarında depolanan kaynak koddan modülleri veya kitaplıkları içeri aktarabilirsiniz. Bkz. Git klasörlerinden veya çalışma alanı dosyalarından Python modüllerini içeri aktarma.

İşlem hatları genel ve küme kapsamlı başlatma betiklerinin kullanılmasını da destekler. Ancak bu dış bağımlılıklar, özellikle başlatma betikleri, çalışma zamanı yükseltmeleriyle ilgili sorun riskini artırır. Bu riskleri azaltmak için işlem hatlarınızda başlatma betiklerini kullanmayı en aza indirin. İşlemeniz için başlatma betikleri gerekiyorsa, sorunları erken algılamak için işlem hattınızın testini otomatikleştirin. Init betikleri kullanıyorsanız Databricks test sıklığınızı artırmanızı önerir.

Önemli

JVM kitaplıkları işlem hatlarında desteklenmediğinden, JVM kitaplıklarını yüklemek için bir init betiği kullanmayın. Ancak, python kitaplıkları gibi diğer kitaplık türlerini bir init betiğiyle yükleyebilirsiniz.

Python kütüphaneleri

Dış Python kitaplıklarını belirtmek için işlem hattınızın ortamını düzenleyin.

1. İşlem hattı düzenleyicisinde Ayarlar'a tıklayın.
2. İşlem hattı ortamı'nın altında Ortamı düzenleyin.
3. Bağımlılık ekleyin.
4. Bağımlılığın adını yazın. Databricks kitaplığın sürümünü sabitlemenizi önerir. Örneğin, 3.19 sürümüne bağımlılık eklemek için simplejson yazın simplejson==3.19.*.

Bir Unity Kataloğu biriminden, örneğin yolunu /Volumes/my_catalog/my_schema/my_ldp_volume/ldpfns-1.0-py3-none-any.whlbelirterek bir Python tekerlek paketi de yükleyebilirsiniz.

İşlem hatlarında Scala veya Java kitaplıklarını kullanabilir miyim?

Hayır, işlem hatları yalnızca SQL ve Python'ı destekler. İşlem hattında JVM kitaplıklarını kullanamazsınız. JVM kütüphanelerinin yüklenmesi, öngörülemeyen davranışlara neden olabilir ve gelecekteki Lakeflow Spark Declarative Pipelines sürümleriyle bozulabilir. İşlem hattınız bir init betiği kullanıyorsa, JVM kitaplıklarının betik tarafından yüklenmediğinden de emin olmanız gerekir.