Delta Live Tables işlem hatları için Python bağımlılıklarını yönetme

Delta Live Tabloları, işlem hatlarınızdaki dış bağımlılıkları destekler. Databricks, Python paketlerini yüklemek için iki desenden birinin kullanılmasını önerir:

1. bir işlem hattındaki %pip install tüm kaynak dosyalara yönelik paketleri yüklemek için komutunu kullanın.
2. Çalışma alanı dosyalarında depolanan kaynak koddan modülleri veya kitaplıkları içeri aktarabilirsiniz. Bkz. Git klasörlerinden veya çalışma alanı dosyalarından Python modüllerini içeri aktarma.

Delta Live Tables, genel ve küme kapsamlı başlatma betiklerinin kullanılmasını da destekler. Ancak bu dış bağımlılıklar, özellikle başlatma betikleri, çalışma zamanı yükseltmeleriyle ilgili sorun riskini artırır. Bu riskleri azaltmak için işlem hatlarınızda başlatma betiklerini kullanmayı en aza indirin. İşlemeniz için başlatma betikleri gerekiyorsa, sorunları erken algılamak için işlem hattınızın testini otomatikleştirin. Init betikleri kullanıyorsanız Databricks test sıklığınızı artırmanızı önerir.

Önemli

Delta Live Tables işlem hatlarında JVM kitaplıkları desteklenmediğinden, JVM kitaplıklarını yüklemek için bir init betiği kullanmayın. Ancak, python kitaplıkları gibi diğer kitaplık türlerini bir init betiğiyle yükleyebilirsiniz.

Python kitaplıkları

Dış Python kitaplıklarını belirtmek için sihirli komutunu kullanın %pip install . Bir güncelleştirme başlatıldığında Delta Live Tables, tablo tanımlarını çalıştırmadan önce komut %pip install içeren tüm hücreleri çalıştırır. İşlem hattına dahil edilen her Python not defteri bir kitaplık ortamını paylaşır ve yüklü tüm kitaplıklara erişebilir.

Önemli

• %pip install komutlarının Delta Live Tables işlem hattı not defterinizin üst kısmındaki ayrı bir hücrede olması gerekir. Komut içeren hücrelere başka kod eklemeyin %pip install .
• İşlem hattındaki her not defteri bir kitaplık ortamını paylaştığından, tek bir işlem hattında farklı kitaplık sürümleri tanımlayamazsınız. İşlemeniz farklı kitaplık sürümleri gerektiriyorsa, bunları farklı işlem hatlarında tanımlamanız gerekir.

Aşağıdaki örnek kitaplığı yükler ve işlem hattındaki numpy tüm Python not defterleri için genel olarak kullanılabilir hale getirir:

%pip install simplejson

Python tekerlek paketi yüklemek için komutuna Python tekerlek yolunu %pip install ekleyin. Yüklü Python tekerlek paketleri, işlem hattındaki tüm tablolar tarafından kullanılabilir. Aşağıdaki örnekte DBFS dizininden /dbfs/dlt/adlı dltfns-1.0-py3-none-any.whl bir Python tekerlek dosyası yüklenir:

%pip install /dbfs/dlt/dltfns-1.0-py3-none-any.whl

Bkz. %pip ile Python tekerlek paketi yükleme.

Delta Live Tables işlem hattında Scala veya Java kitaplıklarını kullanabilir miyim?

Hayır, Delta Live Tabloları yalnızca SQL ve Python'ı destekler. İşlem hattında JVM kitaplıklarını kullanamazsınız. JVM kitaplıklarını yüklemek öngörülemeyen davranışlara neden olur ve gelecekteki Delta Live Tables sürümleriyle bozulabilir. İşlem hattınız bir init betiği kullanıyorsa, JVM kitaplıklarının betik tarafından yüklenmediğinden de emin olmanız gerekir.