Not defteri bağımlılıklarını yükleme

Sunucusuz not defterleri için Python bağımlılıklarını Ortam yan panelini kullanarak yükleyebilirsiniz. Bu panel, not defterinin kitaplık gereksinimlerini düzenlemek, görüntülemek ve dışarı aktarmak için tek bir yer sağlar. Bu bağımlılıklar temel ortam kullanılarak veya tek tek eklenebilir.

Not defteri olmayan görevler için bkz . Not defteri olmayan görevler için ortamları ve bağımlılıkları yapılandırma.

Önemli

Sunucusuz not defterlerinize bağımlılık olarak PySpark'ı veya PySpark'ı yükleyen herhangi bir kitaplığı yüklemeyin. Bunun yapılması oturumunuzu durdurur ve bir hatayla sonuçlanır. Bu durumda ortamınızı sıfırlayın.

Temel ortam yapılandırma

Temel ortam, çalışma alanı dosyası olarak veya ek ortam bağımlılıklarını belirten bir Unity Kataloğu biriminde depolanan bir YAML dosyasıdır. Temel ortamlar not defterleri arasında paylaşılabilir. Temel ortamı yapılandırmak için:

1. Python sanal ortamı ayarlarını tanımlayan bir YAML dosyası oluşturun. MLflow projeleri ortam belirtimini temel alan aşağıdaki örnek YAML, birkaç kitaplık bağımlılığına sahip bir temel ortam tanımlar:

   client: "1"
   dependencies:
     - --index-url https://pypi.org/simple
     - -r "/Workspace/Shared/requirements.txt"
     - cowsay==6.1
   

2. YAML dosyasını çalışma alanı dosyası olarak veya Unity Kataloğu birimine yükleyin. Bkz. Bir dosyayı içeri aktarma veya Unity Kataloğu birimine dosya yükleme.

3. Not defterinin sağ tarafındaki düğmeye tıklayarak Ortam panelini genişletin. Bu düğme yalnızca bir not defteri sunucusuz işlemle bağlantılı olduğunda görünür.

4. Temel Ortam alanına karşıya yüklenen YAML dosyasının yolunu girin veya dosyaya gidip seçin.

5. Uygula'ya tıklayın. Bu işlem, bağımlılıkları not defteri sanal ortamına yükler ve Python işlemini yeniden başlatır.

Kullanıcılar, bağımlılıkları tek tek yükleyerek temel ortamda belirtilen bağımlılıkları geçersiz kılabilir.

Bağımlılıkları tek tek ekleme

Ayrıca, Ortam panelinin Bağımlılıklar sekmesini kullanarak sunucusuz işlemle bağlantılı bir not defterine bağımlılıkları yükleyebilirsiniz:

1. Not defterinin sağ tarafındaki düğmeye tıklayarak Ortam panelini genişletin. Bu düğme yalnızca bir not defteri sunucusuz işlemle bağlantılı olduğunda görünür.
2. Bağımlılıklar bölümünde Bağımlılık Ekle'ye tıklayın ve kitaplık bağımlılığının yolunu alanına girin. Bir requirements.txt dosyasında geçerli olan herhangi bir biçimde bir bağımlılık belirtebilirsiniz.
3. Uygula'ya tıklayın. Bu işlem, bağımlılıkları not defteri sanal ortamına yükler ve Python işlemini yeniden başlatır.

Not

Sunucusuz işlem kullanan bir iş, not defteri kodunu yürütmeden önce not defterinin ortam belirtimini yükler. Bu, not defterlerini iş olarak zamanlarken bağımlılık eklemeye gerek olmadığı anlamına gelir. Bkz . Ortamları ve bağımlılıkları yapılandırma.

Yüklü bağımlılıkları ve pip günlüklerini görüntüleme

Yüklü bağımlılıkları görüntülemek için, bir not defterinin Ortamlar yan panelinde Yüklü'ye tıklayın. Not defteri ortamı için Pip yükleme günlükleri, panelin alt kısmındaki Pip günlükleri'ne tıklanarak da kullanılabilir.

Ortamı sıfırlama

Not defteriniz sunucusuz işlemle bağlantılıysa Databricks, not defterinin sanal ortamının içeriğini otomatik olarak önbelleğe alır. Başka bir deyişle, mevcut bir not defterini açtığınızda ortam panelinde belirtilen Python bağımlılıklarını genellikle yeniden yüklemeniz gerekmez. Bu, işlem yapılmadığı için bağlantısı kesilmiş olsa bile.

Python sanal ortamı önbelleğe alma, işler için de geçerlidir. Bu, gerekli bağımlılıklar zaten kullanılabilir olduğundan sonraki iş çalıştırmalarının daha hızlı olduğu anlamına gelir.

Not

Sunucusuz bir işte kullanılan özel bir Python paketinin uygulamasını değiştirirseniz, işlerin en son uygulamayı alması için sürüm numarasını da güncelleştirmeniz gerekir.

Ortam önbelleğini temizlemek ve sunucusuz işlemle bağlı bir not defterinin Ortam panelinde belirtilen bağımlılıkların yeni bir yüklemesini gerçekleştirmek için Uygula'nın yanındaki oka tıklayın ve ardından Ortamı sıfırla'ya tıklayın.

Not

Çekirdek not defterini veya Apache Spark ortamını bozan veya değiştiren paketler yüklerseniz sanal ortamı sıfırlayın. Not defterini sunucusuz işlemden ayırmak ve yeniden takmak, ortam önbelleğinin tamamını temizlemez.

Not defteri olmayan görevler için ortamları ve bağımlılıkları yapılandırma

Python betiği, Python tekerleği veya dbt görevleri gibi desteklenen diğer görev türleri için varsayılan ortam yüklü Python kitaplıklarını içerir. Yüklü kitaplıkların listesini görmek için, iş akışları dağıtımı için sunucusuz işleminizin temel aldığı Databricks Runtime sürümünün sürüm notlarındaki Yüklü Python kitaplıkları bölümüne bakın. İş akışları için sunucusuz işlem tarafından kullanılan geçerli Databricks Runtime sürümünü görmek için bkz . Sunucusuz işlem sürüm notları. Bir görev yüklü olmayan bir Python kitaplığı gerektiriyorsa, kitaplığı çalışma alanı dosyalarından, Unity Kataloğu birimlerinden veya genel paket depolarından yükleyebilirsiniz. Görev oluştururken veya düzenlerken kitaplık eklemek için:

1. Ortam ve Kitaplıklar açılan menüsünde Varsayılan ortam'ın yanındaki öğesine veya + Yeni ortam ekle'ye tıklayın.

   

2. Ortamı yapılandır iletişim kutusunda + Kitaplık ekle'ye tıklayın.

3. Kitaplıklar altındaki açılan menüden bağımlılık türünü seçin.

4. Dosya Yolu metin kutusuna kitaplığın yolunu girin.

• Çalışma alanı dosyasındaki python tekerleği için yol mutlak olmalı ve ile /Workspace/başlamalıdır.

• Unity Kataloğu birimindeki python tekerleği için yol olmalıdır /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

• Dosya için requirements.txt PyPi'yi seçin ve girin -r /path/to/requirements.txt.

  

1. Başka bir kitaplık eklemek için Onayla veya + Kitaplık ekle'ye tıklayın.
2. Görev ekliyorsanız Görev oluştur'a tıklayın. Bir görevi düzenliyorsanız Görevi kaydet'e tıklayın.