Bağımlılıkları ortamlar kullanarak yönetin

Important

Bu özellik Beta sürümündedir. Hesap yöneticileri, bu özelliğe erişim Hesap Konsolu Önizlemeler sayfasından Standart Hesaplama Için Ortamlar seçeneği ile kontrol edebilirler. Bkz. Azure Databricks önizlemelerini yönetme.

Klasik hesaplamada, Ortam bağımlılık modu, hesaplama kapsamlı kütüphaneler kurmak yerine temel ortamlar kullanarak iş yükü seviyesinde bağımlılıkları yönetmenizi sağlar. Bu, sunucusuz hesaplama tarafından kullanılan aynı modeldir.

Ortam ayarları, işlem katmanındaki değişikliklerden yalıtılmış kalır; böylece iş yüklerinin altında çalışan işlem altyapısı değişse bile iş yükleri bozulmaz. Azure Databricks temel ortamları önbelleğe aldığı için bağımlılıklar başlangıç sırasında çözümlenip yüklenmez; bu da işlemlerin daha hızlı başlamasını sağlar ve paket bağımlılıklarının çözümlenmesi, depo erişilebilirliği veya ağ kararlılığı nedeniyle oluşabilecek hataları önler.

Ortamlar bağımlılık modunu kullanan bir hesaplamaya bağlandıktan sonra, dizüstü bilgisayarın Ortam yan panelinden bir temel ortam seçip bağımlılıklar ekleyebilirsiniz. Defterde ortamları kullan sayfasına bakınız.

Gereksinimler

Bağımlılık modu ayarı yalnızca aşağıdaki gereksinimleri karşılayan hesaplamada kullanılabilirdir:

• Databricks Runtime 19 (Beta) veya üzeri
• Standart erişim modu
• Etkileşimli defterlerde çalıştırılan çok amaçlı hesaplama

Destek detayları için Sınırlamalar bölümüne bakınız.

Bağımlılık modunu ayarlayın

Ortam bağımlılık modunu kullanan bir hesaplama oluşturmak için:

1. İş alanı yan panelinde, tıklayın ve ardından Tüm amaçlı hesaplama sekmesini açın.

2. İşlem oluştur'a tıklayın.

3. Performans altından, Databricks Runtime sürüm açılır menüsünden 19 Beta veya üzeri seçeneği seçin.

4. Gelişmiş bölümünü genişletin, ardından Bağımlılıklar'a tıklayın.

5. Bağımlılık modu için, Azure Databricks'in modu çözmesine izin vermek için Otomatik seçeneğini seçin veya Manuel moduna tıklayıp Environments'i seçerek kendiniz ayarlayın. Bağımlılık modu seçeneklerine bakınız.

   

6. Hesaplamanın geri kalanını yapılandırın, sonra Oluştur'a tıklayın.

Hesaplama çalıştıktan sonra, bir not defterini ekleyin ve ortamını Not Defterinde Ortamları Kullanın bölümünde tanımlandığı şekilde yapılandırın.

Bağımlılık modu seçenekleri

Bağımlılık modu kontrolü, modun nasıl seçileceğini belirleyen iki ayardan oluşur:

• Auto: Azure Databricks, modu hesaplama yapılandırmasına göre çözer. Otomatik olarak Ortamlar olarak çözümlenir, ancak hesaplama Docker, Spark ortam değişkenleri veya init betikleri belirtmezse, bu durumda Küme kütüphanelerine çözümlenir.
• Kılavuz: Ortamlar veya Küme kütüphanelerini kendiniz seçersiniz.

Manuel seçtiğinizde, ihtiyaçlarınıza uygun modu seçin:

• Ortamlar: İş yükü seviyesinde bağımlılıkları temel ortamlar kullanarak yönetin. Küme kütüphaneleri, Docker, Spark ortam değişkenleri ve init betikleri devre dışı bırakılmıştır. Bu modu, sunucusuz hesaplamayla uyumlu tutarlı, taşınabilir bir bağımlılık deneyimi için kullanın.
• Küme kütüphaneleri: Klasik davranış. Küme kütüphaneleri, init betikleri veya Docker kullanarak hesaplama bağımlılıklarını kurun. İş yükünüz bu ayarlardan herhangi birini gerektiriyorsa bu modu kullanın.

Mevcut bir hesaplamayı güncelle

Mevcut hesaplama ayarlarını düzenliyorsanız, hesaplama uyumsuz ayarlara sahipse, örneğin init scriptleri, küme kütüphaneleri veya Docker gibi, Ortam moduna geçmek engellenmiştir. Uyumsuz ayarları önce kaldırırsanız, bağımlılık modunu düzenleyebilirsiniz.

Ortam modundan Küme kütüphaneleri moduna geçerseniz, ekli defterler ortam seçimlerini korur ama bu seçimler devre dışı kalır. Hesaplamayı tekrar Ortamlar moduna çevirirseniz, bu seçimler tekrar aktif hale gelir.

Bir not defterinde ortam kullanımı

Bir not defterinde ortamları kullanmak için, defteri Ortamlar bağımlılık modunu kullanan klasik bir hesaplama kaynağına bağlayın. Notebook'u ekledikten sonra, sunucusuz hesaplamada yaptığınız gibi Çevre yan paneli ortamından notebookun bağımlılıklarını yapılandırabilirsiniz.

Bir temel ortam seçin

Temel bir ortam, defteriniz için önceden kurulmuş kütüphaneleri ve ortam sürümünü belirler. Ortam yan bölmesindeki Temel ortam seçici, ortamınızı seçtiğiniz yerdir. Databricks, en güncel defter özelliklerine sahip olmak için en yeni sürümün kullanılması gerektiğini önerir. Her ortam versiyonunun detaylarını görmek için Çevre sürümleri sayfasına bakınız.

Temel ortam seçici aşağıdaki seçenekleri içerir:

• Standart: Databricks tarafından sağlanan kitaplıklarla varsayılan temel ortam.
• ML: Önceden yüklenmiş Machine Learning için Databricks Runtime'dan Python ve sistem paketlerini içeren temel bir ortam.
• Daha fazla: Ek seçenekleri göstermek için genişletir:
  • Standart ve ML ortamlarının önceki sürümleri.
  • Özel: YAML dosyası kullanarak özel bir ortam belirtin.
• Çalışma alanı ortamları: Çalışma alanı yöneticileri tarafından çalışma alanınız için yapılandırılmış tüm uyumlu temel ortamları listeler.

Not defterine bağımlılık ekleme

Azure Databricks, not defterinizin sanal ortamını önbelleğe alır; böylece bir not defterini her yeniden açtığınızda veya etkinliksizlikten sonra yeniden devam ettiğinizde bağımlılıklar yeniden yüklenmez.

Bir bağımlılığı tek tek yüklemek için:

1. Bağımlılıklar bölümünde, bağımlılığın yolunu alana girin ve ardından +Bağımlılık ekle düğmesine tıklayın. Bir requirements.txt dosyasında geçerli olan herhangi bir biçimde bir bağımlılık belirtebilirsiniz. Python tekerlek dosyaları veya Python projeleri (örneğin, pyproject.toml veya setup.py içeren dizin), çalışma alanı dosyalarında veya Unity Kataloğu birimlerinde bulunabilir.

   • Çalışma alanı dosyası kullanıyorsanız, yol mutlak olmalı ve ile /Workspace/başlamalıdır.
   • Unity Kataloğu biriminde bir dosya kullanılıyorsa, yol şu biçimde olmalıdır: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

2. Bağımlılıkları yüklemek ve Python işlemini yeniden başlatmak için Apply öğesine tıklayın.

Important

PySpark veya PySpark kuran herhangi bir kütüphaneyi dizüstü bilgisayarınıza bağımlı olarak kurmayın. Bunun yapılması oturumunuzu durdurur ve bir hatayla sonuçlanır. Böyle bir durum olursa, kütüphaneyi kaldırın ve ortamınızı sıfırlayın.

Kurulu bağımlılıkları görmek için Çevre yan panelinde Kurulu sekmesine tıklayın. Bölmenin alt kısmındaki pip günlükleri seçeneğine tıklayarak not defteri ortamının pip yükleme günlüklerini açın.

Limitations

Ortamlar bağımlılık modu, etkileşimli defterlerdeki Python iş yüklerini ve bağımlılıklarını destekler. Aşağıdaki sınırlamalar geçerlidir:

• Klasik işler Ortam bağımlılığı modunu kullanmaz. Bir iş klasik çok amaçlı hesaplamada Ortam modunu belirlediğinde, bu ayar göz ardı edilir ve iş Küme kütüphaneleri modunda çalışır.
• %scala Kod desteklenmiyor ve başarısız olur.
• Tüm standart erişim modu sınırlamaları geçerlidir, R desteği de yoktur. Standart hesaplama gereksinimleri ve sınırlamalarına bakınız.
• Şu anda hesaplama politikalarıyla bağımlılık modu ayarlarını zorunlu kılamazsınız.

Uyumsuz ayarlar

Çevre bağımlılık modu etkinleştirildiğinde, aşağıdaki hesaplama ayarları devre dışı bırakılır:

• Docker (Azure Databricks Container Services)
• Kıvılcım ortamı değişkenleri
• Başlangıç scriptleri
• Küme kitaplıkları