Sunucusuz ortamı yapılandırma

Bu makalede bağımlılıkları, sunucusuz bütçe ilkelerini, belleği ve ortam sürümünü yapılandırmak için sunucusuz not defterinin Ortam yan panelinin nasıl kullanılacağı açıklanmaktadır. Bu panel, not defterinin sunucusuz ayarlarını yönetmek için tek bir yer sağlar. Bu panelde yapılandırılan ayarlar yalnızca not defteri sunucusuz işlemle bağlantılı olduğunda geçerlidir.

Ortam yan panelini genişletmek için not defterinin sağındaki düğmesine tıklayın.

Sunucusuz GPU işlem kullanma

Important

Sunucusuz GPU işlemi Beta sürümündedir.

Databricks not defterinizde sunucusuz GPU işlemini kullanmak için aşağıdaki adımları kullanın:

1. Not defterinden üstteki Bağlan açılan menüsüne tıklayın ve Sunucusuz GPU'ya tıklayın.
2. Ortam yan panelini açın.
3. Hızlandırıcı alanından A10'a tıklayın.
4. Varsayılan ortam için Yok'a veya Temel ortam alanından AI ortamı için AI v4'e tıklayın.
5. Temel ortam alanından Hiçbiri'ni seçtiyseniz Ortam sürümünü seçin.
6. Uygula'ya tıklayın ve ardından sunucusuz GPU işlemini not defteri ortamınıza uygulamak istediğinizi onaylayın.

Daha fazla ayrıntı için bkz. Sunucusuz GPU işlem.

Yüksek bellekli sunucusuz işlem kullanma

Important

Bu özellik Genel Önizlemededir.

Not defterinizde bellek yetersiz hatalarıyla karşılaşırsanız, not defterini daha yüksek bellek boyutu kullanacak şekilde yapılandırabilirsiniz. Bu ayar, not defterinde kod çalıştırılırken kullanılan REPL belleğinin boyutunu artırır. Spark oturumunun bellek boyutunu etkilemez. Yüksek bellekli sunucusuz kullanım, standart bellekten daha yüksek bir DBU emisyon oranına sahiptir.

1. Not defteri kullanıcı arabiriminde Ortam yan panel ine tıklayın.
2. Bellekaltında, Yüksek bellekseçeneğini seçin.
3. Uygula'ya tıklayın.

Bu ayar, not defterinin bellek tercihleri kullanılarak çalıştırılan not defteri iş görevleri için de geçerlidir. Dizüstü bilgisayardaki bellek tercihinin güncellenmesi, gelecek iş yürütmesini etkiler.

Sunucusuz bütçe ilkesi seçme

Important

Bu özellik Genel Önizlemededir.

Sunucusuz bütçe ilkeleri, kuruluşunuzun ayrıntılı faturalama ilişkilendirmesi için sunucusuz kullanıma özel etiketler uygulamasına olanak sağlar.

Çalışma alanınız sunucusuz kullanımı ilişkilendirmek için sunucusuz bütçe ilkeleri kullanıyorsa, not defterine uygulamak istediğiniz sunucusuz bütçe ilkesini seçebilirsiniz. Bir kullanıcı yalnızca bir sunucusuz bütçe ilkesine atanmışsa, bu ilke varsayılan olarak seçilir.

Not defteriniz sunucusuz işlemle bağlandıktan sonra Ortam yan panelini kullanarak sunucusuz bütçe ilkesini seçebilirsiniz:

1. Not defteri kullanıcı arabiriminde Ortam yan panel ine tıklayın.
2. Bütçe ilkesi altında, not defterinize uygulamak istediğiniz sunucusuz bütçe ilkesini seçin.
3. Uygula'ya tıklayın.

Bu kurulum tamamlandığında, tüm not defteri kullanımı sunucusuz bütçe ilkesinin özel etiketlerini devralır.

Note

Not defteriniz bir Git deposundan türetiyorsa veya atanmış bir sunucusuz bütçe ilkesi yoksa, sunucusuz işleme sonraki bağlanışında, varsayılan olarak seçtiğiniz son sunucusuz bütçe ilkesi uygulanır.

Ortam sürümü seçme

Ortam sürümleri sunucusuz iş yüklerinin uygulama uyumluluğunu etkilemeden bağımsız altyapı yükseltmeleri almasına olanak tanır. Her ortam sürümünün ayrıntılarını görmek için bkz. Sunucusuz ortam sürümleri. Databricks, en güncel defter özelliklerini elde etmek için en son sürümün seçilmesini önerir.

Ortam sürümünü seçmek için:

1. Not defteri kullanıcı arabiriminde Ortam yan panel ine tıklayın.
2. Ortam sürümü altında bir sürüm seçin.
3. Uygula'ya tıklayın.

Not defterine bağımlılık ekleme

Sunucusuz işlem ilkelerini veya başlatma betiklerini desteklemediğinden, Ortam yan panelini kullanarak özel bağımlılıklar eklemeniz gerekir. Bağımlılıkları tek tek ekleyebilir veya birden çok bağımlılık yüklemek için paylaşılabilir bir temel ortam kullanabilirsiniz.

Tek tek bağımlılık eklemek için:

1. Not defteri kullanıcı arabiriminde Ortam yan panel ine tıklayın.

2. Bağımlılıklar bölümünde Bağımlılık Ekle'ye tıklayın ve alana bağımlılığın yolunu girin. Bir requirements.txt dosyasında geçerli olan herhangi bir biçimde bir bağımlılık belirtebilirsiniz. Python wheel dosyaları veya Python projeleri (örneğin, pyproject.toml veya setup.py içeren dizin), çalışma alanı dosyalarında veya Unity Kataloğu birimlerinde bulunabilir.

   • Çalışma alanı dosyası kullanıyorsanız, yol mutlak olmalı ve ile /Workspace/başlamalıdır.
   • Unity Kataloğu biriminde bir dosya kullanılıyorsa, yol şu biçimde olmalıdır: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

3. Uygula'ya tıklayın. Bu işlem, bağımlılıkları not defteri sanal ortamına yükler ve Python işlemini yeniden başlatır.

Important

Sunucusuz not defterlerinize bağımlılık olarak PySpark'ı veya PySpark'ı yükleyen herhangi bir kitaplığı yüklemeyin. Bunun yapılması oturumunuzu durdurur ve bir hatayla sonuçlanır. Bu durumda kitaplığı kaldırın ve ortamınızı sıfırlayın .

Yüklü bağımlılıkları görüntülemek için Ortamlar yan panelinde Yüklü sekmesine tıklayın. Not defteri ortamı için pip yükleme günlükleri, panelin alt kısmındaki pip günlüklerine tıklanarak da kullanılabilir.

Temel ortama bağımlılık ekleme

Temel ortam, çalışma alanı dosyası olarak veya ek ortam bağımlılıklarını belirten bir Unity Kataloğu biriminde depolanan bir YAML dosyasıdır. Temel ortam açılan menüsünden çalışma alanınızın temel ortamlarından birini seçebilir veya özel ortam belirtimini kullanmak için Özel'i seçebilirsiniz.

Temel ortamın üzerine tek tek ek bağımlılıklar yükleyebilirsiniz. Tek tek yüklenen bağımlılıklar, bu not defteri için temel ortamı geçersiz kılar veya genişletir.

Çalışma alanı yöneticisi yönergeleri için bkz. Sunucusuz temel ortamları yönetme.

Özel ortam belirtimi oluşturma

Özel ortam belirtimleri oluşturabilir ve yeniden kullanabilirsiniz.

1. Sunucusuz not defterinde bir ortam sürümü seçin ve yüklemek istediğiniz bağımlılıkları ekleyin.
2. Kebap menü simgesi Ortam panelinin en altındaki Ortamı dışarı aktar'a tıklayın.
3. Belirtimi Çalışma Alanı dosyası olarak veya Unity Kataloğu birimine kaydedin.

Özel ortam belirtiminizi bir not defterinde kullanmak için Temel ortam açılan menüsünden Özel'i seçin ve ardından klasör simgesini re:[Klasör simgesi] kullanarak YAML dosyanızı seçin.

Çalışma alanınızda paylaşmak için ortak yardımcı programlar oluşturma

Aşağıdaki örnekte, bir çalışma alanı dosyasında ortak bir yardımcı programın nasıl depolanıp sunucusuz not defterinize bağımlılık olarak ekleneceği gösterilmektedir:

1. Aşağıdaki yapıya sahip bir klasör oluşturun. Projenizin tüketicilerinin dosya yoluna uygun erişime sahip olduğunu doğrulayın:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Şunun gibi doldurun pyproject.toml :

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Dosyaya init.py bir işlev ekleyin. Örneğin:

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. Not defteri kullanıcı arabiriminde Ortam yan paneli .

5. Bağımlılıklar bölümünde Bağımlılık Ekle'ye tıklayın ve yardımcı program dosyanızın yolunu girin. Örneğin: /Workspace/helper_utils.

6. Uygula'ya tıklayın.

Artık işlevi not defterinizde kullanabilirsiniz:

from helpers import greet
print(greet('world'))

Bu çıkış şöyledir:

Hello, world!

Ortam bağımlılıklarını sıfırlama

Not defteriniz sunucusuz işlemle bağlantılıysa Databricks, not defterinin sanal ortamının içeriğini otomatik olarak önbelleğe alır. Bu, işlem yapılmadığı için bağlantısı kesilmiş olsa bile var olan bir not defterini açtığınızda genel olarak Ortam yan panelinde belirtilen Python bağımlılıklarını yeniden yüklemeniz gerekmediği anlamına gelir.

Python sanal ortamı önbelleğe alma, işler için de geçerlidir. Bir iş çalıştırıldığında, çalıştırıldığı durumda tamamlanmış bir görevle aynı bağımlılık kümesini paylaşan herhangi bir görev, gerekli bağımlılıklar zaten mevcut olduğundan daha hızlı çalışır.

Note

Sunucusuz bir işte kullanılan özel bir Python paketinin uygulamasını değiştirirseniz, işlerin en son uygulamayı alabilmesi için sürüm numarasını da güncelleştirmeniz gerekir.

Ortam önbelleğini temizlemek ve sunucusuz işlemle bağlı bir not defterinin Ortam yan panelinde belirtilen bağımlılıkların yeni bir yüklemesini gerçekleştirmek için Uygula'nın yanındaki oka tıklayın ve ardından Varsayılanlara sıfırla'ya tıklayın.

Çekirdek not defterini veya Apache Spark ortamını bozan veya değiştiren paketler yüklerseniz, sorunlu paketleri kaldırın ve ortamı sıfırlayın. Yeni oturum başlatmak ortam önbelleğinin tamamını temizlemez.

Varsayılan Python paket depolarını yapılandırma

Çalışma alanı yöneticileri, çalışma alanlarındaki özel veya kimliği doğrulanmış paket depolarını hem sunucusuz not defterleri hem de sunucusuz işler için varsayılan pip yapılandırması olarak yapılandırabilir. Bu, kullanıcıların açıkça index-url veya extra-index-urltanımlamadan iç Python depolarından paketleri yüklemesine olanak tanır.

Yönergeler için çalışma alanı yöneticileri Varsayılan Python paketi depolarını yapılandırma bölümüne başvurabilir.

İş görevleri için ortamı yapılandırma

Not defteri, Python betiği, Python tekerleği, JAR veya dbt görevleri gibi iş görev türleri için kitaplık bağımlılıkları sunucusuz ortam sürümünden devralınır. Yüklü kitaplıkların listesini görüntülemek için, kullandığınız ortam sürümününYüklü Python kitaplıkları veya Yüklü Java ve Scala kitaplıkları bölümüne bakın. Bir görev yüklü olmayan bir kitaplık gerektiriyorsa, kitaplığı çalışma alanı dosyalarından, Unity Kataloğu birimlerinden veya genel paket depolarından yükleyebilirsiniz.

Mevcut not defterinin ortamına sahip not defterleri için, görevi not defterinin ortamını kullanarak çalıştırabilir veya bunun yerine iş düzeyinde bir ortam seçerek bu görevi geçersiz kılabilirsiniz.

Important

JAR görevleri için sunucusuz işlem kullanımı Beta sürümündedir.

Bir iş görevi oluştururken veya düzenlerken bir kitaplık eklemek için şunları yapın:

1. Ortam ve Kitaplıklar açılan menüsünde Varsayılan ortam'ın yanındaki öğesine veya + Yeni ortam ekle'ye tıklayın.

   

2. Ortam sürümü açılır listeden ortam sürümünü seçin. bkz. Sunucusuz ortam sürümleri. Databricks, en güncel özellikleri elde etmek için en son sürümü seçmenizi önerir.

3. Yapılandırma ortamı iletişim kutusunda, + Kitaplık ekle'ye tıklayın.

4. Kitaplıklaraltındaki açılan menüden bağımlılık türünü seçin.

5. Dosya Yolu metin kutusuna kitaplığın yolunu girin.

• Çalışma alanı dosyasındaki python tekerleği için yol mutlak olmalı ve ile /Workspace/başlamalıdır.

• Unity Kataloğu biriminde bir Python Wheel'in yolu /Volumes/<catalog>/<schema>/<volume>/<path>.whlolmalıdır.

• requirements.txt dosyası için PyPi'yi seçin ve -r /path/to/requirements.txtgirin.

  

1. Başka bir kitaplık eklemek için Onayla veya + Kitaplık ekle'ye tıklayın.
2. Görev ekliyorsanız Görev oluştur'a tıklayın. Bir görevi düzenliyorsanız Görevi kaydet'e tıklayın.

İş görevleri için temel ortamlar

Sunucusuz işler Python, Python tekerleği ve not defteri görevleri için YAML dosyalarıyla tanımlanan özel temel ortamları destekler. Not defteri görevleri için, işin ortam yapılandırmasında özel bir temel ortam seçebilir veya hem çalışma alanı ortamlarını hem de özel temel ortamları destekleyen not defterinin kendi ortam ayarlarını kullanabilirsiniz. Her durumda, çalışma zamanında yalnızca görev için gereken bağımlılıklar yüklenir.