Sunucusuz ortamı yapılandırma

Bu sayfada bağımlılıkları, sunucusuz kullanım ilkelerini, belleği ve temel ortamı yapılandırmak için sunucusuz not defterinin Ortam yan panelinin nasıl kullanılacağı açıklanmaktadır. Bu panel, not defterinin sunucusuz ayarlarını yönetmek için tek bir yer sağlar. Bu panelde yapılandırılan ayarlar yalnızca not defteri sunucusuz işlemle bağlantılı olduğunda geçerlidir.

Ortam yan panelini genişletmek için not defterinin sağındaki düğmesine tıklayın.

AI Çalışma Zamanı (sunucusuz GPU) kullanma

Important

AI Runtime Genel Önizleme aşamasındadır.

Databricks not defterinizde sunucusuz GPU işlemleriyle desteklenen yapay zeka çalışma zamanını yapılandırmak için şu adımları izleyin:

1. Not defterinden üstteki işlem açılan menüsüne tıklayın ve Sunucusuz GPU'ya tıklayın.
2. Ortam yan panelini açın.
3. Hızlandırıcı alanından A10'a tıklayın.
4. Temel ortam altında, varsayılan ortam için Standart'ı veya önceden yüklenmiş makine öğrenmesi kitaplıklarıyla yapay zeka için optimize edilmiş ortam için AI'ı seçin.
5. Uygula'ya tıklayın ve ardından AI Çalışma Zamanı'nı not defteri ortamınıza uygulamak istediğinizi onaylayın.

Diğer ayrıntılar için bkz. AI Runtime.

Yüksek bellekli sunucusuz işlem kullanma

Important

Bu özellik Genel Önizlemededir.

Not defterinizde bellek yetersiz hatalarıyla karşılaşırsanız, not defterini daha yüksek bellek boyutu kullanacak şekilde yapılandırabilirsiniz. Bu ayar, not defterinde kod çalıştırılırken kullanılan REPL belleğinin boyutunu artırır. Spark oturumunun bellek boyutunu etkilemez. Yüksek bellekli sunucusuz kullanım, standart bellekten daha yüksek bir DBU emisyon oranına sahiptir.

Kullanılabilir bellek seçenekleri şunlardır:

• Standart: Toplam 16 GB bellek.
• Yüksek: Toplam 32 GB bellek.

Not defterinin bellek ayarını yapılandırmak için:

1. Not defteri kullanıcı arabiriminde Ortam yan paneline tıklayın.
2. Bellekaltında, Yüksek bellekseçeneğini seçin.
3. Uygula'ya tıklayın.

Bu ayar, not defterinin bellek tercihleri kullanılarak çalıştırılan not defteri iş görevleri için de geçerlidir. Dizüstü bilgisayardaki bellek tercihinin güncellenmesi, gelecek iş yürütmesini etkiler.

Sunucusuz kullanım ilkesi seçme

Important

Bu özellik Genel Önizlemededir.

Sunucusuz kullanım ilkeleri , kuruluşunuzun ayrıntılı faturalama atfı için sunucusuz kullanıma özel etiketler uygulamasına olanak sağlar.

Çalışma alanınız sunucusuz kullanımı ilişkilendirmek için sunucusuz kullanım ilkeleri kullanıyorsa, not defterine uygulamak istediğiniz sunucusuz kullanım ilkesini seçebilirsiniz. Bir kullanıcı yalnızca bir sunucusuz kullanım ilkesine atanmışsa, bu ilke varsayılan olarak seçilir.

Not defteriniz sunucusuz işlemle bağlandıktan sonra Ortam yan panelini kullanarak sunucusuz kullanım ilkesini seçebilirsiniz:

1. Not defteri kullanıcı arabiriminde Ortam yan paneline tıklayın.
2. Sunucusuz kullanım ilkesi'nin altında, not defterinize uygulamak istediğiniz sunucusuz kullanım ilkesini seçin.
3. Uygula'ya tıklayın.

Bu kurulum tamamlandığında, tüm not defteri kullanımı sunucusuz kullanım ilkesinin özel etiketlerini devralır.

Note

Eğer defteriniz bir Git deposundan geliyorsa veya atanmış bir sunucusuz kullanım ilkesine sahip değilse, sunucusuz işlemeye tekrar eklendiğinde, varsayılan olarak son seçtiğiniz sunucusuz kullanım ilkesi geçerli olur.

Temel ortam seçme

Temel ortam, sunucusuz not defteriniz için önceden yüklenmiş kitaplıkları ve ortam sürümünü belirler. Ortam yan panelindeki Temel ortam seçici, ortamınızı seçmek için birleşik bir arabirim sağlar. Her ortam sürümünün ayrıntılarını görmek için bkz. Sunucusuz ortam sürümleri. Databricks, en güncel defter özelliklerine sahip olmak için en yeni sürümün kullanılması gerektiğini önerir.

Temel ortam seçici aşağıdaki seçenekleri içerir:

• Standart: Databricks tarafından sağlanan kitaplıklarla varsayılan temel ortam.
• Yapay zeka: Önceden yüklenmiş makine öğrenmesi kitaplıklarına sahip yapay zeka için iyileştirilmiş bir temel ortam. Bu seçenek yalnızca bir hızlandırıcı (GPU) seçildiğinde görünür.
• Daha fazla: Ek seçenekleri göstermek için genişletir:
  • Standart ve yapay zeka ortamlarının önceki sürümleri.
  • Özel: YAML dosyası kullanarak özel bir ortam belirtmenize olanak tanır.
• Çalışma alanı ortamları: Bir yönetici tarafından çalışma alanınız için yapılandırılan tüm uyumlu temel ortamları listeler.

Temel bir ortam seçmek için:

1. Not defteri kullanıcı arabiriminde Ortam yan paneline tıklayın.
2. Temel ortam'ın altında açılan menüden bir ortam seçin.
3. Uygula'ya tıklayın.

Not defterine bağımlılık ekleme

Sunucusuz işlem ilkelerini veya başlatma betiklerini desteklemediğinden, Ortam yan panelini kullanarak özel bağımlılıklar eklemeniz gerekir. Bağımlılıkları tek tek ekleyebilir veya birden çok bağımlılık yüklemek için paylaşılabilir bir temel ortam kullanabilirsiniz.

Tek tek bağımlılık eklemek için:

1. Not defteri kullanıcı arabiriminde Ortam yan paneline tıklayın.

2. Bağımlılıklar bölümünde Bağımlılık Ekle'ye tıklayın ve alana bağımlılığın yolunu girin. Bir requirements.txt dosyasında geçerli olan herhangi bir biçimde bir bağımlılık belirtebilirsiniz. Python tekerlek dosyaları veya Python projeleri (örneğin, pyproject.toml veya setup.py içeren dizin), çalışma alanı dosyalarında veya Unity Kataloğu birimlerinde bulunabilir.

   • Çalışma alanı dosyası kullanıyorsanız, yol mutlak olmalı ve ile /Workspace/başlamalıdır.
   • Unity Kataloğu biriminde bir dosya kullanılıyorsa, yol şu biçimde olmalıdır: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

3. Uygula'ya tıklayın. Bu işlem, bağımlılıkları not defteri sanal ortamına yükler ve Python işlemini yeniden başlatır.

Important

Sunucusuz not defterlerinize bağımlılık olarak PySpark'ı veya PySpark'ı yükleyen herhangi bir kitaplığı yüklemeyin. Bunun yapılması oturumunuzu durdurur ve bir hatayla sonuçlanır. Bu durumda kitaplığı kaldırın ve ortamınızı sıfırlayın .

Yüklü bağımlılıkları görüntülemek için Ortamlar yan panelinde Yüklü sekmesine tıklayın. Not defteri ortamı için pip yükleme günlükleri, panelin alt kısmındaki pip günlüklerine tıklanarak da kullanılabilir.

Özel ortam belirtimi oluşturma

Özel ortam belirtimleri oluşturabilir ve yeniden kullanabilirsiniz.

1. Sunucusuz bir not defterinde temel bir ortam seçin ve yüklemek istediğiniz bağımlılıkları ekleyin.
2. Kebap menü simgesi Ortam panelinin en altındaki Ortamı dışarı aktar'a tıklayın.
3. Belirtimi Çalışma Alanı dosyası olarak veya Unity Kataloğu birimine kaydedin.

Not defterinde özel ortam belirtiminizi kullanmak için, Temel ortam açılan menüsünden özel'i seçin, ardından YAML dosyanızı seçmek için klasör simgesini kullanın.

Çalışma alanınızda paylaşmak için ortak yardımcı programlar oluşturma

Aşağıdaki örnekte, bir çalışma alanı dosyasında ortak bir yardımcı programın nasıl depolanıp sunucusuz not defterinize bağımlılık olarak ekleneceği gösterilmektedir:

1. Aşağıdaki yapıya sahip bir klasör oluşturun. Projenizin tüketicilerinin dosya yoluna uygun erişime sahip olduğunu doğrulayın:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Şunun gibi doldurun pyproject.toml :

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Dosyaya init.py bir işlev ekleyin. Örneğin:

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. Not defteri kullanıcı arabiriminde Ortam yan paneli .

5. Bağımlılıklar bölümünde Bağımlılık Ekle'ye tıklayın ve yardımcı program dosyanızın yolunu girin. Örneğin: /Workspace/helper_utils.

6. Uygula'ya tıklayın.

Artık işlevi not defterinizde kullanabilirsiniz:

from helpers import greet
print(greet('world'))

Bu çıkış şöyledir:

Hello, world!

Ortam bağımlılıklarını sıfırlama

Not defteriniz sunucusuz işlemle bağlantılıysa Databricks, not defterinin sanal ortamının içeriğini otomatik olarak önbelleğe alır. Başka bir deyişle, mevcut not defterini açtığınızda Environment yan panelde belirtilen Python bağımlılıklarını, işlem yapılmadığı için bağlantısı kesilmiş olsa bile yeniden yüklemeniz gerekmez.

Python sanal ortamı önbelleğe alma, işler için de geçerlidir. Bir iş çalıştırıldığında, çalıştırıldığı durumda tamamlanmış bir görevle aynı bağımlılık kümesini paylaşan herhangi bir görev, gerekli bağımlılıklar zaten mevcut olduğundan daha hızlı çalışır.

Note

Sunucusuz bir işte kullanılan özel Python paketinin uygulamasını değiştirirseniz, işlerin en son uygulamayı alabilmesi için sürüm numarasını da güncelleştirmeniz gerekir.

Ortam önbelleğini temizlemek ve sunucusuz işlemle bağlı bir not defterinin Ortam yan panelinde belirtilen bağımlılıkların yeni bir yüklemesini gerçekleştirmek için Uygula'nın yanındaki oka tıklayın ve ardından Varsayılanlara sıfırla'ya tıklayın.

Çekirdek not defterini veya Apache Spark ortamını bozan veya değiştiren paketler yüklerseniz, sorunlu paketleri kaldırın ve ortamı sıfırlayın. Yeni oturum başlatmak ortam önbelleğinin tamamını temizlemez.

Varsayılan Python paket depolarını yapılandırma

Çalışma alanı yöneticileri, çalışma alanlarındaki özel veya kimliği doğrulanmış paket depolarını hem sunucusuz not defterleri hem de sunucusuz işler için varsayılan pip yapılandırması olarak yapılandırabilir. Bu, kullanıcıların index-url veya extra-index-url açıkça tanımlamadan iç Python depolarından paket yüklemesine olanak tanır.

Yönergeler için çalışma alanı yöneticileri Configure default Python package depolarına başvurabilir.

İş görevleri için ortamı yapılandırma

Not defteri, Python betik, Python tekerleği, JAR veya dbt görevleri gibi iş görev türleri için kitaplık bağımlılıkları sunucusuz ortam sürümünden devralınır. Yüklü kitaplıkların listesini görüntülemek için, kullandığınız Yüklü Python kitaplıkları veya Yüklü Java ve Scala kitaplıkları bölümüne ya da ortam sürümüne bakın. Bir görev yüklü olmayan bir kitaplık gerektiriyorsa, kitaplığı çalışma alanı dosyalarından, Unity Kataloğu birimlerinden veya genel paket depolarından yükleyebilirsiniz.

Mevcut not defterinin ortamına sahip not defterleri için, görevi not defterinin ortamını kullanarak çalıştırabilir veya bunun yerine iş düzeyinde bir ortam seçerek bu görevi geçersiz kılabilirsiniz.

Important

JAR görevleri için sunucusuz işlem kullanımı Genel Önizleme aşamasındadır.

Bir iş görevi oluştururken veya düzenlerken bir kitaplık eklemek için şunları yapın:

1. Ortam ve Kitaplıklar açılan menüsündeEdit Icon, Varsayılan ortamın yanındaki veya + Yeni ortam ekle'ye tıklayın.

   

2. Ortam sürümü açılır listeden ortam sürümünü seçin. bkz. Sunucusuz ortam sürümleri. Databricks, en güncel özellikleri elde etmek için en son sürümü seçmenizi önerir.

3. Yapılandırma ortamı iletişim kutusunda, + Kitaplık ekle'ye tıklayın.

4. Kitaplıklaraltındaki açılan menüden bağımlılık türünü seçin.

5. Dosya Yolu metin kutusuna kitaplığın yolunu girin.

   • Çalışma alanı dosyasındaki bir Python Tekerleği için yol mutlak olmalı ve /Workspace/ ile başlamalıdır.
   • Unity Kataloğu birimindeki Python Tekerleği için yol /Volumes/<catalog>/<schema>/<volume>/<path>.whl olmalıdır.
   • requirements.txt dosyası için PyPi'yi seçin ve -r /path/to/requirements.txtgirin.

   

6. Başka bir kitaplık eklemek için Onayla veya + Kitaplık ekle'ye tıklayın.

7. Görev ekliyorsanız Görev oluştur'a tıklayın. Bir görevi düzenliyorsanız Görevi kaydet'e tıklayın.

İş görevleri için temel ortamlar

Sunucusuz işler Python, Python tekerleği ve not defteri görevleri için YAML dosyalarıyla tanımlanan özel temel ortamları destekler. Not defteri görevleri için, işin ortam yapılandırmasında özel bir temel ortam seçebilir veya hem çalışma alanı ortamlarını hem de özel temel ortamları destekleyen not defterinin kendi ortam ayarlarını kullanabilirsiniz. Her durumda, çalışma zamanında yalnızca görev için gereken bağımlılıklar yüklenir. Özel bir temel ortamı doğrudan işin ortam ayarlarından seçebilirsiniz. Özel bir temel ortam oluşturmak için bkz. Özel ortam belirtimi oluşturma.

İşlerde yönetilen temel ortamlar

Important

Bu özellik Beta sürümündedir. Çalışma alanı yöneticileri Bu özelliğe erişimi Önizlemeler sayfasından denetleyebilir. Bkz. Azure Databricks önizlemelerini yönetme.

Yönetilen temel ortamları doğrudan işin ortam ayarlarından seçebilirsiniz. Bu, çalışma alanı yöneticisi tarafından yapılandırılan çalışma alanı temel ortamlarını ve Standard ve AI gibi Azure Databricks tarafından sağlanan temel ortamları içerir. Bunlar, not defteri ortam seçicisinde kullanılabilen temel ortamlarla aynıdır. Çalışma alanı temel ortamlarını oluşturma ve yönetme hakkında bilgi için bkz. Çalışma alanı temel ortamlarını yönetme.

Yönetilen temel ortamlar not defteri, Python betik ve Python tekerlek görevleri için desteklenir. JAR görevleri için desteğe sahip değiller.

Ortam ve işlem uyumluluğu

Seçtiğiniz temel ortamın görevin işlem türüyle uyumlu olması gerekir. Örneğin, GPU işlemi için oluşturulan bir ortam CPU işlemiyle uyumlu değildir. İşler kullanıcı arabiriminde, uyumsuz ortamlar temel ortam açılır menüsünde gri renkte gösterilir.

Bir not defteri görevini yapılandırdığınızda işlem türü (CPU veya GPU) ve temel ortamların her biri iş ayarlarından veya not defteri ayarlarından gelebilir.

• İş düzeyinde bir donanım hızlandırıcısı (GPU) ayarlarsanız, iş düzeyinde bir temel ortam da seçmeniz gerekir. Notebook ortamını iş seviyesi hızlandırıcı ile kullanamazsınız.
• Bir iş oluşturduktan sonra not defterinin hesaplama türünü (örneğin CPU'dan GPU'ya) değiştirirseniz, mevcut görevler yapılandırılmış ortamlarıyla uyumsuz hale gelebilir. Not defterinin işlem yapılandırmasını değiştirdikten sonra işinizin ortam ayarlarını gözden geçirin.
• API kullanıcıları için, temel ortam iş düzeyinde ayarlanmışsa ancak işlem türü not defterinden devralınmışsa, iş oluşturma zamanında değil çalışma zamanında uyumluluk doğrulanır. Yapılandırma uyumsuzsa çalıştırma bir hatayla başarısız olur.