Sunucusuz ortamı yapılandırma

Bu sayfada, not defterleri ve iş görevleri için sunucusuz ortamı yapılandırma işlemi açıklanmaktadır. Not defterleri için Ortam yan bölmesini kullanarak temel bir ortam seçin, bağımlılıkları yükleyin, belleği yapılandırın ve kullanım ilkelerini uygulayın. İş görevleri için, bir görev oluştururken veya düzenlerken ortamı yapılandırın.

Ortam yan bölmesini genişletmek için not defterinin sağındaki ortam düğmesine tıklayın.

Sunucusuz ortam bölmesi

Temel ortam seçme

Temel ortam, sunucusuz not defteriniz için önceden yüklenmiş kitaplıkları ve ortam sürümünü belirler. Ortam yan bölmesindeki Temel ortam seçici, ortamınızı seçtiğiniz yerdir. Her ortam sürümünün ayrıntılarını görmek için bkz. Sunucusuz ortam sürümleri. Databricks, en güncel defter özelliklerine sahip olmak için en yeni sürümün kullanılması gerektiğini önerir.

Temel ortam seçici aşağıdaki seçenekleri içerir:

  • Standart: Databricks tarafından sağlanan kitaplıklarla varsayılan sunucusuz temel ortamdır.
  • ML (Beta): Önceden yüklenmiş Machine Learning için Databricks Runtime'dan Python ve sistem paketlerini içeren temel bir ortam. Machine Learning iş yükleri için klasik Databricks Runtime'ı sunucusuz işlem ortamına geçirmek için bu ortamı kullanın. Bkz. ML temel ortamı.
  • Yapay zeka: Önceden yüklenmiş makine öğrenmesi (ML) kitaplıklarına sahip yapay zeka için iyileştirilmiş bir temel ortam. Bu seçenek yalnızca bir hızlandırıcı (GPU) seçildiğinde görünür.
  • Daha fazla: Ek seçenekleri göstermek için genişletir:
    • Standart, ML ve AI ortamlarının önceki sürümleri.
    • Özel: YAML dosyası kullanarak özel bir ortam belirtin.
  • Çalışma alanı ortamları: Bir yönetici tarafından çalışma alanınız için yapılandırılan tüm uyumlu temel ortamları listeler.

Temel bir ortam seçmek için:

  1. Not defteri kullanıcı arayüzünde, Ortam yan bölmesi ortam'na tıklayın.
  2. Temel ortam'ın altında açılan menüden bir ortam seçin.
  3. Uygula'ya tıklayın.

Not defterine bağımlılık ekleme

Sunucusuz işlem ilkelerini veya başlatma betiklerini desteklemediğinden, Ortam yan bölmesini kullanarak özel bağımlılıkları yüklemeniz gerekir. Bağımlılıkları tek tek yükleyebilir veya birden çok bağımlılığı yüklemek için paylaşılabilir bir temel ortam kullanabilirsiniz.

Azure Databricks, not defterinizin sanal ortamını önbelleğe alır; böylece bir not defterini her yeniden açtığınızda veya etkinliksizlikten sonra yeniden devam ettiğinizde bağımlılıklar yeniden yüklenmez. Aynı bağımlılık kümesini paylaşan iş görevleri de bir çalıştırmadaki bu önbellekten yararlanır.

Bir bağımlılığı tek tek yüklemek için:

  1. Not defteri kullanıcı arayüzünde, Ortam yan bölmesi ortam öğesine tıklayın.

  2. Bağımlılıklar bölümünde Bağımlılık Ekle'ye tıklayın ve alana bağımlılığın yolunu girin. Bir requirements.txt dosyasında geçerli olan herhangi bir biçimde bir bağımlılık belirtebilirsiniz. Python tekerlek dosyaları veya Python projeleri (örneğin, pyproject.toml veya setup.py içeren dizin), çalışma alanı dosyalarında veya Unity Kataloğu birimlerinde bulunabilir.

    • Çalışma alanı dosyası kullanıyorsanız, yol mutlak olmalı ve ile /Workspace/başlamalıdır.
    • Unity Kataloğu biriminde bir dosya kullanılıyorsa, yol şu biçimde olmalıdır: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

  3. Bağımlılıkları yüklemek ve Python işlemini yeniden başlatmak için Apply öğesine tıklayın.

Important

Sunucusuz not defterlerinize bağımlılık olarak PySpark'ı veya PySpark'ı yükleyen herhangi bir kitaplığı yüklemeyin. Bunun yapılması oturumunuzu durdurur ve bir hatayla sonuçlanır. Bu durumda kitaplığı kaldırın ve ortamınızı sıfırlayın .

Yüklü bağımlılıkları görüntülemek için Ortamlar yan bölmesinde Yüklü sekmesine tıklayın. Bölmenin alt kısmındaki pip günlükleri seçeneğine tıklayarak not defteri ortamının pip yükleme günlüklerini açın.

Note

Çalışma alanı yöneticileri, sunucusuz not defterleri ve işler için varsayılan pip kaynağı olarak özel veya kimliği doğrulanmış paket depolarını yapılandırabilir. Bu, kullanıcıların index-url veya extra-index-url belirtmeden dahili depolardan paket yüklemesini sağlar. Bkz. Varsayılan Python paket depolarını yapılandırma.

Özel ortam belirtimi oluşturma

Özel ortam belirtimleri oluşturabilir ve yeniden kullanabilirsiniz.

  1. Sunucusuz bir not defterinde temel bir ortam seçin ve istediğiniz bağımlılıkları yükleyin.
  2. Kebap menü düğmesine Kebap menü simgesi tıklayın. Ortam bölmesinin en altındaki Ortamı dışarı aktar'a tıklayın.
  3. Belirtimi Çalışma Alanı dosyası olarak veya Unity Kataloğu birimine kaydedin.

Özel ortam belirtiminizi bir notebook'ta kullanmak için Temel ortam açılır menüsünden Özel'i seçin, ardından YAML dosyanızı seçmek için Klasör simgesini. kullanın.

Çalışma alanınızda paylaşmak için ortak araçlar oluşturma

Bu örnek, bir yardımcı programı çalışma alanı dosyasında depolar ve sunucusuz bir not defteri bağımlılığı olarak yükler:

  1. Aşağıdaki yapıya sahip bir klasör oluşturun. Diğer kullanıcıların bu yol için okuma erişimine sahip olduğundan emin olun:

    helper_utils/
├── helpers/
│   └── __init__.py   # your common functions live here
├── pyproject.toml

  2. Şunun gibi doldurun pyproject.toml :

    [project]
name = "common_utils"
version = "0.1.0"

  3. Dosyaya init.py bir işlev ekleyin. Örneğin:

    def greet(name: str) -> str:
    return f"Hello, {name}!"

  4. Not defteri kullanıcı arabiriminde Ortam yan bölmesi Ortam simgesine tıklayın.

  5. Bağımlılıklar bölümünde Bağımlılık Ekle'ye tıklayın ve yardımcı program dosyanızın yolunu girin. Örneğin: /Workspace/helper_utils.

  6. Uygula'ya tıklayın.

Artık işlevi not defterinizde kullanabilirsiniz:

from helpers import greet
print(greet('world'))

Bu çıkış şöyledir:

Hello, world!

AI Çalışma Zamanı (sunucusuz GPU) kullanma

Important

AI Runtime Genel Önizleme aşamasındadır.

Azure Databricks not defterinizde sunucusuz GPU işlem tarafından desteklenen yapay zeka Çalışma Zamanı'nı yapılandırmak için şu adımları izleyin:

  1. Not defterinden üstteki işlem açılan menüsüne tıklayın ve Sunucusuz GPU'ya tıklayın.
  2. Ortam simgesine tıklayın. Ortam yan bölmesini açmak için.
  3. Hızlandırıcı alanından A10'a tıklayın.
  4. Temel ortam'ın altında varsayılan ortam için Standart'ıveya önceden yüklenmiş makine öğrenmesi (ML) kitaplıklarıyla yapay zeka için iyileştirilmiş ortam için yapay zeka'yı seçin.
  5. Uygula'ya tıklayın ve ardından AI Çalışma Zamanı'nı not defteri ortamınıza uygulamak istediğinizi onaylayın.

Diğer ayrıntılar için bkz. AI Runtime.

Yüksek bellekli sunucusuz işlem kullanma

Important

Bu özellik Genel Önizlemededir.

Not defterinizde yetersiz bellek hatalarıyla karşılaşırsanız, not defterini daha yüksek bir bellek boyutu kullanacak şekilde yapılandırın. Bu bellek boyutu ayarı, not defterinde kod çalıştırılırken kullanılan REPL belleğinin boyutunu artırır. Spark oturumunun bellek boyutunu etkilemez. Yüksek bellekli sunucusuz kullanım, standart bellekten daha yüksek bir DBU emisyon oranına sahiptir.

Kullanılabilir bellek seçenekleri şunlardır:

  • Standart: Toplam 16 GB bellek.
  • Yüksek: Toplam 32 GB bellek.

Not defterinin bellek ayarını yapılandırmak için:

  1. Not defteri kullanıcı arayüzünde, ortam simgesine sahip Ortam yan bölmesine tıklayın.
  2. Bellekaltında, Yüksek bellekseçeneğini seçin.
  3. Uygula'ya tıklayın.

Bu bellek ayarı, not defterinin bellek tercihlerini kullanarak çalışan not defteri iş görevleri için de geçerlidir. Dizüstü bilgisayardaki bellek tercihinin güncellenmesi, gelecek iş yürütmesini etkiler.

Sunucusuz kullanım ilkesi seçme

Important

Bu özellik Genel Önizlemededir.

Sunucusuz kullanım ilkeleri , kuruluşunuzun ayrıntılı faturalama atfı için sunucusuz kullanıma özel etiketler uygulamasına olanak sağlar.

Çalışma alanınız sunucusuz kullanım ilkeleri kullanıyorsa not defterine uygulamak istediğiniz ilkeyi seçin. Bir kullanıcı yalnızca bir sunucusuz kullanım ilkesine atanmışsa, bu ilke varsayılan olarak uygulanır.

Sunucusuz işlem'e bağlandıktan sonra Ortam yan bölmesinden bir ilke seçin:

  1. Not defteri kullanıcı arayüzünde, Ortam yan bölmesine environment tıklayın.
  2. Sunucusuz kullanım ilkesi'nin altında, not defterinize uygulamak istediğiniz sunucusuz kullanım ilkesini seçin.
  3. Uygula'ya tıklayın.

İlke uygulandıktan sonra, tüm not defteri kullanımları ilkenin özel etiketlerini devralır.

Note

Eğer defteriniz bir Git deposundan geliyorsa veya atanmış bir sunucusuz kullanım ilkesine sahip değilse, sunucusuz işlemeye tekrar eklendiğinde, varsayılan olarak son seçtiğiniz sunucusuz kullanım ilkesi geçerli olur.

Kaynak dosya dışa aktarmalarına ortamı ekleyin

Python not defterleri için, ortam yapılandırmasında Kaynak dosya dışa aktarmalarına dahil et seçeneğini açıp kapatabilirsiniz. Etkinleştirildiğinde, temel ortam ve bağımlılıklar kaynak dosya dışarı aktarmalarında PEP 723 biçiminde depolanır. Bu, not defterleri Git klasörlerinde depolandığında veya kaynak dosya olarak indirildiğinde ortam yapılandırmasını kalıcı hale getirmesine yardımcı olur.

Örneğin, Standart v5 kullanan bir not defteri, ortam yapılandırmasını dosyanın en üstünde satır içi meta veriler olarak dışarı aktarır:

# Databricks notebook source
# /// script
# [tool.databricks.environment]
# environment_version = "5"
# ///
print("Hello World!")

Ortam bağımlılıklarını sıfırlama

Not defteriniz sunucusuz işlemle bağlantılıysa Databricks, not defterinin sanal ortamının içeriğini otomatik olarak önbelleğe alır. Başka bir deyişle, mevcut bir not defterini açtığınızda Environment yan bölmesinde belirtilen Python bağımlılıklarını, işlem yapılmadığı için bağlantısı kesilmiş olsa bile yeniden yüklemeniz gerekmez.

Python sanal ortamı önbelleğe alma, işler için de geçerlidir. Bir iş çalıştırıldığında, önbellek zaten gerekli bağımlılıkları içerdiğinden, aynı çalıştırmada tamamlanmış bir görevle aynı bağımlılık kümesini paylaşan tüm görevler daha hızlı tamamlanır.

Note

Sunucusuz bir işte kullanılan özel Python paketinin uygulamasını değiştirirseniz, işlerin en son uygulamayı alabilmesi için sürüm numarasını da güncelleştirmeniz gerekir.

Ortam önbelleğini temizlemek ve sunucusuz işlemle bağlı bir not defterinin Ortam yan bölmesinde belirtilen bağımlılıkların yeni bir yüklemesini gerçekleştirmek için Uygula'nın yanındaki oka tıklayın ve ardından Varsayılanlara sıfırla'ya tıklayın.

Çekirdek not defterini veya Apache Spark ortamını bozan veya değiştiren paketler yüklerseniz, sorunlu paketleri kaldırın ve ortamı sıfırlayın. Yeni oturum başlatmak ortam önbelleğinin tamamını temizlemez.

İş görevleri için ortamı yapılandırma

Her iş görevi, temel bir ortam ve belirttiğiniz ek kitaplıkları içeren yalıtılmış bir ortamda çalışır. Temel ortam, Python ve Scala çalışma zamanı sürümünü ve önceden yüklenmiş kitaplıkları ayarlar. Görevler, varsayılan yüklü kitaplık kümesini ortam sürümünden devralır. Nelerin dahil olduğunu görmek için, kullandığınız ortam sürümü bölümündeki Yüklü Python kitaplıkları veya Yüklü Java ve Scala kitaplıkları bölümüne bakın.

Önceden yüklenmiş kitaplıkları çalışma alanı dosyalarından, Unity Kataloğu birimlerinden veya genel paket depolarından kitaplıklarla tamamlayabilirsiniz. Çalışma zamanında yalnızca görev için gereken bağımlılıklar yüklenir.

Important

JAR görevleri için sunucusuz işlem kullanımı Genel Önizleme aşamasındadır.

Important

Yönetilen bir temel ortamın seçilmesi beta aşamasındadır. Ortamı yapılandır iletişim kutusundaki Temel ortam açılan listesi, Databricks tarafından sağlanan ortamlar (Standart ve ML gibi) veya çalışma alanı tarafından yapılandırılmış ortamlar arasından seçim yapmanızı sağlar. Bu özellik yoksa, iletişim kutusunda bunun yerine bir Ortam sürümü açılır menüsü gösterilir. Çalışma alanı yöneticileri Bu özelliği Önizlemeler sayfasından etkinleştirebilir.

Databricks ortamları ve çalışma alanı ortamları bölümleriyle Temel ortam açılır listesinin genişletildiğini gösteren ortam yapılandırma iletişim kutusu

Ortamı görev türüne göre yapılandırma

bir işte ortamları nasıl yapılandırdığınız görev türüne bağlıdır:

Not defteri görevleri

Not defteri görevleri, not defterinin kendi yapılandırılmış temel ortamını ve bağımlılıklarını kullanan Not Defteri Ortamı olarak varsayılandır. Bunu iş düzeyinde bir ortamla geçersiz kılabilirsiniz.

Not Defteri Ortamı ve İş Ortamı seçeneklerini gösteren not defteri görevi için Ortam ve Kitaplıklar açılır listesi

İş düzeyinde bir ortam yapılandırmak için:

  1. Görev yapılandırmasında Ortam ve Kitaplıklar açılan menüsüne tıklayın.
  2. İşler Ortamı'ndaVarsayılan'ın yanındaki kalem simgesine veya + Yeni iş ortamı ekle'ye tıklayın.
  3. Ortamı yapılandır iletişim kutusunda Temel ortam açılan menüsünden öğesini seçin:
    • Databricks ortamları: Azure Databricks tarafından sunulan Standard ve ML gibi seçenekler.
    • Çalışma alanı ortamları: Çalışma alanı yöneticiniz tarafından yapılandırılan özel ortamlar. Bkz. Çalışma alanı temel ortamlarını yönetme.
    • Daha fazla: Önceki sürümler ve Özel (bir YAML dosyası belirtin).
  4. Bağımlılıklar'ın altına tüm ek kitaplıkları ekleyin. Bir kitaplığı, requirements.txt dosyasında geçerli olan herhangi bir biçimde belirtebilir veya bir çalışma alanı dosyasına ya da Unity Catalog birimine giden mutlak yolu kullanabilirsiniz.
  5. Onayla'yı tıklatın.

Note

Çalışma alanınızda iş önizlemesi için çalışma alanı temel ortamı etkinleştirilmemişse, Ortamı yapılandır iletişim kutusunda Temel ortam yerine Ortam sürümü açılır listesi gösterilir.

Ortamı yapılandırmak için bir sürüm seçin ve + Kitaplık ekle'ye tıklayın. Bir çalışma alanı dosya yolu (ile /Workspace/başlayarak), Unity Kataloğu birim yolu (ile /Volumes/başlayarak) veya bir gereksinim dosyası başvurusu (örneğin, -r /Workspace/path/to/requirements.txt) belirtebilirsiniz.

Python betiği ve Python wheel görevleri

Python betiği ve Python wheel görevleri bir ortam yapılandırılmasını gerektirir.

Add dependency bağlantısını gösteren bir Python wheel görevi için Ortam ve Kitaplıklar bölümü

  1. Görev yapılandırmasında, Ortam ve Kitaplıklar'ın altında + Bağımlılık ekle'ye tıklayın.
  2. Ortamı yapılandır iletişim kutusunda Temel ortam açılan menüsünden öğesini seçin:
    • Databricks ortamları: Azure Databricks tarafından sunulan Standard ve ML gibi seçenekler.
    • Çalışma alanı ortamları: Çalışma alanı yöneticiniz tarafından yapılandırılan özel ortamlar. Bkz. Çalışma alanı temel ortamlarını yönetme.
    • Daha fazla: Önceki sürümler ve Özel (bir YAML dosyası belirtin).
  3. Bağımlılıklar'ın altına tüm ek kitaplıkları ekleyin.
  4. Onayla'yı tıklatın.

Note

Çalışma alanınızda iş önizlemesi için çalışma alanı temel ortamı etkinleştirilmemişse, Ortamı yapılandır iletişim kutusunda Temel ortam yerine Ortam sürümü açılır listesi gösterilir.

Ortamı yapılandırmak için bir sürüm seçin ve + Kitaplık ekle'ye tıklayın. Bir çalışma alanı dosya yolu (ile /Workspace/başlayarak), Unity Kataloğu birim yolu (ile /Volumes/başlayarak) veya bir gereksinim dosyası başvurusu (örneğin, -r /Workspace/path/to/requirements.txt) belirtebilirsiniz.

Dbt görevleri

DBT görevleri, kitaplık yapılandırması için iş düzeyinde bir ortam kullanır.

İşler Ortamı seçeneklerini gösteren bir dbt görevinin Ortam ve Kitaplıklar açılır menüsü

İş düzeyinde bir ortam yapılandırmak için:

  1. Görev yapılandırmasında Ortam ve Kitaplıklar açılan menüsüne tıklayın.
  2. İşler Ortamı'nda, var olan bir ortamın yanındaki kalem simgesine veya + Yeni iş ortamı ekle'ye tıklayın.
  3. Ortamı yapılandır iletişim kutusunda Temel ortam açılan menüsünden öğesini seçin:
    • Databricks ortamları: Azure Databricks tarafından sunulan Standard ve ML gibi seçenekler.
    • Çalışma alanı ortamları: Çalışma alanı yöneticiniz tarafından yapılandırılan özel ortamlar. Bkz. Çalışma alanı temel ortamlarını yönetme.
    • Daha fazla: Önceki sürümler ve Özel (bir YAML dosyası belirtin).
  4. Bağımlılıklar'ın altına tüm ek kitaplıkları ekleyin. Bir kitaplığı, requirements.txt dosyasında geçerli olan herhangi bir biçimde belirtebilir veya bir çalışma alanı dosyasına ya da Unity Catalog birimine giden mutlak yolu kullanabilirsiniz.
  5. Onayla'yı tıklatın.

Note

Çalışma alanınızda iş önizlemesi için çalışma alanı temel ortamı etkinleştirilmemişse, Ortamı yapılandır iletişim kutusunda Temel ortam yerine Ortam sürümü açılır listesi gösterilir.

Ortamı yapılandırmak için bir sürüm seçin ve + Kitaplık ekle'ye tıklayın. Bir çalışma alanı dosya yolu (ile /Workspace/başlayarak), Unity Kataloğu birim yolu (ile /Volumes/başlayarak) veya bir gereksinim dosyası başvurusu (örneğin, -r /Workspace/path/to/requirements.txt) belirtebilirsiniz.

JAR görevleri

Çalışma alanı temel ortamları, JAR görevlerinde desteklenmez. JAR görevinin ortamını yapılandırmak için:

JAR bağımlılığı ekleme bağlantısını gösteren bir JAR görevinin Ortam ve Kitaplıklar bölümü

  1. Görev yapılandırmasında, Ortam ve Kitaplıklar'ın altında + JAR bağımlılığı ekle'ye tıklayın.
  2. Ortamı yapılandır iletişim kutusunda:
    • İsteğe bağlı olarak, Temel ortam alanına YAML dosyasının yolunu girin.
    • Ortam sürümü açılır menüsünden bir ortam sürümü seçin.
    • JAR Bağımlılıkları'nın altında JAR dosyalarınıza yolları ekleyin.
  3. Onayla'yı tıklatın.

Özel YAML tabanlı temel ortam oluşturmak için bkz. Özel ortam belirtimi oluşturma.

Ortam ve işlem uyumluluğu

Seçtiğiniz temel ortamın görevin işlem türüyle uyumlu olması gerekir. Örneğin, GPU işlemi için oluşturulan bir ortam CPU işlemiyle uyumlu değildir. İşler kullanıcı arayüzünde, uyumsuz ortamlar temel ortam açılır menüsünde kullanıma sunulmaz.

Bir not defteri görevini yapılandırdığınızda işlem türü (CPU veya GPU) ve temel ortamların her biri iş ayarlarından veya not defteri ayarlarından gelebilir.

  • İş düzeyinde bir donanım hızlandırıcısı (GPU) ayarlarsanız, iş düzeyinde bir temel ortam da seçmeniz gerekir. Notebook ortamını iş düzeyinde bir hızlandırıcıyla kullanamazsınız.
  • Not defterine başvuran iş görevleriniz varsa ve başvuruda bulunan not defterinin işlem türünü güncelleştirdiyseniz (örneğin, CPU'dan GPU'ya), mevcut görevler yapılandırılmış ortamlarıyla uyumsuz hale gelebilir. Not defterinin işlem yapılandırmasını değiştirdikten sonra işinizin ortam ayarlarını gözden geçirin.
  • API kullanıcıları için: Temel ortamı iş düzeyinde ayarlarsanız ancak not defteri işlem türünü tanımlarsa Azure Databricks iş oluşturma zamanında değil çalışma zamanında uyumluluğu doğrular. Yapılandırma uyumsuzsa çalıştırma bir hatayla başarısız olur.
  • Last updated on