Sunucusuz ortamı yapılandırma

Bu sayfada, not defterleri ve iş görevleri için sunucusuz ortamı yapılandırma işlemi açıklanmaktadır. Standart sunucusuz dizüstü bilgisayarlar için, temel bir ortam seçmek, notebook kapsamlı bağımlılıklar kurmak, bellek yapılandırmak ve kullanım politikalarını uygulamak için Çevre yan panelini kullanın. İş görevleri için, bir görev oluştururken veya düzenlerken ortamı yapılandırın.

Shared Serverless ile aynı Git klasörü veya paketindeki defterler ve dosyalar, not defterine özgü bağımlılık listesi yerine proje kökündeki bir pyproject.toml dosyası tarafından yönetilen bir ortam kullanır. Paylaşılan serverless ortamı yönet bölümüne bakın.

Ortam yan bölmesini genişletmek için not defterinin sağındaki ortam düğmesine tıklayın.

Sunucusuz ortam bölmesi

Temel ortam seçme

Temel ortam, sunucusuz not defteriniz için önceden yüklenmiş kitaplıkları ve ortam sürümünü belirler. Ortam yan bölmesindeki Temel ortam seçici, ortamınızı seçtiğiniz yerdir. Her ortam sürümünün ayrıntılarını görmek için bkz. Sunucusuz ortam sürümleri. Databricks, en güncel defter özelliklerine sahip olmak için en yeni sürümün kullanılması gerektiğini önerir.

Temel ortam seçici aşağıdaki seçenekleri içerir:

  • Standart: Databricks tarafından sağlanan kitaplıklarla varsayılan sunucusuz temel ortamdır.
  • ML: Önceden yüklenmiş Machine Learning için Databricks Runtime'dan Python ve sistem paketlerini içeren temel bir ortam. Machine Learning iş yükleri için klasik Databricks Runtime'ı sunucusuz işlem ortamına geçirmek için bu ortamı kullanın. Bkz. ML temel ortamı.
  • Yapay zeka: Önceden yüklenmiş makine öğrenmesi (ML) kitaplıklarına sahip yapay zeka için iyileştirilmiş bir temel ortam. Bu seçenek yalnızca bir hızlandırıcı (GPU) seçildiğinde görünür. Yapay zeka ortamına bakınız.
  • Daha fazla: Ek seçenekleri göstermek için genişletir:
    • Standart, ML ve AI ortamlarının önceki sürümleri.
    • Özel: YAML dosyası kullanarak özel bir ortam belirtin.
  • Çalışma alanı ortamları: Bir yönetici tarafından çalışma alanınız için yapılandırılan tüm uyumlu temel ortamları listeler.

Temel bir ortam seçmek için:

  1. Not defteri kullanıcı arayüzünde, Ortam yan bölmesi ortam'na tıklayın.
  2. Temel ortam'ın altında açılan menüden bir ortam seçin.
  3. Uygula'ya tıklayın.

Not defterine bağımlılık ekleme

Sunucusuz işlem ilkelerini veya başlatma betiklerini desteklemediğinden, Ortam yan bölmesini kullanarak özel bağımlılıkları yüklemeniz gerekir. Bağımlılıkları tek tek kurabilir veya paylaşılabilir bir temel ortam kullanarak birden fazla bağımlılığı aynı anda kurabilirsiniz.

Azure Databricks, not defterinizin sanal ortamını önbelleğe alır; böylece bir not defterini her yeniden açtığınızda veya etkinliksizlikten sonra yeniden devam ettiğinizde bağımlılıklar yeniden yüklenmez. Aynı bağımlılık kümesini paylaşan iş görevleri de bir çalıştırmadaki bu önbellekten yararlanır.

Bir bağımlılığı tek tek yüklemek için:

  1. Not defteri kullanıcı arayüzünde, Ortam yan bölmesi ortam'na tıklayın.

  2. Bağımlılıklar bölümünde, bağımlılığın yolunu alana girin ve ardından +Bağımlılık ekle düğmesine tıklayın. Bir requirements.txt dosyasında geçerli olan herhangi bir biçimde bir bağımlılık belirtebilirsiniz. Python tekerlek dosyaları veya Python projeleri (örneğin, pyproject.toml veya setup.py içeren dizin), çalışma alanı dosyalarında veya Unity Kataloğu birimlerinde bulunabilir.

    • Çalışma alanı dosyası kullanıyorsanız, yol mutlak olmalı ve ile /Workspace/başlamalıdır.
    • Unity Kataloğu biriminde bir dosya kullanılıyorsa, yol şu biçimde olmalıdır: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

  3. Bağımlılıkları yüklemek ve Python işlemini yeniden başlatmak için Apply öğesine tıklayın.

Important

Sunucusuz not defterlerinize bağımlılık olarak PySpark'ı veya PySpark'ı yükleyen herhangi bir kitaplığı yüklemeyin. Bunun yapılması oturumunuzu durdurur ve bir hatayla sonuçlanır. Bu durumda kitaplığı kaldırın ve ortamınızı sıfırlayın .

Yüklü bağımlılıkları görüntülemek için Ortamlar yan bölmesinde Yüklü sekmesine tıklayın. Bölmenin alt kısmındaki pip günlükleri seçeneğine tıklayarak not defteri ortamının pip yükleme günlüklerini açın.

Note

Sunucusuz hesaplama, belirli bir CPU mimarisini garanti etmez. Bir not defteri veya iş, aarch64 ya da x86_64 üzerinde çalışabilir ve mimari çalıştırmalar arasında değişebilir. Bir bağımlılık, oluşturulduğu mimariden farklı bir mimariye kurulabilir, bağımlılıklarınız hesaplamanın kullanabileceği her mimariyi desteklemelidir.

Bir bağımlılık, yerel (C) uzantılarına sahip bir Python wheel paketi ise, önceden derlenmiş ikili dosyası mimariye özeldir. Bir mimari için yapılmış bir tekerlek, başka bir mimariye yüklenemez ve hata döner. Bunu önlemek için, mümkün olduğunda salt Python wheel'lerini (etiketli py3-none-any) kullanın veya hem aarch64 hem de x86_64 wheel varyantlarını ekleyin ve her birini kendi mimarisiyle platform_machine ortam belirteciyle kısıtlayın.

Note

Azure Databricks, dizüstü bilgisayarınız veya görev kodunuz çalışmadan önce bağımlılıkları çözer ve yükler. Bir not defteri hücresindeki kod, bağımlılıkların nasıl getirildiğini değiştiremez. Sunucusuz hesaplama ayrıca hesaplama kapsamlı ortam değişkenlerini desteklemez, bu nedenle çalışma zamanında uygulanan proxy ayarları bağımlılık kurulumunu etkilemez. Özel veya kimlik doğrulaması gerektiren bir paket deposundan kurulum yapmak için, bağımlılık tanımında index-url veya extra-index-url belirtin. Ayrıca bir çalışma alanı yöneticisinden depoyu varsayılan paket deposu olarak yapılandırmasını da talep edebilirsiniz. Bkz. Varsayılan paket depolarını yapılandırmak.

Varsayılan paket depolarını yapılandırma

Çalışma alanı yöneticileri, sunucusuz not defterleri ve işler için varsayılan pip kaynağı olarak özel veya kimliği doğrulanmış paket depolarını yapılandırabilir. Bu, kullanıcıların index-url veya extra-index-url belirtmeden dahili depolardan paket yüklemesini sağlar. Bkz. Varsayılan paket depolarını yapılandırmak.

Özel ortam belirtimi oluşturma

Özel ortam belirtimleri oluşturabilir ve yeniden kullanabilirsiniz.

  1. Sunucusuz bir not defterinde temel bir ortam seçin ve istediğiniz bağımlılıkları yükleyin.
  2. Kebap menü düğmesine Kebap menü simgesi tıklayın. Ortam bölmesinin en altındaki Ortamı dışarı aktar'a tıklayın.
  3. Belirtimi Çalışma Alanı dosyası olarak veya Unity Kataloğu birimine kaydedin. Hedefe yazma izniniz olduğundan emin olun veya dışarı aktarma işlemi bir Forbidden hatayla başarısız olur.

Özel ortam belirtiminizi bir notebook'ta kullanmak için Temel ortam açılır menüsünden Özel'i seçin, ardından YAML dosyanızı seçmek için Klasör simgesini. kullanın.

Çalışma alanınızda paylaşmak için ortak araçlar oluşturma

Bu örnek, bir yardımcı programı çalışma alanı dosyasında depolar ve sunucusuz bir not defteri bağımlılığı olarak yükler:

  1. Aşağıdaki yapıya sahip bir klasör oluşturun. Diğer kullanıcıların bu yol için okuma erişimine sahip olduğundan emin olun:

    helper_utils/
├── helpers/
│   └── __init__.py   # your common functions live here
├── pyproject.toml

  2. Şunun gibi doldurun pyproject.toml :

    [project]
name = "common_utils"
version = "0.1.0"

  3. Dosyaya init.py bir işlev ekleyin. Örneğin:

    def greet(name: str) -> str:
    return f"Hello, {name}!"

  4. Not defteri kullanıcı arabiriminde Ortam yan bölmesi Ortam simgesine tıklayın.

  5. Bağımlılıklar bölümünde Bağımlılık Ekle'ye tıklayın ve yardımcı program dosyanızın yolunu girin. Örneğin: /Workspace/helper_utils.

  6. Uygula'ya tıklayın.

Artık işlevi not defterinizde kullanabilirsiniz:

from helpers import greet
print(greet('world'))

Bu çıkış şöyledir:

Hello, world!

AI Çalışma Zamanı (sunucusuz GPU) kullanma

Important

Bu özellik Genel Önizlemededir.

Azure Databricks not defterinizde sunucusuz GPU işlem tarafından desteklenen yapay zeka Çalışma Zamanı'nı yapılandırmak için şu adımları izleyin:

  1. Not defterinden üstteki işlem açılan menüsüne tıklayın ve Sunucusuz GPU'ya tıklayın.
  2. Ortam simgesine tıklayın. Ortam yan bölmesini açmak için.
  3. Hızlandırıcı alanından A10'a tıklayın.
  4. Temel ortam'ın altında varsayılan ortam için Standart'ıveya önceden yüklenmiş makine öğrenmesi (ML) kitaplıklarıyla yapay zeka için iyileştirilmiş ortam için yapay zeka'yı seçin.
  5. Uygula'ya tıklayın ve ardından AI Çalışma Zamanı'nı not defteri ortamınıza uygulamak istediğinizi onaylayın.

Diğer ayrıntılar için bkz. AI Runtime.

Yüksek bellekli sunucusuz işlem kullanma

Important

Bu özellik Genel Önizlemededir.

Not defterinizde yetersiz bellek hatalarıyla karşılaşırsanız, not defterini daha yüksek bir bellek boyutu kullanacak şekilde yapılandırın. Bu bellek boyutu ayarı, not defterinde kod çalıştırılırken kullanılan REPL belleğinin boyutunu artırır. Spark oturumunun bellek boyutunu etkilemez. Yüksek bellekli sunucusuz kullanım, standart bellekten daha yüksek bir DBU emisyon oranına sahiptir.

Kullanılabilir bellek seçenekleri şunlardır:

  • Standart: Toplam 16 GB bellek.
  • Yüksek: Toplam 32 GB bellek.

Not defterinin bellek ayarını yapılandırmak için:

  1. Not defteri kullanıcı arayüzünde, Ortam yan bölmesi ortam'na tıklayın.
  2. Bellekaltında, Yüksek bellekseçeneğini seçin.
  3. Uygula'ya tıklayın.

Bu bellek ayarı, not defterinin bellek tercihlerini kullanarak çalışan not defteri iş görevleri için de geçerlidir. Dizüstü bilgisayardaki bellek tercihinin güncellenmesi, gelecek iş yürütmesini etkiler.

Sunucusuz kullanım ilkesi seçme

Important

Bu özellik Genel Önizlemededir.

Sunucusuz kullanım ilkeleri , kuruluşunuzun ayrıntılı faturalama atfı için sunucusuz kullanıma özel etiketler uygulamasına olanak sağlar.

Çalışma alanınız sunucusuz kullanım ilkeleri kullanıyorsa not defterine uygulamak istediğiniz ilkeyi seçin. Bir kullanıcı yalnızca bir sunucusuz kullanım ilkesine atanmışsa, bu ilke varsayılan olarak uygulanır.

Sunucusuz işlem'e bağlandıktan sonra Ortam yan bölmesinden bir ilke seçin:

  1. Not defteri kullanıcı arayüzünde, Ortam yan bölmesi ortam'na tıklayın.
  2. Sunucusuz kullanım ilkesi'nin altında, not defterinize uygulamak istediğiniz sunucusuz kullanım ilkesini seçin.
  3. Uygula'ya tıklayın.

İlke uygulandıktan sonra, tüm not defteri kullanımları ilkenin özel etiketlerini devralır.

Note

Eğer defteriniz bir Git deposundan geliyorsa veya atanmış bir sunucusuz kullanım ilkesine sahip değilse, sunucusuz işlemeye tekrar eklendiğinde, varsayılan olarak son seçtiğiniz sunucusuz kullanım ilkesi geçerli olur.

Kaynak dosya dışa aktarmalarına ortamı ekleyin

Python not defterleri için, ortam yapılandırmasında Kaynak dosya dışa aktarmalarına dahil et seçeneğini açıp kapatabilirsiniz. Etkinleştirildiğinde, temel ortam ve bağımlılıklar kaynak dosya dışarı aktarmalarında PEP 723 biçiminde depolanır. Bu, not defterleri Git klasörlerinde depolandığında veya kaynak dosya olarak indirildiğinde ortam yapılandırmasını kalıcı hale getirmesine yardımcı olur.

Örneğin, Standart v5 kullanan bir not defteri, ortam yapılandırmasını dosyanın en üstünde satır içi meta veriler olarak dışarı aktarır:

# Databricks notebook source
# /// script
# [tool.databricks.environment]
# environment_version = "5"
# ///
print("Hello World!")

Ortam bağımlılıklarını sıfırlama

Not defteriniz sunucusuz işlemle bağlantılıysa Databricks, not defterinin sanal ortamının içeriğini otomatik olarak önbelleğe alır. Başka bir deyişle, mevcut bir not defterini açtığınızda Environment yan bölmesinde belirtilen Python bağımlılıklarını, işlem yapılmadığı için bağlantısı kesilmiş olsa bile yeniden yüklemeniz gerekmez.

Python sanal ortamı önbelleğe alma, işler için de geçerlidir. Bir iş çalıştırıldığında, önbellek zaten gerekli bağımlılıkları içerdiğinden, aynı çalıştırmada tamamlanmış bir görevle aynı bağımlılık kümesini paylaşan tüm görevler daha hızlı tamamlanır.

Note

Sunucusuz bir işte kullanılan özel Python paketinin uygulamasını değiştirirseniz, işlerin en son uygulamayı alabilmesi için sürüm numarasını da güncelleştirmeniz gerekir.

Ortam önbelleğini temizlemek ve sunucusuz işlemle bağlı bir not defterinin Ortam yan bölmesinde belirtilen bağımlılıkların yeni bir yüklemesini gerçekleştirmek için Uygula'nın yanındaki oka tıklayın ve ardından Varsayılanlara sıfırla'ya tıklayın.

Çekirdek not defterini veya Apache Spark ortamını bozan veya değiştiren paketler yüklerseniz, sorunlu paketleri kaldırın ve ortamı sıfırlayın. Yeni oturum başlatmak ortam önbelleğinin tamamını temizlemez.

İş görevleri için ortamı yapılandırma

Her iş görevi, temel bir ortam ve belirttiğiniz ek kitaplıkları içeren yalıtılmış bir ortamda çalışır. Temel ortam, Python ve Scala çalışma zamanı sürümünü ve önceden yüklenmiş kitaplıkları ayarlar. Görevler, varsayılan yüklü kitaplık kümesini ortam sürümünden devralır. Nelerin dahil olduğunu görmek için, kullandığınız ortam sürümü bölümündeki Yüklü Python kitaplıkları veya Yüklü Java ve Scala kitaplıkları bölümüne bakın.

Önceden yüklenmiş kitaplıkları çalışma alanı dosyalarından, Unity Kataloğu birimlerinden veya genel paket depolarından kitaplıklarla tamamlayabilirsiniz. Çalışma zamanında yalnızca görev için gereken bağımlılıklar yüklenir.

Notebook, Python script veya Python wheel görevlerini yapılandırmak pyproject.toml için Bir proje ortamını pyproject.toml ile yapılandırma'ya bakın.

Görevlerinizde uygulama koduna ortam değişkenlerini aktarmak için Sunucusuz işler için ortam değişkenlerini yapılandırma sayfasına bakınız.

Important

Yönetilen bir temel ortamın seçilmesi beta aşamasındadır. Ortamı yapılandır iletişim kutusundaki Temel ortam açılan listesi, Databricks tarafından sağlanan ortamlar (Standart ve ML gibi) veya çalışma alanı tarafından yapılandırılmış ortamlar arasından seçim yapmanızı sağlar. Bu özellik yoksa, iletişim kutusunda bunun yerine bir Ortam sürümü açılır menüsü gösterilir. Çalışma alanı yöneticileri Bu özelliği Önizlemeler sayfasından etkinleştirebilir.

Databricks ortamları ve çalışma alanı ortamları bölümleriyle Temel ortam açılır listesinin genişletildiğini gösteren ortam yapılandırma iletişim kutusu

Ortamı görev türüne göre yapılandırma

bir işte ortamları nasıl yapılandırdığınız görev türüne bağlıdır:

Not defteri görevleri

Not defteri görevleri, not defterinin kendi yapılandırılmış temel ortamını ve bağımlılıklarını kullanan Not Defteri Ortamı olarak varsayılandır. Bunu iş düzeyinde bir ortamla geçersiz kılabilirsiniz.

Not Defteri Ortamı ve İş Ortamı seçeneklerini gösteren not defteri görevi için Ortam ve Kitaplıklar açılır listesi

İş düzeyinde bir ortam yapılandırmak için:

  1. Görev yapılandırmasında Ortam ve Kitaplıklar açılan menüsüne tıklayın.
  2. İşler Ortamı'ndaVarsayılan'ın yanındaki kalem simgesine veya + Yeni iş ortamı ekle'ye tıklayın.
  3. Ortamı yapılandır iletişim kutusunda, Ortam kaynağı altında Standart veya Proje seçeneğini belirleyin. Project seçeneği yalnızca çalışma alanı yöneticiniz Project-Scoped Paylaşılan Hesaplama önizlemesini Önizlemeler sayfasından etkinleştirdiğinde kullanılabilir. Bkz. Azure Databricks önizlemelerini yönetme. Eğer diyalogda Ortam kaynağı görünmüyorsa, Standart adımları takip edin.
  4. Standard için, Base ortam açılır menüsünden şunları seçin:
    • Databricks ortamları: Azure Databricks tarafından sunulan Standard ve ML gibi seçenekler.
    • Çalışma alanı ortamları: Çalışma alanı yöneticiniz tarafından yapılandırılan özel ortamlar. Bkz. Çalışma alanı temel ortamlarını yönetme.
    • Daha fazla: Önceki sürümler ve Özel (bir YAML dosyası belirtin).
  5. Standard için, Bağımlılıklar altında ek kütüphaneler ekleyin. requirements.txt dosyasında geçerli olan herhangi bir formatı kullanın. Ayrıca bir çalışma alanı dosyasına veya Unity Catalog birimine mutlak bir yol da kullanabilirsiniz.
  6. Project için, Project ortamında, pyproject.toml için çalışma alanı yolunu girin veya dosyayı seçin. Ortam sürümünü ve bağımlılıkları pyproject.toml içinde yapılandırın. Temel ortam veya Bağımlılıklar da belirleyemezsiniz. Bkz. Proje ortamını yapılandır.pyproject.toml
  7. Onayla'yı tıklatın.

Note

Çalışma alanınızda iş önizlemesi için çalışma alanı temel ortamı etkinleştirilmemişse, Ortamı yapılandır iletişim kutusunda Temel ortam yerine Ortam sürümü açılır listesi gösterilir.

Ortamı yapılandırmak için bir sürüm seçin ve + Kitaplık ekle'ye tıklayın. Bir çalışma alanı dosya yolu (ile /Workspace/başlayarak), Unity Kataloğu birim yolu (ile /Volumes/başlayarak) veya bir gereksinim dosyası başvurusu (örneğin, -r /Workspace/path/to/requirements.txt) belirtebilirsiniz.

Python betiği ve Python wheel görevleri

Python betiği ve Python wheel görevleri bir ortam yapılandırılmasını gerektirir.

Add dependency bağlantısını gösteren bir Python wheel görevi için Ortam ve Kitaplıklar bölümü

  1. Görev yapılandırmasında, Ortam ve Kitaplıklar'ın altında + Bağımlılık ekle'ye tıklayın.
  2. Ortamı yapılandır diyalogunda, Environment source altında Standard veya Project seçeneğini seçin. Project seçeneği, yalnızca çalışma alanı yöneticiniz Önizlemeler sayfasından Project-Scoped Shared Compute önizlemesini etkinleştirdiğinde kullanılabilir. Bkz. Azure Databricks önizlemelerini yönetme. Eğer diyalogda Ortam kaynağı görünmüyorsa, Standart adımları takip edin.
  3. Standard için, Base ortam açılır menüsünden şunları seçin:
    • Databricks ortamları: Azure Databricks tarafından sunulan Standard ve ML gibi seçenekler.
    • Çalışma alanı ortamları: Çalışma alanı yöneticiniz tarafından yapılandırılan özel ortamlar. Bkz. Çalışma alanı temel ortamlarını yönetme.
    • Daha fazla: Önceki sürümler ve Özel (bir YAML dosyası belirtin).
  4. Standard için, Bağımlılıklar altında ek kütüphaneler ekleyin.
  5. Project için, Project ortamında mutlak çalışma alanı yolunu girin pyproject.toml (örneğin, /Workspace/path/to/pyproject.toml) veya dosyayı seçin. Python wheel görevleri, göreceli proje-ortam yollarını desteklemez. Ortam sürümünü ve bağımlılıkları pyproject.toml içinde yapılandırın. Temel ortam veya Bağımlılıklar da belirleyemezsiniz. Bkz. Proje ortamını yapılandır.pyproject.toml
  6. Onayla'yı tıklatın.

Note

Çalışma alanınızda iş önizlemesi için çalışma alanı temel ortamı etkinleştirilmemişse, Ortamı yapılandır iletişim kutusunda Temel ortam yerine Ortam sürümü açılır listesi gösterilir.

Ortamı yapılandırmak için bir sürüm seçin ve + Kitaplık ekle'ye tıklayın. Bir çalışma alanı dosya yolu (ile /Workspace/başlayarak), Unity Kataloğu birim yolu (ile /Volumes/başlayarak) veya bir gereksinim dosyası başvurusu (örneğin, -r /Workspace/path/to/requirements.txt) belirtebilirsiniz.

Dbt görevleri

DBT görevleri, kitaplık yapılandırması için iş düzeyinde bir ortam kullanır.

İşler Ortamı seçeneklerini gösteren bir dbt görevinin Ortam ve Kitaplıklar açılır menüsü

İş düzeyinde bir ortam yapılandırmak için:

  1. Görev yapılandırmasında Ortam ve Kitaplıklar açılan menüsüne tıklayın.
  2. İşler Ortamı'nda, var olan bir ortamın yanındaki kalem simgesine veya + Yeni iş ortamı ekle'ye tıklayın.
  3. Ortamı yapılandır iletişim kutusunda Temel ortam açılan menüsünden öğesini seçin:
    • Databricks ortamları: Azure Databricks tarafından sunulan Standard ve ML gibi seçenekler.
    • Çalışma alanı ortamları: Çalışma alanı yöneticiniz tarafından yapılandırılan özel ortamlar. Bkz. Çalışma alanı temel ortamlarını yönetme.
    • Daha fazla: Önceki sürümler ve Özel (bir YAML dosyası belirtin).
  4. Bağımlılıklar'ın altına tüm ek kitaplıkları ekleyin. Bir kitaplığı, requirements.txt dosyasında geçerli olan herhangi bir biçimde belirtebilir veya bir çalışma alanı dosyasına ya da Unity Catalog birimine giden mutlak yolu kullanabilirsiniz.
  5. Onayla'yı tıklatın.

Note

Çalışma alanınızda iş önizlemesi için çalışma alanı temel ortamı etkinleştirilmemişse, Ortamı yapılandır iletişim kutusunda Temel ortam yerine Ortam sürümü açılır listesi gösterilir.

Ortamı yapılandırmak için bir sürüm seçin ve + Kitaplık ekle'ye tıklayın. Bir çalışma alanı dosya yolu (ile /Workspace/başlayarak), Unity Kataloğu birim yolu (ile /Volumes/başlayarak) veya bir gereksinim dosyası başvurusu (örneğin, -r /Workspace/path/to/requirements.txt) belirtebilirsiniz.

JAR görevleri

Çalışma alanı temel ortamları, JAR görevlerinde desteklenmez. JAR görevinin ortamını yapılandırmak için:

JAR bağımlılığı ekleme bağlantısını gösteren bir JAR görevinin Ortam ve Kitaplıklar bölümü

  1. Görev yapılandırmasında, Ortam ve Kitaplıklar'ın altında + JAR bağımlılığı ekle'ye tıklayın.
  2. Ortamı yapılandır iletişim kutusunda:
    • İsteğe bağlı olarak, Temel ortam alanına YAML dosyasının yolunu girin.
    • Ortam sürümü açılır menüsünden bir ortam sürümü seçin.
    • JAR Bağımlılıkları'nın altında JAR dosyalarınıza yolları ekleyin.
  3. Onayla'yı tıklatın.

Özel YAML tabanlı temel ortam oluşturmak için bkz. Özel ortam belirtimi oluşturma.

Ortam ve işlem uyumluluğu

Seçtiğiniz temel ortamın görevin işlem türüyle uyumlu olması gerekir. Örneğin, GPU işlemi için oluşturulan bir ortam CPU işlemiyle uyumlu değildir. İşler kullanıcı arayüzünde, uyumsuz ortamlar temel ortam açılır menüsünde kullanıma sunulmaz.

Bir not defteri görevini yapılandırdığınızda işlem türü (CPU veya GPU) ve temel ortamların her biri iş ayarlarından veya not defteri ayarlarından gelebilir.

  • İş düzeyinde bir donanım hızlandırıcısı (GPU) ayarlarsanız, iş düzeyinde bir temel ortam da seçmeniz gerekir. Notebook ortamını iş düzeyinde bir hızlandırıcıyla kullanamazsınız.
  • Not defterine başvuran iş görevleriniz varsa ve başvuruda bulunan not defterinin işlem türünü güncelleştirdiyseniz (örneğin, CPU'dan GPU'ya), mevcut görevler yapılandırılmış ortamlarıyla uyumsuz hale gelebilir. Not defterinin işlem yapılandırmasını değiştirdikten sonra işinizin ortam ayarlarını gözden geçirin.
  • API kullanıcıları için: Temel ortamı iş düzeyinde ayarlarsanız ancak not defteri işlem türünü tanımlarsa Azure Databricks iş oluşturma zamanında değil çalışma zamanında uyumluluğu doğrular. Yapılandırma uyumsuzsa çalıştırma bir hatayla başarısız olur.

Bir proje ortamı yapılandırın pyproject.toml

Important

Bu özellik Beta sürümündedir. Bunu kullanmak için, bir çalışma alanı yöneticisinin Önizlemeler sayfasından Project-Scoped Shared Compute seçeneğini etkinleştirmesi gerekir. Bkz. Azure Databricks önizlemelerini yönetme.

Bir proje ortamı, bir pyproject.toml dosyasından sunucusuz iş görevini yapılandırır. Dosyayı notebook, Python script ve Python wheel görevleri için bağımlılıkları bildirmek için kullanın. Bir görev için proje ortamı seçmek için, İş adımları için ortamı yapılandırma bölümüne bakınız.

Paylaşılan Sunucusuz kullanan not defterleri için, pyproject.toml ile Ortamı yönet konusuna bakın.

Requirements

  • Sunucusuz ortam sürümü 5 ve üzerini kullanın.
  • /Workspace/path/to/pyproject.toml öğesini çalışma alanı dosyalarında, örneğin pyproject.toml, depolayın.
  • Bir project_environment kullanmak için Databricks CLI sürüm 1.21.0 ve üzerini kullanın.
  • Jobs API'si veya bir paket kullandığınızda, project_environmentspec ortamındaki tek ortam kaynağı alanı olmalıdır. dependencies, environment_version ve base_environment gibi alanları çıkarın. Bunun yerine ortam sürümünü ve bağımlılıkları pyproject.toml içinde ayarlayın.

Proje ortamını hazırlamak

pyproject.toml dosyasını tanımlamak için bağımlılıkları [project] altında bildirin. Sunucusuz ortam sürümünü [tool.databricks.environment] altında ayarlayın. Örneğin:

[project]
name = "my-project"
version = "0.1.0"
dependencies = [
    # Keep your other dependencies here.
    "cowsay==6.1",
]

[tool.databricks.environment]
# Serverless environment version.
environment_version = "6"

Sadece proje bağımlılıklarını yükleyen bir iş için, uv.lock yoksa veya güncel değilse, çalışma zamanı uv pip install -r pyproject.toml'a geri döner. Bu yedek, kilitli sürümleri zorunlu kılmadan bağımlılıkları pyproject.toml kaynağından çözer ve proje paketinin kendisini yüklemez.

Projenin kendisini paket olarak kurmak için, bir derleme arka ucunu pyproject.toml öğesine ekleyin. Örneğin, Hatchling kullanmak için aşağıdakileri ekleyin:

[build-system]
requires = ["hatchling"]
build-backend = "hatchling.build"

Hatchling, paketi proje adıyla eşleşen kaynak dizininden oluşturur. Örneğin, Hatchling src/my_project/__init__.py kullanır. Project kurulumu, uv.lock yanındaki güncel pyproject.tomldosyauv.lock gerektirir. Dosyayı uv lock proje dizininde oluşturun.

uv.lock öğesinin pyproject.toml ile eşleştiğini kontrol etmek için, proje dizinindeki bir notebook'ta aşağıdaki komutu çalıştırın:

%uv lock --check

Bir pakette proje ortamını yapılandırmak

project_environment öğesini pyproject.toml yoluna ayarlayın. Dağıtım sırasında, Databricks CLI bu yolu çalışma alanı yoluna çevirir.

Aşağıdaki örnek bundle kendi paketini kurar, my-project. Bu düzeni kullanır:

.
├── databricks.yml
├── pyproject.toml
├── uv.lock
├── resources/
│   └── my_project.job.yml
└── src/
    ├── main.py
    └── my_project/
        └── __init__.py

Kök pyproject.toml, bağımlılıkları, Hatchling derleme backend'ini ve ortam sürümünü açıklar:

[project]
name = "my-project"
version = "0.1.0"
dependencies = [
    "cowsay==6.1",
]

[build-system]
requires = ["hatchling"]
build-backend = "hatchling.build"

[tool.databricks.environment]
environment_version = "6"

Aşağıdaki yapılandırmayı resources/my_project.job.yml olarak kaydedin. project_environment ve python_file yolları bu dosyaya görelidir:

resources:
  jobs:
    my_project_job:
      name: my-project-job
      environments:
        - environment_key: project
          spec:
            project_environment: ../pyproject.toml
      tasks:
        - task_key: main
          environment_key: project
          spark_python_task:
            python_file: ../src/main.py
  • Son güncelleştirme: