Çalışma alanında paket yazma

Bildirim temelli Otomasyon Paketleri doğrudan çalışma alanında oluşturulabilir ve değiştirilebilir.

Çalışma alanında paket kullanma gereksinimleri için bkz. Çalışma alanı gereksinimlerinde Bildirim temelli Otomasyon Paketleri.

Paketler hakkında daha fazla bilgi için bkz. Bildirim temelli Otomasyon Paketleri nedir?.

Paket oluşturma

Databricks çalışma alanında paket oluşturmak için:

1. Paketinizi oluşturmak istediğiniz Git klasörüne gidin.

2. Oluştur düğmesini tıklayın, ardından Bundle seçeneğini tıklayın. Alternatif olarak, çalışma alanı ağacında Git klasörüne veya ilgili kebap menüsüne sağ tıklayın ve Oluştur>Paket'e tıklayın:

   

3. Paket oluştur iletişim kutusunda pakete tamamen harika paket gibi bir ad verin. Paket adı yalnızca harf, sayı, kısa çizgi ve alt çizgi içerebilir.

4. Template için özel şablon, boş paket, örnek Python not defteri çalıştıran paket veya SQL çalıştıran bir paket kullanarak paket oluşturmak isteyip istemediğinizi seçin. Lakeflow Pipelines Düzenleyicisi'ni etkinleştirdiyseniz ETL işlem hattı projesi oluşturma seçeneğini de görürsünüz. Çalışma alanında yapılandırılan tüm özel şablonlar da kullanılabilir.

   

5. Bazı şablonlar ek yapılandırma gerektirir. Projeyi yapılandırmayı tamamlamak için İleri'ye tıklayın.

   Template	Yapılandırma seçenekleri
   Lakeflow işlem hatları	İşlem hattı verileri için kullanılacak varsayılan katalog Bu paket üzerinde işbirliği yapılan her kullanıcı için kişisel şemayı kullanın (önerilir) İşlem hattındaki kod dosyaları için başlangıç dili
   Varsayılan Python	Örnek not defterini dahil et İşlem hattı örneği ekleme Örnek python paketi ekleme Sunucusuz işlem kullanma
   Varsayılan SQL	SQL ambarı yolu İlk katalog Kişisel şemayı kullanma Geliştirme sırasında ilk şema

6. Oluştur ve dağıt'a tıklayın.

Bu, Git klasöründe seçtiğiniz proje şablonunun dosyalarını, bir Git yapılandırma dosyasını ve gerekli Bildirim temelli Otomasyon Paketleri .gitignore dosyasını içeren bir databricks.yml başlangıç paketi oluşturur. Dosya, databricks.yml paket için ana yapılandırmayı içerir. Ayrıntılar için bkz . Bildirim temelli Otomasyon Paketleri yapılandırması.

Paket içindeki dosyalarda yapılan tüm değişiklikler Git klasörüyle ilişkilendirilmiş uzak depoyla eşitlenebilir. Git klasörü birçok paket içerebilir.

Pakete yeni dosyalar ekleme

Paket, dağıtım ve çalışma alanı yapılandırmalarını, not defterleri, Python dosyaları gibi kaynak dosyaları ve test dosyalarını ve Lakeflow İşleri ve Lakeflow işlem hatları gibi Databricks kaynaklarının tanımlarını ve ayarlarını tanımlayan dosyayı içerirdatabricks.yml. Herhangi bir çalışma alanı klasörüne benzer şekilde paketinize yeni dosyalar ekleyebilirsiniz.

Tavsiye

Paket dosyalarını değiştirmenize olanak tanıyan paket görünümüne yeni bir sekme açmak için, çalışma alanında paket klasörüne gidin ve paket adının sağındaki Düzenleyicide aç'a tıklayın.

Kaynak kod dosyaları ekleme

Çalışma alanı kullanıcı arabirimindeki bir pakete yeni not defterleri veya başka dosyalar eklemek için paket klasörüne gidin ve ardından:

• Sağ üstteki Oluştur'a tıklayın ve paketinize eklemek için aşağıdaki dosya türlerinden birini seçin: Not Defteri, Dosya, Sorgu, Pano.
• Alternatif olarak, Paylaş'ın sol kısmındaki kebap öğesine tıklayın ve dosyayı içeri aktarın.

Uyarı

Dosyanın paket dağıtımının bir parçası olması için, paket klasörünüze bir dosya ekledikten sonra dosyayı paket yapılandırmasına databricks.yml eklemeniz veya bu dosyayı içeren bir iş veya işlem hattı tanım dosyası oluşturmanız gerekir. Bkz. Pakete var olan bir kaynağı ekleme.

Kaynak tanımı oluşturma

Paketler, dağıtıma dahil edilmesi gereken işler ve işlem hatları gibi kaynakların tanımlarını içerir. Paket dağıtıldığında, pakette tanımlanan kaynaklar çalışma alanında oluşturulur (veya zaten dağıtılmışsa güncelleştirilir). Bu tanımlar YAML veya Python'da belirtilir ve bu yapılandırmaları doğrudan kullanıcı arabiriminde oluşturabilir ve düzenleyebilirsiniz.

1. Yeni bir kaynak tanımlamak istediğiniz çalışma alanında paket klasörüne gidin.

   Tavsiye

   Eğer daha önce çalışma alanında düzenleyicide paketi açtıysanız, alan olarak görünür. Boşluklara bakınız.

2. Paket adının sağındaki Düzenleyicide aç'a tıklayarak paket düzenleyicisi görünümüne gidin.

3. Dağıtımlar paneline geçmek için paketin dağıtım simgesine tıklayın.

   

4. Kaynakları paketle bölümünde Ekle'ye tıklayın ve oluşturulacak kaynak tanımını seçin.

Yeni iş tanımı

bir işi tanımlayan bir paket yapılandırma dosyası oluşturmak için:

1. Dağıtımlar panelinin Kaynakları paketle bölümünde Ekle'ye ve ardından Yeni iş tanımı'na tıklayın.

   

2. İş tanımı oluştur iletişim kutusunun İş adı alanına iş için bir ad yazın. Oluştur'utıklayın.

3. YaML'yi oluşturulan iş tanımı dosyasına ekleyin. Aşağıdaki örnek YAML, not defteri çalıştıran bir işi tanımlar:

   resources:
     jobs:
       run_notebook:
         name: run-notebook
         queue:
           enabled: true
         tasks:
           - task_key: my-notebook-task
             notebook_task:
               notebook_path: ../helloworld.ipynb
   

YAML'de iş tanımlama hakkında ayrıntılı bilgi için bkz. iş. Desteklenen diğer iş görev türleri için YAML söz dizimi için bkz. Bildirim temelli Otomasyon Paketlerinde işlere görev ekleme.

Yeni işlem hattı tanımı

Uyarı

Çalışma alanınızda Lakeflow Pipelines Düzenleyicisi'ni etkinleştirdiyseniz bkz. Yeni ETL işlem hattı.

Paketinize işlem hattı tanımı eklemek için:

1. Dağıtımlar panelinin Kaynakları paketle bölümünde Ekle'ye ve ardından Yeni işlem hattı tanımı'na tıklayın.

2. Mevcut pakete işlem hattı ekle iletişim kutusunun İşlem hattı adı alanına işlem hattı için bir ad yazın.

3. Ekle ve dağıt'a tıklayın.

Not defteri çalıştıran test_pipeline adlı bir pipelineni için, bir dosyada test_pipeline.pipeline.yml aşağıdaki YAML oluşturulur:

resources:
  pipelines:
    test_pipeline:
      name: test_pipeline
      libraries:
        - notebook:
            path: ../test_pipeline.ipynb
      serverless: true
      catalog: main
      target: test_pipeline_${bundle.environment}

Mevcut bir not defterini çalıştırmak için yapılandırmayı değiştirebilirsiniz. YAML'de işlem hattı tanımlama hakkında ayrıntılı bilgi için bkz. işlem hattı.

Yeni ETL işlem hattı

Yeni bir ETL işlem hattı tanımı eklemek için:

1. Dağıtımlar panelinin Kaynakları paketle bölümünde Ekle'ye ve ardından Yeni ETL işlem hattı'na tıklayın.

2. Mevcut pakete işlem hattı ekle iletişim kutusunun Ad alanına işlem hattı için bir ad yazın. Ad çalışma alanı içinde benzersiz olmalıdır.

3. Kişisel şema kullan alanında Geliştirme senaryoları için Evet ve üretim senaryoları için Hayır'ı seçin.

4. İşlem hattı için bir Varsayılan katalog ve Varsayılan şema seçin.

5. İşlem hattı kaynak kodu için bir dil seçin.

6. Ekle ve dağıt'a tıklayın.

   

7. Geliştirme ortamına dağıtma onay iletişim kutusundaki ayrıntıları gözden geçirin ve Dağıt'a tıklayın.

Örnek keşif ve dönüştürme tablolarıyla bir ETL işlem hattı oluşturulur.

adlı bir işlem hattı rad_pipeline için dosyada rad_pipeline.pipeline.yml aşağıdaki YAML oluşturulur. Bu işlem hattı sunucusuz işlemde çalışacak şekilde yapılandırılmıştır. Boru hattı yapılandırma başvurusu için bkz. pipeline.

resources:
  pipelines:
    rad_pipeline:
      name: rad_pipeline
      libraries:
        - glob:
            include: transformations/**
      serverless: true
      catalog: main
      schema: ${workspace.current_user.short_name}
      root_path: .

Yeni pano tanımı

Panoyu tanımlayan bir paket yapılandırma dosyası oluşturmak için:

1. Dağıtımlar panelinin Kaynakları paketle bölümünde Ekle'ye ve ardından Yeni pano tanımı'na tıklayın.

2. Panoyu var olan pakete ekle iletişim kutusunun Pano adı alanına pano için bir ad yazın.

3. Pano için bir Depo seçin. Ekle ve dağıt'a tıklayın.

Pakette yeni bir boş pano ve bir yapılandırma *.dashboard.yml dosyası oluşturulur. Gösterge paneli, yapılandırma dosyasında belirtilen depoda saklanır.

Panolar hakkında ayrıntılı bilgi için bkz. Panolar. Pano yapılandırması için YAML söz dizimi için bkz. pano.

Pakete var olan bir kaynağı ekleme

Çalışma alanı kullanıcı arabirimini kullanarak veya paketinize kaynak yapılandırması ekleyerek mevcut kaynakları paketinize ekleyebilirsiniz.

Paket çalışma alanının kullanıcı arayüzünü kullanın

Mevcut bir işi, işlem hattını veya panoyu bir pakete eklemek için:

1. Kaynak eklemek istediğiniz çalışma alanında paket klasörüne gidin.

   Tavsiye

   Eğer daha önce çalışma alanında düzenleyicide paketi açtıysanız, alan olarak görünür. Boşluklara bakınız.

2. Paket adının sağındaki Düzenleyicide aç'a tıklayarak paket düzenleyicisi görünümüne gidin.

3. Dağıtımlar paneline geçmek için paketin dağıtım simgesine tıklayın.

4. Kaynakları paketle bölümünde Ekle'ye tıklayın, ardından Var olan işi ekle, Var olanişlem hattını ekle veya Var olan panoyu ekle'ye tıklayın.

   

5. Var olan ... ekle iletişim kutusunda, açılan listeden var olan kaynağı seçin.

6. Mevcut bir kaynağı bir pakete eklediğinizde Databricks, bu kaynak için paket yapılandırma dosyasında bir tanım oluşturur. Pakette bu tanımı değiştirebildiğiniz için pakette tanımlanan kaynak, bunu oluşturmak için kullanılan kaynaktan farklı olabilir.

   Paket kaynak yapılandırması güncelleştirmelerinin nasıl işleneceğini belirlemek için bir seçenek belirleyin:

   • Üretim dağıtımlarında güncelleştirme: Mevcut kaynak paketteki kaynağa bağlanır ve paketteki kaynakta yaptığınız tüm değişiklikler, hedefe dağıttığınızda prod var olan kaynağa uygulanır.
   • Geliştirme dağıtımlarında güncelleştirme: Mevcut kaynak paketteki kaynağa bağlanır ve paketteki kaynakta yaptığınız tüm değişiklikler, hedefe dağıttığınızda dev var olan kaynağa uygulanır.
   • (Gelişmiş) Güncellemeyin: Mevcut kaynak kümeyle bağlı değil. Paketteki kaynakta yapılan değişiklikler mevcut kaynağa hiçbir zaman uygulanmaz. Bunun yerine bir kopya oluşturulur. Paket kaynaklarını ilgili çalışma alanı kaynaklarına bağlama hakkında daha fazla bilgi için bkz. databricks bundle deployment bind.

7. Var olan kaynağı pakete eklemek için Ekle ... öğesine tıklayın.

Paket yapılandırmasını ekleyin

Paket dağıtımınıza dahil etmek için paket yapılandırması tanımlanarak paketinize mevcut bir kaynak da eklenebilir. Aşağıdaki örnek, mevcut bir işlem hattını bir pakete ekler.

Paylaşılan çalışma alanınızda not defterini çalıştıran taxifilter adlı taxifilter.ipynb bir işlem hattınız olduğunu varsayarsak:

1. Azure Databricks çalışma alanınızın kenar çubuğunda İşler ve İşlem Hatları'na tıklayın.

2. İsteğe bağlı olarak İşlem Hatları ve Bana ait filtrelerini seçin.

3. Mevcut taxifilter işlem hattını seçin.

4. İşlem hattı sayfasında Geliştirme dağıtım modu düğmesinin sol tarafındaki kebap öğesine tıklayın. Ardından Ayarları görüntüle YAML'ye tıklayın.

5. İşlem hattının paket yapılandırmasını kopyalamak için kopyala simgesine tıklayın.

6. Çalışma Alanı'nda paketinize gidin.

7. Dağıtımlar paneline geçmek için paketin dağıtım simgesine tıklayın.

8. Kaynakları paketle bölümünde Ekle'ye ve ardından Yeni işlem hattı tanımı'na tıklayın.

   Uyarı

   Bunun yerine Yeni ETL işlem hattı menü öğesini görüyorsanız Lakeflow Pipelines Düzenleyicisi'ni etkinleştirmiş olursunuz. Pakete ETL işlem hattı eklemek için bkz. Kaynak denetimli işlem hattı oluşturma.

9. Var olan pakete taxifilter iletişim kutusunun işlem hattı adı alanına yazın. Oluştur'utıklayın.

10. Mevcut işlem hattının yapılandırmasını dosyaya yapıştırın. Bu örnek işlem hattı, taxifilter not defterini çalıştırmak için tanımlanmıştır.

    resources:
      pipelines:
        taxifilter:
          name: taxifilter
          catalog: main
          libraries:
            - notebook:
                path: /Workspace/Shared/taxifilter.ipynb
          target: taxifilter_${bundle.environment}
    

Artık paketi dağıtabilir ve ardından işlem hattı kaynağını kullanıcı arabirimi aracılığıyla çalıştırabilirsiniz.

Paket kaynaklarını düzenleme

Important

Bu özellik Beta sürümündedir.

Paketinizin parçası olan işi ve işlem hatlarını doğrudan çalışma alanı kullanıcı arabiriminde düzenleyebilirsiniz. Değişiklikler, paketteki kaynaklar için yapılandırma YAML'sine otomatik olarak uygulanır.

Paketteki bir işi veya işlem hattını düzenlemek için:

1. Paket düzenleyicisinin Dağıtımlar bölmesinde, İşi veya işlem hattını açmak için Paket kaynakları'ndaki işe veya işlem hattına tıklayın.
2. İş veya işlem hattında not defteri görevi ekleme veya işlem hattı şemasını değiştirme gibi değişiklikler yapın.
3. İş veya işlem hattındaki düzenlemelerin paket yapılandırmasına uygulandığını onaylayan bir çalışma alanı bildirimi görüntülenir. Paket düzenleyicisinde yapılandırma değişikliklerini görüntülemek için bildirimdeki YAML dosya bağlantısına tıklayabilirsiniz.
4. Yapılandırma değişikliklerinin dağıtıma uygulanması için paketi dağıtın.

Uyarı

Kaynakları düzenleme her zaman üretim modunda devre dışı bırakılır.

Sınırlamalar

Aşağıdaki sınırlamalar çalışma alanında kaynakları düzenlemek için geçerlidir:

• Değeri paket değişkeninden veya değiştirmeden gelen bir alanı düzenlediğinizde, değişiklik yalnızca bu alanı güncelleştirir. Değişkenin tanımını güncelleştirmez, bu nedenle aynı değişkene başvuran diğer alanlar etkilenmez.
• İş izinlerine yönelik güncelleştirmeler henüz desteklenmiyor.
• İşlem hattı veya pano zamanlanması, kaynağı bir zamanlamaya göre başlatan bir iş oluşturur, ancak iş ve ilişkili işlem hattı veya pano bağlı değildir ve zamanlamalar işlem hatları veya panolar kullanıcı arabiriminde gösterilmez. Zamanlamayı değiştirmek için oluşturulmuş işteki tetikleyiciyi düzenleyin.