Aracılığıyla paylaş


Mevcut kaynakları bir pakete geçirme

Paketinizi oluştururken, zaten var olan ve uzak çalışma alanında tamamen yapılandırılmış Databricks kaynaklarını dahil etmek isteyebilirsiniz. Databricks CLI bundle generate komutunu kullanarak mevcut uygulamalar, panolar, işler ve işlem hatları için paketinizdeki yapılandırmayı hızla otomatik olarak oluşturabilirsiniz. Bkz. databricks bundle generate. Paket kaynak yapılandırma dosyalarını kopyalayıp el ile yapıştırabileceğiniz yapılandırma, databricks kullanıcı arabiriminde işler ve işlem hatları gibi bazı kaynaklar için kullanılabilir.

Paketinizdeki bir kaynak için yapılandırma oluşturduktan ve paketi dağıttıktan sonra, komutunu kullanarak bundle deployment bind paketinizdeki bir kaynağı çalışma alanında karşılık gelen kaynağa bağlayın. Bkz. databricks paket dağıtım bağlaması.

Bu sayfa, paket kaynak yapılandırmasını oluşturmak veya almak için Databricks CLI veya kullanıcı arabirimini kullanan basit örnekler sağlar.

Paketlerdeki kaynak tanımları hakkında ayrıntılı bilgi için bkz. Databricks Varlık Paketleri kaynakları.

Databricks CLI kullanarak mevcut bir iş veya işlem hattı yapılandırması oluşturma

Mevcut bir iş veya işlem hattı için program aracılığıyla paket yapılandırması oluşturmak için:

  1. Kullanıcı arabirimindeki işin veya işlem hattının İş ayrıntıları veya İşlem hattı ayrıntıları yan panelinden mevcut işin veya işlem hattının kimliğini alın. Alternatif olarak Databricks CLI databricks jobs list veya databricks pipelines list-pipelines komutunu kullanın.

  2. bundle generate job Databricks CLI komutunu çalıştırın veya bundle generate pipelineiş ya da işlem hattı kimliğini ayarlayın:

    databricks bundle generate job --existing-job-id 6565621249
    
    databricks bundle generate pipeline --existing-pipeline-id 6565621249
    

    Bu komut, kaynağın paketinin resources klasöründe bir yapılandırma dosyası oluşturur ve başvurulan yapıtları src klasörüne indirir.

Ayrıca mevcut bir pano için de yapılandırma oluşturabilirsiniz. Bkz. databricks paketi pano oluşturma.

Kullanıcı arabirimini kullanarak mevcut iş tanımını alma

Azure Databricks çalışma alanı kullanıcı arabiriminden mevcut iş tanımının YAML gösterimini almak için:

  1. Azure Databricks çalışma alanınızın kenar çubuğunda İşler ve İşlem Hatları'na tıklayın.

  2. İsteğe bağlı olarak İşler ve Bana ait filtrelerini seçin.

  3. İşinizin Ad bağlantısına tıklayın.

  4. Şimdi çalıştır düğmesinin yanında kebap ve ardından YAML olarak düzenle'ye tıklayın.

  5. YAML dosyasını kopyalayıp paketinizin databricks.yml dosyasına ekleyin veya paket projenizin resources dizininde işiniz için bir yapılandırma dosyası oluşturun ve bu dosyaya paketinizdeki databricks.yml dosyasından referans verin. Kaynaklara bakın.

  6. Mevcut işte başvuruda bulunan Python dosyalarını ve not defterlerini indirip paketin proje kaynağına ekleyin. Tipik olarak, paket yapıtları bir paketin src dizininde bulunur.

    Tavsiye

    Azure Databricks çalışma alanındaki mevcut bir not defterini .ipynb biçimine aktarmak için Azure Databricks not defteri kullanıcı arabiriminden Dosya > Dışa Aktar > IPython Not Defteri'ni tıklayabilirsiniz.

    Not defterlerinizi, Python dosyalarınızı ve diğer yapıtlarınızı pakete ekledikten sonra, iş tanımınızdaki bu dosyalara yapılan başvuruları yerel konumlarıyla değiştirin. Örneğin, paketinizin klasöründe bir hello_job.job.yml yapılandırma dosyanız resources varsa ve paketinizin klasörüne hello.ipynb adlı src bir not defteri indirdiyseniz, dosyanın içeriği hello_job.job.yml aşağıdaki gibi olur:

    resources:
      jobs:
        hello_job:
          name: hello_job
          tasks:
            - task_key: hello_task
              notebook_task:
                notebook_path: ../src/hello.ipynb
    

İşleri kullanıcı arabiriminde kod olarak görüntüleme hakkında daha fazla bilgi için bkz. İşleri kod olarak görüntüleme.

Kullanıcı arabirimini kullanarak mevcut işlem hattı tanımını alma

Azure Databricks çalışma alanı kullanıcı arabiriminden mevcut işlem hattı tanımının YAML gösterimini almak için:

  1. Azure Databricks çalışma alanınızın kenar çubuğunda İşler ve İşlem Hatları'na tıklayın.

  2. İsteğe bağlı olarak İşlem Hatları filtresini seçin.

  3. İşlem hattınızın adına tıklayın.

  4. Geliştirme düğmesinin yanındaki Kebap menü simgesine tıklayın ve ardından Ayarları görüntüle YAML'ye tıklayın.

  5. İşlem hattı ayarları YAML iletişim kutusundaki işlem hattı tanımının YAML'sini kopyalama simgesine tıklayarak yerel panonuza kopyalayın.

  6. Paketinizdeki databricks.yml dosyasına kopyaladığınız YAML'yi ekleyin veya paket projenizin resources klasöründe işlem hattınız için bir yapılandırma dosyası oluşturun ve databricks.yml dosyanızdan bu dosyayı referans alın. Kaynaklara bakın.

  7. Paketin proje kaynağına başvuruda bulunan Python dosyalarını ve not defterlerini indirin ve ekleyin. Tipik olarak, paket yapıtları bir paketin src dizininde bulunur.

    Tavsiye

    Azure Databricks çalışma alanındaki mevcut bir not defterini .ipynb biçimine aktarmak için Azure Databricks not defteri kullanıcı arabiriminden Dosya > Dışa Aktar > IPython Not Defteri'ni tıklayabilirsiniz.

    Not defterlerinizi, Python dosyalarınızı ve diğer yapıtlarınızı pakete ekledikten sonra işlem hattı tanımınızın bunlara düzgün başvurduğunu doğrulayın. Örneğin, paketin dizinindeki hello.ipynb adlı src/ bir not defteri için:

    resources:
      pipelines:
        hello_pipeline:
          name: hello_pipeline
          libraries:
            - notebook:
                path: ../src/hello.ipynb
    

Bir kaynağı uzak karşılık gelenine bağlama

Genellikle paketinize bir kaynak ekledikten sonra, paketinizdeki kaynağın ve çalışma alanında var olan kaynağın eşitlenmiş durumda olduğundan emin olmak istersiniz. bundle deployment bind komutu, bunları bağlamanıza olanak tanır. Bir kaynağı bağlarsanız, çalışma alanında bağlı Azure Databricks kaynağı sonraki bundle deploypakette tanımlanan yapılandırmaya göre güncelleştirilir.

bundle deployment bind ve kaynak desteği hakkında daha fazla bilgi ve ayrıntılar için bkz. databricks paket dağıtımı bağlama talimatları.

Aşağıdaki komut, kaynağı hello_job çalışma alanında uzak karşılığına bağlar. Paketteki iş yapılandırması güncelleştirmelerinin, paket bir sonraki dağıtıldığında ilgili uzak işe uygulanması gerektiğinden emin olmak için bir onay ister.

databricks bundle deployment bind hello_job 6565621249

Bir paket kaynağı ile çalışma alanında karşılık gelen kaynağı arasındaki bağlantıyı kaldırmak için kullanın bundle deployment unbind. Bkz. databricks paket dağıtımının bağlaması kaldırıldı.

databricks bundle deployment unbind hello_job

İki çalışma alanında bulunan bir kaynağı geçirme

Bazı kurulumlarda, aynı kaynak birden fazla çalışma alanında bulunabilir. Örneğin, aynı iş bir geliştirme ve üretim çalışma alanında olabilir. Mevcut iş pakete eklenirse ve paket bu çalışma alanlarından birine dağıtılırsa, yinelenen işler oluşturulur. Bunu önlemek için ve databricks bundle generate öğesini birlikte kullanındatabricks bundle deployment bind:

  1. paketinizde databricks.ymlgeliştirme ve üretim hedeflerini tanımlayın.

  2. Geliştirme hedefindeki kaynak (bu örnekte bir iş) için paket yapılandırması oluşturun:

    databricks bundle generate job --existing-job-id <dev_job_id> –-target dev
    
  3. Üretim ortamındaki kaynağın yapılandırması büyük olasılıkla geliştirmedeki kaynağın yapılandırmasından farklı olacaktır, dolayısıyla kaynak için yapılandırma oluşturduğunuza göre, paketteki kaynağın üretime özgü ayarlarını (üretim hedefinde) tanımlayın.

    targets:
      dev:
        default: true
        #...
      prod:
        #...
        resources:
          jobs:
            my_job:
              # Job prod settings
    
  4. Paketteki kaynağı geliştirme ve üretim hedeflerindeki mevcut işe bağlayın:

    databricks bundle deployment bind my_job <dev_job_id> --target dev
    
    databricks bundle deployment bind my_job <prod_job_id> --target prod
    

Paket artık iki ortam için dağıtılabilir:

databricks bundle deploy --target dev
databricks bundle deploy --target prod