Bildirim temelli Otomasyon Paketleri Geliştirme

Bu makalede Bildirim temelli Otomasyon Paketlerinin geliştirilmesi ve yaşam döngüsü açıklanmaktadır. Paketler hakkında genel bilgi için bkz. Bildirim temelli Otomasyon Paketleri nedir?.

Bir paketin yaşam döngüsü

Paketleri etkili bir şekilde kullanmayı anlamak için bir paketin temel yaşam döngüsünü anlamanız gerekir:

  1. Paket iskeleti bir projeye göre oluşturulur .
  2. Paket projesi yerel olarak geliştirilmiştir. Paket, dağıtım hedefleri gibi altyapı ve çalışma alanı ayarlarını, işler ve işlem hatları gibi Databricks kaynaklarının ayarlarını ve kaynak dosyaları ve diğer yapıtları tanımlayan yapılandırma dosyalarını içerir.
  3. Paket projesi doğrulandı. Doğrulama, paketin Databricks'e dağıtılabilir olduğundan emin olmak için paket yapılandırmasındaki ayarları ve kaynak tanımlarını ilgili nesne şemalarına göre doğrular.
  4. Paket bir hedef çalışma alanına dağıtılır. En yaygın olarak bir paket, test için önce kullanıcının kişisel geliştirme çalışma alanına dağıtılır. Paketin testi tamamlandıktan sonra paket önce aşamaya, ardından da üretim ortamlarına dağıtılabilir.
  5. Dağıtılan pakette tanımlanan iş akışı kaynakları çalıştırılabilir. Örneğin, bir iş çalıştırabilirsiniz.
  6. Paket artık kullanılmıyorsa kalıcı olarak yok edilebilir.

Databricks CLI paket komutlarını, aşağıdaki bölümlerde açıklandığı gibi paketleri oluşturmak, doğrulamak, dağıtmak, çalıştırmak ve yok etmek için kullanırsınız.

1. Adım: Paket oluşturma

Paket oluşturmaya başlamanın üç yolu vardır:

  1. Varsayılan paket şablonunu kullanın.
  2. Özel paket şablonu kullanın.
  3. El ile paket oluşturun.

Varsayılan paket şablonunu kullanma

Azure Databricks varsayılan paket şablonunu kullanarak daha sonra özelleştirebileceğiniz bir başlangıç paketi oluşturmak için Databricks CLI sürüm 0.218.0 veya üzerini kullanarak komutu çalıştırın bundle init ve kullanılabilir şablonlar listesinden seçim yapabilirsiniz. Bkz. databricks bundle init.

databricks bundle init

Varsayılan paket şablonlarının kaynağını databricks/cli ve databricks/mlops-stacks GitHub genel depolarında görüntüleyebilirsiniz.

2. Adım: Paket yapılandırma dosyalarını doldurma bölümüne geçin.

Özel paket şablonu kullanma

Azure Databricks varsayılan paket şablonu dışında bir paket şablonu kullanmak için yerel yolu veya uzak paket şablonu konumunun URL'sini bilmeniz gerekir. Databricks CLI sürüm 0.218.0 veya üzerini kullanarak komutu aşağıdaki gibi çalıştırın:

databricks bundle init <project-template-local-path-or-url>

Bu komut hakkında daha fazla bilgi için bkz . Bildirim temelli Otomasyon Paketleri proje şablonları. Belirli bir paket şablonu hakkında bilgi için paket şablonu sağlayıcısının belgelerine bakın.

2. Adım: Paket yapılandırma dosyalarını doldurma bölümüne geçin.

El ile paket oluşturma

Paket şablonu kullanmak yerine el ile paket oluşturmak için yerel makinenizde bir proje dizini veya üçüncü taraf Git sağlayıcısına sahip boş bir depo oluşturun.

Dizininizde veya deponuzda giriş olarak bir veya daha fazla paket yapılandırma dosyası oluşturun. Bu dosyalar YAML biçiminde ifade edilir. adlı databricks.ymlen az bir (ve yalnızca bir) paket yapılandırma dosyası olmalıdır. Ek paket yapılandırma dosyalarına dosyanın eşlemesinde includedatabricks.yml başvurulmalıdır.

Paket yapılandırma söz dizimine uygun YAML dosyalarını daha kolay ve hızlı bir şekilde oluşturmak için Visual Studio Code, PyCharm Professional veya IntelliJ IDEA Ultimate gibi YAML dosyaları ve JSON şema dosyaları için destek sağlayan bir aracı aşağıdaki gibi kullanabilirsiniz:

Visual Studio Code

  1. Örneğin Visual Studio Code Market'ten YAML uzantısını yükleyerek Visual Studio Code'a YAML dil sunucusu desteği ekleyin.

  2. Paket yapılandırma JSON şema dosyasını oluşturmak için bundle schema sürüm 0.218.0 veya üzerini kullanarak komutunu çalıştırın ve çıkışı bir JSON dosyasına yeniden yönlendirin. Örneğin, aşağıdaki gibi geçerli dizinde adlı bundle_config_schema.json bir dosya oluşturun:

    databricks bundle schema > bundle_config_schema.json

  3. Geçerli dizinde bir paket yapılandırma dosyası oluşturmak veya açmak için Visual Studio Code'u kullanın. Bu dosya olarak adlandırılmalıdır databricks.yml.

  4. Paket yapılandırma dosyanızın başına aşağıdaki açıklamayı ekleyin:

    # yaml-language-server: $schema=bundle_config_schema.json

    Not

    Önceki yorumda, paket yapılandırma JSON şema dosyanız farklı bir yoldaysa, bundle_config_schema.json değerinin yerini şema dosyanızın tam yoluyla değiştirin.

  5. Daha önce eklediğiniz YAML dil sunucusu özelliklerini kullanın. Daha fazla bilgi için YAML dil sunucunuzun belgelerine bakın.

PyCharm Professional

  1. Databricks CLI'nin 0.218.0 veya üstü bir sürümünü kullanarak paket yapılandırması JSON şema dosyasını oluşturun ve `komutu` çalıştırarak çıkışı bir JSON dosyasına yönlendirin. Örneğin, aşağıdaki gibi geçerli dizinde adlı bundle_config_schema.json bir dosya oluşturun:

    databricks bundle schema > bundle_config_schema.json

  2. PyCharm'ı paket yapılandırması JSON şema dosyasını tanıyacak şekilde yapılandırın ve ardından Özel JSON şeması yapılandırma başlığındaki yönergeleri izleyerek JSON şema eşlemesini tamamlayın.

  3. Paket yapılandırma dosyası oluşturmak veya açmak için PyCharm kullanın. Bu dosya olarak adlandırılmalıdır databricks.yml. Siz yazarken, PyCharm JSON şeması söz dizim ve biçimlendirmesini denetler ve kod tamamlama ipuçları sağlar.

IntelliJ IDEA Ultimate

  1. Databricks CLI sürüm 0.218.0 veya üzerini kullanarak komutu çalıştırın ve çıkışı bir JSON dosyasına yönlendirerek paket yapılandırma JSON şema dosyasını oluşturun. Örneğin, aşağıdaki gibi geçerli dizinde adlı bundle_config_schema.json bir dosya oluşturun:

    databricks bundle schema > bundle_config_schema.json

  2. IntelliJ IDEA'yı paket yapılandırması JSON şema dosyasını tanıyacak şekilde yapılandırın ve ardından özel JSON şeması yapılandırmayönergeleri izleyerek JSON şema eşlemesini tamamlayın.

  3. Paket yapılandırma dosyası oluşturmak veya açmak için IntelliJ IDEA kullanın. Bu dosya olarak adlandırılmalıdır databricks.yml. Siz yazarken IntelliJ IDEA, JSON şeması söz dizim ve biçimlendirmesini denetler ve kod tamamlama ipuçları sağlar.

2. Adım: Paket yapılandırma dosyalarını doldurma

Paket yapılandırma dosyaları çalışma alanı ayrıntıları, yapıt adları, dosya konumları, iş ayrıntıları ve işlem hattı ayrıntıları gibi ayarları belirterek Azure Databricks iş akışlarınızı tanımlar. Paket yapılandırması genellikle geliştirme, hazırlama ve üretim dağıtım hedeflerini de içerir. Tam paket yapılandırma referansı için bkz: Yapılandırma referansı.

Komutunu kullanarak bundle generate çalışma alanında var olan bir kaynak için paket yapılandırmasını otomatik olarak oluşturabilir ve ardından bundle deployment bind paket yapılandırmasını çalışma alanında bulunan kaynağa bağlayarak bunları eşitlenmiş durumda tutabilirsiniz. Bkz. databricks bundle generate ve databricks bundle deployment bind.

3. Adım: Paket yapılandırma dosyalarını doğrulama

Yapıtları dağıtmadan veya bir iş veya işlem hattı çalıştırmadan önce, paket yapılandırma dosyalarınızdaki tanımların geçerli olduğunu doğrulamanız gerekir. Bunu yapmak için paket projesi kök dizininden komutunu çalıştırın bundle validate . Bkz. databricks paketi doğrulama.

databricks bundle validate

Doğrulama başarılı olursa paket kimliğinin özeti ve bir onay iletisi döndürülür. Şemanın çıktısını almak için komutunu kullanın databricks bundle schema . Bkz. databricks paket şeması.

4. Adım: Paketi dağıtma

Paketi dağıtmadan önce uzak çalışma alanında çalışma alanı dosyalarının etkinleştirildiğinden emin olun. Bkz. Çalışma alanı dosyaları nedir?.

Uzak bir çalışma alanına bir paketi dağıtmak için, paket kökünden bundle deploy komutunu databricks bundle deploy açıklandığı gibi çalıştırın. Databricks CLI, paket yapılandırma dosyaları içinde bildirilen hedef çalışma alanına dağıtılır. Hedefleri görün.

databricks bundle deploy

Bir paketin benzersiz kimliği adı, hedefi ve dağıtanın kimliğiyle tanımlanır. Bu öznitelikler farklı paketlerde aynıysa, bu paketlerin dağıtımı birbiriyle karışacaktır. Ek ayrıntılar için bkz. databricks paket dağıtımı .

İpucu

Ortam değişkenini ayarlayarak databricks bundle komutları paket kökü dışında çalıştırabilirsinizBUNDLE_ROOT. Bu ortam değişkeni ayarlanmadıysa, databricks bundle komutlar geçerli çalışma dizininde arama yaparak paket kökünü bulmaya çalışır.

5. Adım: Paketi çalıştırma

Belirli bir işi veya işlem hattını çalıştırmak için, bundle run komutunu paket kökünden çalıştırın. Bu sırada, paket yapılandırma dosyaları içinde belirtilen iş veya işlem hattı anahtarını belirtin. Daha fazla bilgi için databricks bundle run kısmında açıklandığı gibi davranın. Kaynak anahtarı, kaynağın YAML bloğunun en üst düzey öğesidir. bir iş veya işlem hattı anahtarı belirtmezseniz, kullanılabilir kaynaklar listesinden çalıştırılacak kaynağı seçmeniz istenir. -t Seçenek belirtilmezse, paket yapılandırma dosyalarında bildirilen varsayılan hedef kullanılır. Örneğin, varsayılan hedef bağlamında anahtarla hello_job bir iş çalıştırmak için:

databricks bundle run hello_job

Belirtilen hello_job adlı bir hedef bağlamında dev anahtarıyla bir iş çalıştırmak için:

databricks bundle run -t dev hello_job

6. Adım: Paketi yok etme

Uyarı

Bir paketi yok etmek, bir paketin daha önce dağıtılan işlerini, işlem hatlarını ve yapıtlarını kalıcı olarak siler. Bu eylem geri alınamaz.

Paketinizle işiniz bittiyse ve daha önce dağıtılan işleri, işlem hatlarını ve yapıtları silmek istiyorsanız, komutu paket kökünden çalıştırın bundle destroy . Bu komut, paket yapılandırma dosyalarında tanımlanan önceden dağıtılan tüm işleri, işlem hatlarını ve yapıtları siler. Bkz. databricks bundle destroy.

databricks bundle destroy

Varsayılan olarak, önceden dağıtılan işlerin, işlem hatlarının ve yapıtların kalıcı olarak silinmesini onaylamanız istenir. Bu istemleri atlamak ve otomatik kalıcı silme gerçekleştirmek için komutuna --auto-approve seçeneğini ekleyinbundle destroy.

  • Last updated on