Deklaratif Otomasyon Paketleri hakkında SSS

Bu makalede Bildirim temelli Otomasyon Paketleri (eski adı Databricks Varlık Paketleri) hakkında sık sorulan sorular listelenmiştir.

Databricks Varlık Paketleri neden Bildirim temelli Otomasyon Paketleri olarak yeniden adlandırıldı?

Bildirim temelli Otomasyon Paketleri adlı yeni ad, paketlerin kullanımını ve özelliklerini daha doğru bir şekilde yansıtır. Buna ek olarak, varlıklar terimi Databricks'te birden fazla anlamı olduğundan bazı karışıklıklara neden oldu. Bu ad değişikliği uyumsuzluk yaratmayan bir değişikliktir. bundle CLI komutunun ve mevcut yapılandırmanızın tümünün değiştirilmesi gerekmez.

Azure Databricks'te CI/CD işlem hattımın bir parçası olarak Bildirim temelli Otomasyon Paketlerini nasıl kullanabilirim?

Azure Databricks CI/CD uygulamanızdaki varlıkları tanımlamak ve program aracılığıyla yönetmek için Bildirim temelli Otomasyon Paketlerini kullanabilirsiniz. Bunlar genellikle şunları içerir:

• Not defterleri: Azure Databricks not defterleri genellikle veri mühendisliği ve veri bilimi iş akışlarının önemli bir parçasıdır. Not defterleri için sürüm denetimini kullanabilir ve bunları bir CI/CD işlem hattının parçası olarak doğrulayabilir ve test edebilirsiniz. Not defterlerinin beklendiği gibi çalışıp çalışmadığını denetlemek için otomatikleştirilmiş testler çalıştırabilirsiniz.
• Kitaplıklar: Dağıtılan kodunuzu çalıştırmak için gereken kitaplık bağımlılıklarını yönetin. Kitaplıklarda sürüm denetimini kullanın ve bunları otomatik test ve doğrulamaya ekleyin.
• İş Akışları: Lakeflow İşleri , not defterlerini veya Spark işlerini kullanarak otomatik görevleri zamanlamanıza ve çalıştırmanıza olanak sağlayan işlerden oluşur.
• Veri işlem hatları: Veri işlem hatlarını bildirmek için Databricks'teki çerçeve olan Lakeflow Spark Bildirimli İşlem Hatlarını kullanarak CI/CD otomasyonuna veri işlem hatlarını da ekleyebilirsiniz.
• Altyapı: Altyapı yapılandırması, hedef ortamlar için kümeler, çalışma alanları ve depolama için tanımları ve sağlama bilgilerini içerir. Altyapı değişiklikleri, tutarlı ve hatasız olduklarından emin olmak için CI/CD işlem hattının bir parçası olarak doğrulanabilir ve test edilebilir.

Neden ayrı geliştirme ve üretim hedef ortamlarına ihtiyacım var?

Ayrı geliştirme ve ürün ortamları şunları yapmanızı sağlar:

• Geliştirme değişikliklerini, üretimi yanlışlıkla etkilememesi için güvenli bir şekilde yalıtma.
• Belirli bir hedef çevresine uygulanacak kaynakları özelleştirerek kod yinelemesini önleyin.
• Veritabanı yolları, uyarı ve erişim denetimleri gibi ortama özgü yapılandırmayla CI/CD'yi kolaylaştırın ve basitleştirin.
• İş akışlarını ekipler ve ortamlar arasında yeniden kullanma.

Paket dağıtım ortamlarını tanımlamak için hedefleri kullanın. Hedefleri görün.

Paketlerimi kuruluşum genelinde nasıl tutarlı hale getiririm?

Tutarlı yapı için paket şablonlarını kullanarak kurulum hatalarını azaltın ve en iyi yöntemleri yükseltin. Varsayılan paket şablonlarını kullanabilir veya kendi özel paket şablonlarınızı oluşturabilirsiniz. Bkz . Bildirim temelli Otomasyon Paketleri proje şablonları.

Paketlerimde aynı küme tanımları gibi çok fazla yineleme var. Bunu halletmenin en iyi yolu nedir?

Özel değişkenler, bağlama özgü ayarların yanı sıra yinelemeleri işlemenin en iyi yoludur. Bkz. Özel değişkenler.

Dağıtım akışımda paket kullanırken en iyi yöntemler nelerdir?

Databricks size şu önerileri önerir:

• Git ile tümleşik iş akışlarını kullanarak el ile dağıtımlardan güvenilir otomasyona geçiş yapma.
• Dağıtım yapmadan önce CI/CD işlem hattınızda databricks bundle validate kullanarak bir paketi doğrulayın.
• Değişikliklerin değerlendirildiğinden ve amaçlı olduğundan emin olmak için dağıtım adımlarını ayrı tutun.
• Değişiklikleri yalıtmak için ortamları (geliştirme, hazırlama, üretim) geçersiz kılmalarla parametreleştirin.
• Sorunları erken yakalamak için dağıtım sonrası tümleştirme testlerini çalıştırın.
• İşleme veya çekme isteği birleştirme işlemlerinde dağıtımları tetikleme amacıyla GitHub Actions, Azure DevOps veya GitLab CI kullanın.
• Her dağıtımın bir işleme ve paket sürümüyle eşlendiği şekilde dağıtılanları, nerede ve ne zaman dağıtıldığını izleyin.

Mevcut işleri, işlem hatlarını, panoları ve diğer Databricks nesnelerini paketime taşıyabilir miyim?

Evet. databricks bundle generate Komutunu kullanarak yerel paketinizdeki mevcut bir iş, işlem hattı veya pano için bir yapılandırma dosyası oluşturun ve ardından paket kaynağını çalışma alanında ilgili kaynağa bağlamak için kullanındatabricks bundle deployment bind. Bu, var olan iş akışlarını yapılandırılmış, sürümlenmiş geliştirmeye ekleme için idealdir. Bağlama işlemi, göreli yolları mutlak çalışma alanı referanslarına dönüştürerek yol hatalarını önler.

Bkz . Mevcut kaynakları bir pakete geçirme.

Paketimi yinelemeli olarak nasıl test ederim?

Yinelemeli dağıtımlar ve çalıştırmalarla daha hızlı geliştirebilirsiniz:

• Dağıtmadan önce doğrulama
• Artımlı olarak dağıtın
• Yalnızca gerekenleri çalıştırma
• Düzenleme ve yineleme

Bu, test ve hata ayıklamayı hızlandırır, bağlam değiştirmeyi azaltır, tam yeniden dağıtımlar olmadan daha güvenli ve daha hızlı yineleme sağlar ve üretime doğru ilerledikçe disiplini zorlar.