Aracılığıyla paylaş

Sunucusuz işlem hattı yapılandırma

Bu makalede sunucusuz işlem hatları için yapılandırmalar açıklanmaktadır.

Databricks sunucusuz kullanarak yeni işlem hatları geliştirmenizi önerir. Bazı iş yükleri için klasik işlem yapılandırması veya eski Hive meta veri deposuyla çalışma gerekebilir. Ayrıntılı bilgi için İşlem hatları için klasik bilişim yapılandırmasını inceleyin ve Eski Hive Meta Veri Deposu ile Lakeflow Spark Bildirimli İşlem Hatlarını kullanın.

Uyarı

  • Sunucusuz Lakeflow Spark Bildirimli İşlem Hatları ile Azure Özel Bağlantı bağlantısı kullanmanız gerekiyorsa Databricks temsilcinize başvurun.

Gereksinimler

  • Sunucusuz işlem hatlarını kullanmak için çalışma alanınızda Unity Kataloğu etkinleştirilmiş olmalıdır.
  • Çalışma alanınız sunucusuz etkinleştirilmiş bir bölgede olmalıdır.

Önemli

Sunucusuz işlem hatlarını yapılandırmak için küme oluşturma izni gerekli değildir. Varsayılan olarak, tüm çalışma alanı kullanıcıları sunucusuz işlem hatlarını kullanabilir.

Azure Databricks tüm altyapıyı yönettiği için sunucusuz işlem hatları çoğu yapılandırma seçeneğini kaldırır. Yeni bir işlem hattı oluşturduğunuzda varsayılan değer sunucusuz kullanmaktır. Sunucusuz işlem hattını yapılandırmayı öğrenmek için bkz. İşlem Hatlarını Yapılandırma.

Unity Kataloğu ile yapılandırılmış mevcut işlem hatlarını sunucusuz kullanacak şekilde de dönüştürebilirsiniz. Bkz. Sunucusuz kullanmak için var olan bir işlem hattını dönüştürme.

Yapılandırmayla ilgili dikkat edilmesi gereken diğer noktalar

Sunucusuz işlem hatları için aşağıdaki yapılandırma seçenekleri de kullanılabilir:

Sunucusuz bütçe politikası

Önemli

Bu özellik Genel Önizleme aşamasındadır.

Sunucusuz bütçe ilkeleri, kuruluşunuzun ayrıntılı faturalama ilişkilendirmesi için sunucusuz kullanıma özel etiketler uygulamasına olanak sağlar. sunucusuz onay kutusunu seçtikten sonra, işlem hattına uygulamak istediğiniz ilkeyi seçebileceğiniz Bütçe ilkesi ayarı görüntülenir. Etiketler sunucusuz bütçe ilkesinden devralınır ve yalnızca çalışma alanı yöneticileri tarafından düzenlenebilir.

Uyarı

Sunucusuz bütçe ilkesi atandıktan sonra, mevcut işlem hatlarınız ilkenizle otomatik olarak etiketlenmez. Eğer onlara bir ilke bağlamak istiyorsanız, mevcut işlem hatlarını el ile güncelleştirmeniz gerekir.

Sunucusuz bütçe ilkeleri hakkında daha fazla bilgi için bkz. Sunucusuz bütçe ilkeleriyle öznitelik kullanımı.

Performans modu seçme

Tetiklenen işlem hatları için işlem hattı zamanlayıcısında Performans için iyileştirilmiş ayarını kullanarak sunucusuz işlem performansı modunu seçebilirsiniz. Bu ayar devre dışı bırakıldığında işlem hattı standart performans modunu kullanır. Standart performans modu, biraz daha yüksek başlatma gecikme süresinin kabul edilebilir olduğu iş yüklerinin maliyetlerini azaltmak üzere tasarlanmıştır. Standart performans modunu kullanan sunucusuz iş yükleri genellikle işlem kullanılabilirliğine ve iyileştirilmiş zamanlamaya bağlı olarak tetiklendikten sonra dört-altı dakika içinde başlar.

Performans için iyileştirilmiş etkinleştirildiğinde işlem hattınız performans için iyileştirildiğinden, zamana duyarlı iş yükleri için daha hızlı başlatma ve yürütme elde edilir.

Her iki mod da aynı SKU'yu kullanır, ancak standart performans modu daha az DSU kullanır ve bu da daha düşük işlem kullanımını yansıtır.

Uyarı

Sürekli işlem hatlarında standart performans modunu kullanmak için Databricks hesap ekibinize ulaşın.

Sunucusuz işlem hattı özellikleri

Sunucusuz işlem hatları yapılandırmayı basitleştirmenin yanı sıra aşağıdaki özelliklere sahiptir:

  • Gerçekleştirilmiş görünümler için artımlı yenileme: Gerçekleştirilmiş görünümler için güncelleştirmeler mümkün olduğunda artımlı olarak yenilenir. Artımlı yenileme, tam yeniden derleme ile aynı sonuçları verir. Sonuçlar artımlı olarak hesaplanamazsa güncelleştirme tam yenileme kullanır. Bkz. gerçekleştirilmiş görünümler için artımlı yenileme.
  • Akış kanalı oluşturma: Veri alımı gibi akış verisi iş yüklerinde kullanımı, aktarım hızını ve gecikme süresini geliştirmek için mikropaketler işleme konur. Başka bir deyişle, standart Spark Yapılandırılmış Akışı gibi mikrobatları sıralı olarak çalıştırmak yerine sunucusuz Lakeflow Spark Bildirimli İşlem Hatları mikrobatları eşzamanlı olarak çalıştırarak işlem kaynağı kullanımını geliştirir. Stream pipelining sunucusuz işlem hatlarında varsayılan olarak etkindir.
  • Dikey autoscaling: Sunucusuz Lakeflow Spark Deklaratif İşlem Hatları, Databricks tarafından sağlanan yatay autoscaling ile birlikte, yetersiz bellek hataları nedeniyle işlem hattınızın çalışmasını engellemeyecek şekilde en uygun maliyetli örnek türlerini otomatik olarak tahsis ederek ölçeklendirmeyi geliştirir. Bkz. Dikey otomatik ölçeklendirme nedir?

Var olan bir işlem hattını sunucusuz kullanacak şekilde dönüştürme

Unity Kataloğu ile yapılandırılmış mevcut işlem hatlarını sunucusuz işlem hatlarına dönüştürebilirsiniz. Aşağıdaki adımları tamamlayın:

  1. Azure Databricks çalışma alanınızın kenar çubuğunda İşler ve İşlem Hatları'na tıklayın.
  2. İşlem hattının Adına tıklayın.
  3. Ayarlar'a tıklayın.
  4. Sağ kenar çubuğundaki Hesaplama altında Kalem simgesi.
  5. Sunucusuz'un yanındaki kutuyu işaretleyin.
  6. Kaydet'e tıklayın.

Önemli

Sunucusuz özelliğini etkinleştirdiğinizde, işlem hattı için yapılandırdığınız tüm işlem ayarları kaldırılır. İşlem hattını sunucusuz olmayan güncelleştirmelere geri değiştirirseniz, istenen işlem ayarlarını işlem hattı yapılandırmasına yeniden yapılandırmanız gerekir.

Sunucusuz işlem hattının DBU kullanımını nasıl bulabilirim?

Azure Databricks sistem tablolarının bir parçası olan faturalanabilir kullanım tablosunu sorgulayarak sunucusuz Lakeflow Spark Bildirimli İşlem Hatlarının DBU kullanımını bulabilirsiniz. Bkz. Sunucusuz işlem hattının DBU tüketimi nedir?

  • Last updated on