Aracılığıyla paylaş

Sunucusuz Delta Live Tables işlem hattı yapılandırma

  • Makale

Bu makalede sunucusuz Delta Live Tables işlem hatları için yapılandırmalar açıklanmaktadır.

Databricks sunucusuz kullanarak yeni işlem hatları geliştirmenizi önerir. Bazı iş yükleri için klasik işlem yapılandırması veya eski Hive meta veri deposuyla çalışma gerekebilir. Bkz . Delta Live Tables işlem hattı için işlem yapılandırma ve Eski Hive meta veri deposuyla Delta Live Tables işlem hatlarını kullanma.

Not

  • Sunucusuz işlem hatları her zaman Unity Kataloğu'nu kullanır. Delta Live Tablolar için Unity Kataloğu Genel Önizleme aşamasındadır ve bazı sınırlamaları vardır. Bkz . Delta Live Tables işlem hatlarınızla Unity Kataloğu'nu kullanma.

  • Sunucusuz işlem hattı için JSON yapılandırmasındaki bir clusters nesneye işlem ayarlarını el ile ekleyemezsiniz. Bunu yapmaya çalışmak bir hatayla sonuçlanır.

  • Sunucusuz DLT işlem hatları için uygunluk ve etkinleştirme hakkında bilgi için bkz . Sunucusuz işlemleri etkinleştirme.

  • Sunucusuz DLT işlem hatlarınızla Azure Özel Bağlantı bir bağlantı kullanmanız gerekiyorsa Databricks temsilcinize başvurun.

Gereksinimler

  • Sunucusuz işlem hatlarını kullanmak için çalışma alanınızda Unity Kataloğu etkinleştirilmiş olmalıdır.

  • Çalışma alanınız sunucusuz etkinleştirilmiş bir bölgede olmalıdır.

Önemli

Sunucusuz işlem hatlarını yapılandırmak için küme oluşturma izni gerekli değildir. Varsayılan olarak, tüm çalışma alanı kullanıcıları sunucusuz işlem hatlarını kullanabilir.

Azure Databricks tüm altyapıyı yönettiği için sunucusuz işlem hatları çoğu yapılandırma seçeneğini kaldırır. Sunucusuz işlem hattı yapılandırmak için aşağıdakileri yapın:

  1. Kenar çubuğunda Delta Live Tables'a tıklayın.
  2. İşlem Hattı Oluştur'a tıklayın.
  3. Benzersiz bir İşlem Hattı adı sağlayın.
  4. Sunucusuz'un yanındaki kutuyu işaretleyin.
  5. Dosya Seçici Simgesi Not defterlerini ve çalışma alanı dosyalarını Kaynak kodu olarak yapılandırmak için dosya seçiciyi kullanın.
    • En az bir kaynak kodu varlığı eklemeniz gerekir.
    • Ek kaynak kodu varlıkları eklemek için Kaynak kodu ekle düğmesini kullanın.
  6. Verileri yayımlamak için bir Katalog seçin.
  7. Katalogda bir Şema seçin. İşlem hattında tanımlanan tüm akış tabloları ve gerçekleştirilmiş görünümler bu şemada oluşturulur.
  8. Oluştur’a tıklayın.

Bu önerilen yapılandırmalar, Tetiklenen modda ve Geçerli kanalda çalışacak şekilde yapılandırılmış yeni bir işlem hattı oluşturur. Bu yapılandırma, geliştirme ve test dahil olmak üzere birçok kullanım örneği için önerilir ve bir zamanlamaya göre çalışması gereken üretim iş yükleri için uygundur. İşlem hatlarını zamanlama hakkında ayrıntılı bilgi için bkz . İşler için Delta Live Tables işlem hattı görevi.

Unity Kataloğu ile yapılandırılmış mevcut işlem hatlarını sunucusuz kullanacak şekilde de dönüştürebilirsiniz. Bkz. Sunucusuz kullanmak için var olan bir işlem hattını dönüştürme.

Yapılandırmayla ilgili dikkat edilmesi gereken diğer noktalar

Sunucusuz işlem hatları için aşağıdaki yapılandırma seçenekleri de kullanılabilir:

  • Üretimde işlem hatlarını çalıştırırken Sürekli işlem hattı modunu kullanmayı seçebilirsiniz. Bkz . Tetiklenen ve sürekli işlem hattı modu.
  • Başarı veya hata koşullarına göre e-posta güncelleştirmeleri için Bildirimler ekleyin. Bkz. İşlem hattı olayları için e-posta bildirimleri ekleme.
  • İşlem hattı için anahtar-değer çiftlerini ayarlamak için Yapılandırma alanını kullanın. Bu yapılandırmalar iki amaca hizmet eder:
  • İşlem hattınızı bekleyen Delta Live Tables çalışma zamanı değişikliklerine ve deneme yeni özelliklerine karşı test etmek için Önizleme kanalını kullanın.

Bütçe ilkesi

Önemli

Bu özellik Genel Önizlemededir.

Bütçe ilkeleri, kuruluşunuzun ayrıntılı faturalama ilişkilendirmesi için sunucusuz kullanıma özel etiketler uygulamasına olanak sağlar. Sunucusuz onay kutusunu seçtikten sonra, işlem hattına uygulamak istediğiniz ilkeyi seçebileceğiniz Bütçe ilkesi ayarı görüntülenir. Etiketler bütçe ilkesinden devralınır ve yalnızca çalışma alanı yöneticileri tarafından düzenlenebilir.

Not

Size bir bütçe ilkesi atandıktan sonra, mevcut işlem hatlarınız ilkenizle otomatik olarak etiketlenmez. İlke eklemek istiyorsanız mevcut işlem hatlarını el ile güncelleştirmeniz gerekir.

Bütçe ilkeleri hakkında daha fazla bilgi için bkz . Bütçe ilkeleriyle sunucusuz kullanım özniteliği.

Sunucusuz işlem hattı özellikleri

Sunucusuz işlem hatları yapılandırmayı basitleştirmenin yanı sıra aşağıdaki özelliklere sahiptir:

  • Gerçekleştirilmiş görünümler için artımlı yenileme: Gerçekleştirilmiş görünümlere yönelik güncelleştirmeler mümkün olduğunda artımlı olarak yenilenir. Artımlı yenileme, tam yeniden derlemeyle aynı sonuçlara sahiptir. Sonuçlar artımlı olarak hesaplanamazsa güncelleştirme tam yenileme kullanır. Gerçekleştirilmiş görünümler için bkz. Artımlı yenileme.
  • Akış kanalı oluşturma: Veri alımı gibi akış verisi iş yüklerinde kullanımı, aktarım hızını ve gecikme süresini geliştirmek için mikrobatlar işlem hattı oluşturulur. Başka bir deyişle, standart Spark Yapılandırılmış Akışı gibi mikrobatları sıralı olarak çalıştırmak yerine sunucusuz DLT işlem hatları mikrobatları eşzamanlı olarak çalıştırarak işlem kaynağı kullanımını geliştirir. Stream pipelining sunucusuz DLT işlem hatlarında varsayılan olarak etkindir.
  • Dikey otomatik ölçeklendirme: Sunucusuz DLT işlem hatları, Bellek yetersiz hataları nedeniyle Delta Live Tables işlem hattınızı çalıştırabilen en uygun maliyetli örnek türlerini otomatik olarak ayırarak Databricks tarafından sağlanan yatay otomatik ölçeklendirmeyi artırır. Bkz. Dikey otomatik ölçeklendirme nedir?

Dikey otomatik ölçeklendirme nedir?

Sunucusuz DLT işlem hatları dikey ölçeklendirme, delta Live Tables işlem hattı güncelleştirmelerinizi yetersiz bellek hataları nedeniyle başarısız olmadan çalıştırmak için en uygun maliyetli kullanılabilir örnek türlerini otomatik olarak ayırır. Dikey otomatik ölçeklendirme, işlem hattı güncelleştirmesini çalıştırmak için daha büyük örnek türleri gerektiğinde ölçeği büyütür ve ayrıca güncelleştirmenin daha küçük örnek türleriyle çalışabileceğini belirlediğinde ölçeği küçültür. Dikey otomatik ölçeklendirme, sürücü düğümlerinin, çalışan düğümlerinin veya hem sürücü hem de çalışan düğümlerinin ölçeğinin büyütülmesi veya küçültülmesi gerektiğini belirler.

Dikey otomatik ölçeklendirme, Databricks SQL gerçekleştirilmiş görünümleri ve akış tabloları tarafından kullanılan işlem hatları da dahil olmak üzere tüm sunucusuz DLT işlem hatları için kullanılır.

Dikey otomatik ölçeklendirme, yetersiz bellek hataları nedeniyle başarısız olan işlem hattı güncelleştirmelerini algılayarak çalışır. Dikey otomatik ölçeklendirme, bu hatalar algılandığında başarısız güncelleştirmeden toplanan yetersiz bellek verilerine göre daha büyük örnek türleri ayırır. Üretim modunda, yeni işlem kaynaklarını kullanan yeni bir güncelleştirme otomatik olarak başlatılır. Geliştirme modunda, yeni bir güncelleştirmeyi el ile başlattığınızda yeni işlem kaynakları kullanılır.

Dikey otomatik ölçeklendirme, ayrılan örneklerin belleğinin sürekli olarak az kullanıldığını algılarsa, sonraki işlem hattı güncelleştirmesinde kullanılacak örnek türlerinin ölçeğini azaltacaktır.

Var olan bir işlem hattını sunucusuz kullanacak şekilde dönüştürme

Unity Kataloğu ile yapılandırılmış mevcut işlem hatlarını sunucusuz işlem hatlarına dönüştürebilirsiniz. Aşağıdaki adımları tamamlayın:

  1. Kenar çubuğunda Delta Live Tables'a tıklayın.
  2. Listede istenen işlem hattının adına tıklayın.
  3. Ayarlar'a tıklayın.
  4. Sunucusuz'un yanındaki kutuyu işaretleyin.
  5. Kaydet ve başlat'a tıklayın.

Önemli

Sunucusuz özelliğini etkinleştirdiğinizde, işlem hattı için yapılandırdığınız tüm işlem ayarları kaldırılır. İşlem hattını sunucusuz olmayan güncelleştirmelere geri değiştirirseniz, istenen işlem ayarlarını işlem hattı yapılandırmasına yeniden yapılandırmanız gerekir.

Sunucusuz işlem hattının DBU kullanımını nasıl bulabilirim?

Azure Databricks sistem tablolarının bir parçası olan faturalanabilir kullanım tablosunu sorgulayarak sunucusuz DLT işlem hatlarının DBU kullanımını bulabilirsiniz. Bkz. Sunucusuz DLT işlem hattının DBU tüketimi nedir?