İş akışları için sunucusuz işlemle Lakeflow İşlerinizi çalıştırma

İş akışları için sunucusuz işlem, altyapıyı yapılandırmadan ve dağıtmadan işinizi çalıştırmanıza olanak tanır. Sunucusuz işlem ile veri işleme ve analiz işlem hatlarınızı uygulamaya odaklanırsınız ve Azure Databricks iş yükleriniz için işlem iyileştirme ve ölçeklendirme dahil olmak üzere işlem kaynaklarını verimli bir şekilde yönetirsiniz. otomatik ölçeklendirme ve Foton , işinizi çalıştıran işlem kaynakları için otomatik olarak etkinleştirilir.

İş akışları için sunucusuz işlem, iş yüklerinizin belirli işleme gereksinimlerine göre en iyi performansı sağlamak için örnek türleri, bellek ve işleme altyapıları gibi altyapıyı otomatik olarak ve sürekli olarak iyileştirir.

Databricks, geliştirmeleri ve platform yükseltmelerini desteklemek için Databricks Runtime sürümünü otomatik olarak yükseltirken işlerinizin kararlılığını da sağlar. İş akışları için sunucusuz işlem tarafından kullanılan geçerli Databricks Runtime sürümünü görmek için Sunucusuz işlem sürüm notlarına bakın.

Küme oluşturma izni gerekli olmadığından, tüm çalışma alanı kullanıcıları iş akışlarını çalıştırmak için sunucusuz işlem kullanabilir.

Bu sayfada, sunucusuz işlem kullanan işler oluşturmak ve çalıştırmak için Lakeflow İşleri kullanıcı arabiriminin kullanılması açıklanmaktadır. Ayrıca İşler API'si, Bildirim temelli Otomasyon Paketleri ve Python için Databricks SDK'sı ile sunucusuz işlem kullanan işleri oluşturmayı ve çalıştırmayı otomatikleştirebilirsiniz.

• Sunucusuz işlem gücü kullanan işler oluşturmak ve çalıştırmak için İşler API'sini kullanma hakkında bilgi edinmek için REST API başvurusunda İşler'e bakın.
• Bildirim temelli Otomasyon Paketlerini kullanarak sunucusuz işlem kullanan işler oluşturma ve çalıştırma hakkında bilgi edinmek için bkz. Bildirim temelli Otomasyon Paketleri ile iş geliştirme.
• Python için Databricks SDK'sını kullanarak sunucusuz hesaplama kullanan işler oluşturma ve çalıştırma hakkında bilgi edinmek için Databricks SDK for Python başlığına bakınız.

Gereksinimler

• Azure Databricks çalışma alanınızda Unity Kataloğu etkinleştirilmiş olmalıdır.
• İş akışları için sunucusuz işlem standart erişim modukullandığından, iş yüklerinizin bu erişim modunu desteklemesi gerekir.

• Databricks çalışma alanınız sunucusuz işlem için desteklenen bir bölgede olmalıdır.

Sunucusuz işlem kullanarak iş oluşturma

Not

İş akışları için sunucusuz işlem, iş yüklerinizi çalıştırmak için yeterli kaynağın sağlanmasını sağladığından, büyük miktarda bellek gerektiren veya çok sayıda görev içeren bir işi çalıştırırken başlangıç sürelerinin artmasıyla karşılaşabilirsiniz.

Sunucusuz işlem not defteri, Python betik, dbt, Python tekerleği ve JAR görev türleriyle desteklenir. Varsayılan olarak, bir iş oluşturduğunuzda ve bu desteklenen görev türlerinden birini eklediğinizde işlem türü olarak sunucusuz işlem seçilir.

Önemli

JAR görevleri için sunucusuz işlem kullanımı Genel Önizleme aşamasındadır.

Databricks, tüm iş görevleri için sunucusuz işlem kullanılmasını önerir. Bir işteki görevler için farklı işlem türleri de belirtebilirsiniz. Bu, iş akışları için sunucusuz işlem tarafından bir görev türü desteklenmiyorsa gerekli olabilir.

İşlerinizin giden ağ bağlantılarını yönetmek için bkz. Sunucusuz çıkış denetimi nedir?

Var olan bir işi sunucusuz işlem kullanacak şekilde yapılandırma

mevcut bir işi, işi düzenlerken desteklenen görev türleri için sunucusuz işlem kullanacak şekilde değiştirebilirsiniz. Sunucusuz işlem moduna geçmek için:

• İş ayrıntıları yan bölmesinde, İşlem altında Değiştir'e tıklayın, Yeni'ye tıklayın, herhangi bir ayarı girin veya güncelleştirin ve Güncelleştir'e tıklayın.
• Aşağı Açılır Oku'na tıklayın ve İşlem açılan menüsünde Sunucusuz'u seçin.

Sunucusuz işlem kullanarak not defteri zamanlama

Sunucusuz işlem kullanarak iş oluşturmak ve zamanlamak için İşler kullanıcı arabirimini kullanmanın yanı sıra, doğrudan databricks not defterinden sunucusuz işlem kullanan bir iş oluşturabilir ve çalıştırabilirsiniz. Bkz. Zamanlanmış not defteri işlerini oluşturma ve yönetme.

Sunucusuz kullanım ilkesi seçme

Önemli

Bu özellik Genel Önizlemededir.

Sunucusuz kullanım ilkeleri, kuruluşunuzun ayrıntılı faturalama atfı için sunucusuz kullanıma özel etiketler uygulamasına olanak sağlar.

Çalışma alanınız sunucusuz kullanımı ilişkilendirmek için sunucusuz kullanım ilkeleri kullanıyorsa, iş ayrıntıları kullanıcı arabirimindeki Kullanım ilkesi ayarını kullanarak işinizin sunucusuz kullanım ilkesini seçebilirsiniz. Yalnızca bir sunucusuz kullanım ilkesine atandıysanız, ilke yeni işleriniz için otomatik olarak seçilir.

Not

Size sunucusuz kullanım ilkesi atandıktan sonra, mevcut işleriniz ilkenizle otomatik olarak etiketlenmez. Bir politikayı eklemek istiyorsanız, mevcut işleri el ile güncellemeniz gerekir.

Sunucusuz kullanım ilkeleri hakkında daha fazla bilgi için bkz . Sunucusuz kullanım ilkeleriyle öznitelik kullanımı.

Performans modu seçme

İş ayrıntıları sayfasındaki Performans için iyileştirilmiş ayarını kullanarak işinizin sunucusuz görevlerinin ne kadar hızlı çalışabileceğini seçebilirsiniz.

• Performans için iyileştirilmiş devre dışı bırakıldığında, iş standart performans modunu kullanır. Bu mod maliyetleri azaltmak için daha az işlem kullanır ve işlem kullanılabilirliğine ve iyileştirilmiş zamanlamaya bağlı olarak 4 ile 6 dakika arasında biraz daha yüksek başlatma gecikme süresini tolere eden iş yükleri için uygun hale getirir.

• Performans optimize edildiğinde, iş daha hızlı başlar ve çalışır. Bu mod zamana duyarlı iş yükleri için tasarlanmıştır.

Her iki mod da aynı SKU'yu kullanır, ancak standart performans modu daha az DSU kullanır ve bu da daha düşük işlem kullanımını yansıtır.

Kullanıcı arabiriminde Performansa göre optimize edilmiş ayarı yapılandırmak için bir görevin en az bir sunucusuz görevi olmalıdır. Bu ayar yalnızca iş içindeki sunucusuz görevleri etkiler.

Not

Standart performans modu, uç nokta kullanılarak oluşturulan tek seferlik çalıştırmalar runs/submit için desteklenmez.

Spark yapılandırma parametrelerini ayarlama

Sunucusuz işlemde Spark yapılandırmasını otomatikleştirmek için Databricks yalnızca belirli Spark yapılandırma parametrelerinin ayarlanmasına izin verir. İzin verilebilen parametrelerin listesi için bkz. desteklenen Spark yapılandırma parametreleri.

Spark yapılandırma parametrelerini yalnızca oturum düzeyinde ayarlayabilirsiniz. Bunu yapmak için, bunları bir not defterine kaydedin ve defteri, parametreleri kullanan aynı proje ile bağlantılı göreve ekleyin. Bkz. Spark yapılandırma özelliklerini Azure Databricks üzerinde ayarlama.

Ortamları ve bağımlılıkları yapılandırma

Sunucusuz işlem kullanarak kitaplıkları ve bağımlılıkları yüklemeyi öğrenmek için bkz. Sunucusuz ortamı yapılandırma.

Not defteri görevleri için yüksek bellek yapılandırma

Önemli

Bu özellik Genel Önizlemededir.

Not defteri görevlerini daha yüksek bir bellek boyutu kullanacak şekilde yapılandırabilirsiniz. Bunu yapmak için not defterinin Ortam yan bölmesindeki Bellek ayarını yapılandırın. Bkz . Yüksek bellekli sunucusuz işlem kullanma.

Yüksek bellek yalnızca not defteri görev türlerinde kullanılabilir.

Sunucusuz işlem otomatik iyileştirmesini yeniden denemeleri yasaklayacak şekilde yapılandırma

İş akışları için sunucusuz işlem, işleri çalıştırmak ve başarısız görevleri yeniden denemek için kullanılan hesabı otomatik olarak optimize eder. Otomatik iyileştirme varsayılan olarak etkindir ve Databricks kritik iş yüklerinin en az bir kez başarıyla çalıştığından emin olmak için bu özelliğin etkin kalmasını önerir. Ancak, en fazla bir kez yürütülmesi gereken iş yükleriniz varsa (örneğin, idempotent olmayan işler), görev eklerken veya düzenlerken otomatik optimize etmeyi kapatabilirsiniz.

1. Yeniden Denemeler'in yanındaki Ekle'ye tıklayın (veya yeniden deneme ilkesi zaten varsa).
2. Yeniden Dene İlke iletişim kutusunda, Sunucusuz otomatik iyileştirmeyi etkinleştir (ek yeniden denemeler içerebilir) seçeneğinin işaretini kaldırın.
3. Onayla'yı tıklatın.
4. Görevi kaydet seçeneğine tıklayın.

İş akışları için sunucusuz işlem kullanan işlerin maliyetini izleme

faturalanabilir kullanım sistemi tablosunu sorgulayarak iş akışları için sunucusuz işlem kullanan işlerin maliyetini izleyebilirsiniz. Bu tablo, sunucusuz maliyetlerle ilgili kullanıcı ve iş yükü özniteliklerini içerecek şekilde güncelleştirilir. Bkz. Faturalanabilir kullanım sistemi tablo referansı.

Geçerli fiyatlandırma ve promosyonlar hakkında bilgi için İş akışları fiyatlandırma sayfasına bakın.

İş çalıştırma işlemleri için sorgu ayrıntılarını görüntüleme

Spark deyimleriniz için ölçümler ve sorgu planları gibi ayrıntılı çalışma zamanı bilgilerini görüntüleyebilirsiniz.

İş kullanıcı arabiriminden sorgu ayrıntılarına erişmek için aşağıdaki adımları kullanın:

1. Azure Databricks çalışma alanınızın kenar çubuğunda İşler ve İşlem Hatları öğesine tıklayın.

2. İsteğe bağlı olarak İşler filtresini seçin.

3. Görüntülemek istediğiniz işin Adına tıklayın.

4. Görüntülemek istediğiniz belirli işlemi seçin.

5. Çalıştırmayı tek tek görevlere bölünmüş bir zaman çizelgesi olarak görüntülemek için Zaman Çizelgesi'ne tıklayın.

6. Sorgu deyimlerini ve çalışma zamanlarını göstermek için görev adının yanındaki oka tıklayın.

   

7. Sorgunun yürütme ayrıntılarını ve ölçümlerini gösteren sorgu profiline gitmek için bir deyimi tıklatın.

Görevin sorgu geçmişini görüntülemek için:

1. Görev çalıştırması yan bölmesinin İşlem bölümünde Sorgu geçmişi'ne tıklayın.
2. Sorgu Geçmişi'ne yönlendirilirsiniz ve içinde olduğunuz görevin görev çalıştırma kimliğine göre önceden filtrelenirsiniz.

Sorgu geçmişini kullanma hakkında bilgi için bkz. İşlem hatları için sorgu geçmişine ve Sorgu geçmişine erişme.

Sınırlamalar

Sunucusuz işlem ile iş akışlarının sınırlamaları listesi için, sunucusuz işlem sürüm notlarındaki Sunucusuz işlem sınırlamaları kısmına bakın.