Lakeflow İşlerini yapılandırma ve düzenleme

İşler kullanıcı arabirimini veya Databricks CLI veya REST API gibi geliştirici araçlarını kullanarak iş oluşturabilir ve çalıştırabilirsiniz. Kullanıcı arabirimini veya API'yi kullanarak, başarısız veya iptal edilmiş bir işi onarabilir ve yeniden çalıştırabilirsiniz. Bu makalede İşler ve İşlem Hatları çalışma alanı kullanıcı arabirimini kullanarak işleri oluşturma, yapılandırma ve düzenleme işlemleri gösterilmektedir. Diğer araçlar hakkında bilgi için aşağıdakilere bakın:

• Databricks CLI kullanarak iş oluşturma ve çalıştırma hakkında bilgi edinmek için bkz. Databricks CLI.
• İşleri oluşturmak ve çalıştırmak için İşler API'sini kullanımına dair bilgi edinmek için REST API başvurusundaki İşler'e bakın.
• İşleri yapılandırmak için kod olarak altyapı (IaC) yaklaşımını tercih ediyorsanız Bildirim temelli Otomasyon Paketleri'ni kullanabilirsiniz. İşlerinizi yapılandırmak ve yönetmek için paketleri kullanma hakkında bilgi edinmek için bkz . Bildirim temelli Otomasyon Paketleri.
• İşleri doğrudan Databricks not defterinde çalıştırmayı ve zamanlamayı öğrenmek için bkz . Zamanlanmış not defteri işlerini oluşturma ve yönetme.

İpucu

Bir işi YAML olarak görüntülemek için, iş için Şimdi çalıştır'ın sol kısmındaki kebap menüsüne tıklayın ve ardından Kod sürümüne (YAML) geçiş yap'a tıklayın.

bir iş için gereken en düşük yapılandırma nedir?

Azure Databricks üzerindeki tüm işler aşağıdakileri gerektirir:

• Databricks not defteri gibi çalıştırılacak mantığı içeren bir görev. Bkz. Lakeflow İşlerinde görevleri yapılandırma ve düzenleme
• Mantığı çalıştırmak için bir işlem kaynağı. İşlem kaynağı sunucusuz işlem, klasik işler işlem veya çok amaçlı işlem olabilir. Bkz İşler için hesaplama yapılandırmasını ayarlayın.
• İşin çalıştırılma zamanını belirten bir zamanlama. İsteğe bağlı olarak, zamanlama ayarlamayı atlayabilir ve işi el ile tetikleyebilirsiniz.
• Benzersiz bir ad.

Yeni bir iş oluşturma

Bu bölümde, not defteri göreviyle yeni bir iş oluşturma ve çalışma alanı kullanıcı arabirimiyle zamanlama adımları açıklanmaktadır.

İşler bir veya daha fazla görev içerir. Bu iş için ilk görevi yapılandırarak yeni bir iş oluşturursunuz.

Not

Her görev türünün çalışma alanı kullanıcı arabiriminde dinamik yapılandırma seçenekleri vardır. Bkz. Lakeflow İşlerinde görevleri yapılandırma ve düzenleme.

1. Çalışma alanınızda Kenar çubuğundaki İşler ve İşlem Hatları.
2. Oluştur'a ve ardından İş'e tıklayın.
3. İlk görevi yapılandırmak için Not Defteri kutucuğuna tıklayın. Not Defteri kutucuğu kullanılamıyorsa, Başka bir görev türü ekle'ye tıklayın ve Not Defteri'ni arayın.
4. Bir Görev adı girin.
5. Yol alanı için bir not defteri seçin.
6. Görev oluştur'a tıklayın.

Çalışma alanınız işler için sunucusuz işlem için etkinleştirilmemişse bir İşlem seçeneği belirlemeniz gerekir. Databricks, görevleri yapılandırırken her zaman iş yükü hesaplamasının kullanılmasını önerir.

Çalışma alanı işleri listesinde varsayılan adıyla New Job <date> <time>yeni bir iş görünür.

İş akışınız için gerekirse aynı işe daha fazla görev eklemeye devam edebilirsiniz. 100'den fazla görevi olan işlerin özel gereksinimleri olabilir. Daha fazla bilgi için bkz . Çok sayıda görevi olan işler.

İşi planlama

İşinizin ne zaman çalıştırılacağını siz belirleyebilirsiniz. Varsayılan olarak, yalnızca el ile başlattığınızda çalışır, ancak otomatik olarak çalışacak şekilde de yapılandırabilirsiniz. bir işi zamanlamaya göre veya bir olaya göre çalıştırmak için tetikleyici oluşturabilirsiniz.

İş içindeki görevlerin akışını denetleme

İşlerde birden çok görevi yapılandırırken, görevlerin nasıl çalıştığını denetlemek için özel görevleri kullanabilirsiniz. Bkz. Lakeflow İşleri içindeki görevlerin akışını denetleme.

Çalışma alanında düzenlemek üzere bir iş seçin

Var olan bir işi çalışma alanı kullanıcı arabirimiyle düzenlemek için aşağıdakileri yapın:

1. Azure Databricks çalışma alanınızın kenar çubuğunda İşler ve İşlem Hatları öğesine tıklayın.
2. İsteğe bağlı olarak İşler ve Bana ait filtrelerini seçin.
3. İşinizin Ad bağlantısına tıklayın.

Aşağıdakileri yapmak için görevler kullanıcı arayüzünü kullanın:

• İş ayarlarını düzenleme
• İşi yeniden adlandırma, kopyalama veya silme
• Var olan bir işe yeni görevler ekleme
• Görev ayarlarını düzenleme

Not

Ayrıca REST API alma, oluşturma ve sıfırlama uç noktalarıyla kullanılmak üzere JSON tanımlarını görüntüleyebilirsiniz.

İş ayarlarını düzenleme

Yan panelde İş ayrıntıları yer alır. İş zamanlamasını veya tetikleyicisini, iş parametrelerini, işlem yapılandırmasını, etiketleri, bildirimleri, eşzamanlı çalıştırma sayısı üst sınırını, süre eşiklerini ve Git ayarlarını değiştirebilirsiniz. İş erişim denetimi etkinse iş izinlerini de düzenleyebilirsiniz.

Tüm iş görevleri için parametre ekleme

İş düzeyinde yapılandırılan parametreler, anahtar-değer parametrelerini kabul eden ve anahtar kelime argümanlarını kabul edecek şekilde yapılandırılmış Python wheel paketleri de dahil olmak üzere işin görevlerine geçirilir. Bkz. İşleri parametreleştirme.

İşe etiket ekleme

İşinize etiketler veya anahtar-değer öznitelikleri eklemek için, işi düzenlerken etiketler ekleyebilirsiniz. İşler listesindeki işleri filtrelemek için etiketleri kullanabilirsiniz. Örneğin, belirli bir department departmana ait olan tüm işleri filtrelemek için bir etiket kullanabilirsiniz.

Not

İş etiketleri, kişisel bilgiler veya parolalar gibi hassas bilgileri depolamak için tasarlanmadığından Databricks, yalnızca hassas olmayan değerler için etiketlerin kullanılmasını önerir.

Etiketler, bir iş çalıştırıldığında oluşturulan iş kümelerine de yayılır ve etiketleri mevcut küme izlemenizle kullanmanıza olanak sağlar.

Etiket eklemek veya düzenlemek için İş ayrıntıları yan panelinde + Etiket'e tıklayın. Etiketi etiket veya anahtar-değer çifti olarak ekleyebilirsiniz. Etiket eklemek için, etiketi Anahtar alanına girin ve Değer alanını boş bırakın.

Git'i işlerle kullanma

Kaynak kodu doğrudan uzak git deposundan kullanıma almak için iş görevlerini yapılandırabilirsiniz. Büyük depolar için seyrek checkout işlemi de dahil olmak üzere yönergeler ve en iyi uygulamalar hakkında bilgi için Git'i Lakeflow İşleri ile kullanma konusuna bakın.

bir işe sunucusuz kullanım ilkesi ekleme

Önemli

Bu özellik Genel Önizlemesürümündedir.

Çalışma alanınız sunucusuz kullanımı ilişkilendirmek için sunucusuz kullanım ilkeleri kullanıyorsa, İş ayrıntıları yan panelindeki Kullanım ilkesi ayarını kullanarak işlerinizin sunucusuz kullanım ilkesini seçebilirsiniz. Bkz . Sunucusuz kullanım ilkeleriyle öznitelik kullanımı.

İşi yeniden adlandırma, kopyalama veya silme

Bir işi yeniden adlandırmak için işler kullanıcı arabirimine gidin ve iş adına tıklayın.

Mevcut bir işi kopyalayarak hızla yeni bir iş oluşturabilirsiniz. Bir işin kopyalanması, iş kimliği dışında işin özdeş bir kopyasını oluşturur. Bir işi kopyalamak için aşağıdakileri yapın:

1. Sol kenar çubuğunda İşler ve İşlem Hatları.
2. İşler kullanıcı arabirimini açmak için kopyalamak istediğiniz işin adına tıklayın.
3. Şimdi çalıştır düğmesinin yanındaki.
4. Açılır menüden İşi kopyala'yı seçin.
5. Kopyalanan iş için bir ad girin.
6. Clone'a tıklayın.

İşi silme

Bir işi silmek için iş sayfasına gidin, İş adının yanındaki açılan menüden İşi sil'i seçin.

İş çalıştırma süresi veya akış birikimi ölçümleri için eşikleri yapılandırma

Önemli

Lakeflow İşleri için akış gözlemlenebilirliği Genel Önizleme aşamasındadır.

İş çalıştırma süresi veya akış birikim ölçümleri için isteğe bağlı eşikleri yapılandırabilirsiniz. Süre veya akış ölçümü eşiklerini yapılandırmak için, İş ayrıntıları panelinde Süre ve akış birikimi eşikleri tıklayın.

Beklenen ve en fazla tamamlanma süreleri dahil olmak üzere işin süre eşiklerini yapılandırmak için Ölçüm açılır menüsünde Çalıştırma süresi seçeneğini seçin. İşin beklenen tamamlanma süresini yapılandırmak için Uyarı alanına bir süre girin. İş bu eşiği aşarsa bir olay tetiklenir. Bir işin yavaş çalıştığını bildirmek için bu olayı kullanabilirsiniz. Bkz. Yavaş işler için bildirimleri yapılandırma. Bir işin tamamlanma süresi üst sınırını yapılandırmak için, Zaman Aşımı alanına maksimum süreyi girin. İş bu süre içinde tamamlanmazsa, Azure Databricks durumunu "Zaman Aşımına Uğradı" olarak ayarlar.

Akış birikimi ölçütü için bir eşik yapılandırmak üzere, Ölçüt açılır menüsünde ölçütü seçin ve eşik değeri girin. Bir akış kaynağının desteklediği belirli ölçümler hakkında bilgi edinmek için bkz. akış görevleri için ölçümleri görüntüle.

Eşik aşıldığı için bir olay tetikleniyorsa, bildirim göndermek için olayı kullanabilirsiniz. Bkz. Yavaş işler için bildirimleri yapılandırma.

İsteğe bağlı olarak görevler için süre eşiklerini belirtebilirsiniz. Bkz. Görev çalıştırma süresi veya akış birikim ölçümleri için eşikleri yapılandırma.

İş yürütmelerinin kuyruğa alınmasını etkinleştir

Not

Kuyruğa alma, 15 Nisan 2024'te kullanıcı arabirimi aracılığıyla oluşturulan işler için varsayılan olarak etkindir.

Eşzamanlılık sınırları nedeniyle bir işin işletimlerinin atlanmasını önlemek için, iş için kuyruklamayı etkinleştirebilirsiniz. Kuyruğa alma etkinleştirildiğinde, bir iş çalıştırması için kaynaklar uygun değilse çalıştırma en fazla 48 saat boyunca kuyruğa alınır. Kapasite kullanılabilir olduğunda, iş çalıştırması sıralanır ve çalıştırılır. Kuyruğa alınan işlemler, iş için işlem listesinde ve son iş listesindegörüntülenir.

Bir çalıştırma, aşağıdaki sınırlardan birine ulaşıldığında kuyruğa alınır.

• Çalışma alanında olabilecek en fazla eşzamanlı etkin çalıştırma sayısı.
• Çalışma alanında en fazla eşzamanlı Run Job görev çalıştırılabilir.
• İşin en fazla eş zamanlı çalışma sayısı.

Kuyruğa alma, yalnızca belirli bir iş için çalıştırmaları sıraya koyan iş düzeyinde bir özelliktir.

Kuyruğa alma özelliğini etkinleştirmek veya devre dışı bırakmak için Gelişmiş ayarlar'a tıklayın ve İş ayrıntıları yan panelindeki Kuyruk iki durumlu düğmesine tıklayın.

En fazla eşzamanlı çalıştırmayı yapılandırma

Varsayılan olarak, tüm yeni işler için en fazla eş zamanlı çalıştırma sayısı 1'dir.

Bu işin en fazla paralel çalıştırma sayısını ayarlamak için Gelişmiş ayarlar'ın altında Eş zamanlı çalıştırmaları düzenle'ye tıklayın.

Azure Databricks, iş yeni bir çalıştırma başlatmaya çalışırken etkin çalıştırma sayısı üst sınırına ulaşmışsa çalıştırmayı atlar.

Birden fazla aynı işin eşzamanlı olarak çalıştırılmasına izin vermek için değeri 1'den yüksek ayarlayın. Bu, örneğin işinizi sık sık tetikliyorsanız ve ardışık çalıştırmaların çakışmasına veya giriş parametrelerine göre farklılık gösteren birden çok çalıştırmayı tetiklemesine izin vermek istiyorsanız kullanışlıdır.