İşlemi yönetme

Bu makalede, Azure Databricks işlemini görüntüleme, düzenleme, başlatma, sonlandırma, silme, erişimi denetleme ve performans ile günlükleri izleme gibi işlemlerin nasıl yönetileceğini açıklanmaktadır. İşlemleri program aracılığıyla yönetmek için Kümeler API'sini de kullanabilirsiniz.

İşlemi görüntüleme

İşleminizi görüntülemek için çalışma alanı kenar çubuğunda İşlem'e tıklayın.

Sol tarafta, işlem sabitlenip sabitlenmediğini ve işlem durumunu gösteren iki sütun bulunur. Daha fazla bilgi edinmek için durumun üzerine gelin.

İşlem yapılandırmasını JSON dosyası olarak görüntüleme

Bazen işlem yapılandırmanızı JSON olarak görüntülemek yararlı olabilir. Bu özellikle Kümeler API'sini kullanarak benzer bir işlem oluşturmak istediğinizde kullanışlıdır. Mevcut bir işlemi görüntülediğinizde Yapılandırma sekmesine gidin, sekmenin sağ üst kısmındaki JSON'a tıklayın, JSON'u kopyalayın ve API çağrınıza yapıştırın. JSON görünümü salt okunurdur.

İşlem sabitleme

İşlem sonlandırıldıktan 30 gün sonra kalıcı olarak silinir. Bir işlem 30 günden uzun süre sonlandırıldıktan sonra tüm amaçlı işlem yapılandırmasını korumak için, yönetici işlem sabitleyebilir. En fazla 100 işlem kaynağı sabitlenebilir.

Yönetici, sabitle simgesine tıklayarak işlem listesinden veya işlem ayrıntısı sayfasından bir işlem sabitleyebilir.

İşlem düzenleme

İşlem ayrıntılarının kullanıcı arabiriminden bir işlem yapılandırmasını düzenleyebilirsiniz.

Not

• İşlemle ilgili not defterleri ve işler, düzenlendikten sonra iliştirilmiş olarak kalır.
• İşlemde yüklü kitaplıklar düzenlemeden sonra yüklü kalır.
• Çalışan bir işlemin herhangi bir özniteliğini düzenlerseniz (işlem boyutu ve izinleri hariç), işlemi yeniden başlatmanız gerekir. Bu, şu anda işlem kullanan kullanıcıları kesintiye uğratabilir.
• Yalnızca çalışan veya sonlandırılan bir işlem düzenleyebilirsiniz. Ancak işlem ayrıntıları sayfasında bu durumlarda olmayan işlem izinlerini güncelleştirebilirsiniz.

İşlem kopyalama

Mevcut bir işlemi kopyalamak için, işlem kebap menüsünden Kopyala'yı seçin.

Kopyala'yı seçtikten sonra işlem oluşturma kullanıcı arabirimi, işlem yapılandırmasıyla önceden doldurulmuş olarak açılır. Aşağıdaki öznitelikler kopyaya dahil değildir:

• İşlem izinleri
• Ekli not defterleri

Önceden yüklenmiş kitaplıkları kopyalanan işlem içine dahil etmek istemiyorsanız, İşlem oluştur düğmesinin yanındaki açılan menüye tıklayın ve Kitaplıklar olmadan oluştur'u seçin.

İşlem izinleri

bir işlem için dört izin düzeyi vardır: İzİn YOK, EKLEYEBILIRSINIZ, YENIDEN BAŞLATILANA KADAR VE YÖNETİLEMİSİ. Tabloda her izin için yetenekler listelenir.

Önemli

CAN ATTACH TO izinleri olan kullanıcılar log4j dosyasında hizmet hesabı anahtarlarını görüntüleyebilir. Bu izin düzeyini verirken dikkatli olun.

Özellik	İzİn YOK	ÖĞESINE ILIŞTIRILEBILIR	YENIDEN BAŞLATıLABILIR	YÖNETİP YÖNETİLEMİ
İşlem için not defteri ekleme		x	x	x
Spark kullanıcı arabirimini görüntüle		x	x	x
İşlem ölçümlerini görüntüleme		x	x	x
Sürücü günlüklerini görüntüleme				x (nota bakın)
İşlemi sonlandırma			x	x
İşlemi başlatma ve yeniden başlatma			x	x
İşlemi düzenle				x
hesaplamaya kitaplık ekleme				x
İşlemi yeniden boyutlandırma				x
İzinleri değiştir				x

Çalışma alanı yöneticileri, çalışma alanlarındaki tüm işlemlerde CAN MANAGE iznine sahiptir. Kullanıcılar otomatik olarak oluşturdukları işlem üzerinde CAN MANAGE iznine sahiptir.

Not

Gizli diziler , kümenin Spark sürücü günlüğünden stdout ve stderr akışlarından yeniden işlenmez. Hassas verileri korumak için Spark sürücü günlükleri varsayılan olarak yalnızca iş, tek kullanıcı erişim modu ve paylaşılan erişim modu kümeleri üzerinde YÖNETİLEMİş iznine sahip kullanıcılar tarafından görüntülenebilir. CAN ATTACH TO veya CAN RESTART iznine sahip kullanıcıların bu kümelerdeki günlükleri görüntülemesine izin vermek için, küme yapılandırmasında aşağıdaki Spark yapılandırma özelliğini ayarlayın: spark.databricks.acl.needAdminPermissionToViewLogs false.

YalıtımSız Paylaşılan erişim modu kümelerinde Spark sürücü günlükleri, CAN ATTACH TO veya CAN MANAGE iznine sahip kullanıcılar tarafından görüntülenebilir. Günlükleri kimlerin okuyabileceğini yalnızca CAN MANAGE iznine sahip kullanıcılarla sınırlamak için trueolarak ayarlayınspark.databricks.acl.needAdminPermissionToViewLogs.

Küme yapılandırmasına Spark özellikleri eklemeyi öğrenmek için bkz. Spark yapılandırması.

İşlem izinlerini yapılandırma

Bu bölümde, çalışma alanı kullanıcı arabirimini kullanarak izinlerin nasıl yönetileceğini açıklanmaktadır. İzinler API'sini veya Databricks Terraform sağlayıcısını da kullanabilirsiniz.

İşlem izinlerini yapılandırmak için bir işlem üzerinde CAN MANAGE iznine sahip olmanız gerekir.

1. Kenar çubuğunda İşlem'e tıklayın.
2. İşlemin satırında, sağ taraftaki kebap menüsüne tıklayın ve İzinleri düzenle'yi seçin.
3. İzin Ayarlar Kullanıcı, grup veya hizmet sorumlusu seçin... açılan menüsüne tıklayın ve bir kullanıcı, grup veya hizmet sorumlusu seçin.
4. İzin açılan menüsünden bir izin seçin.
5. Ekle'ye ve Kaydet'e tıklayın.

İşlemi sonlandırma

İşlem kaynaklarını kaydetmek için bir işlem sonlandırabilirsiniz. Sonlandırılan işlem yapılandırması, daha sonra yeniden kullanılabilmesi (veya işler söz konusu olduğunda otomatik olarak başlatılabilmesi) için depolanır. Bir işlem el ile sonlandırılabilir veya işlem, belirtilen bir işlem yapılmadığında otomatik olarak sonlandırılır. Sonlandırılan işlem sayısı 150'yi aştığında en eski işlem silinir.

İşlem sabitlenmediği veya yeniden başlatılmadığı sürece, sonlandırmadan 30 gün sonra otomatik ve kalıcı olarak silinir.

Sonlandırılan işlem, işlem listesinde işlem adının solunda gri bir daireyle gösterilir.

Not

Yeni bir İş işlemi üzerinde bir iş çalıştırdığınızda (genellikle önerilir), işlem sonlandırılır ve iş tamamlandığında yeniden başlatılamaz. Öte yandan, sonlandırılan mevcut Bir Çok Amaçlı işlem üzerinde çalışacak bir iş zamanlarsanız, bu işlem otomatik olarak başlayacaktır.

Önemli

Deneme Premium çalışma alanı kullanıyorsanız, çalışan tüm işlem kaynakları sonlandırılır:

• Bir çalışma alanını tam Premium'a yükselttiğiniz zaman.
• Çalışma alanı yükseltilmediyse ve deneme süresinin dolması durumunda.

El ile sonlandırma

İşlem listesinden (işlem satırındaki kareye tıklayarak) veya işlem ayrıntı sayfasından (Sonlandır'a tıklayarak) bir işlem işlemini el ile sonlandırabilirsiniz.

Otomatik sonlandırma

İşlem için otomatik sonlandırma da ayarlayabilirsiniz. İşlem oluşturma sırasında, işlem işleminin sonlandırılmasını istediğiniz işlem dışı süreyi dakikalar içinde belirtebilirsiniz.

geçerli saat ile işlemdeki son komut çalıştırması arasındaki fark belirtilen etkinlik dışı süreden fazlaysa, Azure Databricks bu işlemi otomatik olarak sonlandırır.

Spark işleri, Yapılandırılmış Akış ve JDBC çağrıları dahil olmak üzere işlemdeki tüm komutlar yürütmeyi bitirdiğinde işlem etkin değil olarak kabul edilir.

Uyarı

• İşlem, D Akışlar kullanımından kaynaklanan etkinliği raporlamaz. Bu, otomatik sonlandırıcı bir işlem D Akışlar çalışırken sonlandırılabilir anlamına gelir. D Akışlar çalıştıran işlem için otomatik sonlandırmayı kapatın veya Yapılandırılmış Akış kullanmayı göz önünde bulundurun.
• Boşta işlem, sonlandırmadan önceki işlem yapılmadığı süre boyunca DBU ve bulut örneği ücretlerini biriktirmeye devam eder.

Otomatik sonlandırmayı yapılandırma

Yeni işlem kullanıcı arabiriminde otomatik sonlandırmayı yapılandırabilirsiniz. Kutunun işaretli olduğundan emin olun ve işlem yapılmadan geçen dakika ___'den sonra sonlandır ayarına dakika sayısını girin.

Otomatik Sonlandırma onay kutusunu temizleyerek veya etkinlik dışı bir süre 0belirterek otomatik sonlandırmayı geri çevirebilirsiniz.

Not

Otomatik sonlandırma en son Spark sürümlerinde en iyi şekilde desteklenir. Eski Spark sürümlerinin bilinen sınırlamaları vardır ve bu da işlem etkinliğinin yanlış raporlanmasıyla sonuçlanabilir. Örneğin, JDBC, R veya akış komutlarını çalıştıran işlem, erken işlem sonlandırmaya yol açan eski bir etkinlik süresi bildirebilir. Hata düzeltmeleri ve otomatik sonlandırma iyileştirmelerinden yararlanmak için lütfen en son Spark sürümüne yükseltin.

Beklenmeyen sonlandırma

Bazen bir işlem el ile sonlandırma veya yapılandırılmış otomatik sonlandırma nedeniyle değil beklenmedik bir şekilde sonlandırılır.

Sonlandırma nedenlerinin ve düzeltme adımlarının listesi için bkz . Bilgi Bankası.

İşlem silme

Bir işlem silindiğinde işlem sonlandırılarak yapılandırması kaldırılır. Bir işlemi silmek için işlem menüsünden Sil'i seçin.

Uyarı

Bu eylemi geri alamazsınız.

Sabitlenmiş bir işlemi silmek için önce bir yönetici tarafından kaldırılmalıdır.

Bir işlemi program aracılığıyla silmek için Kümeler API'sinin uç noktasını da çağırabilirsiniz.

İşlemi yeniden başlatma

İşlem listesinden, işlem ayrıntı sayfasından veya not defterinden daha önce sonlandırılan bir işlemi yeniden başlatabilirsiniz. Programlama yoluyla işlem başlatmak için Kümeler API'sinin uç noktasını da çağırabilirsiniz.

Azure Databricks, benzersiz küme kimliğini kullanarak bir işlem tanımlar. Sonlandırılan bir işlem başlattığınızda Databricks, aynı kimlikle işlem yeniden oluşturur, tüm kitaplıkları otomatik olarak yükler ve not defterlerini yeniden ekler.

Not

Deneme çalışma alanı kullanıyorsanız ve deneme süresinin dolması durumunda işlem başlatamazsınız.

En son görüntülerle güncelleştirmek için işlemi yeniden başlatın

Bir işlemi yeniden başlattığınızda işlem kaynağı kapsayıcıları ve VM konakları için en son görüntüleri alır. Akış verilerini işlemek için kullanılanlar gibi uzun süre çalışan işlemler için düzenli yeniden başlatmalar zamanlamak önemlidir.

Görüntüyü en son görüntü sürümüyle güncel tutmak için tüm işlem kaynaklarını düzenli olarak yeniden başlatmak sizin sorumluluğunuzdadır.

Önemli

Hesabınız veya çalışma alanınız için uyumluluk güvenlik profilini etkinleştirirseniz, uzun süre çalışan işlem zamanlanmış bir bakım penceresi sırasında gerektiğinde otomatik olarak yeniden başlatılır. Bu, otomatik yeniden başlatmanın zamanlanmış işi kesintiye uğratma riskini azaltır. Ayrıca bakım penceresi sırasında yeniden başlatmayı zorlayabilirsiniz. Bkz. Otomatik küme güncelleştirmesi.

Not defteri örneği: Uzun süre çalışan işlem bulma

Çalışma alanı yöneticisiyseniz, işlemlerinizin her birinin ne kadar süreyle çalıştığını belirleyen bir betik çalıştırabilir ve isteğe bağlı olarak, belirtilen sayıda günden eskiyse bunları yeniden başlatabilirsiniz. Azure Databricks bu betiği not defteri olarak sağlar.

Betiğin ilk satırları yapılandırma parametrelerini tanımlar:

• min_age_output: İşlemin çalıştırabileceği en fazla gün sayısı. Varsayılan değer 1'dir.
• perform_restart: ise True, betik tarafından min_age_outputbelirtilen gün sayısından daha büyük olan tüm işlemleri yeniden başlatır. Varsayılan değer, uzun süre çalışan işlemi tanımlayan ancak bunları yeniden başlatmayan şeklindedir False.
• secret_configuration: ve REPLACE_WITH_KEY değerini bir gizli kapsam ve anahtar adıyla değiştirinREPLACE_WITH_SCOPE. Gizli dizileri ayarlama hakkında daha fazla bilgi için not defterine bakın.

Uyarı

olarak Trueayarlarsanızperform_restart, betik uygun işlemi otomatik olarak yeniden başlatır ve bu da etkin işlerin başarısız olmasına ve açık not defterlerini sıfırlamasına neden olabilir. Çalışma alanınızın iş açısından kritik işlerini kesintiye uğratma riskini azaltmak için zamanlanmış bir bakım penceresi planlayın ve çalışma alanı kullanıcılarına bildirmeyi unutmayın.

Uzun süre çalışan işlemi tanımlama ve isteğe bağlı olarak yeniden başlatma

Not defterini alma

İşler ve JDBC/ODBC sorguları için işlem otomatik başlangıcı

Sonlandırılan bir işlem için atanan bir iş çalışmak üzere zamanlandığında veya bir JDBC/ODBC arabiriminden sonlandırılan bir işlemle bağlantı kurduğunuzda işlem otomatik olarak yeniden başlatılır. Bkz. İş oluşturma ve JDBC bağlantısı.

İşlem otomatik başlangıcı, zamanlanmış işler için işlemi yeniden başlatmak için el ile müdahaleye gerek kalmadan işlemi otomatik olarak sonlandıracak şekilde yapılandırmanıza olanak tanır. Ayrıca, sonlandırılan işlemde çalıştırılacak bir iş zamanlayarak işlem başlatma zamanlayabilirsiniz.

İşlem otomatik olarak yeniden başlatılmadan önce işlem ve iş erişim denetimi izinleri denetleniyor.

Not

İşleminiz Azure Databricks platformu sürüm 2.70 veya önceki bir sürümde oluşturulduysa otomatik başlangıç yoktur: sonlandırılan işlemde çalıştırılacak şekilde zamanlanan işler başarısız olur.

Apache Spark kullanıcı arabiriminde işlem bilgilerini görüntüleme

İşlem ayrıntıları sayfasındaki Spark kullanıcı arabirimi sekmesini seçerek Spark işleri hakkındaki ayrıntılı bilgileri görüntüleyebilirsiniz.

Sonlandırılan bir işlemi yeniden başlatırsanız Spark kullanıcı arabirimi, sonlandırılan işlemle ilgili geçmiş bilgileri değil, yeniden başlatılan işlem bilgilerini görüntüler.

Spark kullanıcı arabirimini kullanarak maliyet ve performans sorunlarını tanılama adımlarını görmek için bkz . Spark kullanıcı arabirimini kullanarak maliyet ve performans sorunlarını tanılama.

İşlem günlüklerini görüntüleme

Azure Databricks, işlemle ilgili etkinliğin üç tür günlüğe kaydedilmesini sağlar:

• Oluşturma, sonlandırma ve yapılandırma düzenlemeleri gibi işlem yaşam döngüsü olaylarını yakalayan işlem olay günlükleri.
• Hata ayıklama için kullanabileceğiniz Apache Spark sürücüsü ve çalışan günlüğü.
• Başlatma betiklerinde hata ayıklamak için değerli olan işlem başlatma betiği günlükleri.

Bu bölümde işlem olay günlükleri, sürücü ve çalışan günlükleri ele alınmaktadır. Init-script günlükleri hakkında ayrıntılı bilgi için bkz . Init betik günlüğü.

İşlem olay günlükleri

İşlem olay günlüğü, kullanıcı eylemleri tarafından el ile veya Azure Databricks tarafından otomatik olarak tetiklenen önemli işlem yaşam döngüsü olaylarını görüntüler. Bu tür olaylar bir işlemin bir bütün olarak çalışmasını ve işlemde çalışan işleri etkiler.

Desteklenen olay türleri için bkz. Kümeler API'sinin veri yapısı.

Olaylar 60 gün boyunca depolanır ve bu süre Azure Databricks'teki diğer veri saklama süreleriyle karşılaştırılabilir.

İşlemin olay günlüğünü görüntüleme

İşlemin olay günlüğünü görüntülemek için işlem ayrıntıları sayfalarında Olay günlüğü sekmesini seçin.

Bir olay hakkında daha fazla bilgi için günlükteki satırına tıklayın ve ardından ayrıntılar için JSON sekmesine tıklayın.

İşlem sürücüsü ve çalışan günlükleri

Not defterlerinizden, işlerinizden ve kitaplıklarınızdan doğrudan yazdırma ve günlük deyimleri Spark sürücü günlüklerine gider. Bu günlük dosyalarına işlem ayrıntıları sayfasındaki Sürücü günlükleri sekmesinden erişebilirsiniz. İndirmek için günlük dosyasının adına tıklayın.

Bu günlüklerin üç çıkışı vardır:

• Standart çıktı
• Standart hata
• Log4j günlükleri

Spark çalışan günlüklerini görüntülemek için Spark kullanıcı arabirimi sekmesini kullanın. İşlem için bir günlük teslim konumu da yapılandırabilirsiniz. Hem çalışan hem de işlem günlükleri belirttiğiniz konuma teslim edilir.

Performansı izleme

Azure Databricks işleminin performansını izlemenize yardımcı olmak için Azure Databricks, işlem ayrıntıları sayfasından ölçümlere erişim sağlar. Databricks Runtime 12.2 ve altı için Azure Databricks, Ganglia ölçümlerine erişim sağlar. Databricks Runtime 13.3 LTS ve üzeri için işlem ölçümleri Azure Databricks tarafından sağlanır.

Ayrıca, azure için izleme platformu olan Azure İzleyici'deki Log Analytics çalışma alanına ölçüm göndermek için bir Azure Databricks işlemi yapılandırabilirsiniz.

Datadog ölçümlerini Datadog hesabınıza göndermek için işlem düğümlerine Datadog aracıları da yükleyebilirsiniz.

İşlem ölçümleri

İşlem ölçümleri Databricks Runtime 13.3 LTS ve üzeri için varsayılan izleme aracıdır. İşlem ölçümleri kullanıcı arabirimine erişmek için işlem ayrıntıları sayfasındaki Ölçümler sekmesine gidin.

Tarih seçici filtresini kullanarak bir zaman aralığı seçerek geçmiş ölçümleri görüntüleyebilirsiniz. Ölçümler dakikada bir toplanır. Yenile düğmesine tıklayarak da en son ölçümleri alabilirsiniz. Daha fazla bilgi için bkz . İşlem ölçümlerini görüntüleme.

Ganglia ölçümleri

Not

Ganglia ölçümleri yalnızca Databricks Runtime 12.2 ve altında kullanılabilir.

Ganglia kullanıcı arabirimine erişmek için işlem ayrıntıları sayfasındaki Ölçümler sekmesine gidin. CPU ölçümleri tüm Databricks çalışma zamanları için Ganglia kullanıcı arabiriminde kullanılabilir. GPU ölçümleri GPU özellikli işlem için kullanılabilir.

Canlı ölçümleri görüntülemek için Ganglia Kullanıcı Arabirimi bağlantısına tıklayın.

Geçmiş ölçümleri görüntülemek için bir anlık görüntü dosyasına tıklayın. Anlık görüntü, seçilen saatten önceki saatin toplam ölçümlerini içerir.

Not

Ganglia, Docker kapsayıcıları ile desteklenmez. İşleminizle bir Docker kapsayıcısı kullanırsanız Ganglia ölçümleri kullanılamaz.

Ganglia ölçüm koleksiyonunu yapılandırma

Azure Databricks, Ganglia ölçümlerini varsayılan olarak 15 dakikada bir toplar. Koleksiyon dönemini yapılandırmak için ortam değişkenini DATABRICKS_GANGLIA_SNAPSHOT_PERIOD_MINUTES bir init betiği kullanarak veya Küme oluşturma API'sindeki spark_env_varsalanda ayarlayın.

Azure İzleyici

Azure Databricks işlemini, Ölçümleri Azure için izleme platformu olan Azure İzleyici'deki log analytics çalışma alanına gönderecek şekilde yapılandırabilirsiniz. Tam yönergeler için, bkz. Azure Databricks İzleme.

Not

Azure Databricks çalışma alanını kendi sanal ağınıza dağıttıysanız ve Azure Databricks tarafından gerekli olmayan tüm giden trafiği reddedecek şekilde ağ güvenlik gruplarını (NSG) yapılandırdıysanız, "AzureMonitor" hizmet etiketi için ek bir giden kuralı yapılandırmanız gerekir.

Not defteri örneği: Datadog ölçümleri

Datadog ölçümlerini Datadog hesabınıza göndermek için işlem düğümlerine Datadog aracıları yükleyebilirsiniz. Aşağıdaki not defteri, işlem kapsamlı bir init betiği kullanarak bir işlem üzerinde Datadog aracısının nasıl yükleneceğini gösterir.

Datadog aracısını tüm işlemlere yüklemek için işlem ilkesi kullanarak işlem kapsamlı init betiğini yönetin.

Datadog aracısı init betik not defterini yükleme

Not defterini alma

Spot örneklerinin yetkisini alma

Spot örnekler maliyetleri düşürebileceğinden, işleri çalıştırmak için isteğe bağlı örnekler yerine spot örnekleri kullanarak işlem oluşturmak yaygın bir yoldur. Ancak spot örnekler bulut sağlayıcısı zamanlama mekanizmaları tarafından önlenebilir. Spot örneklerin önalımı, çalışan işlerle ilgili sorunlara neden olabilir, örneğin:

• Karıştırma getirme hataları
• Veri kaybını karıştırma
• RDD veri kaybı
• İş hataları

Bu sorunların giderilmesine yardımcı olmak için yetkiyi alma özelliğini etkinleştirebilirsiniz. Yetkisini alma, bulut sağlayıcısının genellikle spot örneğinin yetkisi olmadan önce gönderdiği bildirimden yararlanır. Yürütücü içeren bir spot örneği bir ön kullanım bildirimi aldığında, yetkisini alma işlemi karıştırma ve RDD verilerini iyi durumdaki yürütücülere geçirmeye çalışır. Bulut sağlayıcısına bağlı olarak, son ön koşuldan önceki süre genellikle 30 saniye ile 2 dakika arasındadır.

Databricks, yetkiyi alma özelliği de etkinleştirildiğinde veri geçişinin etkinleştirilmesini önerir. Genellikle karıştırma getirme hataları, karışık veri kaybı ve RDD veri kaybı gibi daha fazla veri geçirildikçe hata olasılığı azalır. Veri geçişi, daha az yeniden hesaplama ve tasarruf maliyetlerine de yol açabilir.

Not

Yetkisini almak en iyi çabadır ve tüm verilerin son ön kullanımdan önce geçirilebileceğini garanti etmez. Görev çalıştırıldığında yürütücüden karıştırma verileri getirilirken, yetkisini alma işlemi karıştırma getirme hatalarına karşı garanti veremez.

Yetkiyi alma etkinleştirildiğinde, spot örnek önalımından kaynaklanan görev hataları toplam başarısız deneme sayısına eklenmez. Önkoşulun neden olduğu görev hataları başarısız denemeler olarak sayılmaz çünkü hatanın nedeni görevin dışındadır ve iş hatasına neden olmaz.

Yetkiyi alma özelliğini etkinleştirme

Bir işlemde yetkiyi alma özelliğini etkinleştirmek için, işlem yapılandırması kullanıcı arabirimindeki Gelişmiş Seçenekler'in altındaki Spark sekmesine aşağıdaki özellikleri girin. Bu özellikler hakkında bilgi için bkz . Spark yapılandırması.

• Uygulamaların yetkisini alma özelliğini etkinleştirmek için Spark yapılandırma alanına şu özelliği girin:

  spark.decommission.enabled true
  

• Kullanımdan çıkarma sırasında karıştırılan veri geçişini etkinleştirmek için Spark yapılandırma alanına şu özelliği girin:

  spark.storage.decommission.enabled true
  spark.storage.decommission.shuffleBlocks.enabled true
  

• Yetkisini alma sırasında RDD önbellek veri geçişini etkinleştirmek için Spark yapılandırma alanına şu özelliği girin:

  spark.storage.decommission.enabled true
  spark.storage.decommission.rddBlocks.enabled true
  

  Not

  RDD Depolama Geliştirme çoğaltması 1'den fazla olarak ayarlandığında, çoğaltmalar RDD'lerin veri kaybetmemesini sağladığından Databricks RDD veri geçişini etkinleştirmenizi önermez.

• Çalışanların yetkisini alma işlemini etkinleştirmek için Ortam Değişkenleri alanına şu özelliği girin:

  SPARK_WORKER_OPTS="-Dspark.decommission.enabled=true"
  

Kullanıcı arabiriminde yetki alma durumunu ve kayıp nedenini görüntüleme

Kullanıcı arabiriminden bir çalışanın yetkisini alma durumuna erişmek için Spark işlem kullanıcı arabirimi - Ana sekmesine gidin.

Yetkiyi alma işlemi tamamlandığında, işlem ayrıntıları sayfasındaki Spark UI > Yürütücüleri sekmesinde yürütücülerin kayıp nedenini görüntüleyebilirsiniz.