Esnek düğüm türlerini kullanarak işlem başlatma güvenilirliğini geliştirme

Azure Databricks'teki klasik işlem kaynakları, belirtilen örnek türünüz kullanılamadığında işlem kaynağınızın alternatif, uyumlu örnek türlerine geri dönmesine olanak tanıyan esnek düğüm türlerini kullanır.

Bu davranış, işlem başlatma işlemleri sırasında kapasite hatalarını (stok aşımı hataları) azaltarak işlem başlatma güvenilirliğini artırır. Geri dönüş mekanizmasına sahip spot örnekler için esnek düğüm türleri, isteğe bağlı örneklere geri dönmeden önce farklı örnek türlerinden birden çok kez örnek edinmeyi dener. Bu, toplam işlem maliyetlerinizi azaltarak isteğe bağlı yerine spot olarak çalışan örneklerin daha yüksek bir yüzdesine neden olur.

Esnek düğüm türleri nasıl çalışır?

Bir işlem kaynağını başlattığınızda, bulut sağlayıcınızın bazen belirtilen örnek türü için kapasitesi tükenebilir. Bu, bir stok aşımı hatasına neden olur:

CLOUD_PROVIDER_RESOURCE_STOCKOUT

Bu hatalar spot örnekler için daha yaygın olsa da, isteğe bağlı örnekler için de oluşabilir.

Esnek düğüm türleri etkinleştirildiğinde Azure Databricks, uyumlu örnek türlerinin belirtilen geri dönüş listesini otomatik olarak oluşturur veya kullanır. Tercih ettiğiniz örnek türü kullanılamıyorsa, Azure Databricks hemen başarısız olmak yerine bu yedekleme örneği türlerini almayı dener.

Çalışma alanınızda esnek düğüm türlerini etkinleştirme

Çalışma alanı yöneticileri, çalışma alanı yönetici ayarlarında esnek düğüm türlerini etkinleştirebilir. Etkinleştirildiğinde, tüm yeni klasik işlem kaynakları otomatik olarak alternatif düğüm türlerine geri döner. Mevcut tüm amaçlı işlem kaynakları etkilenmez. Bkz. Mevcut iş yükleri nasıl etkilenir?.

Çalışma alanında esnek düğüm türlerini etkinleştirmek için:

  1. Çalışma alanı yöneticisi olarak ayarlar sayfasına gidin.
  2. İşlem sekmesine tıklayın.
  3. Otomatik esnek düğüm türlerini etkinleştir ayarını değiştirin:
    • Etkin: Tüm yeni klasik işlem kaynakları, açıkça devre dışı bırakılmadığı sürece esnek düğüm türlerini otomatik olarak kullanır.
    • Devre dışı: Klasik işlem kaynakları yalnızca işlem kaynağı yapılandırmasında açıkça yapılandırdıysanız node_type_flexibility esnek düğüm türlerini kullanır.

Bu ayar devre dışı bırakılırsa, kullanıcılar özel geri dönüş listeleriyle birlikte worker_node_type_flexibility veya driver_node_type_flexibility alanlarını açıkça yapılandırarak tek tek işlem kaynakları için esnek düğüm türlerini yapılandırmaya devam edebilir. Kullanıcıların bu alanları yapılandırmasını önlemek için çalışma alanı yöneticileri işlem ilkelerini kullanabilir. Bkz. Esnek düğüm türü ilkesi örnekleri.

Özel bir geri dönüş listesi belirtme

Çalışma alanınızda esnek düğüm türleri etkinleştirildiğinde Azure Databricks, yeni işlem kaynakları için uyumlu örnek türlerinin geri dönüş listesini otomatik olarak oluşturur.

Otomatik olarak oluşturulan geri dönüş listesini kullanmak istemiyorsanız, bunun yerine kendi geri dönüş listenizi belirtebilirsiniz. Ayrıca, çalışma alanınızda esnek düğüm türleri devre dışı bırakılırsa işlem kaynağınız için özel bir geri dönüş listesi belirtebilirsiniz. Yalnızca belirli örnek türleri uyumludur. Bkz . Geri dönüş örneği türü gereksinimleri. Uyumlu örnek türlerinin başvurusu için bkz. esnek düğüm türü uyumluluk başvurusu.

Özel geri dönüş listeleri yalnızca API kullanılarak işlem yapılandırılırken desteklenir. Kümeler API'sine başvuru belgelerine bakın.

Örneğin, aşağıdaki yapılandırma işlem kaynağının gerekirse hangi örnek türüne geri döneceğini belirtir:


  "worker_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },
  "driver_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },

Geri dönüş örneği türü gereksinimleri

Geri dönüş örneği türleri, işlem tarafından tercih edilen örnek türüyle uyumlu olmalıdır. Geri dönüş örneği türlerinin listesi aşağıdaki gereksinimleri karşılamalıdır:

  • Tercih edilen örnek türüyle aynı vCPU sayısı ve belleği (geri dönüş örnekleri, tercih edilen örnek türünün belleğinin 100% ile 110% arasında olmalıdır)
  • Tercih edilen örnek türüyle aynı sayıda yerel disk ve disk boyutu
  • Tercih edilen örnek türüyle aynı CPU mimarisi (tümü ARM veya tümü x86)
  • Tercih edilen örnek türüyle aynı işletim sistemi görüntüsü ve Foton desteği
  • GPU örneği türü yok (GPU'lar desteklenmez)
  • En fazla 5 benzersiz geri dönüş örneği türü
  • Tüm örnek türlerinin tutarlı bir depolama desteği olmalı: ya tümü PREMIUM_LRS depolamayı destekler ya da hiçbiri desteklemez.

Esnek düğüm türlerini havuzlarla kullanın

Havuzlar için bir geri dönüş listesini de özelleştirebilirsiniz. Havuzlar API'sinde, geri dönüş örnek türlerini belirtmek için alanını ayarlayın. Örneğin:

"node_type_flexibility": {
    "alternate_node_type_ids": ["Standard_L8s_v2"]
  }

Havuzlar, en düşük boşta kalma sayısını korumak için esnek örnek türlerinin kullanılmasını desteklemez. Havuz yalnızca havuzdan işlem başlatma denendiğinde geri dönüş örneği türlerini kullanarak VM'leri başlatabilir. Önce minIdle sayısını ısıtmak için yalnızca tercih edilen örnek türü kullanılır.

Alınan örnek türlerini görüntüleme

Esnek düğüm türlerini kullanırken işlem kaynağınız farklı örnek türlerinin bir karışımından oluşabilir. Tüm geri dönüş örneği türleri tercih ettiğiniz türle uyumludur ve iş yükünüzün doğru çalıştığından emin olmak için aynı vCPU sayısını, belleği, disk düzenini, CPU mimarisini ve işletim sistemi görüntüsünü korur.

İşlem kaynağınız için hangi örnek türlerinin alındığını görüntüleyebilirsiniz:

  1. İşlem ayrıntıları sayfasında Sonlandır düğmesinin yanındaki üç noktaya tıklayın ve JSON Görüntüle'yi seçin.
  2. Her yürütücü için node_type_id alanını gözden geçirerek hangi örnek türlerinin çalıştığını görün.

Bu bilgileri program aracılığıyla almak için Kümeler bilgisi API'sini al de kullanabilirsiniz. Ayrıca, sistem tablolarına erişme izni olan kullanıcılar tabloyu sorgulayabilir node_timelines . Bkz. düğüm zaman çizelgesi tablosu şeması.

İşlem kaynağında esnek düğüm türlerini devre dışı bırakma

Uyarı

Databricks, belirli bir örnek türü için katı gereksinimleriniz olmadığı sürece esnek düğüm türlerinin etkin tutulmasını önerir.

İşlem başlatma işleminin alternatif örnek türüne geri dönmek yerine başarısız olmasını tercih ederseniz, tek tek işlem kaynağı düzeyinde esnek düğüm davranışını devre dışı bırakabilirsiniz. Bu yalnızca Kümeler API'sini kullanırken desteklenir. Esnek düğüm türlerini devre dışı bırakmak için işlem yapılandırmasında esnek düğüm türü alanlarını boş olarak ayarlayın. Örneğin:

"worker_node_type_flexibility": {
  "alternate_node_type_ids": []
},
"driver_node_type_flexibility": {
  "alternate_node_type_ids": []
}

Sık sorulan sorular

Mevcut iş yükleri nasıl etkilenir?

Var olan tüm amaçlı işlem kaynakları değiştirilmez. Otomatik geri dönüş kullanmak için, ayarı etkinleştirdikten sonra yeni bir çok amaçlı işlem kaynağı oluşturun veya işlem kaynağı API'sinin belirtimini özel bir geri dönüş listesiyle güncelleştirin.

İş işleme birimini kullanan işler için her çalıştırma yeni bir işlem kaynağı oluşturur, bu nedenle mevcut işlerin sonraki çalıştırmaları otomatik olarak esnek yedekleme kullanır.

Bu, örnek havuzlarıyla çalışır mı?

Evet. Esnek düğüm türleri örnek havuzu yapılandırmalarınıza uygulanır. Bazı noktalara dikkat edin:

  • Minimum boşta kalma durumu tutarlıdır: Havuzun en düşük boşta örnekleri (minIdle), birincil düğüm türünüz kullanılarak korunur. Bir küme başlatma isteği aracılığıyla başlatılan tüm yeni VM'ler, birincil tür kısıtlandığında uyumlu geri dönüş düğümü türleri kullanılarak karşılanabilir.
  • Havuz düzenlemeleri: Bir örnek havuzunu oluşturulduktan sonra düzenleyemezsiniz. Herhangi bir özel geri dönüş ayarlarını değiştirmek istiyorsanız, yeni bir örnek havuzu oluşturmanız gerekir.
  • API görünürlüğü: Havuzda özel bir geri dönüş listesi açıkça yapılandırılmadıkça yanıt, düğüm türü esnekliğini göstermez. Örnek havuzunuzun geri dönüş yapılandırmasını görmek için bir örnek küme oluşturabilir ve yanıtı görüntüleyebilirsiniz /api/2.1/clusters/get .

Faturalandırma nasıl yapılır?

Gerçekten alınan örnek türleri için standart DBU fiyatlarına göre faturalandırılırsınız. Bulut sağlayıcınızla yaptığınız örnek düzeyindeki indirimler, işlem kaynağı tarafından kullanılan eşleşen örnek türlerine otomatik olarak uygulanır.

Bu, çalışma alanımdaki düğüm türü kotalarıyla nasıl etkileşim kurar?

Birincil düğüm türünüz "kota aşıldı" sınırına ulaştığından hesaplama başlatma işlemi başarısız olursa, esnek düğüm türleri otomatik olarak uyumlu bir alternatife geçerek başlatma işleminin güvenilirliğini artırabilir. Buna göre Databricks, kota temelli hatalar için geri dönüşün birincil düzeltme yerine bir güvenlik ağı olarak ele alınmasını önerir. Azure Databricks'in alternatiflere başvurmadan veya sunucusuz işlem kullanmadan önce tercih ettiğiniz örnek türlerini tutarlı bir şekilde elde edebilmesi için bulut sağlayıcınızdan kota artışı isteyebilirsiniz.

İş yüklerimin yalnızca bir alt kümesi için esnek düğüm türlerini etkinleştirebilir miyim?

Otomatik oluşturulan düğüm türü geri dönüş yalnızca çalışma alanı düzeyinde yapılandırılabilir. Ancak, belirli bir iş yükünün geri dönüş davranışını denetlemek için iki seçeneğiniz vardır:

  • (Önerilen) Çalışma alanı için esnek düğüm türlerini etkinleştirin, ardından kümenin belirtiminde boş bir listeye alternate_node_type_ids ayarlayarak [] belirli bir kümeyi devre dışı bırakabilirsiniz.
  • Çalışma alanının tamamı için esnek düğüm türlerini devre dışı bırakın, ardından alternate_node_type_ids karşılayan özel bir geri dönüş listesi sağlayarak belirli bir küme belirtimini kabul edin.
  • Last updated on