Esnek düğüm türlerini kullanarak işlem başlatma güvenilirliğini geliştirme

Azure Databricks'teki klasik işlem kaynakları, belirtilen örnek türünüz kullanılamadığında işlem kaynağınızın alternatif, uyumlu örnek türlerine geri dönmesine olanak tanıyan esnek düğüm türlerini kullanır.

Bu davranış, işlem başlatma işlemleri sırasında kapasite hatalarını (stok aşımı hataları) azaltarak işlem başlatma güvenilirliğini artırır. Geri dönüş mekanizmasına sahip spot örnekler için esnek düğüm türleri, isteğe bağlı örneklere geri dönmeden önce farklı örnek türlerinden birden çok kez örnek edinmeyi dener. Bu, toplam işlem maliyetlerinizi azaltarak isteğe bağlı yerine spot olarak çalışan örneklerin daha yüksek bir yüzdesine neden olur.

Esnek düğüm türleri nasıl çalışır?

Bir işlem kaynağını başlattığınızda, bulut sağlayıcınızın bazen belirtilen örnek türü için kapasitesi tükenebilir. Bu, bir stok aşımı hatasına neden olur:

CLOUD_PROVIDER_RESOURCE_STOCKOUT

Bu hatalar spot örnekler için daha yaygın olsa da, isteğe bağlı örnekler için de oluşabilir.

Esnek düğüm türleri etkinleştirildiğinde Azure Databricks, uyumlu örnek türlerinin belirtilen geri dönüş listesini otomatik olarak oluşturur veya kullanır. Tercih ettiğiniz örnek türü kullanılamıyorsa, Azure Databricks hemen başarısız olmak yerine bu yedekleme örneği türlerini almayı dener.

Çalışma alanınızda esnek düğüm türlerini etkinleştirme

Çalışma alanı yöneticileri, çalışma alanı yönetici ayarlarında esnek düğüm türlerini etkinleştirebilir. Etkinleştirildiğinde, çalışma alanındaki tüm yeni klasik işlem kaynakları açıkça devre dışı bırakılmadığı sürece esnek düğüm türlerini kullanır:

1. Çalışma alanı yöneticisi olarak ayarlar sayfasına gidin.
2. İşlem sekmesine tıklayın.
3. Otomatik esnek düğüm türlerini etkinleştir ayarını değiştirin:
   • Etkin: Tüm yeni klasik işlem kaynakları, açıkça devre dışı bırakılmadığı sürece esnek düğüm türlerini otomatik olarak kullanır.
   • Devre dışı: Klasik işlem kaynakları yalnızca işlem kaynağı yapılandırmasında açıkça yapılandırdıysanız node_type_flexibility esnek düğüm türlerini kullanır.

Çalışma alanı genelindeki bu ayar mevcut işlem kaynaklarını etkilemez. Devre dışı bırakıldığında, kullanıcılar özel yedekleme listelerini kullanarak worker_node_type_flexibility veya driver_node_type_flexibility alanlarını açıkça yapılandırarak tek tek işlem kaynakları için esnek düğüm türlerini yapılandırmaya devam edebilir. Kullanıcıların bu alanları yapılandırmasını önlemek için çalışma alanı yöneticileri işlem ilkelerini kullanabilir. Bkz. Esnek düğüm türü ilkesi örnekleri.

Özel bir geri dönüş listesi belirtme

Çalışma alanınızda esnek düğüm türleri etkinleştirildiğinde Azure Databricks, yeni işlem kaynakları için uyumlu örnek türlerinin geri dönüş listesini otomatik olarak oluşturur.

Otomatik olarak oluşturulan geri dönüş listesini kullanmak istemiyorsanız, bunun yerine kendi geri dönüş listenizi belirtebilirsiniz. Ayrıca, çalışma alanınızda esnek düğüm türleri devre dışı bırakılırsa işlem kaynağınız için özel bir geri dönüş listesi belirtebilirsiniz. Yalnızca belirli örnek türleri uyumludur. Bkz . Geri dönüş örneği türü gereksinimleri. Uyumlu örnek türlerinin başvurusu için bkz. esnek düğüm türü uyumluluk başvurusu.

Özel geri dönüş listeleri yalnızca API kullanılarak işlem yapılandırılırken desteklenir. Kümeler API'sine başvuru belgelerine bakın.

Örneğin, aşağıdaki yapılandırma işlem kaynağının gerekirse hangi örnek türüne geri döneceğini belirtir:

  "worker_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },
  "driver_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },

Geri dönüş örneği türü gereksinimleri

Geri dönüş örneği türleri, işlem tarafından tercih edilen örnek türüyle uyumlu olmalıdır. Geri dönüş örneği türlerinin listesi aşağıdaki gereksinimleri karşılamalıdır:

• Tercih edilen örnek türüyle aynı vCPU sayısı ve belleği (geri dönüş örnekleri, tercih edilen örnek türünün belleğinin 100% ile 110% arasında olmalıdır)
• Tercih edilen örnek türüyle aynı sayıda yerel disk ve disk boyutu
• Tercih edilen örnek türüyle aynı CPU mimarisi (tümü ARM veya tümü x86)
• Tercih edilen örnek türüyle aynı işletim sistemi görüntüsü ve Foton desteği
• GPU örneği türü yok (GPU'lar desteklenmez)
• En fazla 5 benzersiz geri dönüş örneği türü

• Tüm örnek türlerinin tutarlı bir depolama desteği olmalı: ya tümü PREMIUM_LRS depolamayı destekler ya da hiçbiri desteklemez.

Esnek düğüm türlerini havuzlarla kullanın

Havuzlar için bir geri dönüş listesini de özelleştirebilirsiniz. Havuzlar API'sinde, geri dönüş örnek türlerini belirtmek için alanını ayarlayın. Örneğin:

"node_type_flexibility": {
    "alternate_node_type_ids": ["Standard_L8s_v2"]
  }

Havuzlar, en düşük boşta kalma sayısını korumak için esnek örnek türlerinin kullanılmasını desteklemez. Havuz yalnızca havuzdan işlem başlatma denendiğinde geri dönüş örneği türlerini kullanarak VM'leri başlatabilir. Önce minIdle sayısını ısıtmak için yalnızca tercih edilen örnek türü kullanılır.

Alınan örnek türlerini görüntüleme

Esnek düğüm türlerini kullanırken işlem kaynağınız farklı örnek türlerinin bir karışımından oluşabilir. Tüm geri dönüş örneği türleri tercih ettiğiniz türle uyumludur ve iş yükünüzün doğru çalıştığından emin olmak için aynı vCPU sayısını, belleği, disk düzenini, CPU mimarisini ve işletim sistemi görüntüsünü korur.

İşlem kaynağınız için hangi örnek türlerinin alındığını görüntüleyebilirsiniz:

1. İşlem ayrıntıları sayfasında Sonlandır düğmesinin yanındaki üç noktaya tıklayın ve JSON Görüntüle'yi seçin.
2. Her yürütücü için node_type_id alanını gözden geçirerek hangi örnek türlerinin çalıştığını görün.

Bu bilgileri program aracılığıyla almak için Kümeler bilgisi API'sini al de kullanabilirsiniz. Ayrıca, sistem tablolarına erişme izni olan kullanıcılar tabloyu sorgulayabilir node_timelines . Bkz. düğüm zaman çizelgesi tablosu şeması.

İşlem kaynağında esnek düğüm türlerini devre dışı bırakma

Uyarı

Databricks, belirli bir örnek türü için katı gereksinimleriniz olmadığı sürece esnek düğüm türlerinin etkin tutulmasını önerir.

İşlem başlatma işleminin alternatif örnek türüne geri dönmek yerine başarısız olmasını tercih ederseniz, tek tek işlem kaynağı düzeyinde esnek düğüm davranışını devre dışı bırakabilirsiniz. Bu yalnızca Kümeler API'sini kullanırken desteklenir. Esnek düğüm türlerini devre dışı bırakmak için işlem yapılandırmasında esnek düğüm türü alanlarını boş olarak ayarlayın. Örneğin:

"worker_node_type_flexibility": {
  "alternate_node_type_ids": []
},
"driver_node_type_flexibility": {
  "alternate_node_type_ids": []
}