Başlatma betikleri nedir?

  • Makale

Başlatma betiği (başlatma betiği), Apache Spark sürücüsü veya yürütücü JVM başlamadan önce her küme düğümünün başlatılması sırasında çalışan bir kabuk betiğidir. Bu makalede, kullanmanız gerekiyorsa başlatma betikleri ve yapılandırma bilgileri için öneriler sağlanır.

başlatma betikleri için Öneriler

Databricks mümkün olduğunda başlatma betikleri yerine yerleşik platform özelliklerinin kullanılmasını önerir. Başlatma betiklerinin yaygın kullanımı, yeni Databricks Runtime sürümlerine geçişi yavaşlatabilir ve bazı Databricks iyileştirmelerinin benimsenmesini engelleyebilir.

Önemli

DBFS'deki başlatma betiklerinden geçiş yapmanız gerekiyorsa bkz . DBFS'den başlatma betiklerini geçirme.

Aşağıdaki Databricks özellikleri, başlatma betikleri için yaygın kullanım örneklerinden bazılarını ele almaktadır:

  • Sistem özelliklerini, ortam değişkenlerini ve Spark yapılandırma parametrelerini ayarlamak için işlem ilkelerini kullanın. Bkz. İşlem ilkesi başvurusu.
  • Küme ilkelerine kitaplıklar ekleyin. Bkz. İlkeye kitaplık ekleme.

Init betiklerini kullanmanız gerekiyorsa:

  • Genel başlatma betikleri yerine işlem ilkelerini veya küme kapsamlı başlatma betiklerini kullanarak init betiklerini yönetin. Bkz. init betik türleri.
  • İşlem ilkelerini kullanarak üretim ve etkileşimli ortamlar için kitaplık yüklemesini yönetin. Başlatma betiklerini kullanarak kitaplıkları yüklemeyin.
  • Tüm iş yükleri için paylaşılan erişim modunu kullanın. Tek kullanıcı erişim modunu yalnızca gerekli işlevler paylaşılan erişim modu tarafından desteklenmiyorsa kullanın.
  • Tüm iş yükleri için yeni Databricks Runtime sürümlerini ve Unity Kataloğu'nu kullanın.

Aşağıdaki tabloda Databricks Runtime sürümüne ve Unity Kataloğu etkinleştirmesine göre düzenlenmiş öneriler sağlanmaktadır.

Ortam Öneri
Unity Kataloğu ile Databricks Runtime 13.3 LTS ve üzeri Init betiklerini Unity Kataloğu birimlerinde depolayın.
Unity Kataloğu olmadan Databricks Runtime 11.3 LTS ve üzeri Init betiklerini çalışma alanı dosyaları olarak depolayın. (Dosya boyutu sınırı 500 MB'tır).
Databricks Runtime 10.4 LTS ve altı Bulut nesne depolamasını kullanarak init betiklerini depolayın.

Azure Databricks hangi tür başlatma betiklerini destekler?

Azure Databricks iki tür başlatma betiği destekler: küme kapsamlı ve genel, ancak küme kapsamlı başlatma betiklerinin kullanılması önerilir.

  • Küme kapsamlı: betikle yapılandırılan her kümede komutunu çalıştırın. Bu, bir init betiğini çalıştırmanın önerilen yoludur. Bkz. Küme kapsamlı başlatma betiklerini kullanma.
  • Genel: Tek kullanıcı erişim modu veya yalıtımsız paylaşılan erişim modu ile yapılandırılan çalışma alanında tüm kümelerde çalıştırın. Bu başlatma betikleri kitaplık çakışmaları gibi beklenmeyen sorunlara neden olabilir. Yalnızca çalışma alanı yöneticisi kullanıcıları genel başlatma betikleri oluşturabilir. Bkz . Genel başlatma betiklerini kullanma.

Herhangi bir başlatma betiği türünü her değiştirdiğinizde, betikten etkilenen tüm kümeleri yeniden başlatmanız gerekir.

Genel başlatma betikleri, küme kapsamlı başlatma betikleri öncesinde çalıştırılır.

Önemli

Eski genel ve eski küme adlı init betikleri diğer başlatma betikleri öncesinde çalıştırılır. Bu başlatma betikleri kullanım süresi sonu olsa da 21 Şubat 2023'den önce oluşturulan çalışma alanlarında bulunabilir. Bkz . Küme adlı init betikleri (eski) ve Genel başlatma betikleri (eski).

Init betikleri nereye yüklenebilir?

Çalışma alanı dosyaları, Unity Kataloğu birimleri ve bulut nesne depolamasından gelen başlatma betiklerini depolayabilir ve yapılandırabilirsiniz, ancak başlatma betikleri tüm küme yapılandırmalarında desteklenmez ve init betiklerinden tüm dosyalara başvurulamaz.

Aşağıdaki tabloda, kaynak konuma ve küme erişim moduna göre başlatma betikleri desteği gösterilir. Listelenen Databricks Runtime sürümü, birleşimi kullanmak için gereken en düşük sürümdür. Küme erişim modları hakkında bilgi için bkz . Erişim modları.

Not

Paylaşılan erişim modu, bir yöneticinin bir öğesine init betikleri eklemesini allowlistgerektirir. Bkz. Paylaşılan işlemdeki izin verilenler listesi kitaplıkları ve başlatma betikleri.

Paylaşılan erişim modu Tek erişim modu Yalıtımsız paylaşılan erişim modu
Çalışma alanı dosyaları Desteklenmez Desteklenen tüm Databricks Runtime sürümleri Desteklenen tüm Databricks Runtime sürümleri
Birim 13.3 LTS 13.3 LTS Desteklenmez
Bulut depolaması 13.3 LTS Desteklenen tüm Databricks Runtime sürümleri Desteklenen tüm Databricks Runtime sürümleri

DBFS'den başlatma betiklerini geçirme

Uyarı

DBFS'deki init betikleri kullanım süresi sonuna ulaşmıştır ve artık kullanılamaz. İşlemi başlatabilmeniz için önce init betiklerinizi desteklenen bir konuma geçirmeniz gerekir. Init betiklerini Unity Katalog Birimlerinde, çalışma alanı dosyaları olarak veya bulut nesne depolama alanında depolayın.

DBFS'den init betiklerini geçirmesi gereken kullanıcılar aşağıdaki kılavuzları kullanabilir. Yapılandırmanız için doğru hedefi tanımladığınızdan emin olun. Bkz. init betikleri için Öneriler.