Başlatma betikleri nedir?
Başlatma betiği (başlatma betiği), Apache Spark sürücüsü veya yürütücü JVM başlamadan önce her küme düğümünün başlatılması sırasında çalışan bir kabuk betiğidir. Bu makalede, kullanmanız gerekiyorsa başlatma betikleri ve yapılandırma bilgileri için öneriler sağlanır.
Başlatma betikleri için öneriler
Databricks mümkün olduğunda başlatma betikleri yerine yerleşik platform özelliklerinin kullanılmasını önerir. Başlatma betiklerinin yaygın kullanımı, yeni Databricks Runtime sürümlerine geçişi yavaşlatabilir ve bazı Databricks iyileştirmelerinin benimsenmesini engelleyebilir.
Önemli
DBFS'deki başlatma betiklerinden geçiş yapmanız gerekiyorsa bkz . DBFS'den başlatma betiklerini geçirme.
Aşağıdaki Databricks özellikleri, başlatma betikleri için yaygın kullanım örneklerinden bazılarını ele almaktadır:
- Sistem özelliklerini, ortam değişkenlerini ve Spark yapılandırma parametrelerini ayarlamak için işlem ilkelerini kullanın. Bkz. İşlem ilkesi başvurusu.
- Küme ilkelerine kitaplıklar ekleyin. Bkz. İlkeye kitaplık ekleme.
Init betiklerini kullanmanız gerekiyorsa:
- Genel başlatma betikleri yerine işlem ilkelerini veya küme kapsamlı başlatma betiklerini kullanarak init betiklerini yönetin. Bkz. init betik türleri.
- İşlem ilkelerini kullanarak üretim ve etkileşimli ortamlar için kitaplık yüklemesini yönetin. Başlatma betiklerini kullanarak kitaplıkları yüklemeyin.
- Tüm iş yükleri için paylaşılan erişim modunu kullanın. Tek kullanıcı erişim modunu yalnızca gerekli işlevler paylaşılan erişim modu tarafından desteklenmiyorsa kullanın.
- Tüm iş yükleri için yeni Databricks Runtime sürümlerini ve Unity Kataloğu'nu kullanın.
Aşağıdaki tabloda Databricks Runtime sürümüne ve Unity Kataloğu etkinleştirmesine göre düzenlenmiş öneriler sağlanmaktadır.
| Ortam | Öneri |
|---|---|
| Unity Kataloğu ile Databricks Runtime 13.3 LTS ve üzeri | Init betiklerini Unity Kataloğu birimlerinde depolayın. |
| Unity Kataloğu olmadan Databricks Runtime 11.3 LTS ve üzeri | Init betiklerini çalışma alanı dosyaları olarak depolayın. (Dosya boyutu sınırı 500 MB'tır). |
| Databricks Runtime 10.4 LTS ve altı | Bulut nesne depolamasını kullanarak init betiklerini depolayın. |
Azure Databricks hangi tür başlatma betiklerini destekler?
Azure Databricks iki tür başlatma betiği destekler: küme kapsamlı ve genel, ancak küme kapsamlı başlatma betiklerinin kullanılması önerilir.
- Küme kapsamlı: betikle yapılandırılan her kümede komutunu çalıştırın. Bu, bir init betiğini çalıştırmanın önerilen yoludur. Bkz. Küme kapsamlı başlatma betiklerini kullanma.
- Genel: Tek kullanıcı erişim modu veya yalıtımsız paylaşılan erişim modu ile yapılandırılan çalışma alanında tüm kümelerde çalıştırın. Bu başlatma betikleri kitaplık çakışmaları gibi beklenmeyen sorunlara neden olabilir. Yalnızca çalışma alanı yöneticisi kullanıcıları genel başlatma betikleri oluşturabilir. Bkz . Genel başlatma betiklerini kullanma.
Herhangi bir başlatma betiği türünü her değiştirdiğinizde, betikten etkilenen tüm kümeleri yeniden başlatmanız gerekir.
Genel başlatma betikleri, küme kapsamlı başlatma betikleri öncesinde çalıştırılır.
Önemli
Eski genel ve eski küme adlı init betikleri diğer başlatma betikleri öncesinde çalıştırılır. Bu başlatma betikleri kullanım süresi sonu olsa da 21 Şubat 2023'den önce oluşturulan çalışma alanlarında bulunabilir. Bkz . Küme adlı init betikleri (eski) ve Genel başlatma betikleri (eski).
Init betikleri nereye yüklenebilir?
Çalışma alanı dosyaları, Unity Kataloğu birimleri ve bulut nesne depolamasından gelen başlatma betiklerini depolayabilir ve yapılandırabilirsiniz, ancak başlatma betikleri tüm küme yapılandırmalarında desteklenmez ve init betiklerinden tüm dosyalara başvurulamaz. Başlatma betikleri için ortam önerileri için bkz . Başlatma betikleri için öneriler.
Aşağıdaki tabloda, kaynak konuma ve küme erişim moduna göre başlatma betikleri desteği gösterilir. Listelenen Databricks Runtime sürümü, birleşimi kullanmak için gereken en düşük sürümdür. Küme erişim modları hakkında bilgi için bkz . Erişim modları.
Not
Paylaşılan erişim modu, bir yöneticinin bir öğesine init betikleri eklemesini allowlistgerektirir. Bkz. Paylaşılan işlemdeki izin verilenler listesi kitaplıkları ve başlatma betikleri.
| Paylaşılan erişim modu | Tek erişim modu | Yalıtımsız paylaşılan erişim modu | |
|---|---|---|---|
| Çalışma alanı dosyaları | Desteklenmez | Desteklenen tüm Databricks Runtime sürümleri. 11.3 LTS'nin altındaki sürümlerde, diğer çalışma alanı dosyalarına başvuran başlatma betikleri desteklenmez. |
Desteklenen tüm Databricks Runtime sürümleri. |
| Birim | 13.3 LTS ve üzeri | 13.3 LTS ve üzeri | Desteklenmez |
| Bulut depolaması | 13.3 LTS ve üzeri | Desteklenen tüm Databricks Runtime sürümleri | Desteklenen tüm Databricks Runtime sürümleri |
DBFS'den başlatma betiklerini geçirme
Uyarı
DBFS'deki init betikleri kullanım süresi sonuna ulaşmıştır ve artık kullanılamaz. İşlemi başlatabilmeniz için önce init betiklerinizi desteklenen bir konuma geçirmeniz gerekir. Init betiklerini Unity Katalog Birimlerinde, çalışma alanı dosyaları olarak veya bulut nesne depolama alanında depolayın.
DBFS'den init betiklerini geçirmesi gereken kullanıcılar aşağıdaki kılavuzları kullanabilir. Yapılandırmanız için doğru hedefi tanımladığınızdan emin olun. Bkz . Başlatma betikleri için öneriler.