Küme geneli başlangıç betikleri

Küme kapsamlı başlatma betikleri, küme yapılandırmasında tanımlanan başlatma betikleridir. Küme kapsamlı başlatma betikleri hem oluşturduğunuz kümelere hem de işleri çalıştırmak için oluşturulanlara uygulanır.

Kullanıcı arabirimini, CLI'yı kullanarak ve Kümeler API'sini çağırarak küme kapsamlı başlatma betiklerini yapılandırabilirsiniz. Bu bölüm, kullanıcı arabirimini kullanarak bu görevleri gerçekleştirmeye odaklanır. Diğer yöntemler için bkz. Databricks CLI ve Kümeler API'si.

İstediğiniz sayıda betik ekleyebilirsiniz ve betikler sağlanan sırayla sırayla yürütülür.

Küme kapsamlı bir başlatma betiği sıfır olmayan bir çıkış kodu döndürürse, kümenin başlatılması başarısız olur. Küme günlüğü teslimatını yapılandırarak ve başlatma betiği günlüğünü inceleyerek kümeye özel başlatma betiklerinde sorun giderebilirsiniz. Bkz. Başlatma betiği günlüğü.

Kullanıcı arabirimini kullanarak küme çapında bir init betiği yapılandırma

Bu bölüm, Azure Databricks kullanıcı arabirimini kullanarak bir kümeyi başlatma betiği çalıştıracak şekilde yapılandırma yönergelerini içerir.

Databricks, tüm başlatma betiklerinin küme kapsamlı başlatma betikleri olarak yönetilmesini önerir. İşlemi standart veya ayrılmış erişim moduyla (eski adıyla paylaşılan ve tek kullanıcı erişim modları) kullanıyorsanız, init betiklerini Unity Kataloğu birimlerinde depolayın. Hesaplamayı yalıtımsız paylaşılan erişim moduyla kullanıyorsanız başlatma betikleri için çalışma alanı dosyalarını kullanın.

Standart erişim modu için, allowlistinit betikleri eklemeniz gerekir. Bkz. Allowlist kitaplıkları ve başlatma betikleri, standart erişim moduyla (eski adıyla paylaşılan erişim modu) üzerinde bilgisayarda.

Kullanıcı arabirimini kullanarak bir kümeyi başlatma betiği çalıştıracak şekilde yapılandırmak için aşağıdaki adımları tamamlayın:

1. Küme yapılandırması sayfasında Gelişmiş geçiş düğmesine tıklayın.
2. Sayfanın en altında, Başlatma Betikleri sekmesine tıklayın.
3. Kaynak açılan menüsünde Çalışma Alanı, Birimveya ABFSS kaynak türünü seçin.
4. Aşağıdaki örneklerden biri gibi init betiğinin yolunu belirtin:
   • Çalışma alanı dosyalarınızda depolanan bir init betiği için: /Workspace/<path-to-script>/<script-name>.sh
   • Unity Kataloğu birimlerinde depolanan bir init betiği için: /Volumes/<catalog>/<schema>/<volume>/<path-to-script>/<script-name>.sh
   • Nesne depolama ile depolanan bir init betiği için: abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/init-script
5. Ekle'yi tıklatın.

Ayrılmış erişim modunda, atanan sorumlunun kimliği (kullanıcı veya hizmet sorumlusu) kullanılır.

Standart erişim modunda, küme sahibinin kimliği kullanılır.

Not

Yalıtımsız paylaşılan erişim modu birimleri desteklemez, ancak standart erişim moduyla aynı kimlik atamasını kullanır.

Küme yapılandırmasından bir betiği kaldırmak için betiğin sağ tarafındaki çöp kutusu simgesine tıklayın. Silme işlemini onayladığınızda kümeyi yeniden başlatmanız istenir. İsteğe bağlı olarak, betik dosyasını karşıya yüklediğiniz konumdan silebilirsiniz.

Not

ABFSS kaynak türünü kullanarak bir init betiği yapılandırıyorsanız, erişim kimlik bilgilerini yapılandırmanız gerekir.

Databricks, Azure Data Lake Storage'da depolanan init betiklerine erişimi yönetmek için Microsoft Entra ID hizmet sorumlularının kullanılmasını önerir. Bu kurulumu tamamlamak için aşağıdaki bağlantılı belgeleri kullanın:

1. İstediğiniz bloblarda okuma ve listeleme izinlerine sahip bir hizmet sorumlusu oluşturun. Bkz. Hizmet sorumlusu kullanarak depolamaya erişme & Microsoft Entra Id (Azure Active Directory).

2. Gizli bilgiler kullanarak kimlik bilgilerinizi kaydedin. Bkz. Gizli bilgileri yönetme.

3. Spark yapılandırmasındaki özellikleri ve ortam değişkenlerini küme oluştururken aşağıdaki örnekte olduğu gibi ayarlayın:

   Spark yapılandırması:

   spark.hadoop.fs.azure.account.auth.type.<storage-account>.dfs.core.windows.net OAuth
   spark.hadoop.fs.azure.account.oauth.provider.type.<storage-account>.dfs.core.windows.net org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider
   spark.hadoop.fs.azure.account.oauth2.client.id.<storage-account>.dfs.core.windows.net <application-id>
   spark.hadoop.fs.azure.account.oauth2.client.secret.<storage-account>.dfs.core.windows.net {{secrets/<secret-scope>/<service-credential-key>}}
   spark.hadoop.fs.azure.account.oauth2.client.endpoint.<storage-account>.dfs.core.windows.net https://login.microsoftonline.com/<tenant-id>/oauth2/token
   

   Ortam değişkenleri:

   SERVICE_CREDENTIAL={{secrets/<secret-scope>/<service-credential-key>}}
   

4. (İsteğe bağlı) azcopy veya Azure CLI kullanarak başlatma betiklerini yeniden düzenleme.

   Doğrulama için gizli dizi olarak depolanan kimlik bilgilerini geçirmek için init betiklerinizde küme yapılandırması sırasında ayarlanan ortam değişkenlerine başvurabilirsiniz.

Uyarı

DBFS'deki küme kapsamlı başlangıç betikleri kullanım ömrünün sonuna geldi. Kullanıcı arabirimindeki DBFS seçeneği bazı çalışma alanlarında eski iş yüklerini desteklemek için bulunur ve önerilmez. DBFS'de depolanan tüm başlatma betikleri başka bir yere geçirilmelidir. Geçiş yönergeleri için bkz DBFS'den başlatma betiklerini taşıma.

Küme kapsamlı başlatma betiklerinde sorun giderme

• Betik, yapılandırılan konumda bulunmalıdır. Betik mevcut değilse, kümeyi başlatma girişimleri ve yürütücülerin ölçeğini artırma çabaları başarısızlıkla sonuçlanır.
• Init betiği 64 KB'tan büyük olamaz. Betik bu boyutu aşarsa küme başlatılamaz ve küme günlüğünde bir hata iletisi görüntülenir.