Küme oluşturma

Bu makalede, küme oluşturma için kullanılabilen yapılandırma seçenekleri açıklanmaktadır. Diğer yöntemler için bkz. Clusters CLI (eski), Kümeler API'si ve Databricks Terraform sağlayıcısı.

Dekont

Bu yönergeler Unity Kataloğu'nu etkinleştiren çalışma alanlarına yöneliktir. Unity Kataloğu olmayan eski kullanıcı arabirimiyle ilgili belgeler için bkz . Kümeleri yapılandırma.

Küme oluşturma kullanıcı arabirimi, aşağıdakiler dahil olmak üzere küme yapılandırma ayrıntılarını seçmenizi sağlar:

Yeni küme oluşturma

Yeni küme oluşturmak için çalışma alanı kenar çubuğunda Yeni>Küme'ye tıklayın. Bu sizi Kümenizin belirtimlerini seçeceğiniz Yeni işlem sayfasına götürür.

Dekont

Bu sayfada gördüğünüz yapılandırma seçenekleri, erişiminiz olan ilkelere bağlı olarak değişir. Kullanıcı arabiriminizde bir ayar görmüyorsanız, bunun nedeni ilkenizin bu ayarı yapılandırmanıza izin vermemesidir.

Koşullarıdır

İlkeler , yöneticiler tarafından bir küme oluştururken kullanıcıların kullanabileceği yapılandırma seçeneklerini sınırlamak için kullanılan bir kural kümesidir. Kümeyi bir ilkeye göre yapılandırmak için İlke açılan listesinden bir ilke seçin.

İlkeler, hangi kullanıcıların ve grupların ilkelere erişimi olduğunu düzenleyen erişim denetimi listelerine sahiptir.

Bir kullanıcı kısıtlanmamış küme oluşturma yetkilendirmesine sahip değilse, yalnızca verilen ilkelerini kullanarak küme oluşturabilir.

Kişisel işlem ilkesi

Varsayılan olarak, tüm kullanıcılar Kişisel İşlem ilkesine erişebilir ve tek makineli işlem kaynakları oluşturmalarına olanak sağlar. Küme oluştururken Kişisel İşlem ilkesini bir seçenek olarak görmüyorsanız, ilkeye erişim verilmemiştir. Kişisel İşlem ilkesine veya uygun eşdeğer bir ilkeye erişim istemek için yöneticinize başvurun.

Erişim modları

Küme erişim modu, kümeyi kimlerin kullanabileceğini ve küme üzerinden erişebilecekleri verileri belirleyen bir güvenlik özelliğidir. Azure Databricks'te herhangi bir küme oluşturduğunuzda bir erişim modu seçmeniz gerekir.

Dekont

Databricks, tüm iş yükleri için paylaşılan erişim modunu kullanmanızı önerir. Atanan erişim modunu yalnızca gerekli işlevselliğiniz paylaşılan erişim modu tarafından desteklenmiyorsa kullanın.

Erişim Modu Kullanıcıya görünür UC Desteği Desteklenen Diller Notlar
Tek bir kullanıcı Her zaman Evet Python, SQL, Scala, R Tek bir kullanıcı tarafından atanabilir ve kullanılabilir. Bkz. tek kullanıcı sınırlamaları.
Paylaşılan Her zaman (Premium plan gereklidir) Evet Python (Databricks Runtime 11.1 ve üzeri üzerinde), SQL, Scala (Databricks Runtime 13.3 ve üzerini kullanan Unity Kataloğu özellikli kümelerde) Kullanıcılar arasında veri yalıtımı olan birden çok kullanıcı tarafından kullanılabilir. Bkz. paylaşılan sınırlamalar.
Yalıtım Paylaşılmamalıdır Yönetici, yönetici ayarları sayfasında kullanıcı yalıtımını zorunlu kılarak bu küme türünü gizleyebilir. Hayır Python, SQL, Scala, R YalıtımSız Paylaşılan kümeler için ilgili bir hesap düzeyi ayarı vardır.
Özel Gizli (Tüm yeni kümeler için) Hayır Python, SQL, Scala, R Bu seçenek yalnızca belirtilen erişim modu olmayan mevcut kümeleriniz varsa gösterilir.

Mevcut bir kümeyi, küme erişim modunu Tek Kullanıcı veya Paylaşılan olarak ayarlayarak Unity Kataloğu gereksinimlerini karşılayacak şekilde yükseltebilirsiniz. Unity Kataloğu'nda Yapılandırılmış Akış için ek erişim modu sınırlamaları vardır. Bkz . Yapılandırılmış Akış desteği.

Tek kullanıcı erişim modu sınırlamaları

Paylaşılan erişim modu sınırlamaları

  • Kimlik bilgisi geçişi ile kullanıldığında Unity Kataloğu özellikleri devre dışı bırakılır.

  • Özel kapsayıcılar desteklenmez.

  • Spark-submit işleri desteklenmez.

  • Databricks Runtime ML desteklenmez.

  • R, RDD API'leri veya DBUtils gibi bulut depolamadan verileri doğrudan okuyan istemciler kullanılamaz.

  • Scala'ya yalnızca Databricks Runtime 13.3 ve üzerini kullanabilirsiniz.

  • Kullanıcı tanımlı işlevler (UDF' ler) için aşağıdaki sınırlamalar vardır:

    • Hive veya Scala UDF'leri kullanılamaz
    • Databricks Runtime 13.1 ve altında UDAF'ler, UDF'ler ve Spark üzerinde Pandas (applyInPandas ve mapInPandas) dahil olmak üzere Python UDF'lerini kullanamazsınız. Databricks Runtime 13.2 ve üzerinde Python UDF'leri desteklenir.
    • Bkz . Unity Kataloğu'nda Kullanıcı tanımlı işlevler (UDF' ler).
  • Düşük ayrıcalıklı bir kullanıcının dosya sisteminin hassas bölümlerine erişmesi yasak olduğundan küme düğümlerinde komut çalıştırması gerekir. Databricks Runtime 11.3 ve altında yalnızca 80 ve 443 bağlantı noktalarına ağ bağlantıları oluşturabilirsiniz.

  • Örnek meta veri hizmetine veya Azure WireServer'a bağlanılamıyor.

Bu kısıtlamaları aşma girişimleri başarısız olur. Bu kısıtlamalar, kullanıcıların küme üzerinden ayrıcalıksız verilere erişememelerini sağlar.

Başlangıç betikleri ve kitaplıkları Unity Kataloğu erişim modlarıyla çalışır mı?

Databricks Runtime 13.3 LTS ve üzerinde, tüm erişim modlarında başlatma betikleri ve kitaplıkları desteklenir. Gereksinimler ve destek farklılık gösterir. Bkz . Kitaplıklarla ve başlatma betikleriyle işlem uyumluluğu.

Databricks Runtime sürümleri

Databricks Runtime, kümelerinizde çalışan temel bileşenler kümesidir. Küme oluştururken veya düzenlerken Databricks Runtime Sürümü açılan listesini kullanarak çalışma zamanını seçin. Belirli Databricks Runtime sürümleri hakkında ayrıntılı bilgi için bkz . Databricks çalışma zamanları.

Hangi Databricks Runtime sürümünü kullanmalısınız?

  • Databricks, tüm amaçlı işlemlerde en son Databricks Runtime sürümünün kullanılmasını önerir. En güncel sürümü kullanmak, kodunuz ve önceden yüklenmiş paketleriniz arasında en son iyileştirmelere ve en güncel uyumluluğa sahip olduğunuzdan emin olmanıza yardımcı olur.
  • İşletimsel iş yüklerini çalıştıran iş kümeleri için Uzun Süreli Destek (LTS) Databricks Runtime sürümünü kullanmayı göz önünde bulundurun. LTS sürümünü kullanmak, uyumluluk sorunlarıyla karşılaşmayın ve yükseltmeden önce iş yükünüzü kapsamlı bir şekilde test edebilirsiniz.
  • Gelişmiş makine öğrenmesi kullanım örnekleri için özelleştirilmiş Databricks Runtime sürümünü göz önünde bulundurun.

Tüm Databricks Runtime sürümleri Apache Spark'ı içerir. Yeni sürümler kullanılabilirliği, performansı ve güvenliği geliştiren bileşenler ve güncelleştirmeler ekler.

Foton hızlandırmayı etkinleştirme

Photon, Databricks Runtime 9.1 LTS ve üzerini çalıştıran kümelerde varsayılan olarak etkindir.

Foton hızlandırmayı etkinleştirmek veya devre dışı bırakmak için Foton Hızlandırma kullan onay kutusunu seçin.

İsterseniz, Çalışan Türü ve Sürücü Türü açılan listelerinde örnek türünü belirtebilirsiniz. Databricks, en uygun fiyat ve performans için aşağıdaki örnek türlerini önerir:

  • Standard_E4ds_v4
  • Standard_E8ds_v4
  • Standard_E16ds_v4

Çalışan ve sürücü düğümü türleri

Küme bir sürücü düğümünden ve sıfır veya daha fazla çalışan düğümünden oluşur. Sürücü düğümü varsayılan olarak çalışan düğümüyle aynı örnek türünü kullansa da, sürücü ve çalışan düğümleri için ayrı bulut sağlayıcısı örnek türleri seçebilirsiniz. Farklı örnek türü aileleri, yoğun bellek kullanan veya işlem yoğunluklu iş yükleri gibi farklı kullanım örneklerine uyar.

Çalışan türü

Azure Databricks çalışan düğümleri, düzgün çalışan kümeler için gereken Spark yürütücülerini ve diğer hizmetleri çalıştırır. İş yükünüzü Spark ile dağıttığınızda tüm dağıtılmış işlemler çalışan düğümlerinde gerçekleşir. Azure Databricks, çalışan düğümü başına bir yürütücü çalıştırır. Bu nedenle yürütücü ve çalışan terimleri Databricks mimarisi bağlamında birbirinin yerine kullanılır.

Bahşiş

Spark işini çalıştırmak için en az bir çalışan düğümüne ihtiyacınız vardır. Kümede sıfır çalışan varsa sürücü düğümünde Spark harici komutları yürütebilirsiniz ancak Spark komutları başarısız olur.

Çalışan düğümü IP adresleri

Azure Databricks, her biri iki özel IP adresine sahip çalışan düğümlerini başlatır. Düğümün birincil özel IP adresi Azure Databricks iç trafiğini barındırıyor. İkincil özel IP adresi Spark kapsayıcısı tarafından küme içi iletişim için kullanılır. Bu model, Azure Databricks'in aynı çalışma alanında birden çok küme arasında yalıtım sağlamasına olanak tanır.

Sürücü türü

Sürücü düğümü sürücüye bağlı tüm not defterlerinin durum bilgilerini saklar. Sürücü düğümü ayrıca SparkContext'i korur, bir not defterinden veya kümedeki bir kitaplıktan çalıştırdığınız tüm komutları yorumlar ve Spark yürütücüleriyle koordine olan Apache Spark yöneticisini çalıştırır.

Sürücü düğümü türünün varsayılan değeri çalışan düğümü türününkiyle aynıdır. Spark çalışanlarından çok fazla veri almayı ve bunları not defterinde analiz etmeyi collect() planlıyorsanız daha fazla belleğe sahip daha büyük bir sürücü düğümü türü seçebilirsiniz.

Bahşiş

Sürücü düğümü ekli not defterlerinin tüm durum bilgilerini koruduğundan, kullanılmayan not defterlerini sürücü düğümünden ayırdığından emin olun.

GPU örneği türleri

Azure Databricks, derin öğrenmeyle ilişkili olanlar gibi yüksek performans gerektiren hesaplama açısından zorlu görevler için grafik işleme birimleri (GPU) ile hızlandırılmış kümeleri destekler. Daha fazla bilgi için bkz . GPU özellikli kümeler.

Azure gizli bilgi işlem VM'leri (Genel Önizleme)

Azure gizli bilgi işlem VM türleri, bulut operatörü de dahil olmak üzere kullanımda olan verilere yetkisiz erişimi engeller. Bu VM türü, yüksek düzeyde düzenlenmiş sektörler ve bölgelerin yanı sıra bulutta hassas verilere sahip işletmeler için yararlıdır. Azure'ın gizli bilgi işlemi hakkında daha fazla bilgi için bkz . Azure gizli bilgi işlem.

Azure gizli bilgi işlem VM'lerini kullanarak iş yüklerinizi çalıştırmak için çalışan ve sürücü düğümü açılır listelerindeki DC veya EC serisi VM türleri arasından seçim yapın. Bkz. Azure Gizli VM seçenekleri.

Spot örnekleri

Maliyetten tasarruf etmek için Spot örnekleri onay kutusunu işaretleyerek Azure Spot VM'leri olarak da bilinen spot örnekleri kullanmayı seçebilirsiniz.

Configure spot

İlk örnek her zaman isteğe bağlı olacaktır (sürücü düğümü her zaman isteğe bağlıdır) ve sonraki örnekler spot örnekler olacaktır. Spot örnekler kullanılamama nedeniyle çıkarılırsa, çıkarılan örneklerin yerine isteğe bağlı örnekler dağıtılır.

Otomatik ölçeklendirmeyi etkinleştirme

Otomatik ölçeklendirmeyi etkinleştir seçeneği işaretlendiğinde, küme için en az ve en fazla çalışan sayısını sağlayabilirsiniz. Databricks daha sonra işinizi çalıştırmak için gereken uygun sayıda çalışanı seçer.

Kümenizin arasında otomatik ölçeklendirme yapacağı en düşük ve en fazla çalışan sayısını ayarlamak için Çalışan türü açılan listesinin yanındaki En az çalışan ve En fazla çalışan alanı alanlarını kullanın.

Otomatik ölçeklendirmeyi etkinleştirmezseniz, Çalışan türü açılan listesinin yanındaki Çalışanlar alanına sabit sayıda çalışan girersiniz.

Dekont

Küme çalışırken, küme ayrıntı sayfası ayrılan çalışanların sayısını görüntüler. Ayrılan çalışan sayısını çalışan yapılandırmasıyla karşılaştırabilir ve gerektiğinde ayarlamalar yapabilirsiniz.

Otomatik ölçeklendirmenin avantajları

Otomatik ölçeklendirme sayesinde Azure Databricks, çalışanlarınızı işinizin özelliklerini hesaba eklemek için dinamik olarak yeniden ayırır. İşlem hattınızın bazı bölümleri diğerlerinden daha hesaplama açısından daha zorlu olabilir ve Databricks işinizin bu aşamalarında otomatik olarak ek çalışanlar ekler (ve artık gerekli olmadığında bunları kaldırır).

Bir iş yüküyle eşleşecek şekilde kümeyi hazırlamanız gerekmeyen otomatik ölçeklendirme, yüksek küme kullanımını sağlamayı kolaylaştırır. Bu, özellikle gereksinimleri zaman içinde değişen iş yükleri için geçerlidir (örneğin, bir gün boyunca bir veri kümesini keşfetmek gibi), ancak sağlama gereksinimleri bilinmeyen bir kerelik daha kısa bir iş yükü için de geçerli olabilir. Bu nedenle otomatik ölçeklendirme iki avantaj sunar:

  • İş yükleri, sabit boyutlu, az sağlanan kümeye kıyasla daha hızlı çalışabilir.
  • Kümeleri otomatik ölçeklendirme, statik olarak boyutlandırılmış bir kümeye kıyasla genel maliyetleri azaltabilir.

Kümenin ve iş yükünün sabit boyutuna bağlı olarak, otomatik ölçeklendirme size bu avantajlardan birini veya ikisini aynı anda sağlar. Bulut sağlayıcısı örnekleri sonlandırdığında küme boyutu seçilen en düşük çalışan sayısının altına inebilir. Bu durumda Azure Databricks, en az çalışan sayısını korumak için örnekleri yeniden sağlamayı sürekli olarak yeniden denenir.

Dekont

spark-submit işleri için otomatik ölçeklendirme kullanılamıyor.

Dekont

İşlem otomatik ölçeklendirmesi, Yapılandırılmış Akış iş yükleri için küme boyutunu azaltmayla ilgili sınırlamalara sahiptir. Databricks, akış iş yükleri için Gelişmiş Otomatik Ölçeklendirme ile Delta Live Tablolarının kullanılmasını önerir. Bkz . Gelişmiş Otomatik Ölçeklendirme nedir?.

Otomatik ölçeklendirmenin davranışı

Premium ve Kurumsal fiyatlandırma planlarındaki çalışma alanı, iyileştirilmiş otomatik ölçeklendirmeyi kullanır. Standart fiyatlandırma planındaki çalışma alanları standart otomatik ölçeklendirmeyi kullanır.

İyileştirilmiş otomatik ölçeklendirme aşağıdaki özelliklere sahiptir:

  • 2 adımda en düşükten maks.'ye ölçeklendirilir.
  • Dosya karıştırma durumuna bakarak küme boşta olmasa bile ölçeği küçültebilir.
  • Geçerli düğümlerin yüzdesine göre ölçeği küçültür.
  • İş kümelerinde, küme son 40 saniye içinde az kullanılıyorsa ölçeği azaltılır.
  • Tüm amaçlı kümelerde, küme son 150 saniye içinde az kullanılıyorsa ölçeği azaltılır.
  • spark.databricks.aggressiveWindowDownS Spark yapılandırma özelliği, bir kümenin ölçeği azaltma kararları alma sıklıklarını saniyeler içinde belirtir. Değerin artırılması, kümenin ölçeğinin daha yavaş küçültülmesine neden olur. En yüksek değer 600'dür.

Standart otomatik ölçeklendirme, standart plan çalışma alanlarında kullanılır. Standart otomatik ölçeklendirme aşağıdaki özelliklere sahiptir:

  • 8 düğüm ekleyerek başlar. Ardından üstel olarak ölçeği artırarak maksimuma ulaşmak için gereken kadar adım atabilirsiniz.
  • Düğümlerin %90'ı 10 dakika meşgul olmadığında ve küme en az 30 saniye boşta kaldığında ölçeği küçültür.
  • 1 düğümden başlayarak ölçeği üstel olarak daraltır.

Havuzlarla otomatik ölçeklendirme

Örnek havuzu kullanıyorsanız:

  • İstenen küme boyutunun havuzdaki en az boştaki örnek sayısından küçük veya buna eşit olduğundan emin olun. Bu sayıdan çoksa, küme başlatma zamanı havuzu kullanmayan bir kümeyle eşdeğer olur.
  • En büyük küme boyutunun havuzun maksimum kapasitesinden küçük veya buna eşit olduğundan emin olun. Kapasiteden büyükse küme oluşturma başarısız olur.

Otomatik ölçeklendirme örneği

Statik bir kümeyi otomatik ölçeklendirme kümesi olacak şekilde yeniden yapılandırırsanız, Azure Databricks kümeyi en düşük ve en yüksek sınırlar içinde hemen yeniden boyutlandırır ve ardından otomatik ölçeklendirmeyi başlatır. Örneğin, bir kümeyi 5 ile 10 düğüm arasında otomatik ölçeklendirme için yeniden yapılandırırsanız, aşağıdaki tabloda belirli bir başlangıç boyutuna sahip kümelere ne olduğu gösterilmektedir.

İlk boyut Yeniden yapılandırmadan sonra boyut
6 6
12 10
3 5

Yerel depolamayı otomatik ölçeklendirme

Genellikle belirli bir işin ne kadar disk alanı alacağını tahmin etmek zor olabilir. Azure Databricks, oluşturma sırasında kümenize kaç gigabaytlık yönetilen disk iliştirmek zorunda olmadığınızı tahmin etmek zorunda kalmaktan kurtarmak için tüm Azure Databricks kümelerinde yerel depolamayı otomatik olarak ölçeklendirmeyi etkinleştirir.

Yerel depolamayı otomatik ölçeklendirme ile Azure Databricks, kümenizin Spark çalışanlarında kullanılabilir boş disk alanı miktarını izler. Bir çalışan diskte çok az çalışmaya başlarsa Databricks, disk alanı dolmadan önce çalışana otomatik olarak yeni bir yönetilen disk ekler. Diskler, sanal makine başına toplam 5 TB disk alanı sınırına (sanal makinenin ilk yerel depolama alanı dahil) bağlanır.

Bir sanal makineye bağlı yönetilen diskler yalnızca sanal makine Azure'a döndürülürken ayrılır. Yani, yönetilen diskler çalışan bir kümenin parçası oldukları sürece hiçbir zaman bir sanal makineden ayrılmaz. Azure Databricks, yönetilen disk kullanımının ölçeğini küçültmek için bu özelliğin otomatik ölçeklendirme işlemi veya otomatik sonlandırma ile yapılandırılmış bir kümede kullanılmasını önerir.

Otomatik sonlandırma

Küme için otomatik sonlandırma da ayarlayabilirsiniz. Küme oluşturma sırasında, kümenin sonlandırılmasını istediğiniz etkinlik dışı süreyi dakikalar içinde belirtebilirsiniz.

Geçerli saat ile kümedeki son komut çalıştırması arasındaki fark belirtilen etkinlik dışı süreden fazlaysa, Azure Databricks bu kümeyi otomatik olarak sonlandırır. Küme sonlandırma hakkında daha fazla bilgi için bkz . Kümeyi sonlandırma.

Yerel disk şifrelemesi

Önemli

Bu özellik Genel Önizlemededir.

Kümeleri çalıştırmak için kullandığınız bazı örnek türlerinde yerel olarak bağlı diskler olabilir. Azure Databricks, karışık verileri veya kısa ömürlü verileri bu yerel olarak eklenmiş disklerde depolar. Bekleyen tüm verilerin kümenizin yerel disklerinde geçici olarak depolanan karıştırma verileri de dahil olmak üzere tüm depolama türleri için şifrelendiğinden emin olmak için yerel disk şifrelemesini etkinleştirebilirsiniz.

Önemli

Yerel birimlere şifrelenmiş verileri okuma ve yazmanın performans üzerindeki etkisi nedeniyle iş yükleriniz daha yavaş çalışabilir.

Yerel disk şifrelemesi etkinleştirildiğinde, Azure Databricks yerel olarak her küme düğümü için benzersiz olan ve yerel disklerde depolanan tüm verileri şifrelemek için kullanılan bir şifreleme anahtarı oluşturur. Anahtarın kapsamı her küme düğümü için yereldir ve küme düğümünün kendisiyle birlikte yok edilir. Anahtar, kullanım ömrü boyunca şifreleme ve şifre çözme için bellekte bulunur ve diskte şifrelenmiş olarak depolanır.

Yerel disk şifrelemesini etkinleştirmek için Kümeler API'sini kullanmanız gerekir. Küme oluşturma veya düzenleme sırasında olarak trueayarlayınenable_local_disk_encryption.

Küme etiketleri

Küme etiketleri, kuruluşunuzdaki çeşitli gruplar tarafından kullanılan bulut kaynaklarının maliyetini kolayca izlemenizi sağlar. Bir küme oluştururken etiketleri anahtar-değer çiftleri olarak belirtebilirsiniz ve Azure Databricks bu etiketleri VM'ler ve disk birimleri gibi bulut kaynaklarına ve DBU kullanım raporlarına uygular.

Havuzlardan başlatılan kümeler için özel küme etiketleri yalnızca DBU kullanım raporlarına uygulanır ve bulut kaynaklarına yayılmaz.

Havuz ve küme etiketi türlerinin birlikte nasıl çalıştığı hakkında ayrıntılı bilgi için bkz. Küme, havuz ve çalışma alanı etiketlerini kullanarak kullanımı izleme

Küme etiketlerini yapılandırmak için:

  1. Etiketler bölümünde, her özel etiket için bir anahtar-değer çifti ekleyin.
  2. Ekle'ye tıklayın.

Spark yapılandırması

Spark işlerinde ince ayar yapmak için, küme yapılandırmasında özel Spark yapılandırma özellikleri sağlayabilirsiniz.

  1. Küme yapılandırması sayfasında Gelişmiş Seçenekler iki durumlu düğmesine tıklayın.

  2. Spark sekmesine tıklayın.

    Spark configuration

    Spark yapılandırmasında yapılandırma özelliklerini satır başına bir anahtar-değer çifti olarak girin.

Kümeler API'sini kullanarak bir küme yapılandırdığınızda, Yeni küme oluşturma API'sindeki veya Küme yapılandırma API'sinispark_confgüncelleştir alanındaki Spark özelliklerini ayarlayın.

Çalışma alanı yöneticileri, kümelerde Spark yapılandırmalarını zorunlu kılmak için küme ilkelerini kullanabilir.

Gizli diziden Spark yapılandırma özelliği alma

Databricks, parolalar gibi hassas bilgilerin düz metin yerine gizli dizide depolanmasını önerir. Spark yapılandırmasında gizli diziye başvurmak için aşağıdaki söz dizimini kullanın:

spark.<property-name> {{secrets/<scope-name>/<secret-name>}}

Örneğin, içinde depolanan secrets/acme_app/passwordgizli dizi değerine çağrılan password bir Spark yapılandırma özelliği ayarlamak için:

spark.password {{secrets/acme-app/password}}

Daha fazla bilgi için bkz . Spark yapılandırma özelliğinde veya ortam değişkeninde gizli dizilere başvurmak için söz dizimi.

Kümelere SSH erişimi

Güvenlik nedeniyle, Azure Databricks'te SSH bağlantı noktası varsayılan olarak kapatılır. Spark kümelerinize SSH erişimini etkinleştirmek istiyorsanız bkz . Küme sürücüsü düğümüne SSH

Dekont

SSH yalnızca çalışma alanınız kendi Azure sanal ağınızda dağıtıldığında etkinleştirilebilir.

Ortam değişkenleri

Bir kümede çalışan init betiklerinden erişebileceğiniz özel ortam değişkenlerini yapılandırabilirsiniz. Databricks, başlatma betiklerinde kullanabileceğiniz önceden tanımlanmış ortam değişkenleri de sağlar. Önceden tanımlanmış bu ortam değişkenlerini geçersiz kılamazsınız.

  1. Küme yapılandırması sayfasında Gelişmiş Seçenekler iki durumlu düğmesine tıklayın.

  2. Spark sekmesine tıklayın.

  3. Ortam Değişkenleri alanında ortam değişkenlerini ayarlayın.

    Environment Variables field

Yeni küme API'sini oluşturma veya Küme yapılandırma API'sini spark_env_vars güncelleştirme alanındaki alanı kullanarak ortam değişkenlerini de ayarlayabilirsiniz.

Küme günlüğü teslimi

Küme oluştururken Spark sürücü düğümü, çalışan düğümleri ve olaylar için günlüklerin teslim edileceği konumu belirtebilirsiniz. Günlükler beş dakikada bir teslim edilir ve seçtiğiniz hedefte saatlik olarak arşivlenir. Bir küme sonlandırıldığında Azure Databricks, küme sonlandırılana kadar oluşturulan tüm günlüklerin teslimini garanti eder.

Günlüklerin hedefi küme kimliğine bağlıdır. Belirtilen hedef ise dbfs:/cluster-log-delivery, için 0630-191345-leap375 küme günlükleri adresine dbfs:/cluster-log-delivery/0630-191345-leap375teslim edilir.

Günlük teslim konumunu yapılandırmak için:

  1. Küme yapılandırması sayfasında Gelişmiş Seçenekler iki durumlu düğmesine tıklayın.
  2. Günlük sekmesine tıklayın.
  3. Bir hedef türü seçin.
  4. Küme günlük yolunu girin.

Dekont

Bu özellik REST API'de de kullanılabilir. Bkz. Kümeler API'sine.