Havuz yapılandırma referansı

Bu makalede, kullanıcı arabirimini kullanarak havuz oluştururken kullanılabilen ayarlar açıklanmaktadır. Databricks CLI kullanarak havuz oluşturmayı öğrenmek için bkz . Databricks CLI komutları. Rest API'yi kullanarak havuz oluşturmayı öğrenmek için örnek havuzları API'sine bakın.

Not

İş yükünüz sunucusuz işlem destekliyorsa Databricks, her zaman açık, ölçeklenebilir işlemden yararlanmak için havuzlar yerine sunucusuz işlem kullanılmasını önerir. Bkz Sunucusuz hesaplamaya bağlanın.

Havuz boyutu

Havuz oluşturduğunuzda, boyutunu denetlemek için üç parametre ayarlayabilirsiniz: boştaki minimum örnek sayısı, maksimum kapasite ve boştaki örneklerin otomatik sonlandırılması.

Minimum Boşta Kalan Örnekler

Havuzun boşta tuttuğu en az birim sayısı. Bu örnekler, otomatik sonlandırma ayarlarından bağımsız olarak sonlanmaz. Bir küme havuzdan boşta örnekleri kullanıyorsa, Azure Databricks, minimum seviyeyi korumak için ek örnekler tahsis eder.

Maksimum Kapasite

Havuzun sağlayabileceği en fazla örnek sayısı. Ayarlanırsa, bu değer tüm örnekleri (boşta + kullanılan) kısıtlar. Havuzu kullanan bir küme otomatik ölçeklendirme sırasında bu sayıdan daha fazla örnek isterse istek bir INSTANCE_POOL_MAX_CAPACITY_FAILURE hatayla başarısız olur.

Bu yapılandırma isteğe bağlıdır. Azure Databricks yalnızca aşağıdaki durumlarda bir değer ayarlamanızı önerir:

• Altında kalmanız gereken bir örnek kotanız var.
• Bir çalışma kümesini başka bir çalışma kümesini etkilemeye karşı korumak istiyorsunuz. Örneğin, örnek kotanızın 100 olduğunu ve işleri çalıştırması gereken A ve B ekiplerinizin olduğunu varsayalım. İki ekibin 100 kotayı adil bir şekilde paylaşması için maksimum 50 ile A havuzu ve maksimum 50 ile B havuzu oluşturabilirsiniz.
• Maliyeti üst sınırına düşürmelisiniz.

Boşta kalan oturumun otomatik sonlandırılması

Örneklerin havuz tarafından sonlandırılmadan önce boşta kalabileceği süre, Minimum Boşta Örnekler'de ayarlanan değerin üzerinde dakika cinsinden süredir.

Örnek türleri

Havuz, hem yeni kümeler için hazır tutulan boştaki örneklerden hem de kümeler çalıştırılarak kullanılmakta olan örneklerden oluşur. Bu örneklerin tümü aynı örnek sağlayıcısı türündedir ve havuz oluşturulurken seçilir.

Havuzun örnek türü düzenlenemez. Havuza bağlı kümeler, sürücü ve çalışan düğümleri için aynı örnek türünü kullanır. Farklı örnek türü aileleri, yoğun bellek kullanan veya işlem yoğunluklu iş yükleri gibi farklı kullanım örneklerine uyar.

Azure Databricks, bir örnek türünün desteğini durdurmadan önce her zaman bir yıllık kullanımdan kaldırma bildirimi sağlar.

Not

Güvenlik gereksinimleriniz işlem yalıtımını içeriyorsa, çalışan türünüz olarak bir Standard_F72s_V2 örneği seçin. Bu örnek türleri, fiziksel konağın tamamını kullanan yalıtılmış sanal makineleri temsil eder ve örneğin ABD Savunma Bakanlığı Etki Düzeyi 5 (IL5) iş yüklerini desteklemek için gereken yalıtım düzeyini sağlar.

Databricks Runtime sürümü önceden yüklenmiş

Havuzdaki boştaki örneklere yüklenecek Databricks Runtime sürümünü seçerek küme başlatmalarını hızlandırabilirsiniz. Kullanıcı havuz tarafından yedeklenen bir küme oluştururken bu çalışma zamanını seçerse, bu küme önceden yüklenmiş Databricks Runtime sürümünü kullanmayan havuz destekli bir kümeden daha hızlı başlatılır.

Küme başlatmalarını yavaşlatır, çünkü bu seçenek Hiçbiri olarak ayarlandığında, Databricks Runtime sürümü havuzdaki boşta olan örneklere isteğe bağlı olarak indirilir. Küme havuzdaki örnekleri serbest bıraktığında Databricks Runtime sürümü bu örneklerde önbelleğe alınmış olarak kalır. Aynı Databricks Runtime sürümünü kullanan sonraki küme oluşturma işlemi bu önbelleğe alma davranışından yararlanabilir, ancak garanti edilmemektedir.

Önceden yüklenmiş Docker görüntüsü

Havuzu oluşturmak için Örnek Havuzları API'sini kullanırsanız Docker görüntüleri havuzlarla desteklenir.

Havuz etiketleri

Havuz etiketleri, kuruluşunuzdaki çeşitli gruplar tarafından kullanılan bulut kaynaklarının maliyetini kolayca izlemenizi sağlar. Havuz oluştururken etiketleri anahtar-değer çiftleri olarak belirtebilirsiniz ve Azure Databricks bu etiketleri VM'ler ve disk birimleri gibi bulut kaynaklarına ve DBU kullanım raporlarına uygular.

Kolaylık olması için Azure Databricks her havuza üç varsayılan etiket uygular: Vendor, DatabricksInstancePoolIdve DatabricksInstancePoolCreatorId. Havuz oluştururken özel etiketler de ekleyebilirsiniz. En fazla 41 özel etiket ekleyebilirsiniz.

Özel etiketler

Havuza başka etiketler eklemek için Havuz Oluştur sayfasının en altındaki Sekmeler sekmesine gidin. + Ekle düğmesine tıklayın ve anahtar-değer çiftini girin.

Havuz destekli kümeler, havuz yapılandırmasından varsayılan ve özel etiketleri devralır. Havuz etiketleri ve küme etiketlerinin birlikte nasıl çalıştığı hakkında ayrıntılı bilgi için bkz. Etiketleri kullanarak kullanımı izleyin ve değerlendirin.

Yerel depolamayı otomatik ölçeklendirme

Genellikle belirli bir işin ne kadar disk alanı alacağını tahmin etmek zor olabilir. Azure Databricks, havuzunuzun oluşturulması sırasında kaç gigabayt yönetilen disk eklemeniz gerektiğini tahmin etme yükünden sizi kurtarmak için, tüm Azure Databricks havuzlarında yerel depolamanın otomatik ölçeklenmesini etkinleştirir.

Yerel depolamayı otomatik ölçeklendirme ile Azure Databricks, havuzunuzun örneklerinde kullanılabilir boş disk alanı miktarını izler. Bir örneğin disk alanı çok azaldığında, tamamen dolmadan önce otomatik olarak yeni bir yönetilen disk eklenir. Diskler, sanal makine başına toplam 5 TB disk alanı sınırına (sanal makinenin ilk yerel depolama alanı dahil) bağlanır.

Bir sanal makineye bağlı yönetilen diskler yalnızca sanal makine Azure'a döndürülürken ayrılır. Yani, yönetilen diskler bir havuzun parçası olduğu sürece hiçbir zaman bir sanal makineden ayrılmaz.

Spot örnekleri

Maliyetten tasarruf etmek için spot örnekleri kullanmayı seçebilirsiniz. Bunu yapmak için Tüm Spot radyo butonunu işaretleyin.

Havuzdaki kümeler, tüm nodlar, sürücü ve çalışan için spot örneklerle başlatılır (havuz dışı kümeler için hibrit isteğe bağlı sürücü ve spot örnek çalışanlarının aksine).

Spot örnekler kullanılabilir olmadığında çıkarılırsa, isteğe bağlı örnekler çıkarılan örneklerin yerini almaz.