Databricks uygulamaları için yatay ölçeklendirme

Important

Bu özellik Beta sürümündedir. Erişim istemek için Azure Databricks temsilcinize ulaşın. Özellik etkinleştirildikten sonra çalışma alanı yöneticileri Önizlemeler sayfasından bu özelliğe erişimi denetleyebilir. Bkz. Azure Databricks önizlemelerini yönetme.

Bu sayfada, daha yüksek kullanılabilirlik ve eşzamanlılık için tek bir uygulama URL'si arkasında birden çok örnekte Databricks uygulamasının nasıl çalıştırıldığı açıklanır.

Yatay ölçeklendirme, istekleri örnekler arasında dağıtır, böylece tek bir örnek hatası veya yeniden başlatma işlemi uygulamayı çevrimdışına almaz. İşlem maliyeti, örnek sayısıyla doğrusal olarak ölçeklendirilir.

Ek avantajlar şunlardır:

• Oturum benzimi: Aynı kullanıcıdan gelen her istek en iyi çaba temelinde aynı örneğe yönlendirilir, böylece bir uygulama bu örnekte kısa süreli kullanıcı başına verileri (örneğin, bellek içi önbellek) tutabilir. Yapışkan oturumlar olarak da bilinir. Bkz. Oturum benşimi.
• Zero-downtime deployments: Azure Databricks yeni bir dağıtımı önce derleme örneğine sunar ve yalnızca o derleme örneği başarılı olduktan sonra kalan örnekleri güncelleştirir. Mevcut örnekler, tüm trafik için hizmet etmeye devam eder.
• Kararlı derleme önbellekleri: Azure Databricks, işlem kaynaklarındaki güncellemeler arasında (örneğin, örnek boyutunu veya sayısını değiştirdiğinizde) dağıtım artefaktlarını korur; böylece uygulamanın baştan tam olarak yeniden derlenmesi gerekmez.

Gereksinimler

Aşağıdaki gereksinimler yatay olarak ölçeklendirilen tüm uygulamalar için geçerlidir:

• Beta döneminde uygulamanız 0.0.0.0 üzerinde dinlemelidir (127.0.0.1 veya localhost değil).

Yatay olarak ölçeklendirilmiş uygulama oluşturma

Yatay ölçeklendirme etkinleştirilmiş bir uygulama oluşturmak için:

1. Azure Databricks çalışma alanınızda uygulama değiştiricisine tıklayın ve Databricks Apps öğesini seçin.
2. + Uygulama oluştur'a ve ardından Özel uygulama oluştur'a tıklayın.
3. Özel Databricks uygulaması oluşturma bölümünde açıklandığı gibi bir ad girin ve uygulamayı yapılandırın.
4. Yapılandır adımında Yatay ölçeklendirmeyi etkinleştir'i seçin.
5. Örnek sayısını (1-5) belirtin. Azure Databricks kullanılabilirlik için en az 2 örnek önerir.
6. Uygulama oluştur'a tıklayın.

Bir uygulama için yatay ölçeklendirmenin etkinleştirilmesi, çalışma alanında diğer uygulamaları etkilemez.

Yeni oluşturulan yatay olarak ölçeklendirilmiş uygulamalar önceden yüklenmiş Python kitaplıklarını içermez. Tüm bağımlılıkları requirements.txt veya pyproject.toml içinde bildirin. Bkz. Databricks uygulaması için bağımlılıkları yönetme.

Standart uygulamayı yatay ölçeklendirme kullanacak şekilde dönüştürme

Mevcut bir standart uygulamayı Ayarlar sekmesinden yatay olarak ölçeklendirilmiş bir uygulamaya dönüştürün. Dönüştürme işlemi kapalı kalma süresine neden olmaz. Mevcut standart uygulamanız, yeni yatay olarak ölçeklendirilmiş dağıtım sistem durumu denetimlerini geçene kadar trafik sunmaya devam eder ve bu noktada Azure Databricks trafiği keser.

Dönüştürme geri alınamaz. Yatay olarak ölçeklendirilmiş bir uygulamayı aynı Ayarlar sekmesinden standart bir uygulamaya geri dönüştürebilirsiniz.

Dönüştürme davranışı

Dönüştürme zamanında aşağıdaki davranış geçerlidir:

• Örnek sayısı 1 olarak ayarlanır. Dönüştürme işleminden sonra sayıyı değiştirebilirsiniz (5'e kadar). Bkz. Örnek sayısını yönetme.
• Dönüştürülen uygulama, mevcut bağımlılıkların çalışmaya devam etmesi için önceden yüklenmiş Python kitaplıklarını kullanmaya devam eder. Bunun yerine temiz bir temel işletim sistemi görüntüsünde çalıştırmak için dönüştürmeden sonra devre dışı bırakabilirsiniz. Bkz. Databricks uygulamaları için önceden yüklenmiş Python kitaplıklarını devre dışı bırakma.

Dönüştürmeyi test edin

Dönüştürme, uygulamanızın çalışma zamanı görüntüsünü ve ölçeklendirme modelini değiştirir. Üretim uygulamasını dönüştürmeden önce değişikliği yinelenen bir uygulamada doğrulayın:

1. Dönüştürmek istediğiniz standart uygulamanın bir kopyasını oluşturun.
2. Aşağıdaki adımları kullanarak yinelemeyi dönüştürün.
3. Dönüştürülen yinelemede uygulamanın beklendiği gibi çalıştığını doğrulayın. Günlükleri, trafiği ve oturum benzişim davranışlarını denetleyin.
4. Doğrulamadan sonra üretim uygulamasını dönüştürün.

Standart uygulamayı dönüştürme

Standart bir uygulamayı yatay olarak ölçeklendirilecek şekilde dönüştürmek için:

1. Azure Databricks çalışma alanınızda uygulama değiştiricisine tıklayın ve Databricks Apps öğesini seçin.
2. Dönüştürmek istediğiniz uygulamanın adına tıklayın.
3. Ayarlar sekmesine tıklayın.
4. İşlem'in altında Yatay ölçeklendirmeyi etkinleştir'i seçin. Azure Databricks örnek sayısını dönüştürme zamanında gereken 1 olarak ayarlar.
5. Kaydet’e tıklayın.

Azure Databricks yeni yatay olarak ölçeklendirilmiş işlem kaynakları başlatır ve ardından uygulamanızı bunların üzerine yeniden dağıtır. Toplam süre, uygulamanızın derleme süresine bağlıdır. Mevcut uygulama, süreç boyunca trafiği işlemeye devam eder.

Dönüştürme tamamlandıktan sonra, önceden yüklenmiş kitaplıkların ölçeğini artırabilir veya devre dışı bırakabilirsiniz.

Örnek sayısını yönetme

Yatay olarak ölçeklendirilmiş bir uygulamanın örnek sayısını değiştirmek için:

1. Uygulama ayrıntıları sayfasında Düzenle'ye tıklayın.
2. Yapılandır adımında Örnek sayısı'nı güncelleştirin.
3. Kaydet’e tıklayın.

Uygulama, Azure Databricks değişikliği uygularken trafiğe hizmet etmeye devam eder.

Oturum yakınlığı

Oturum benzimi, mümkün olduğunda aynı kullanıcıdan gelen her isteği aynı örneğe yönlendirir. Bir uygulama, kullanıcı oturumunu işleyen örnekte kullanıcı başına kısa süreli verileri (örneğin, bellek içi önbellek veya yerel dosya sistemindeki geçici dosyalar) tutmak için bu yönlendirmeyi kullanabilir. Oturum bağlılığı, yapışkan oturumlar olarak da bilinir.

Oturum yakınlığı en iyi gayret esasına dayanır. Kalıcı bir depolama alanından yeniden oluşturamayacağınız veya alamayacağınız hiçbir şeyi instance’e yerel durumda depolamayın. Bir oturumun ötesinde kalması gereken tüm verileri, Unity Catalog tabloları gibi kalıcı bir depolama alanında saklayın.

Ayrıca Lakebase ile verileri kalıcı hale de ekleyebilirsiniz.

Tarayıcı tabanlı uygulamalar

Oturum benzitesi tarayıcı tabanlı uygulamalar için otomatik olarak çalışır. Tarayıcıdan gelen ilk istek, __Host-databricks-app-router tanımlama bilgisini ayarlayan rastgele seçilmiş bir örneğe yönlendirilir. Bu tanımlama bilgisine sahip sonraki istekler aynı örneğe yönlendirilir.

API istemcileri

API istemcileri için oturum yapışkanlığı elde etmek üzere, her isteğe __Host-databricks-app-router tanımlama bilgisini ekleyin ve değerini rastgele oluşturulmuş bir UUID olarak ayarlayın. Aynı tanımlama bilgisi değeri olan tüm istekler aynı örneğe yönlendirilir.

curl -X GET https://<your-app>.aws.databricksapps.com/api/endpoint \
  -H "Authorization: Bearer YOUR_BEARER_TOKEN" \
  -b "__Host-databricks-app-router=f8822466-3b1e-423a-988b-54c9e639c250"

Oturum yeniden ataması

Oturumlar aşağıdaki durumlarda farklı bir örneğe geçebilir:

• Bir instans kullanılamaz hale gelir (örneğin, dağıtım işlemi sırasında veya bir kilitlenme durumunda).
• Örnek sayısını değiştirirsiniz.
• Azure Databricks, oturumları örnekler arasında yeniden dağıtır.
• Tek bir istek yanlış yönlendirilir (nadir).

Sınırlamalar

Yatay olarak ölçeklendirilmiş uygulamalar için aşağıdaki sınırlamalar geçerlidir:

• Her çalışma alanında en fazla 5 yatay olarak ölçeklendirilmiş uygulama olabilir. Bu sınırı artırmak için Azure Databricks temsilcinize başvurun.
• Yatay olarak ölçeklendirilen her uygulamanın en fazla 5 örneği olabilir. Bu sınırı artırmak için Azure Databricks temsilcinize başvurun.
• Günlükler sekmesi tek seferde tek bir örnekteki günlükleri gösterir. Tüm örneklerdeki günlükleri görüntülemek için uygulama telemetrisini etkinleştirin.