Microsoft Fabric için Apache Spark'ta iş kabulü
Şunlar için geçerlidir:✅ Microsoft Fabric'te Veri Madenciliği ve Veri Bilimi
Apache Spark for Fabric, Spark işlerinin en düşük çekirdek gereksinimini belirlemek için iyimser iş kabul tekniğini kullanır. Bu işlem not defterlerinden, lakehouse'lardan veya Spark iş tanımlarından etkileşimli veya toplu işler için geçerlidir. Çalışma alanı ayarlarında veya ekli ortamda seçilen Spark havuzunun en düşük düğüm ayarına dayanır. Çalışma alanına bağlı Doku kapasitesinde kullanılabilir çekirdekler bulunursa iş kabul edilir ve yürütmeye başlar. İşler en düşük düğüm ayarlarıyla başlatılır ve iş aşamalarına göre maksimum düğüm sınırları içinde ölçeği artırabilir. Yapı kapasitesini kullanan işleri çalıştırırken kullanılan toplam çekirdekler atanan maksimum veri bloğu çekirdeğinin altındaysa, Fabric Spark'ta iş kabulü ve azaltma katmanı işin ölçeğini artırmasına izin verir.
Daha fazla bilgi için bkz . Microsoft Fabric Spark'ta eşzamanlılık sınırları ve kuyruğa alma.
İyimser iş kabulü nasıl çalışır?
Doku'da başlangıç havuzları varsayılan en az bir düğümle birlikte sunulurken, özel havuzlar iş yükü gereksinimlerine göre en düşük düğümleri ayarlamanıza olanak tanır. Otomatik ölçeklendirme, spark işlerinin işlem gereksinimlerini, yapılandırılan en düşük ve en yüksek düğümler içinde yürütme aşamaları sırasında ayarlar. İyimser iş kabulü, iş gönderimlerini kullanılabilir çekirdeklere göre değerlendirir ve bunları en düşük çekirdeklerle yürütür. İşler yürütme sırasında ayrılan düğüm sayısı üst sınırına göre büyümeye çalışır. Kullanılan toplam Spark çekirdeği ayrılmış kapasite sınırları içindeyse ölçek artırma istekleri onaylanmıştır.
Not
Kullanım üst sınıra ulaşırsa ve Doku için toplam kapasitedeki tüm çekirdekler kullanımdaysa, tüm ölçek artırma istekleri reddedilir. Çekirdekleri boşaltmak için etkin işlerin bitması veya iptal edilmesi gerekir.
Bu durum iş eşzamanlılığını nasıl etkiler?
Her işin en düşük çekirdek gereksinimi, işin kabul edilip kabul edilemediğini belirler. Kapasite tam olarak kullanılıyorsa ve işin en düşük çekirdek gereksinimlerini karşılayacak çekirdek kalmadıysa, iş reddedilir. Etkileşimli not defteri işleri veya Lakehouse işlemleri şu anda tüm kullanılabilir kapasite kullanıldığından bu istek gönderilemiyor hata iletisiyle engellenir. Çalışmakta olan bir işi iptal edin, kullanılabilir kapasitenizi artırın veya daha sonra yeniden deneyin. Çekirdekler kullanılabilir duruma geldikten sonra toplu işler kuyruğa alınır ve yürütülür.
Örneğin, bir kullanıcının Doku F32 kapasite SKU'sunu kullanmasıyla ilgili bir senaryoyu göz önünde bulundurun. Tüm işlerin iyimser iş kabulü olmadan varsayılan başlangıç havuzu kurulumunu kullandığını varsayarsak, kapasite üç işin eşzamanlılığını üst sınırını destekler. İş başına en fazla çekirdek sayısı, maksimum düğüm yapılandırmasına göre ayrılır.
Yukarıdakiyle aynı kapasiteye sahip iyimser iş kabulüyle, en yüksek eşzamanlılık senaryosu sırasında en düşük düğüm yapılandırması kullanılarak 24 iş kabul edilebilir ve yürütülebilir. Her iş için en az bir düğüm yapılandırmasının orta büyüklükte olduğu 8 Spark sanal çekirdeği gerekir.
Spark otomatik ölçeklendirme ile işleri ölçeklendirme
Spark havuzları için otomatik ölçeklendirmeyi etkinleştirdiğinizde, işler en düşük düğüm yapılandırmasıyla çalışır. Çalışma zamanı sırasında ölçeklendirme gerçekleşebilir. Bu istekler iş kabul denetiminden geçer. Onaylanan istekler, toplam kullanılabilir çekirdek temelinde en yüksek sınırlara kadar ölçeklendirilir. Reddedilen istekler etkin işleri etkilemez; çekirdekler kullanılabilir duruma gelene kadar geçerli yapılandırmalarıyla çalışmaya devam ederler.
Not
Bir işin maksimum düğüm yapılandırmasına göre en fazla çekirdek ayırmasını sağlamak için otomatik ölçeklendirmeyi devre dışı bırakın ve Yapı kapasitesi SKU'su içindeki maksimum düğümleri ayarlayın. Bu durumda, işin minimum çekirdek gereksinimi olmadığından, ücretsiz çekirdekler kullanılabilir olduğunda çalışmaya başlar ve yapılandırılan toplama ölçeklendirilir. Kapasite tam olarak kullanılıyorsa, not defteri etkileşimli işleri yavaşlar veya kuyruğa alınabilir. Kuyruğa alınan işler, çekirdekler kullanılabilir hale geldikçe otomatik olarak yeniden denenir.
İlgili içerik
- Microsoft Fabric'te Spark çalışma alanı yönetim ayarlarını kullanmaya başlayın.
- Doku veri mühendisliği ve veri bilimi için Spark işlem hakkında bilgi edinin.
- Fabric Spark için Eşzamanlılık ve kuyruğa alma sınırları hakkında daha fazla bilgi edinin.