Microsoft Fabric'te Spark çalışma alanı yönetim ayarları

Şunlar için geçerlidir: Microsoft Fabric'te Veri Madenciliği ve Veri Bilimi

Microsoft Fabric'te bir çalışma alanı oluşturduğunuzda, bu çalışma alanıyla ilişkili bir başlangıç havuzu otomatik olarak oluşturulur. Microsoft Fabric'teki basitleştirilmiş kurulumla, bu seçenekler arka planda sizin için ele alındığından düğüm veya makine boyutlarını seçmenize gerek yoktur. Bu yapılandırma, kullanıcıların işlem ayarlama konusunda endişelenmeye gerek kalmadan birçok yaygın senaryoda Spark işlerinizi kullanmaya başlamaları ve çalıştırmaları için daha hızlı (5-10 saniye) bir Spark oturumu başlatma deneyimi sağlar. Belirli işlem gereksinimleri olan gelişmiş senaryolar için kullanıcılar özel bir Spark havuzu oluşturabilir ve düğümleri performans gereksinimlerine göre boyutlandırabilir.

Çalışma alanında Spark ayarlarında değişiklik yapmak için bu çalışma alanının yönetici rolüne sahip olmanız gerekir. Daha fazla bilgi edinmek için bkz . Çalışma alanlarındaki roller.

Çalışma alanınızla ilişkili havuzun Spark ayarlarını yönetmek için:

1. Çalışma alanınızdaki Çalışma Alanı ayarlarına gidin ve menüyü genişletmek için Veri Madenciliği/Bilim seçeneğini belirleyin:

   

2. Sol taraftaki menüde Spark İşlem seçeneğini görürsünüz:

   

   Dekont

   Varsayılan havuzu Başlangıç Havuzu'ndan Özel Spark havuzuna değiştirirseniz daha uzun oturum başlangıcı (yaklaşık 3 dakika) görebilirsiniz.

Havuz

Çalışma alanı için varsayılan havuz

Otomatik olarak oluşturulan başlangıç havuzunu kullanabilir veya çalışma alanı için özel havuzlar oluşturabilirsiniz.

• Başlangıç Havuzu: Daha hızlı bir deneyim için önceden doldurulan canlı havuzlar otomatik olarak oluşturulur. Bu kümeler orta büyüklüktedir. Başlangıç havuzu, satın alınan Doku kapasitesi SKU'su temelinde varsayılan bir yapılandırmaya ayarlanır. Yönetici, Spark iş yükü ölçek gereksinimlerine göre maksimum düğümleri ve yürütücüleri özelleştirebilir. Daha fazla bilgi edinmek için bkz . Başlangıç Havuzlarını Yapılandırma

• Özel Spark Havuzu: Spark iş gereksinimlerinize göre düğümleri boyutlandırabilir, otomatik ölçekleyebilir ve yürütücüleri dinamik olarak ayırabilirsiniz. Özel spark havuzu oluşturmak için kapasite yöneticisinin Kapasite Yönetici ayarları'nın Spark İşlem bölümünde Özelleştirilmiş çalışma alanı havuzları seçeneğini etkinleştirmesi gerekir.

Dekont

Özelleştirilmiş çalışma alanı havuzları için kapasite düzeyi denetimi varsayılan olarak etkindir. Daha fazla bilgi edinmek için bkz. Doku Kapasiteleri için Spark İşlem Ayarlar.

Yönetici, kendi işlem gereksinimlerine göre özel Spark havuzları oluşturmak için Yeni Havuz seçeneği.

Microsoft Fabric Spark, kullanıcıların en az 1 düğüm yapılandırmasını seçmesine olanak tanıyan tek düğümlü kümeleri destekler. Bu durumda sürücü ve yürütücü tek bir düğümde çalışır. Bu tek düğümlü kümeler, düğüm hataları durumunda geri yüklenebilen yüksek kullanılabilirlik ve daha küçük işlem gereksinimleri olan iş yükleri için daha iyi iş güvenilirliği sunar. Ayrıca, özel Spark havuzlarınız için otomatik ölçeklendirme seçeneğini etkinleştirebilir veya devre dışı bırakabilirsiniz. Otomatik ölçeklendirme ile etkinleştirildiğinde, havuz kullanıcı tarafından belirtilen en yüksek düğüm sınırı içinde yeni düğümler alır ve daha iyi performans için iş yürütmeden sonra bunları devre dışı bırakabilirsiniz.

Ayrıca, daha iyi performans için veri hacmine göre belirtilen maksimum sınır içinde otomatik olarak en uygun sayıda yürütücü için yürütücüleri havuza dinamik olarak ayırma seçeneğini belirleyebilirsiniz.

Doku için Spark İşlem hakkında daha fazla bilgi edinin.

• Öğeler için işlem yapılandırmasını özelleştirme: Çalışma alanı yöneticisi olarak, kullanıcıların ortam kullanarak not defterleri, spark işi tanımları gibi tek tek öğeler için işlem yapılandırmalarını (Sürücü/Yürütücü Çekirdeği, Sürücü/Yürütücü Belleği içeren oturum düzeyi özellikleri) ayarlamasına izin vekleyebilirsiniz.

Ayar çalışma alanı yöneticisi tarafından kapatılırsa, çalışma alanı içindeki tüm ortamlar için Varsayılan havuz ve işlem yapılandırmaları kullanılır.

Ortam

Ortam, Spark işlerinizi (not defterleri, spark iş tanımları) çalıştırmak için esnek yapılandırmalar sağlar. Bir Ortamda işlem özelliklerini yapılandırabilir, farklı çalışma zamanı seçebilir, iş yükü gereksinimlerinize göre kitaplık paketi bağımlılıklarını ayarlayabilirsiniz.

Ortam sekmesinde, varsayılan ortamı ayarlama seçeneğiniz vardır. Çalışma alanı için hangi Spark sürümünü kullanmak istediğinizi seçebilirsiniz.

Doku çalışma alanı yöneticisi olarak, çalışma alanı varsayılan Ortamı olarak bir Ortam seçebilirsiniz.

Ortam açılan listesinden de yeni bir tane oluşturabilirsiniz.

Varsayılan bir ortama sahip seçeneğini devre dışı bırakırsanız, açılan listede listelenen kullanılabilir çalışma zamanı sürümlerinden Doku çalışma zamanı sürümünü seçme seçeneğiniz vardır.

Spark çalışma zamanları hakkında daha fazla bilgi edinin

Yüksek eşzamanlılık

Yüksek eşzamanlılık modu, kullanıcıların veri mühendisliği ve veri bilimi iş yükleri için Fabric Spark'ta aynı Spark oturumlarını paylaşmasına olanak tanır. Not defteri gibi bir öğe, yürütülmesi için bir Spark oturumu kullanır ve etkinleştirildiğinde kullanıcıların birden çok not defteri arasında tek bir Spark oturumu paylaşmasına izin verir.

Fabric Spark'ta Yüksek Eşzamanlılık hakkında daha fazla bilgi edinin

Machine Learning modelleri ve denemeleri için otomatik günlük kaydı

Yönetici artık makine öğrenmesi modelleri ve denemeleri için otomatik kaydetmeyi etkinleştirebilir. Bu seçenek, eğitilirken bir makine öğrenmesi modelinin giriş parametrelerinin, çıkış ölçümlerinin ve çıkış öğelerinin değerlerini otomatik olarak yakalar. Otomatik kaydetme hakkında daha fazla bilgi edinin.

İlgili içerik

• Dokuda Apache Spark Çalışma Zamanları hakkında bilgi edinin - Genel Bakış, Sürüm Oluşturma, Birden Çok Çalışma Zamanı Desteği ve Delta Lake Protokolü Yükseltme
• Apache Spark genel belgelerinden daha fazla bilgi edinin.
• Sık sorulan soruların yanıtlarını bulun: Apache Spark çalışma alanı yönetimi ayarları hakkında SSS.