Fabric kapasiteleri için veri mühendisliği ve veri bilimi ayarlarını yapılandırma ve yönetme

Şunlar için geçerlidir:✅ Doku Veri Mühendisliği ve Veri Bilimi

Azure portalından Fabric oluşturduğunuzda, kapasite oluşturmak için kullanılan abonelikle ilişkili Fabric kiracına otomatik olarak ekleniyor. Fabric'teki basitleştirilmiş kurulumla, kapasiteyi Fabric kiracısına bağlamaya gerek yok. Çünkü yeni oluşturulan kapasite yönetici ayarları bölmesinde listelenir. Bu yapılandırma, yöneticilerin kurumsal analiz ekipleri için kapasite ayarlamaya başlamaları için daha hızlı bir deneyim sağlar.

Kapasitedeki Veri Madenciliği/Bilim ayarlarında değişiklik yapmak için bu kapasite için yönetici rolüne sahip olmanız gerekir. Kapasitedeki kullanıcılara atayabileceğiniz roller hakkında daha fazla bilgi edinmek için Kapasitelerdeki Roller kısmına bakın.

Fabric kapasitesi için Veri Mühendisliği/Bilim ayarlarını yönetmek için aşağıdaki adımları kullanın:

  1. Fabric hesabınızın ayar bölmesini açmak için Ayarlar seçeneğini belirleyin. İdare ve içgörüler bölümünden Yönetici portalı'ni seçin.

    Yönetici Portalı ayarlarının seçileceği yeri gösteren ekran görüntüsü.

  2. Menüyü genişletmek için Kapasite ayarları seçeneğini belirleyin ve Doku kapasitesi sekmesini seçin. Burada kiracınızda oluşturduğunuz kapasiteleri görmeniz gerekir. Yapılandırmak istediğiniz kapasiteyi seçin.

    Kapasite ayarlarının seçileceği yeri gösteren ekran görüntüsü.

  3. Kapasitenizin kullanımını ve diğer yönetici denetimlerini görüntüleyebileceğiniz kapasite ayrıntıları bölmesine gidersiniz. Veri Mühendisliği/Bilim Ayarları bölümüne gidin ve Spark İşlemi Aç'ı seçin. Aşağıdaki parametreleri yapılandırın:

Not

Doku Kapasitesi Yönetim Portalı'ndan Veri Mühendisliği/Bilim Ayarlarını keşfetmek için Doku Kapasitesi'ne en az bir çalışma alanı eklenmelidir.


Yönetici denetimi: Başlangıç Havuzu kullanımını devre dışı bırakma

Kapasite yöneticileri artık kapasiteye bağlı çalışma alanları arasında Başlangıç Havuzu kullanımını devre dışı bırakabilirsiniz . Devre dışı bırakıldığında, kullanıcılar ve çalışma alanı yöneticileri artık başlangıç havuzunu işlem seçeneği olarak görmez. Bunun yerine, kapasite yöneticisi tarafından açıkça oluşturulan ve yönetilen özel havuzları kullanmaları gerekir.

Bu özellik işlem kullanımı için merkezi idare sağlayarak işlem boyutlandırma, maliyet ve zamanlama davranışı üzerinde daha sıkı denetim sağlar.

Tavsiye

Bu ayar özellikle işlem desenlerini standartlaştırmak ve varsayılan başlangıç havuzları aracılığıyla rastgele tüketimden kaçınmak isteyen büyük kuruluşlarda kullanışlıdır.


Yönetici denetimi: İş düzeyinde ani artış anahtarı

Fabric, Spark VCores için 3× bursting desteğini destekliyor; böylece tek bir iş, temel kapasiteden geçici olarak daha fazla hesaplama çekirdeği kullanabiliyor. Bu, tam kapasite kullanımına izin vererek etkinlik artışları sırasında iş performansını artırır.

Kapasite yöneticisi olarak, artık Yönetici Portalı'nda bulunan "İş düzeyi artışını devre dışı bırak" anahtarını kullanarak bu davranışı denetleyebilirsiniz:

  • Konum:
    Admin Portal → Capacity Settings → [Select Capacity] → Data Engineering/Science Settings → Spark Compute

  • Davranış:

    • Etkin (Varsayılan): Tek bir Spark işi tam ani artış sınırını (Spark sanal çekirdeğinin 3 katına kadar) tüketebilir.
    • Devre dışı: Bireysel Spark işleri, eşzamanlılığı korumak ve tekelleşmeyi önlemek amacıyla, temel kapasite tahsisatına göre sınırlandırılır.

Not

Bu anahtar yalnızca Doku Kapasitesinde Spark işleri çalıştırılırken kullanılabilir. Faturalamayı Otomatik Ölçeklendirme seçeneği etkinse, bu anahtar otomatik olarak devre dışı bırakılır çünkü:

  • Otomatik Ölçeklendirme Faturalaması, tamamen kullandıkça öde modeline dayanmaktadır.
  • Kullanım artışlarına izin vermek ve bunları 24 saat boyunca dengelemek için düzeltme penceresi yoktur .
  • Ani artış, talep üzerine otomatik ölçeklendirme işleminin değil ayrılmış kapasitenin bir özelliğidir.

Kullanım durumları ve örnekler

Senaryo Ayarlar Davranış
Ağır ETL iş yükü Patlama etkinleştirildi (varsayılan) İş, veri bloğu kapasitesinin tamamını (örneğin, F64'te 384 Spark sanal çekirdeği) kullanabilir.
Çok kullanıcılı etkileşimli not defterleri Patlama devre dışı bırakıldı İş kullanımı sınırlıdır (örneğin, F64'te 128 Spark VCore), eşzamanlılığı artırır.
Otomatik Ölçeklendirme Faturalaması etkinleştirildi Patlama kontrolü kullanılamıyor Tüm Spark kullanımı isteğe bağlı olarak faturalandırılır; temel kapasitenin aşılması yok.

Tavsiye

Bu düğmeyi aktarım hızı veya eşzamanlılık için optimize etmek amacıyla kullanın:

  • Büyük işler ve işlem hatları için patlatmayı açık tutun.
  • Çok sayıda kullanıcı içeren etkileşimli veya paylaşılan ortamlar için devre dışı bırakın.

Microsoft Fabric'de Veri Mühendisliği ve Veri Bilimi için Kapasite Havuzları

  1. Spark Ayarları'nın Havuz Listesi bölümünde Ekle'ye tıklayarak Doku Kapasiteniz için Özel Havuz oluşturun.

    Yönetici Portalı ayarlarında havuz listesi bölümünü gösteren ekran görüntüsü.

    Havuz oluşturma sayfasına gidersiniz; burada şunları yapabilirsiniz:

    • Havuz adını belirtin
    • Düğüm ailesi ve Düğüm boyutu'nu seçin
    • Min ve Max düğümlerini ayarlama
    • Yürütücülerin otomatik ölçeklendirmesini ve dinamik ayırmasını etkinleştirme/devre dışı bırakma

    Yönetici Portalı ayarlarında havuz oluşturma bölümünü gösteren ekran görüntüsü.

  2. Ayarlarınızı kaydetmek için Oluştur'u seçin.

    Yönetici Portalı ayarlarına kaydedilen kapasite havuzlarını gösteren ekran görüntüsü.

Not

Kapasite düzeyindeki özel havuzların başlangıç gecikme süresi 2-3 dakikadır. Spark oturumlarının daha hızlı başlatılması (<5 saniye) için, etkinleştirildiyse Başlangıç Havuzlarını kullanın.

  1. Kapasite havuzu oluşturulduktan sonra şu adreste kullanılabilir hale gelir:

    • Çalışma alanı ayarlarında Havuz Seçimi açılan menüsü
    • Çalışma alanlarında Ortam İşlem Ayarları sayfası

    Çalışma alanı ayarlarında listelenen kapasite havuzlarını gösteren ekran görüntüsü.

    Ortam ayarlarında listelenen kapasite havuzlarını gösteren ekran görüntüsü.

  2. Bu, merkezi işlem idaresini etkinleştirir. Yöneticiler standart havuzlar oluşturabilir ve isteğe bağlı olarak çalışma alanı düzeyinde özelleştirmeyi devre dışı bırakabilir ve çalışma alanlarındaki yöneticilerin havuz ayarlarını değiştirmesini veya kendi ayarlarını oluşturmasını engelleyebilir.