Spark havuzlarını Azure Synapse Analytics'ten Doku'ya geçirme

Azure Synapse Spark havuzları sağlarken Fabric, Başlangıç havuzları ve Özel havuzlar sunar. Azure Synapse'te özel yapılandırmaları veya kitaplıkları olmayan tek bir havuzunuz varsa ve Orta düğüm boyutu gereksinimlerinizi karşılıyorsa Başlangıç havuzu iyi bir seçim olabilir. Ancak Spark havuzu yapılandırmalarınızda daha fazla esneklik arıyorsanız Özel havuzları kullanmanızı öneririz. Burada iki seçenek vardır:

  • 1. Seçenek: Daha kılavuzlu ve kolaylaştırılmış bir deneyim kullanarak not defterlerini Azure Synapse'den Fabric geçirmek için geçiş yardımcısını kullanabilirsiniz.
  • 2. Seçenek: Spark havuzunuzu çalışma alanının varsayılan havuzuna taşıyın.
  • 3. Seçenek: Spark havuzunuzu Fabric'da özel bir ortama taşıyın.

Birden fazla Spark havuzunuz varsa ve bunları aynı Fabric çalışma alanına taşımayı planlıyorsanız, birden çok özel ortam ve havuz oluşturarak Seçenek 3'ün kullanılmasını öneririz.

Spark havuzuna ilişkin önemli noktalar için Azure Synapse Spark ile Fabric arasındaki farklar bölümüne bakın.

Önkoşullar

Henüz bir çalışma alanınız yoksa kiracınız içinde bir Fabric çalışma alanı oluşturun.

1. Seçenek: Geçiş yardımcısı kullanma

Azure Synapse'dan Fabric geçiş için migration yardımcısı kullanabilirsiniz. Notebook’ları ve ilgili kaynakları taşımaya yönelik rehberli ve sorunsuz bir deneyim sunmak için tasarlanmıştır.

Seçenek 2: Spark havuzundan çalışma alanının varsayılan havuzuna

Doku çalışma alanınızdan özel bir Spark havuzu oluşturabilir ve bunu çalışma alanında varsayılan havuz olarak kullanabilirsiniz. Varsayılan havuz, aynı çalışma alanında yer alan tüm not defterleri ve Spark iş tanımları tarafından kullanılır.

Mevcut spark havuzundan Azure Synapse'ten çalışma alanı varsayılan havuzuna geçmek için:

  1. Azure Synapse çalışma alanına erişme: Azure'da oturum açın. Azure Synapse çalışma alanınıza gidin, Analiz Havuzları'na gidin ve Apache Spark havuzları'na tıklayın.
  2. Spark havuzunu bulun: Apache Spark havuzlarından Doku'ya taşımak istediğiniz Spark havuzunu bulun ve havuz Özelliklerini denetleyin.
  3. Özellikleri alma: Apache Spark sürümü, düğüm boyutu ailesi, düğüm boyutu veya otomatik ölçeklendirme gibi Spark havuzu özelliklerini alın. Farkları görmek için Spark havuzuyla ilgili dikkat edilmesi gerekenler bölümüne bakın.
  4. Fabric'te özel Spark havuzu oluşturma:
    • Fabric çalışma alanınıza gidin ve Workspace settings seçeneğini belirleyin.
    • Veri Madenciliği/Bilim'e gidin ve Spark ayarları'nı seçin.
    • Havuz sekmesinde ve Çalışma alanı için varsayılan havuz bölümünde açılan menüyü genişletin ve Yeni havuz oluştur'u seçin.
    • Özel havuzunuzu ilgili hedef değerlerle oluşturun. Ad, düğüm ailesi, düğüm boyutu, otomatik ölçeklendirme ve dinamik yürütücü ayırma seçeneklerini doldurun.
  5. Çalışma zamanı sürümünü seçin:
    • Ortam sekmesine gidin ve gerekli Çalışma Zamanı Sürümünü seçin. Kullanılabilir çalışma zamanlarına buradan bakın.
    • Varsayılan ortamı ayarla seçeneğini devre dışı bırakın.

Varsayılan havuzu gösteren ekran görüntüsü.

Not

Bu seçenekte havuz düzeyi kitaplıkları veya yapılandırmaları desteklenmez. Ancak, not defterleri ve Spark iş tanımları gibi tek tek öğeler için işlem yapılandırmasını ayarlayabilir ve satır içi kitaplıklar ekleyebilirsiniz. Bir ortama özel kitaplıklar ve yapılandırmalar eklemeniz gerekiyorsa, özel bir ortamı göz önünde bulundurun.

3. Seçenek: Spark havuzundan özel ortama

Özel ortamlarla özel Spark özellikleri ve kitaplıkları ayarlayabilirsiniz. Özel ortam oluşturmak için:

  1. Azure Synapse çalışma alanına erişme: Azure'da oturum açın. Azure Synapse çalışma alanınıza gidin, Analiz Havuzları'na gidin ve Apache Spark havuzları'na tıklayın.
  2. Spark havuzunu bulun: Apache Spark havuzlarından Doku'ya taşımak istediğiniz Spark havuzunu bulun ve havuz Özelliklerini denetleyin.
  3. Özellikleri alma: Apache Spark sürümü, düğüm boyutu ailesi, düğüm boyutu veya otomatik ölçeklendirme gibi Spark havuzu özelliklerini alın. Farkları görmek için Spark havuzuyla ilgili dikkat edilmesi gerekenler bölümüne bakın.
  4. Özel spark havuzu oluşturma:
    • Fabric çalışma alanınıza gidin ve Workspace settings seçeneğini belirleyin.
    • Veri Madenciliği/Bilim'e gidin ve Spark ayarları'nı seçin.
    • Havuz sekmesinde ve Çalışma alanı için varsayılan havuz bölümünde açılan menüyü genişletin ve Yeni havuz oluştur'u seçin.
    • Özel havuzunuzu ilgili hedef değerlerle oluşturun. Ad, düğüm ailesi, düğüm boyutu, otomatik ölçeklendirme ve dinamik yürütücü ayırma seçeneklerini doldurun.
  5. Henüz bir ortamınız yoksa bir Ortam öğesi oluşturun.
  6. Spark işlem kaynaklarını yapılandırın:
    • Ortam içinde, Spark Compute>Compute bölümüne gidin.
    • Yeni ortam için yeni oluşturulan havuzu seçin.
    • Sürücü ve yürütücü çekirdeklerini ve belleği yapılandırabilirsiniz.
  7. Ortam için bir çalışma zamanı sürümü seçin. Kullanılabilir çalışma zamanlarına buradan bakın.
  8. Değişiklikleri Kaydet ve Yayımla'ya tıklayın.

Ortam oluşturma ve kullanma hakkında daha fazla bilgi edinin.

Özel ortamı gösteren ekran görüntüsü.

İlgili içerik

  • Last updated on