4. Aşama: Güvenlik ve idare geçişi

Bu makale, Azure Synapse Spark'tan Microsoft Fabric'e geçişin en iyi uygulamaları serisinin 4 aşamadan oluşan 4. aşamasıdır.

İş yüklerini doğrulamak, güvenlik ve idare denetimlerini hizalamak ve üretim tam geçişinizi planlamak için geçişinizin son aşamasında bu makaleyi kullanın. Bu makale, güvenlik haritalama hakkında yönergeler ve doğrulama, iyileştirme ile kesintiye hazır olma için kontrol listesi odaklı bir yaklaşım sağlamaktadır.

Bu makalede şunları öğreneceksiniz:

  • Synapse RBAC ve ağ desenlerini Fabric çalışma alanı, OneLake ve yönetilen ağ denetimleriyle eşleyin.
  • Microsoft Purview tümleştirme ve etiketleme dahil olmak üzere idare iş akışlarını yeniden bağlayın.
  • Tam geçişi doğrulamak, iyileştirmek ve yürütmek için aşama aşama geçiş denetim listesini kullanın.
  • Başarılı bir geçişten sonra Synapse Spark eski kaynaklarını yürürlükten kaldırmayı planlayın.

Erişim denetimi

  • Synapse RBAC rolleri (Synapse Yöneticisi, Synapse SQL Yöneticisi, Synapse Spark Yöneticisi ve diğerleri) Fabric çalışma alanı rolleriyle (Yönetici, Üye, Katkıda Bulunan, Görüntüleyici) eşler. Fabric modeli dört role sahip olduğu için daha basittir.

  • Synapse bağlı hizmetleri, Fabric Bağlantıları ile değiştirilir. Çalışma Alanı Ayarları> aracılığıyla Bağlantılar oluşturunBağlantıları ve ağ geçitlerini yönetin. Notebook kodu için bağlı hizmet referanslarını Key Vault tabanlı kimlik doğrulaması veya doğrudan uç nokta yapılandırmasıyla değiştirin.

  • OneLake RBAC, göl evi içindeki klasör ve tablo seviyesinde ince taneli veri erişim kontrolü sağlar.

Ağ güvenliği

  • Synapse Yönetilen VNet ve Özel Uç Noktalar, Fabric Yönetilen VNet + Yönetilen Özel Uç Noktalar ile eşleşir. Fabric Spark'ın Yönetilen Özel Uç Nokta desteği için Özel Havuzlar (Başlangıç Havuzları değil) gerektirdiğini unutmayın.

  • Synapse'te yerinde barındırılan Tümleştirme Çalışma Zamanları (SHIR), Fabric sisteminde Yerinde Veri Ağ Geçitleri (OPDG) ile değiştirilir. Sanal Ağ IR'leri, Sanal Ağ Veri Geçitleri ile değiştirilir.

İdare

Synapse ile Azure Purview kullanıyorsanız Fabric veri kataloğu, köken, duyarlılık etiketleri ve erişim ilkeleri için yerel Microsoft Purview tümleştirmesi sağlar. Fabric çalışma alanlarını taramak için Purview hesabınızı yeniden bağlayın.

Geçiş denetim listesi

Spark geçişinizde ilerleme durumunu izlemek için bu denetim listesini kullanın. Her aşama bir önceki aşamayı oluşturur. Sonraki aşamaya geçmeden önce bir aşamadaki tüm öğeleri tamamlayın.

1. Aşama: Değerlendirme ve planlama

Planlama kılavuzu, geçiş desenleri ve özellik karşılaştırması için bkz . 1. Aşama: Geçiş stratejisi ve planlama.

  • 1.1 Spark varlık envanterini tamamlayın: Spark havuzları, not defterleri, Spark iş tanımları, göl veritabanları, Hive Meta veri deposu (HMS) veritabanları ve not defterlerinde kullanılan bağlı hizmetler.
  • 1.2 Synapse ile Fabric özellik farklarını gözden geçirin. Bayrak engelleyiciler: GPU iş yükleri, desteklenmeyen katalog API'leri, bağlı hizmet bağımlılıkları.
  • 1.3 Yeniden düzenleme öncesi denetimi çalıştırın: Synapse'e özgü desenler (spark.synapse.linkedService, getSecretWithLS, , TokenLibrarysynapsesql) için tüm not defterlerinde arama yapın. Etkilenen dizüstü bilgisayarları say.
  • 1.4 Kitaplık uyumluluğunu denetleyin: Synapse havuzlarında pip freeze çalıştırın, Fabric Runtime 1.3 yerleşik kitaplıkları ile karşılaştırın. Önceden yüklenmesi gereken kitaplıkları listeleyin.
  • 1.5 Fabric çalışma alanları oluşturun, kapasite sağlayın ve hedef Lakehouse öğeleri oluşturun.
  • 1.6 Spark havuzu yapılandırmalarını, özel kitaplıklarını ve Spark özelliklerini Synapse Studio dışarı aktarın.

2. Aşama: Bağlantıları ve kimlik bilgilerini ayarlama

Bağlı hizmet değiştirme ve kimlik doğrulama yönergeleri için bkz . 2. Aşama: Spark iş yükü geçişi ve 4. Aşama: Güvenlik ve idare geçişi.

  • 2.1 Not defterleri, Spark iş tanımları ve Lakehouse veri erişimi tarafından kullanılan tüm Synapse bağlı hizmetlerinin envanterini oluşturun.
  • 2.2Workspace Settings>Manage connections and gateways aracılığıyla dış veri kaynakları (ADLS 2. Nesil, Cosmos DB, Azure SQL ve diğerleri) için Fabric Bağlantıları oluşturun.
  • 2.3 Anahtar tabanlı kimlik doğrulaması gerektiren veri kaynakları için gizli dizilerle Azure Key Vault ayarlayın (Cosmos DB anahtarları, depolama hesabı anahtarları, Kusto belirteçleri). Fabric çalışma alanı kimliğiniz için erişim ilkelerini yapılandırın.
  • 2.4 ADLS 2. Nesil OAuth erişimi için hizmet sorumlusu yetkilendirme bilgilerini yapılandırma: uygulamayı Entra ID kaydetme, Depolama Blob Verileri Katkıda Bulunan rolü verme, istemci kimliği/gizli diziyi/kiracıyı not alma.
  • 2.5 Bağlantıyı doğrulayın: devam etmeden önce Fabric not defterinden Key Vault'tan gizli anahtar alma ve depolama hesabına erişimi test edin.

3. Aşama: Verileri ve Hive Meta Veri Depolarını geçirme

Göl metaverisi ve veri geçişi kılavuzu için bkz Aşama 3: Hive Metaveri Deposu ve veri geçişi ve Verileri ve işlem hatlarını geçirme.

  • 3.1 Mevcut ADLS 2. Nesil yolları için OneLake kısayolları oluşturun (sıfır kopya, tercih edilen yaklaşım). Veri ağ geçidi tabanlı erişim için 2. Aşamada ayarlanan Fabric Bağlantıları'nı kullanın.
  • 3.2 Delta olmayan dosyalar (CSV, JSON, Parquet) için Dosyalar bölümünde kısayollar oluşturun. Veri kopyalama gerekiyorsa AzCopy veya Data Factory Kopyalama Etkinliği'ni kullanın.
  • 3.3 Hive Metastore nesnelerini geçirme. Bir yaklaşım seçin: Seçenek A: Tüm meta veriler için HMS dışarı/içeri aktarma not defterlerini çalıştırın. Seçenek B: Delta Lake veritabanı tabloları için Geçiş Yardımcısı kullanın + sadece Delta dışı için HMS dışatı/içe aktarma.
  • 3.4 Lakehouse explorer'da Delta tablo otomatik kaydını doğrulayın.
  • 3.5 Tüm içe aktarılan tabloların ve kısayolların Lakehouse explorer'da görünebileceğini ve defterlerden erişilebilir olduğunu doğrulayın.

4. Aşama: Spark iş yüklerini geçirme

Öğe geçişi, kod yeniden düzenleme ve ortam kurulumu yönergeleri için bkz . 2. Aşama: Spark iş yükü geçişi.

  • 4.1 Not defterleri, Spark iş tanımları, Spark havuzları ve göl veritabanları için Spark Geçiş Yardımcısı çalıştırın. Hatalar ve uyarılar için geçiş raporunu gözden geçirin.
  • 4.2 Hedef Spark çalışma zamanı, havuz yapılandırması ve özel kitaplıklarla Fabric Ortamları oluşturun. 1. Aşamada tanımlanan eksik kitaplıkları önceden yükleyin.
  • 4.3 Not defterini ve SJD kodunu yeniden düzenleme: mssparkutils yerine notebookutils yazın, Dosya yollarını OneLake abfss:// yollarına güncelleştirin, bağlı hizmet başvurularını Key Vault veya Fabric Bağlantıları ile değiştirin ve desteklenmeyen spark.catalog yöntemlerini Spark SQL eşdeğerleriyle değiştirin.
  • 4.4 Bağlayıcıları yeniden yapılandırma: Kusto/ADX — bağlı hizmeti accessToken ile getToken() üzerinden değiştirin. Cosmos DB — getSecretWithLS öğesini getSecret(akvName, secret) ile değiştirin.
  • 4.5 Synapse belirteç sağlayıcılarını LinkedServiceBasedTokenProvider, TokenLibrary yerine ClientCredsTokenProvider aracılığıyla standart OAuth spark.conf.set() ile değiştirin.
  • 4.6 Yeniden düzenlenmiş not defterlerini ve SJD'leri verilere (3. Aşama) ve bağlantılara (2. Aşama) karşı uçtan uca test edin.

5. Aşama: Güvenlik, idare ve ağ

Güvenlik, idare ve ağ eşleme kılavuzu için bkz . 4. Aşama: Güvenlik ve idare geçişi.

  • 5.1 Synapse RBAC rollerini Fabric çalışma alanı rolleriyle eşleştirin (Yönetici, Üye, Katkıda Bulunan, Görüntüleyici).
  • 5.2 Klasör ve tablo düzeyinde ayrıntılı veri erişim denetimi için OneLake RBAC'yi yapılandırın.
  • 5.3 Özel veri kaynaklarına erişen Spark iş yükleri için Yönetilen Sanal Ağ ve Yönetilen Özel Uç Noktaları yapılandırın (Özel Havuzlar gerektirir).
  • 5.4 SHIR'i Şirket İçi Veri Ağ Geçidi (OPDG) ile değiştirin ve VNet IR'sini VNet Data Gateway ile değiştirin.
  • 5.5 Yönetişim, köken ve duyarlılık etiketleri için Microsoft Purview'u yeniden bağlayın.
  • 5.6 Taşınan Lakehouse öğelerine gerektiği gibi duyarlılık etiketlerini uygulayın ve gözden geçirin.

6. Aşama: İyileştirme ve doğrulama

Geçiş sonrası doğrulama ve üretime hazır olma yönergeleri için bkz . 4. Aşama: Güvenlik ve idare geçişi.

  • 6.1 Parquet ve Delta iş yüklerinde Spark performansı iyileştirmesi için Yerel Yürütme Altyapısı'nı (NEE) etkinleştirin.
  • 6.2 Power BI Direct Lake veya SQL analiz uç noktası tarafından kullanılan tablolarda OPTIMIZE VORDER çalıştırın.
  • 6.3 Paralel iş yüklerini çalıştırın ve Synapse ile Fabric arasındaki Spark iş sonuçlarını ve performansını karşılaştırın.
  • 6.4 Power BI raporları, API'leri ve uygulamaları da içeren aşağı akış tüketicilerini Fabric uç noktalarına yeniden yönlendirin.
  • 6.5 en az bir-iki hafta boyunca İzleme Merkezi ve Tanılama Vericisi kullanarak Fabric iş yüklerini izleyin.

Aşama 7: Tam Geçiş

Son doğrulama, aşağı akış yeniden yönlendirme ve tam geçiş kılavuzu için bkz . 4. Aşama: Güvenlik ve idare geçişi.

  • 7.1 Fabric'da tüm geçirilen not defterlerinin, SJD'lerin ve Spark işlerinin başarıyla çalıştığını onaylayın.
  • 7.2 Satır sayıları, şema doğrulaması ve sorgu sonucu karşılaştırması aracılığıyla veri bütünlüğünü doğrulayın.
  • 7.3 Paydaşlara geçişi iletin ve belgeleri güncelleyin.
  • 7.4 Synapse Spark havuzlarını, not defterlerini ve ilgili kaynakları kullanımdan kaldırın.

Note

Geçiş sonrasında, taşınan not defterleriniz ve Spark iş tanımlarınız için Fabric Git entegrasyonunu yapılandırmayı göz önünde bulundurun. Fabric kaynak denetimi, dallanma ve dağıtım işlem hatları için Azure DevOps Git tümleştirmesini destekler. Synapse'in (CI/CD için ARM şablonlarını kullanan) aksine Fabric çalışma alanını Git dalı ile bağladığınız ve öğeleri doğrudan eşitlediğiniz çalışma alanı tabanlı bir model kullanır. Not defterleri, Ortamlar ve SJD'lerin tümü Git tümleştirmesini destekler. Ortamlar arasında yükseltmeyi yönetmek için dağıtım işlem hatlarını (Geliştirme → Test → Prod) ayarlayın.

İlgili içerik

  • Last updated on