Aracılığıyla paylaş


Azure Data Lake Storage geçiş yönergeleri ve desenleri

Verilerinizi, iş yüklerinizi ve uygulamalarınızı Azure Data Lake Storage 1. Nesil'den Azure Data Lake Storage 2. Nesil geçirebilirsiniz. Bu makalede önerilen geçiş yaklaşımı açıklanır ve farklı geçiş desenleri ve bunların ne zaman kullanılacağı ele alınır. Daha kolay okunması için, bu makalede Azure Data Lake Storage 1. Nesil'a başvurmak için 1. Nesil terimi ve Azure Data Lake Storage 2. Nesil başvurmak için 2. Nesil terimi kullanılır.

Not

Azure Data Lake Storage 1. Nesil artık kullanımdan kaldırıldı. Kullanımdan kaldırma duyurusunu buradan görebilirsiniz.Data Lake Storage 1. Nesil kaynaklara artık erişilemez.

Azure Data Lake Storage 2. Nesil yerleşik olarakAzure Blob depolama ve büyük veri analizine ayrılmış bir dizi özellik sağlar. Data Lake Storage 2. Nesil azure Data Lake Storage 1. Nesil dosya sistemi semantiği, dizin ve dosya düzeyi güvenlik gibi özellikleri birleştirir ve Azure Blob depolamadan düşük maliyetli, katmanlı depolama, yüksek kullanılabilirlik/olağanüstü durum kurtarma özellikleriyle ölçeklendirir.

Not

1. Nesil ve 2. Nesil farklı hizmetler olduğundan yerinde yükseltme deneyimi yoktur. Azure portalını kullanarak 2. Nesil'e geçişi basitleştirmek için bkz . Azure portalını kullanarak Azure Data Lake Storage'ı 1. Nesil'den 2. Nesil'e geçirme.

1. Nesil'den 2. Nesil'e geçiş yapmak için aşağıdaki yaklaşımı öneririz.

1. Adım: Hazır olma durumunu değerlendirme

2. Adım: Geçişe hazırlanma

3. Adım: Veri ve uygulama iş yüklerini geçirme

4. Adım: 1. Nesilden 2. Nesil'e tam geçiş

1. Adım: Hazır olma durumunu değerlendirme

  1. Data Lake Storage 2. Nesil teklifi, avantajları, maliyetleri ve genel mimarisi hakkında bilgi edinin.

  2. 1. Nesil'in özelliklerini 2. Nesil ile karşılaştırın.

  3. İşlevsellik boşluklarını değerlendirmek için bilinen sorunların listesini gözden geçirin.

  4. 2. Nesil tanılama günlüğü, erişim katmanları ve Blob depolama yaşam döngüsü yönetimi ilkeleri gibi Blob depolama özelliklerini destekler. Bu özelliklerden herhangi birini kullanmak ilginizi çekiyorsa geçerli destek düzeyini gözden geçirin.

  5. 2. Nesil'in çözümlerinizin bağımlı olduğu tüm hizmetleri desteklediğinden emin olmak için Azure ekosistem desteğinin geçerli durumunu gözden geçirin.

2. Adım: Geçişe hazırlanma

  1. Geçirdiğiniz veri kümelerini belirleyin.

    Artık kullanmadığınız veri kümelerini temizlemek için bu fırsatı kullanın. Tüm verilerinizi tek seferde geçirmeyi planlamadığınız sürece, aşamalar halinde geçirebileceğiniz mantıksal veri gruplarını belirlemek için bu zamanı kullanın.

    Hangi dosyaların veya klasörlerin uzun süre envanterde kaldığını veya belki de kullanımdan kaldırılmış olduğunu belirlemek için 1. Nesil hesabınızda bir Yaş Analizi (veya benzeri) gerçekleştirin.

  2. Geçişin işletmeniz üzerindeki etkisini belirleyin.

    Örneğin, geçiş gerçekleşirken kapalı kalma süresini karşılayıp karşılayamayacağınızı göz önünde bulundurun. Bu önemli noktalar, uygun bir geçiş desenini belirlemenize ve en uygun araçları seçmenize yardımcı olabilir.

  3. Geçiş planı oluşturma.

    Bu geçiş desenlerini öneririz. Bu desenlerden birini seçebilir, bunları birleştirebilir veya kendi özel deseninizi tasarlayabilirsiniz.

3. Adım: Verileri, iş yüklerini ve uygulamaları geçirme

Tercih ettiğiniz deseni kullanarak verileri, iş yüklerini ve uygulamaları geçirin. Senaryoları artımlı olarak doğrulamanızı öneririz.

  1. Bir depolama hesabı oluşturun ve hiyerarşik ad alanı özelliğini etkinleştirin.

  2. Verilerinizi geçirin.

  3. İş yüklerinizdeki hizmetleri 2. Nesil uç noktanıza işaret eden şekilde yapılandırın.

    HDInsight kümeleri için %HADOOP_HOME%/conf/core-site.xml dosyasına depolama hesabı yapılandırma ayarları ekleyebilirsiniz. Dış Hive tablolarını 1. Nesil'den 2. Nesil'e geçirmeyi planlıyorsanız, %HIVE_CONF_DIR%/hive-site.xml dosyasına da depolama hesabı ayarları eklediğinizden emin olun.

    Apache Ambari kullanarak her dosyanın ayarlarını değiştirebilirsiniz. Depolama hesabı ayarlarını bulmak için bkz. Hadoop Azure Desteği: ABFS — Azure Data Lake Storage 2. Nesil. Bu örnekte, Paylaşılan Anahtar yetkilendirmesini fs.azure.account.key etkinleştirmek için ayarı kullanılır:

    <property>
      <name>fs.azure.account.key.abfswales1.dfs.core.windows.net</name>
      <value>your-key-goes-here</value>
    </property>
    

    HDInsight, Azure Databricks ve diğer Azure hizmetlerini 2. Nesil'i kullanacak şekilde yapılandırmanıza yardımcı olan makalelerin bağlantıları için bkz. Azure Data Lake Storage 2. Nesil destekleyen Azure hizmetleri.

  4. Uygulamaları 2. Nesil API'lerini kullanacak şekilde güncelleştirin. Şu kılavuzlara bakın:

Ortam Makale
Azure Depolama Gezgini Azure Data Lake Storage 2. Nesil'da dizinleri ve dosyaları yönetmek için Azure Depolama Gezgini kullanma
.NET Azure Data Lake Storage 2. Nesil dizinleri ve dosyaları yönetmek için .NET kullanma
Java Azure Data Lake Storage 2. Nesil'de dizinleri ve dosyaları yönetmek için Java kullanma
Python Azure Data Lake Storage 2. Nesil'da dizinleri ve dosyaları yönetmek için Python kullanma
JavaScript (Node.js) Azure Data Lake Storage 2. Nesil'da dizinleri ve dosyaları yönetmek için Node.js JavaScript SDK'sını kullanma
REST API Azure Data Lake Store REST API
  1. Data Lake Storage 2. Nesil PowerShell cmdlet'lerini ve Azure CLI komutlarını kullanacak şekilde betikleri güncelleştirin.

  2. Kod dosyalarında veya Databricks not defterlerinde, Apache Hive HQL dosyalarında veya iş yüklerinizin bir parçası olarak kullanılan diğer dosyalarda dizeyi adl:// içeren URI başvurularını arayın. Bu başvuruları yeni depolama hesabınızın 2. Nesil URI'siyle değiştirin. Örneğin: 1. Nesil URI'si: adl://mydatalakestore.azuredatalakestore.net/mydirectory/myfile olabilir abfss://myfilesystem@mydatalakestore.dfs.core.windows.net/mydirectory/myfile.

  3. Hesabınızdaki güvenliği Azure rollerini, dosya ve klasör düzeyinde güvenliği ve Azure Depolama güvenlik duvarlarını ve sanal ağları içerecek şekilde yapılandırın.

4. Adım: 1. Nesilden 2. Nesil'e tam geçiş

Uygulamalarınızın ve iş yüklerinizin 2. Nesil'de kararlı olduğundan emin olduktan sonra, iş senaryolarınızı karşılamak için 2. Nesil'i kullanmaya başlayabilirsiniz. 1. Nesil'de çalışan kalan işlem hatlarını kapatın ve 1. Nesil hesabınızın yetkisini alın.

1. Nesil ve 2. Nesil özellikleri

Bu tablo, 1. Nesil'in özelliklerini 2. Nesil ile karşılaştırır.

Alan 1. Nesil Gen2
Veri düzenleme Hiyerarşik ad alanı
Dosya ve klasör desteği
Hiyerarşik ad alanı
Kapsayıcı, dosya ve klasör desteği
Coğrafi yedeklilik LRS LRS, ZRS, GRS, RA-GRS
Kimlik Doğrulaması Microsoft Entra yönetilen kimliği
Hizmet sorumluları
Microsoft Entra yönetilen kimliği
Hizmet sorumluları
Paylaşılan Erişim Anahtarı
Yetkilendirme Yönetim - Azure RBAC
Veri - ACL'ler
Yönetim - Azure RBAC
Veri - ACL'ler, Azure RBAC
Şifreleme - Bekleyen veriler Sunucu tarafı - Microsoft tarafından yönetilen veya müşteri tarafından yönetilen anahtarlarla Sunucu tarafı - Microsoft tarafından yönetilen veya müşteri tarafından yönetilen anahtarlarla
VNET Desteği VNET Tümleştirmesi Hizmet Uç Noktaları, Özel Uç Noktalar
Geliştirici deneyimi REST, .NET, Java, Python, PowerShell, Azure CLI Genel kullanıma sunuldu - REST, .NET, Java, Python
Genel önizleme - JavaScript, PowerShell, Azure CLI
Kaynak günlükleri Klasik günlükler
Azure İzleyici tümleşik
Klasik günlükler - Genel kullanıma sunuldu
Azure İzleyici tümleşik - Önizleme
Ekosistem HDInsight (3.6), Azure Databricks (3.1 ve üzeri), Azure Synapse Analytics, ADF HDInsight (3.6, 4.0), Azure Databricks (5.1 ve üzeri), Azure Synapse Analytics, ADF

1. Nesilden 2. Nesil desenlerine

Bir geçiş deseni seçin ve ardından bu deseni gerektiği gibi değiştirin.

Geçiş düzeni Ayrıntılar
Lift and Shift En basit desen. Veri işlem hatlarınızın kapalı kalma süresini karşılayabilmesi için idealdir.
Artımlı kopyalama Lift and shift'e benzer, ancak daha az kapalı kalma süresiyle. Büyük miktarlardaki verilerin kopyalanması daha uzun sürer.
İkili işlem hattı Kapalı kalma süresini karşılayamayacak işlem hatları için idealdir.
Çift yönlü eşitleme Çift işlem hattına benzer, ancak daha karmaşık işlem hatları için uygun olan daha aşamalı bir yaklaşımla.

Şimdi her desene daha yakından bakalım.

Lift and shift deseni

Bu en basit düzendir.

  1. 1. Nesil'e yapılan tüm yazmaları durdurun.

  2. Verileri 1. Nesil'den 2. Nesil'e taşıma. Azure Data Factory'yi veya Azure portalını kullanmanızı öneririz. ACL'ler verilerle birlikte kopyalayabilir.

  3. İşlemleri ve iş yüklerini 2. Nesil'e alma noktası.

  4. 1. Nesil'in yetkisini alın.

Lift and Shift geçiş örneğimizde lift and shift deseni için örnek kodumuzu inceleyin.

lift and shift deseni

Lift and shift desenini kullanma konusunda dikkat edilmesi gerekenler

  • Aynı anda tüm iş yükleri için 1. Nesil'den 2. Nesil'e tam geçiş.

  • Geçiş ve tam geçiş süresi boyunca kapalı kalma süresi bekleyin.

  • Kapalı kalma süresini karşılayabilen ve tüm uygulamalar tek seferde yükseltilebilen işlem hatları için idealdir.

İpucu

Kapalı kalma süresini kısaltmak ve geçişi tamamlamak için gereken adım sayısını azaltmak için Azure portalını kullanmayı göz önünde bulundurun.

Artımlı kopyalama düzeni

  1. Verileri 1. Nesil'den 2. Nesil'e taşımaya başlayın. Azure Data Factory'nin kullanılması önerilir. ACL'ler verilerle birlikte kopyalayabilir.

  2. 1. Nesil'den yeni verileri artımlı olarak kopyalayın.

  3. Tüm veriler kopyalandıktan sonra 1. Nesil'e yapılan tüm yazmaları durdurun ve iş yüklerini 2. Nesil'e işaret edin.

  4. 1. Nesil'in yetkisini alın.

Artımlı kopyalama geçiş örneğimizdeki artımlı kopyalama deseni için örnek kodumuzu gözden geçirin.

Artımlı kopyalama düzeni

Artımlı kopyalama desenini kullanmayla ilgili dikkat edilmesi gerekenler:

  • Aynı anda tüm iş yükleri için 1. Nesil'den 2. Nesil'e tam geçiş.

  • Yalnızca tam geçiş döneminde kapalı kalma süresi bekleyin.

  • Tüm uygulamaların bir kerede yükseltildiği ancak veri kopyalama işleminin daha fazla zaman gerektirdiği işlem hatları için idealdir.

İkili işlem hattı düzeni

  1. Verileri 1. Nesil'den 2. Nesil'e taşıma. Azure Data Factory'nin kullanılması önerilir. ACL'ler verilerle birlikte kopyalayabilir.

  2. Yeni verileri hem 1. Nesil hem de 2. Nesil'e alın.

  3. İş yüklerini 2. Nesil'e işaret edin.

  4. 1. Nesil'e yapılan tüm yazmaları durdurun ve 1. Nesil'in yetkisini alın.

İkili İşlem Hattı geçiş örneğimizdeki çift işlem hattı deseni için örnek kodumuzu inceleyin.

İkili işlem hattı düzeni

İkili işlem hattı desenini kullanmayla ilgili dikkat edilmesi gerekenler:

  • 1. Nesil ve 2. Nesil işlem hatları yan yana çalışır.

  • Sıfır kapalı kalma süresini destekler.

  • İş yüklerinizin ve uygulamalarınızın kapalı kalma süresini karşılayamayacağı ve her iki depolama hesabına da veri alabildiğiniz durumlarda idealdir.

çift yönlü eşitleme düzeni

  1. 1. Nesil ile 2. Nesil arasında çift yönlü çoğaltma ayarlayın. WanDisco'ya ihtiyacımız var. Mevcut veriler için bir onarım özelliği sunar.

  2. Tüm taşımalar tamamlandığında, 1. Nesil'e yapılan tüm yazmaları durdurun ve çift yönlü çoğaltmayı kapatın.

  3. 1. Nesil'in yetkisini alın.

Çift Yönlü Eşitleme geçiş örneğimizde çift yönlü eşitleme deseni için örnek kodumuzu gözden geçirin.

Çift yönlü desen

çift yönlü eşitleme düzenini kullanma konusunda dikkat edilmesi gerekenler:

  • Aşamalı bir yaklaşımın daha anlamlı olabileceği çok sayıda işlem hattı ve bağımlılık içeren karmaşık senaryolar için idealdir.

  • Geçiş eforu yüksektir, ancak 1. Nesil ve 2. Nesil için yan yana destek sağlar.

Sonraki adımlar

Ayrıca bkz.