Azure Data Lake Depolama geçiş yönergeleri ve desenleri
Verilerinizi, iş yüklerinizi ve uygulamalarınızı Azure Data Lake Storage 1. Nesil'den Azure Data Lake Storage 2. Nesil geçirebilirsiniz. Bu makalede önerilen geçiş yaklaşımı açıklanır ve farklı geçiş desenleri ve bunların ne zaman kullanılacağı ele alınır. Daha kolay okunması için, bu makalede Azure Data Lake Storage 1. Nesil'a başvurmak için 1. Nesil terimi ve Azure Data Lake Storage 2. Nesil başvurmak için 2. Nesil terimi kullanılır.
Not
Azure Data Lake Storage 1. Nesil artık kullanımdan kaldırıldı. Kullanımdan kaldırma duyurusunu buradan görebilirsiniz. Data Lake Storage 1. Nesil kaynaklara artık erişilemez. Özel yardıma ihtiyacınız varsa lütfen bizimle iletişime geçin.
Azure Data Lake Storage 2. Nesil yerleşik olarakAzure Blob depolama ve büyük veri analizine ayrılmış bir dizi özellik sağlar. Data Lake Storage 2. Nesil azure Data Lake Storage 1. Nesil dosya sistemi semantiği, dizin ve dosya düzeyi güvenlik gibi özellikleri birleştirir ve Azure Blob depolamadan düşük maliyetli, katmanlı depolama, yüksek kullanılabilirlik/olağanüstü durum kurtarma özellikleriyle ölçeklendirir.
Not
1. Nesil ve 2. Nesil farklı hizmetler olduğundan yerinde yükseltme deneyimi yoktur. Azure portalını kullanarak 2. Nesil'e geçişi basitleştirmek için bkz. Azure portalını kullanarak Azure Data Lake Depolama 1. Nesil'den 2. Nesil'e geçirme.
Önerilen yaklaşım
1. Nesil'den 2. Nesil'e geçiş yapmak için aşağıdaki yaklaşımı öneririz.
1. Adım: Hazır olma durumunu değerlendirme
2. Adım: Geçişe hazırlanma
3. Adım: Veri ve uygulama iş yüklerini geçirme
4. Adım: 1. Nesilden 2. Nesil'e tam geçiş
1. Adım: Hazır olma durumunu değerlendirme
Data Lake Storage 2. Nesil teklifi, avantajları, maliyetleri ve genel mimarisi hakkında bilgi edinin.
1. Nesil'in özelliklerini 2. Nesil ile karşılaştırın.
İşlevsellik boşluklarını değerlendirmek için bilinen sorunların listesini gözden geçirin.
2. Nesil tanılama günlüğü, erişim katmanları ve Blob depolama yaşam döngüsü yönetimi ilkeleri gibi Blob depolama özelliklerini destekler. Bu özelliklerden herhangi birini kullanmak ilginizi çekiyorsa geçerli destek düzeyini gözden geçirin.
2. Nesil'in çözümlerinizin bağımlı olduğu tüm hizmetleri desteklediğinden emin olmak için Azure ekosistem desteğinin geçerli durumunu gözden geçirin.
2. Adım: Geçişe hazırlanma
Geçirdiğiniz veri kümelerini belirleyin.
Artık kullanmadığınız veri kümelerini temizlemek için bu fırsatı kullanın. Tüm verilerinizi tek seferde geçirmeyi planlamadığınız sürece, aşamalar halinde geçirebileceğiniz mantıksal veri gruplarını belirlemek için bu zamanı kullanın.
Hangi dosyaların veya klasörlerin uzun süre envanterde kaldığını veya belki de kullanımdan kaldırılmış olduğunu belirlemek için 1. Nesil hesabınızda bir Yaş Analizi (veya benzeri) gerçekleştirin.
Geçişin işletmeniz üzerindeki etkisini belirleyin.
Örneğin, geçiş gerçekleşirken kapalı kalma süresini karşılayıp karşılayamayacağınızı göz önünde bulundurun. Bu önemli noktalar, uygun bir geçiş desenini belirlemenize ve en uygun araçları seçmenize yardımcı olabilir.
Geçiş planı oluşturma.
Bu geçiş desenlerini öneririz. Bu desenlerden birini seçebilir, bunları birleştirebilir veya kendi özel deseninizi tasarlayabilirsiniz.
3. Adım: Verileri, iş yüklerini ve uygulamaları geçirme
Tercih ettiğiniz deseni kullanarak verileri, iş yüklerini ve uygulamaları geçirin. Senaryoları artımlı olarak doğrulamanızı öneririz.
Bir depolama hesabı oluşturun ve hiyerarşik ad alanı özelliğini etkinleştirin.
Verilerinizi geçirin.
İş yüklerinizdeki hizmetleri 2. Nesil uç noktanıza işaret eden şekilde yapılandırın.
HDInsight kümeleri için %HADOOP_HOME%/conf/core-site.xml dosyasına depolama hesabı yapılandırma ayarları ekleyebilirsiniz. Dış Hive tablolarını 1. Nesil'den 2. Nesil'e geçirmeyi planlıyorsanız, %HIVE_CONF_DIR%/hive-site.xml dosyasına da depolama hesabı ayarları eklediğinizden emin olun.
Apache Ambari kullanarak her dosyanın ayarlarını değiştirebilirsiniz. Depolama hesabı ayarlarını bulmak için bkz. Hadoop Azure Desteği: ABFS — Azure Data Lake Storage 2. Nesil. Bu örnekte, Paylaşılan Anahtar yetkilendirmesini
fs.azure.account.keyetkinleştirmek için ayarı kullanılır:<property> <name>fs.azure.account.key.abfswales1.dfs.core.windows.net</name> <value>your-key-goes-here</value> </property>HDInsight, Azure Databricks ve diğer Azure hizmetlerini 2. Nesil'i kullanacak şekilde yapılandırmanıza yardımcı olan makalelerin bağlantıları için bkz. Azure Data Lake Storage 2. Nesil destekleyen Azure hizmetleri.
Uygulamaları 2. Nesil API'lerini kullanacak şekilde güncelleştirin. Şu kılavuzlara bakın:
Data Lake Storage 2. Nesil PowerShell cmdlet'lerini ve Azure CLI komutlarını kullanacak şekilde betikleri güncelleştirin.
Kod dosyalarında veya Databricks not defterlerinde, Apache Hive HQL dosyalarında veya iş yüklerinizin bir parçası olarak kullanılan diğer dosyalarda dizeyi
adl://içeren URI başvurularını arayın. Bu başvuruları yeni depolama hesabınızın 2. Nesil URI'siyle değiştirin. Örneğin: 1. Nesil URI'si:adl://mydatalakestore.azuredatalakestore.net/mydirectory/myfileolabilirabfss://myfilesystem@mydatalakestore.dfs.core.windows.net/mydirectory/myfile.Hesabınızdaki güvenliği Azure rollerini, dosya ve klasör düzeyinde güvenliği ve Azure Depolama güvenlik duvarlarını ve sanal ağları içerecek şekilde yapılandırın.
4. Adım: 1. Nesilden 2. Nesil'e tam geçiş
Uygulamalarınızın ve iş yüklerinizin 2. Nesil'de kararlı olduğundan emin olduktan sonra, iş senaryolarınızı karşılamak için 2. Nesil'i kullanmaya başlayabilirsiniz. 1. Nesil'de çalışan kalan işlem hatlarını kapatın ve 1. Nesil hesabınızın yetkisini alın.
1. Nesil ve 2. Nesil özellikleri
Bu tablo, 1. Nesil'in özelliklerini 2. Nesil ile karşılaştırır.
1. Nesilden 2. Nesil desenlerine
Bir geçiş deseni seçin ve ardından bu deseni gerektiği gibi değiştirin.
| Geçiş düzeni | Ayrıntılar |
|---|---|
| Lift and Shift | En basit desen. Veri işlem hatlarınızın kapalı kalma süresini karşılayabilmesi için idealdir. |
| Artımlı kopyalama | Lift and shift'e benzer, ancak daha az kapalı kalma süresiyle. Büyük miktarlardaki verilerin kopyalanması daha uzun sürer. |
| İkili işlem hattı | Kapalı kalma süresini karşılayamayacak işlem hatları için idealdir. |
| Çift yönlü eşitleme | Çift işlem hattına benzer, ancak daha karmaşık işlem hatları için uygun olan daha aşamalı bir yaklaşımla. |
Şimdi her desene daha yakından bakalım.
Lift and shift deseni
Bu en basit düzendir.
1. Nesil'e yapılan tüm yazmaları durdurun.
Verileri 1. Nesil'den 2. Nesil'e taşıma. Azure Data Factory'yi veya Azure portalını kullanmanızı öneririz. ACL'ler verilerle birlikte kopyalayabilir.
İşlemleri ve iş yüklerini 2. Nesil'e alma noktası.
1. Nesil'in yetkisini alın.
Lift and Shift geçiş örneğimizde lift and shift deseni için örnek kodumuzu inceleyin.
Lift and shift desenini kullanma konusunda dikkat edilmesi gerekenler
Aynı anda tüm iş yükleri için 1. Nesil'den 2. Nesil'e tam geçiş.
Geçiş ve tam geçiş süresi boyunca kapalı kalma süresi bekleyin.
Kapalı kalma süresini karşılayabilen ve tüm uygulamalar tek seferde yükseltilebilen işlem hatları için idealdir.
İpucu
Kapalı kalma süresini kısaltmak ve geçişi tamamlamak için gereken adım sayısını azaltmak için Azure portalını kullanmayı göz önünde bulundurun.
Artımlı kopyalama düzeni
Verileri 1. Nesil'den 2. Nesil'e taşımaya başlayın. Azure Data Factory'nin kullanılması önerilir. ACL'ler verilerle birlikte kopyalayabilir.
1. Nesil'den yeni verileri artımlı olarak kopyalayın.
Tüm veriler kopyalandıktan sonra 1. Nesil'e yapılan tüm yazmaları durdurun ve iş yüklerini 2. Nesil'e işaret edin.
1. Nesil'in yetkisini alın.
Artımlı kopyalama geçiş örneğimizdeki artımlı kopyalama deseni için örnek kodumuzu gözden geçirin.
Artımlı kopyalama desenini kullanma konusunda dikkat edilmesi gerekenler
Aynı anda tüm iş yükleri için 1. Nesil'den 2. Nesil'e tam geçiş.
Yalnızca tam geçiş döneminde kapalı kalma süresi bekleyin.
Tüm uygulamaların bir kerede yükseltildiği ancak veri kopyalama işleminin daha fazla zaman gerektirdiği işlem hatları için idealdir.
İkili işlem hattı düzeni
Verileri 1. Nesil'den 2. Nesil'e taşıma. Azure Data Factory'nin kullanılması önerilir. ACL'ler verilerle birlikte kopyalayabilir.
Yeni verileri hem 1. Nesil hem de 2. Nesil'e alın.
İş yüklerini 2. Nesil'e işaret edin.
1. Nesil'e yapılan tüm yazmaları durdurun ve 1. Nesil'in yetkisini alın.
İkili İşlem Hattı geçiş örneğimizdeki çift işlem hattı deseni için örnek kodumuzu inceleyin.
İkili işlem hattı desenini kullanma konusunda dikkat edilmesi gerekenler
1. Nesil ve 2. Nesil işlem hatları yan yana çalışır.
Sıfır kapalı kalma süresini destekler.
İş yüklerinizin ve uygulamalarınızın kapalı kalma süresini karşılayamayacağı ve her iki depolama hesabına da veri alabildiğiniz durumlarda idealdir.
çift yönlü eşitleme düzeni
1. Nesil ile 2. Nesil arasında çift yönlü çoğaltma ayarlayın. WanDisco'ya ihtiyacımız var. Mevcut veriler için bir onarım özelliği sunar.
Tüm taşımalar tamamlandığında, 1. Nesil'e yapılan tüm yazmaları durdurun ve çift yönlü çoğaltmayı kapatın.
1. Nesil'in yetkisini alın.
Çift Yönlü Eşitleme geçiş örneğimizde çift yönlü eşitleme deseni için örnek kodumuzu gözden geçirin.
çift yönlü eşitleme desenini kullanma konusunda dikkat edilmesi gerekenler
Aşamalı bir yaklaşımın daha anlamlı olabileceği çok sayıda işlem hattı ve bağımlılık içeren karmaşık senaryolar için idealdir.
Geçiş eforu yüksektir, ancak 1. Nesil ve 2. Nesil için yan yana destek sağlar.
Sonraki adımlar
- Depolama hesabı için güvenliği ayarlamanın çeşitli bölümleri hakkında bilgi edinin. Daha fazla bilgi için bkz. Azure Depolama güvenlik kılavuzu.
- Data Lake Store'unuzun performansını iyileştirin. Bkz. Performans için Azure Data Lake Storage 2. Nesil iyileştirme
- Data Lake Store'unuzu yönetmek için en iyi yöntemleri gözden geçirin. Bkz. Azure Data Lake Storage 2. Nesil kullanmak için en iyi yöntemler