Azure için WANdisco LiveData Platformu ile şirket içi Hadoop verilerini Azure Data Lake Storage 2. Nesil geçirme

Makale
12/07/2023

Azure için WANdisco LiveData Platformu, veri işlemlerini kesintiye uğratmadan veya kapalı kalma süresi gerektirmeden petabaytlarlık şirket içi Hadoop verilerini Azure Data Lake Storage 2. Nesil dosya sistemlerine geçirir. Platformun sürekli denetimleri, verilerin kaybolmasına engel olurken, değişiklik yapılmış olsa bile aktarımların her iki ucunda da tutarlı kalmasını önler.

Platform iki hizmetlerden oluşur. Azure için LiveData Migrator, etkin olarak kullanılan verileri şirket içi ortamlardan Azure depolamaya geçirir ve Azure için LiveData Düzlemi, değiştirilen veya alınan tüm verilerin tutarlı bir şekilde çoğaltılmasını sağlar.

Canlı Veri Platformuna Genel Bakış çizimi

Azure portalını ve Azure CLI'yi kullanarak her iki hizmeti de yönetin. Her hizmet, diğer tüm Azure hizmetleriyle aynı tarifeli, kullandıkça öde faturalama modelini izler: Azure için LiveData Platformu'nda veri tüketimi aylık Azure faturasında görünür ve bu da kullanım ölçümleri sağlar.

Statik bilgileri Azure Data Box'a kopyalayarak veya DistCp gibi Hadoop araçlarını kullanarak verileri çevrimdışı geçirmenin aksine, Azure için WANdisco LiveData ile çevrimiçi geçiş sırasında iş sistemlerinizin tam çalışmasını sağlayabilirsiniz. Büyük veri ortamlarınızı, verilerini Azure'a taşırken bile çalışır halde tutun.

Azure için WANdisco LiveData Platformu'nun temel avantajları

Azure'ın geniş alan ağı özellikli konsensüs altyapısı için WANdisco LiveData Platformu, veri tutarlılığı sağlar ve büyük ölçekte gerçek zamanlı veri çoğaltması yürütür. Daha fazla bilgi için aşağıdaki videoya bakın:

Platformun önemli avantajları şunlardır:

Veri doğruluğu: Verilerin uçtan uca doğrulanması veri kaybını önler ve aktarılan verilerin kullanıma uygun olmasını sağlar.
Veri tutarlılığı: Sürekli değişiklik olsa bile ortamlar arasında veri birimlerinin otomatik olarak tutarlı kalmasını sağlayın.
Veri verimliliği: Bant genişliği tüketiminin tam denetimiyle büyük veri hacimlerini sürekli olarak aktarın.
Kapalı kalma süresini ortadan kaldırma: Azure'a veri aktarımı sırasında iş işlemlerini kesintiye uğratmak zorunda kalmadan geçiş sırasında diğer uygulamalarla verileri serbestçe oluşturun, değiştirin, okuyun ve silin. Uygulamaları, analiz altyapısını, alma işlerini ve diğer işlemleri çalıştırmaya devam edin.
Basit kullanım: Otomatik geçişlerin ilerleme durumunu oluşturmak, yapılandırmak, zamanlamak ve izlemek için Platform'un Azure tümleştirmesini kullanın. Ayrıca, seçmeli veri çoğaltmayı, Hive meta verilerini, veri güvenliğini ve gizliliği gerektiği gibi yapılandırın.

Azure için WANdisco LiveData Platformu'nun önemli özellikleri

Platformun temel özellikleri şunlardır:

Meta Veri Geçişi: HDFS verilerine ek olarak Azure için LiveData Migrationor ile meta verileri (Hive ve diğer depolamalardan) geçirin.
Zamanlanmış Aktarım: Veri aktarımının ne zaman başlatılacağını denetlemek ve otomatikleştirmek için Azure için LiveData Migrator'ı kullanarak verilerde yapılan değişiklikleri el ile geçirme gereksinimi ortadan kaldırır.
Kerberos: Azure desteği Kerberized kümeleri için LiveData Migrator.
Dışlama Şablonları: Belirli dosya boyutlarının veya dosya adlarının (glob desenleri kullanılarak tanımlanır) hedef depolama alanınıza geçirilmesini önlemek için Azure için LiveData Migrateor'da kurallar oluşturun. Azure portalında veya CLI ile dışlama şablonları oluşturun ve bunları istediğiniz sayıda geçişe uygulayın.
Yol Eşlemeleri: Aktarılan verileri otomatik olarak belirttiğiniz dizinlere taşıyan belirli hedef dosya sistemleri için alternatif hedef yollar tanımlayın.
Bant Genişliği Yönetimi: Azure için LiveData Migrator'ın, tüketimin üzerinde bant genişliğini önlemek için kullanabileceği maksimum ağ bant genişliği miktarını yapılandırın.
Dışlamalar: Ölçütlere uyan dosya ve dizinlerin geçişini engelleyen şablon sorguları tanımlayarak verileri kaynak sisteminizden seçmeli olarak geçirmenizi sağlar.
Ölçümler: Azure için LiveData Migrationor'da zaman içinde aktarılan dosyalar, dışlanan yollar, aktaramayan öğeler ve daha fazlası gibi veri aktarımıyla ilgili ayrıntıları görüntüleyin.

Büyük verileri risk olmadan daha hızlı geçirme

Azure için WANdisco LiveData Platformu'nda yer alan ilk hizmet, verileri şirket içi ortamlardan Azure Depolama'a geçiren Azure için LiveData Migrateor hizmetidir. LiveData Migrator'ı şirket içi Hadoop kümenize dağıttıktan sonra, dosya sisteminiz için en iyi yapılandırmayı otomatik olarak oluşturur. Buradan, sistem için Kerberos ayrıntılarını sağlayın. Azure için LiveData Migrator daha sonra verileri Azure Depolama'a geçirmeye hazır olur.

Azure Mimarisi için LiveData Migrator

Azure için LiveData Migrator'ı kullanmaya başlamadan önce bu önkoşulları gözden geçirin.

Geçiş gerçekleştirmek için:

Azure CLI'da:
- komutunu çalıştırarak az provider register --namespace Wandisco.Fusion --consent-to-permissionsAzure CLI'da WANdisco kaynak sağlayıcısına kaydolun.
- komutunu çalıştırarak az vm image terms accept --offer ldma --plan metered-v1 --publisher Wandisco --subscription <subscriptionID>LiveData Platform'un tarifeli faturalama koşullarını kabul edin.
Azure portalından şirket içi Hadoop kümenize bir LiveData Migrator örneği dağıtın. (Kümede değişiklik yapmanız veya kümeyi yeniden başlatmanız gerekmez.)

Not

Azure için WANdisco LiveData Migrator, Hadoop Test Kümesi oluşturma seçeneği sunar.
Varsa Kerberos ayrıntılarını yapılandırın.
hedef Azure Data Lake Storage 2. Nesil etkin depolama hesabını tanımlayın.
Geçirmek istediğiniz verilerin konumunu tanımlayın, örneğin: /user/hive/warehouse.
Geçişi başlatın.

Azure CLI ve Azure portalı dahil olmak üzere standart Azure araçları aracılığıyla geçiş ilerlemenizi izleyin.

Azure için LiveData Düzlemi ile etkin değişiklik altında verileri çift yönlü çoğaltma

LiveData Platformu'nda yer alan ikinci hizmet, Azure için LiveData Düzlemi'dir. LiveData Düzlemi, waNdisco'nun koordinasyon altyapısını kullanarak tüm sistemlerdeki verilere akıllı değişiklikler uygulayarak birçok şirket içi Hadoop kümesinde ve Azure Depolama verilerin tutarlı olmasını sağlar ve farklı kullanım noktalarında veri çakışması riskini ortadan kaldırır.

Azure Mimarisi için LiveData Düzlemi

İlk geçişten sonra Azure için LiveData Düzlemi ile verilerinizi tutarlı tutun:

Azure portalından başlayarak Şirket içi ve Azure'da Azure için LiveData Düzlemi'ni dağıtın. Uygulama değişikliği gerekmez.
Tutarlı tutmak istediğiniz veri konumlarını kapsayan çoğaltma kurallarını yapılandırın, örneğin: /user/contoso/sales/region/WA.
Her iki konumda da verilere gereken şekilde erişen ve verileri değiştiren uygulamaları çalıştırın.

Azure için LiveData Düzlemi, küme işlemini veya uygulama performansını önemli ölçüde etkilemeden veri değişikliklerini tüm ortamlarda tutarlı bir şekilde çoğaltır.

Test sürüşü veya Deneme Sürümü

Azure Marketi için LiveData Platformu sayfasında iki seçeneğiniz vardır:

Şimdi Edinin düğmesi, hizmeti aboneliğinizde başlatır. Buradan kendi Hadoop kümenizi veya WANdisco'nun Deneme kümesini kullanabilirsiniz.
Azure için LiveData Migrator'ı sizin için önceden yapılandırılmış ve barındırılan bir ortamda test etmek için Test Sürüşü'ne tıklayın. Bu sayede Azure için LiveData Migrator'ı aboneliğinize eklemeden önce verileriniz için herhangi bir maliyet veya risk olmadan deneyebilirsiniz.

Sonraki Adımlar

Azure için LiveData Migrationor'da geçiş planlayın ve oluşturun.

Aracılığıyla paylaş