Azure portal kullanarak Azure Data Lake Storage 1. Nesil'den 2. Nesil'e geçirme
Bu makalede, Azure portal kullanarak geçişi nasıl basitleştirebileceğiniz gösterilmektedir.
Not
Azure Data Lake Storage 1. Nesil artık kullanımdan kaldırıldı. Kullanımdan kaldırma duyurusunu buradan görebilirsiniz. Data Lake Storage 1. Nesil kaynaklara artık erişilemez. Özel yardıma ihtiyacınız varsa lütfen bizimle iletişime geçin.
İşte size bu konuda daha fazla bilgi veren bir video.
Bölümler:
00.37 - Giriş
01:16 - Geçiş için hazırlanma
07:15 - Geçişi kopyalama
17:40 - Kopyalama ve tam geçiş karşılaştırması
19:43 - Geçişi tamamlama
33:15 - Geçiş sonrası
Başlamadan önce, Azure Data Lake Storage geçiş yönergeleri ve desenlerinde 1. Nesil'den 2. Nesil'e geçişle ilgili genel yönergeleri okuduğunuzdan emin olun.
Hesabınız belirli kısıtlamalara göre portal tabanlı geçişe uygun olmayabilir. 1. Nesil hesabınızın Azure portal Verileri geçir düğmesi etkinleştirilmediğinde, bir destek planınız varsa bir destek isteğinde bulunabilirsiniz. Microsoft Q&A'daki topluluk uzmanlarından da yanıt alabilirsiniz.
Not
Daha kolay okunması için bu makalede 1. Nesil terimi, Azure Data Lake Storage 1. Nesil ve Azure Data Lake Storage 2. Nesil başvurmak için 2. Nesil terimi kullanılır.
1. Adım: 2. Nesil özelliklerine sahip bir depolama hesabı oluşturma
Azure Data Lake Storage 2. Nesil ayrılmış bir depolama hesabı veya hizmet türü değildir. Bu, bir Azure depolama hesabının Hiyerarşik ad alanı özelliğini etkinleştirerek edinebileceğiniz bir özellik kümesidir. 2. Nesil özelliklerine sahip bir hesap oluşturmak için bkz. Azure Data Lake Storage 2. Nesil ile kullanılacak depolama hesabı oluşturma.
Hesabı oluştururken ayarları aşağıdaki değerlerle yapılandırdığınızdan emin olun.
| Ayar | Değer |
|---|---|
| Depolama hesabı adı | İstediğiniz herhangi bir ad. Bu adın 1. Nesil hesabınızın adıyla eşleşmesi gerekmez ve istediğiniz herhangi bir abonelikte olabilir. |
| Konum | Data Lake Storage 1. Nesil hesabı tarafından kullanılan bölge |
| Çoğaltma | LRS veya ZRS |
| Minimum TLS sürümü | 1.0 |
| NFS v3 | Devre dışı |
| Hiyerarşik ad alanı | Etkin |
Not
Azure portal geçiş aracı hesap ayarlarını taşımaz. Bu nedenle, hesabı oluşturduktan sonra şifreleme, ağ güvenlik duvarları, veri koruma gibi ayarları el ile yapılandırmanız gerekir.
Önemli
Kullanım geçmişi olmayan yeni oluşturulan yeni bir depolama hesabı kullandığınızdan emin olun. Daha önce kullanılan bir hesaba geçmeyin veya hesabı boş hale getirmek için kapsayıcıların silindiği bir hesap kullanmayın.
2. Adım: Azure rol tabanlı erişim denetimi (Azure RBAC) rol atamalarını doğrulama
2. Nesil için depolama hesabı, üst kaynak grubu veya abonelik kapsamında Microsoft Entra kullanıcı kimliğinize Depolama Blobu Veri Sahibi rolünün atandığından emin olun.
1. Nesil için, Sahip rolünün 1. Nesil hesabı, üst kaynak grubu veya abonelik kapsamında Microsoft Entra kimliğinize atandığından emin olun.
3. Adım: Azure Data Lake Analytics iş yüklerini geçirme
Azure Data Lake Storage 2. Nesil, Azure Data Lake Analytics desteklemez. Azure Data Lake Analytics 29 Şubat 2024'te kullanımdan kaldırılacaktır. Azure Data Lake Analytics için kullanılan bir Azure Data Lake Storage 1. Nesil hesabını geçirmek için Azure portal kullanmaya çalışırsanız, Azure Data Lake Analytics iş yüklerinizi bozabilirsiniz. 1. Nesil hesabınızı geçirmeyi denemeden önce Azure Data Lake Analytics iş yüklerinizi Azure Synapse Analytics'e veya desteklenen başka bir işlem platformuna geçirmeniz gerekir.
Daha fazla bilgi için bkz. Azure portal kullanarak Azure Data Lake Analytics yönetme.
4. Adım: Gen1 hesabını hazırlama
Yalnızca boşluk veya sekme içeren, ile biten veya ardışık birden çok eğik çizgiyle (//) biten .:dosya veya dizin adları 2. Nesil ile uyumlu değildir. Geçiş yapmadan önce bu dosyaları veya dizinleri yeniden adlandırmanız gerekir.
Daha iyi performans için, geçişi son silme işleminin zamanından itibaren en az on gün ertelemeyi göz önünde bulundurun. 1. Nesil hesabında silinen dosyalar geçici olarak silinen dosyalara dönüşür ve Çöp Toplayıcı yedi güne kadar bunları kalıcı olarak kaldırmaz ve temizleme işleminin tamamlanması birkaç gün daha sürer. Temizleme için gereken süre, dosya sayısına bağlıdır. Geçici olarak silinen dosyalar da dahil olmak üzere tüm dosyalar geçiş sırasında işlenir. Çöp Toplayıcı silinen dosyaları kalıcı olarak kaldırana kadar beklerseniz bekleme süreniz iyileştirebilir.
5. Adım: Geçişi gerçekleştirme
Başlamadan önce aşağıdaki iki geçiş seçeneğini gözden geçirin ve verileri yalnızca 1. Nesil'den 2. Nesil'e (önerilen) mi kopyalayacağınıza yoksa tam geçiş mi gerçekleştirebileceğinize karar verin.
Seçenek 1: Yalnızca veri kopyalama (önerilir). Bu seçenekte veriler 1. Nesil'den 2. Nesil'e kopyalanır. Veriler kopyalanırken 1. Nesil hesabı salt okunur hale gelir. Veriler kopyalandıktan sonra hem 1. Nesil hem de 2. Nesil hesapları erişilebilir olur. Ancak, yeni 2. Nesil uç noktasını kullanmak için uygulamaları ve işlem iş yüklerini güncelleştirmeniz gerekir.
2. Seçenek: Tam bir geçiş gerçekleştirin. Bu seçenekte veriler 1. Nesil'den 2. Nesil'e kopyalanır. Veriler kopyalandıktan sonra 1. Nesil hesabından gelen tüm trafik 2. Nesil etkinleştirilmiş hesaba yönlendirilir. Yeniden yönlendirilen istekler, 1. Nesil API çağrılarını 2. Nesil eşdeğerlerine çevirmek için 1. Nesil uyumluluk katmanını kullanır. Geçiş sırasında 1. Nesil hesabı salt okunur hale gelir. Geçiş tamamlandıktan sonra 1. Nesil hesabına erişilemez.
Hangi seçeneği seçerseniz seçin, tüm iş yüklerinizin beklendiği gibi çalıştığını geçirip doğruladıktan sonra 1. Nesil hesabını silebilirsiniz.
1. Seçenek: Verileri 1. Nesil'den 2. Nesil'e kopyalama
Başlamak için Azure portal oturum açın.
Data Lake Storage 1. Nesil hesabınızı bulun ve hesaba genel bakış bilgilerini görüntüleyin.
Verileri geçir düğmesini seçin.
Yeni bir 2. Nesil hesabına veri kopyala'yı seçin.
Onay kutusunu seçerek Veri geçişini gerçekleştirmek için Microsoft'a onay verin. Ardından Uygula düğmesini seçin.
Alt durum iletisiyle birlikte bir ilerleme çubuğu görüntülenir. Geçişin ilerleme durumunu ölçmek için bu göstergeleri kullanabilirsiniz. Her görevin tamamlanma süresi farklılık gösterdiğinden, ilerleme çubuğu tutarlı bir hızda ilerlemez. Örneğin, ilerleme çubuğu hızla yüzde 50'ye ilerleyebilir, ancak kalan yüzde 50'yi tamamlamak biraz daha zaman alabilir.
Önemli
Verileriniz geçirilirken 1. Nesil hesabınız salt okunur hale gelir ve 2. Nesil hesabınız devre dışı bırakılır. Geçiş tamamlandığında, her iki hesabı da okuyabilir ve yazabilirsiniz.
Geçişi durdur düğmesini seçerek geçişi istediğiniz zaman durdurabilirsiniz.
2. Seçenek: Tam geçiş gerçekleştirme
Başlamak için Azure portal oturum açın.
Data Lake Storage 1. Nesil hesabınızı bulun ve hesaba genel bakışı görüntüleyin.
Verileri geçir düğmesini seçin.
Yeni 2. Nesil hesabına geçişi tamamla'yı seçin.
Onay kutusunu seçerek Microsoft'a veri geçişini gerçekleştirme izni verin. Ardından Uygula düğmesini seçin.
Alt durum iletisiyle birlikte bir ilerleme çubuğu görüntülenir. Geçişin ilerleme durumunu ölçmek için bu göstergeleri kullanabilirsiniz. Her görevin tamamlanma süresi değiştiğinden ilerleme çubuğu tutarlı bir hızda ilerlemez. Örneğin, ilerleme çubuğu hızla yüzde 50'ye ilerleyebilir, ancak kalan yüzde 50'yi tamamlamak biraz daha zaman alabilir.
Önemli
Verileriniz geçirilirken 1. Nesil hesabınız salt okunur hale gelir ve 2. Nesil hesabı devre dışı bırakılır.
Ayrıca 1. Nesil URI'sı yeniden yönlendirilirken her iki hesap da devre dışı bırakılır.
Geçiş tamamlandığında 1. Nesil hesabınız devre dışı bırakılır. 1. Nesil hesabınızdaki verilere erişilemez ve 30 gün sonra silinir. 2. Nesil hesabınız okuma ve yazma işlemleri için kullanılabilir.
Geçişi durdur düğmesini seçerek URI yeniden yönlendirilmeden önce geçişi istediğiniz zaman durdurabilirsiniz .
6. Adım: Geçişin tamamlandığını doğrulama
Geçiş başarıyla tamamlanırsa 2. Nesil özellikli hesapta 1 . nesil adlı bir kapsayıcı oluşturulur ve 1. Nesil hesabındaki tüm veriler bu yeni 1. nesil kapsayıcısına kopyalanır. 1. Nesil'de bulunan bir yoldaki verileri bulmak için gen1/ ön ekini 2. Nesil'de erişmek üzere aynı yola eklemeniz gerekir. Örneğin, 1. Nesil'de 'FolderRoot/FolderChild/FileName.csv' adlı bir yol 2. Nesil'de 'gen1/FolderRoot/FolderChild/FileName.csv' konumunda kullanılabilir. Kapsayıcı adları 2. Nesil'de yeniden adlandırılamaz, bu nedenle 2. Nesil'de bulunan bu 1 . nesil kapsayıcısı geçiş sonrasında yeniden adlandırılamaz. Ancak, gerekirse veriler 2. Nesil'deki yeni bir kapsayıcıya kopyalanabilir.
Geçiş başarıyla tamamlanmazsa uyumsuzluklar nedeniyle geçişin durdurulduğunu belirten bir ileti görüntülenir. Sonraki adımla ilgili yardım almak isterseniz lütfen Microsoft Desteği ile iletişime geçin. Bu ileti, 2. Nesil hesabı daha önce kullanılmışsa veya 1. Nesil hesabındaki dosya ve dizinler uyumsuz adlandırma kuralları kullandığında görüntülenebilir.
Desteğe başvurmadan önce, kullanım geçmişi olmayan yeni oluşturulmuş yeni bir depolama hesabı kullandığınızdan emin olun. Hesabı boş hale getirmek için daha önce kullanılmış bir hesaba veya kapsayıcıların silindiği bir hesaba geçmekten kaçının. 1. Nesil hesabınızda, yalnızca boşluk veya sekme içeren, ile biten .:veya birden çok eğik çizgi (// içeren) tüm dosya veya dizin adlarını yeniden adlandırdığınızdan emin olun.
7. Adım: İş yüklerini ve uygulamaları geçirme
İş yüklerinizdeki hizmetleri 2. Nesil uç noktanıza işaret eden şekilde yapılandırın. Azure Databricks, HDInsight ve diğer Azure hizmetlerini 2. Nesil'i kullanacak şekilde yapılandırmanıza yardımcı olan makalelerin bağlantıları için bkz. Azure Data Lake Storage 2. Nesil destekleyen Azure hizmetleri.
Uygulamaları 2. Nesil API'lerini kullanacak şekilde güncelleştirin. Şu kılavuzlara bakın:
Data Lake Storage 2. Nesil PowerShell cmdlet'lerini ve Azure CLI komutlarını kullanmak için betikleri güncelleştirin.
Kod dosyalarında veya Databricks not defterlerinde, Apache Hive HQL dosyalarında veya iş yüklerinizin bir parçası olarak kullanılan diğer dosyalarda dizeyi
adl://içeren URI başvurularını arayın. Bu başvuruları yeni depolama hesabınızın 2. Nesil URI'siyle değiştirin. Örneğin: 1. Nesil URI'sıadl://mydatalakestore.azuredatalakestore.net/mydirectory/myfileolabilirabfss://myfilesystem@mydatalakestore.dfs.core.windows.net/mydirectory/myfile.
1. Nesil uyumluluk katmanı
Bu katman, geçiş sırasında kolaylık sağlamak için 1. Nesil ile 2. Nesil arasında uygulama uyumluluğu sağlamaya çalışır, böylece uygulamalar 2. Nesil özellikli hesaptaki verilerle etkileşime geçmek için 1. Nesil API'lerini kullanmaya devam edebilir. Bu katman sınırlı işlevlere sahiptir ve bu yaklaşımı geçiş kapsamında kullanıyorsanız test hesaplarıyla iş yüklerini doğrulamanız önerilir. Uyumluluk katmanı sunucuda çalıştığından yüklenecek bir şey yoktur.
Önemli
Microsoft, bu özelliği iş yüklerinizi ve uygulamalarınızı geçirmenin yerini alması için önermez. 1. Nesil uyumluluk katmanı desteği 29 Şubat 2024'te kullanımdan kaldırıldığında sona erecektir.
Uyumluluk katmanıyla ilgili en az sayıda sorunla karşılaşmak için 1. Nesil SDK'larınızın aşağıdaki sürümleri (veya üzerini) kullandığından emin olun.
| Dil | SDK sürümü |
|---|---|
| .NET | 2.3.9 |
| Java | 1.1.21 |
| Python | 0.0.51 |
Uyumluluk katmanında aşağıdaki işlevler desteklenmez.
ListStatus API'sini ListBefore girişi olarak ayarlayın.
Devamlılık belirteci olmadan 4.000'den fazla dosya içeren ListStatus API'sini kullanın.
Ekleme işlemleri için öbek kodlaması.
Microsoft Entra belirteci hedef kitlesi olarak kullanan
https://management.azure.com/tüm API çağrıları.Yalnızca boşluklar veya sekmeler içeren, ile biten
., veya ardışık birden çok eğik çizgiyle (//içeren:) dosya veya dizin adları.
Sık sorulan sorular
Geçiş ne kadar sürer?
Veriler ve meta veriler paralel olarak geçirilir. Geçişi tamamlamak için gereken toplam süre, bu iki işlemden en son hangisinin tamamlandığına eşittir.
Aşağıdaki tabloda, her geçiş işleme görevinin yaklaşık hızı gösterilmektedir.
Not
Bu zaman tahminleri yaklaşıktır ve farklılık gösterebilir. Örneğin, çok sayıda küçük dosyayı kopyalamak performansı yavaşlatabilir.
| Görev işleniyor | Hız |
|---|---|
| Veri kopyalama | Saatte 9 TB |
| Veri doğrulama | Saatte 9 milyon dosya veya klasör |
| Meta veri kopyalama | Saatte 4 milyon dosya veya klasör |
| Meta veri işleme | Saatte 25 milyon dosya veya klasör |
| Ek meta veri işleme (veri kopyalama seçeneği)1 | Saatte 50 milyon dosya veya klasör |
1 Ek meta veri işleme süresi yalnızca Verileri yeni bir 2. Nesil hesabına kopyala seçeneğini belirlediğinizde geçerlidir. Yeni bir 2. nesil hesabına geçişi tamamla seçeneğini belirlerseniz bu işlem süresi geçerli değildir.
Örnek: Büyük miktarda veri ve meta veri işleme
Bu örnekte 300 TB veri ile 200 milyon veri ve meta veri öğesi olduğu varsayılır.
| Görev | Tahmini süre |
|---|---|
| Veri kopyalama | 300 TB / 9 TB = 33,33 saat |
| Verileri doğrulama | 200 milyon / 9 milyon = 22,22 saat |
| Toplam veri geçiş süresi | 33.33 + 22.2 = 55.55 saat |
| Meta verileri kopyalama | 200 milyon / 4 milyon = 50 saat |
| Meta veri işleme | 200 milyon / 25 milyon = 8 saat |
| Ek meta veri işleme - yalnızca veri kopyalama seçeneği | 200 milyon / 50 milyon = 4 saat |
| Toplam meta veri geçiş süresi | 50 + 8 + 4 = 62 saat |
| Yalnızca veri geçişi gerçekleştirmek için toplam süre | 62 saat |
| Tam geçiş gerçekleştirmek için toplam süre | 62 - 4 = 58 saat |
Örnek: Az miktarda veri ve meta veri işleme
Bu örnekte 2 TB veri ile 56 bin veri ve meta veri öğesi olduğu varsayılır.
| Görev | Tahmini süre |
|---|---|
| Veri kopyalama | (2 TB / 9 TB) * 60 dakika = 13,3 dakika |
| Verileri doğrulama | (56.000 / 9 milyon) * 3.600 saniye = 22,4 saniye |
| Toplam veri geçiş süresi | 13,3 dakika + 22,4 saniye = yaklaşık 14 dakika |
| Meta verileri kopyalama | (56.000 / 4 milyon) * 3.600 saniye = yaklaşık 51 saniye |
| Meta veri işleme | 56.000/ 25 milyon = 8 saniye |
| Ek meta veri işleme - yalnızca veri kopyalama seçeneği | (56.000 / 50 milyon) * 3.600 saniye = 4 saniye |
| Toplam meta veri geçiş süresi | 51 + 8 + 4 = 63 saniye |
| Yalnızca veri geçişi gerçekleştirmek için toplam süre | 14 dakika |
| Tam geçiş gerçekleştirmek için toplam süre | 14 dakika - 4 saniye = 13 dakika ve 56 saniye (yaklaşık 14 dakika) |
Veri geçişinin maliyeti ne kadardır?
Portal tabanlı geçiş aracını kullanmanın bir maliyeti yoktur, ancak Azure Data Lake 1. Nesil ve 2. Nesil hizmetlerinin kullanımı için faturalandırılırsınız. Veri geçişi sırasında, 1. Nesil hesabının veri depolaması ve işlemleri için faturalandırılırsınız.
Geçiş sonrasında yalnızca verileri kopyalayan seçeneği belirlerseniz hem Azure Data Lake 1. Nesil hem de 2. Nesil hesapları için veri depolama ve işlemler için faturalandırılırsınız. 1. Nesil hesabı için faturalandırılmamak için, uygulamalarınızı 2. Nesil'e işaret eden şekilde güncelleştirdikten sonra 1. Nesil hesabını silin. Tam geçiş gerçekleştirmeyi seçerseniz yalnızca 2. Nesil özellikli hesabın veri depolaması ve işlemleri için faturalandırılırsınız.
Onay verirken Geçiş başlatma başarısız oldu hata iletisiyle karşılaştım. Uygulamam gereken sonraki adım nedir?
Tüm Azure Data lake Analytics hesaplarınızın Azure Synapse Analytics'e veya desteklenen başka bir işlem platformuna geçirildiğinden emin olun. Azure Data Lake Analytics hesapları geçirildikten sonra onayı yeniden deneyin. Sorunu daha fazla görürseniz ve bir destek planınız varsa bir destek isteğinde bulunabilirsiniz. Microsoft Q&A'daki topluluk uzmanlarından da yanıt alabilirsiniz.
Geçiş tamamlandıktan sonra Gen1 hesabını kullanmaya geri dönebilir miyim?
1. Seçenek: Yukarıda bahsedilen 1. Nesil'den 2. Nesil'e veri kopyalama seçeneğini kullandıysanız, geçiş sonrasında hem 1. Nesil hem de 2. Nesil hesapları okuma ve yazma işlemleri için kullanılabilir. Ancak 2. Seçenek: Tam geçiş gerçekleştirdiyseniz 1. Nesil hesabına geri dönmek desteklenmez. 2. Seçenek'te geçiş tamamlandıktan sonra 1. Nesil hesabınızdaki verilere erişilemez ve 30 gün sonra silinir. Azure portal 1. Nesil hesabını görüntülemeye devam edebilir ve hazır olduğunuzda Gen1 hesabını silebilirsiniz.
Gen2 özellikli hesapta Coğrafi olarak yedekli depolamayı (GRS) etkinleştirmek istiyorum, bunu nasıl yapabilirim?
Geçiş tamamlandıktan sonra hem "Verileri kopyalama" hem de "Geçişi tamamlama" seçeneklerinde devam edebilir ve uygulama uyumluluk katmanını kullanmayı planlamadığınız sürece yedeklilik seçeneğini GRS olarak değiştirebilirsiniz. Uygulama uyumluluğu, GRS yedekliliği kullanan hesaplarda çalışmaz.
1. Nesil'de kapsayıcı yok ve 2. Nesil kapsayıcılara sahip. Ne beklemem gerekir?
Verileri 2. Nesil hesabınıza kopyaladığımız zaman otomatik olarak '1. Nesil' adlı bir kapsayıcı oluştururuz. 2. Nesil'de kapsayıcı adları yeniden adlandırılamaz ve bu nedenle geçiş sonrası veriler gerektiğinde 2. Nesil'deki yeni kapsayıcıya kopyalanabilir.
Geçiş performansı açısından neleri göz önünde bulundurmalıyım?
Verileri 2. Nesil hesabınıza kopyaladığınızda, performansı etkileyebilecek iki faktör dosya sayısı ve sahip olduğunuz meta veri miktarıdır. Örneğin, birçok küçük dosya geçişin performansını etkileyebilir.
Geçiş sonrasında 2. Nesil hesabında WebHDFS Dosya Sistemi API'leri desteklenecek mi?
1. Nesil WebHDFS Dosya Sistemi API'leri 2. Nesil'de desteklenecektir ancak belirli sapmalarla ve uyumluluk katmanı aracılığıyla yalnızca sınırlı işlevsellik desteklenir. Müşteriler daha iyi performans ve özellikler için 2. Nesil'e özgü API'lerden yararlanmayı planlamalıdır.
Kullanımdan kaldırma tarihinden sonra 1. Nesil hesabıma ne olur?
Hesaba erişilemez duruma gelir. Aşağıdakiler yapılamaz:
Hesabı yönetme
Hesaptaki verilere erişme
1. Nesil veya 1. Nesil API'lerine, SDK'lara veya istemci araçlarına yönelik hizmet güncelleştirmelerini alma
1. Nesil müşteri desteğine çevrimiçi olarak, telefonla veya e-postayla erişme
Bkz. Eylem gerekli: 29 Şubat 2024'e kadar Azure Data Lake Storage 2. Nesil geçiş yapma.
Sonraki adımlar
- Genel olarak geçiş hakkında bilgi edinin. Daha fazla bilgi için bkz. Azure Data Lake Storage 1. Nesil'den 2. Nesil'e geçirme.