ترقية تخزين Azure Blob باستخدام قدرات Azure Data Lake Storage Gen2

تساعدك هذه المقالة على تمكين مساحة أسماء هرمية وإلغاء قفل السعات مثل أمان مستوى الملف والدليل والعمليات الأسرع. تُستخدم هذه السعات على نطاق واسع من قبل أحمال عمل تحليلات البيانات الضخمة و يُشار إليها مجتمعة باسم Azure Data Lake Storage Gen2.

لمعرفة المزيد عن هذه السعات وتقييم تأثير هذه الترقية على أحمال العمل والتطبيقات والتكاليف وتكامل الخدمات والأدوات والميزات والوثائق، راجع ترقية تخزين Azure Blob مع قدرات Azure Data Lake Storage Gen2.

هام

الترقية في اتجاه واحد. لا توجد طريقة لإعادة حسابك بمجرد إجراء الترقية. نوصيك بالتحقق من ترقيتك في بيئة غير إنتاجية.

الاستعداد للترقية

للتحضير لترقية حساب التخزين الخاص بك إلى Data Lake Storage Gen2:

• مراجعة دعم الميزات
• تأكد من تسمية مقاطع كل مسار كائن ثنائي كبير الحجم
• منع نشاط الكتابة إلى حساب التخزين

دعم ميزة المراجعة

قد يتم تكوين حساب التخزين الخاص بك لاستخدام الميزات التي لم يتم دعمها بعد في حسابات Data Lake Storage Gen2 الممكنة. إذا كان حسابك يستخدم مثل هذه الميزات، فلن تجتاز الترقية خطوة التحقق من الصحة. راجع مقالة ميزة تخزين كائن ثنائي كبير الحجم في حسابات تخزين Azure لتحديد الميزات غير المدعومة. إذا كنت تستخدم أي من هذه الميزات في حسابك، ف قم بتعطيلها قبل بدء الترقية.

الميزات التالية مدعومة لحسابات Data Lake Storage Gen2، ولكن لا تدعمها عملية الترقية:

• لقطات الكائن الثنائي كبير الحجم
• نطاقات التشفير
• التخزين غير القابل للتغيير
• تتبع وقت الوصول الأخير لإدارة دورة الحياة
• حذف مبدئي للكائنات الثنائية الكبيرة الحجم
• حذف مبدئي للحاويات

إذا تم تمكين هذه الميزات في حساب التخزين الخاص بك، فيجب عليك تعطيلها قبل إجراء الترقية. إذا كنت ترغب في استئناف استخدام الميزات بعد اكتمال الترقية، أعد تمكينها.

في بعض الحالات، سيتعين عليك السماح بوقت عمليات التنظيف بعد تعطيل ميزة قبل الترقية. أحد الأمثلة على ذلك هو ميزة الحذف المبدئي للكائن الثنائي كبير الحجم. يجب تعطيل الحذف المبدئي للكائنات الثنائية كبيرة الحجم ثم السماح بانتهاء صلاحية كافة الكائنات الثنائية كبيرة الحجم للحذف المبدئي قبل أن تتمكن من ترقية الحساب.

هام

لا يمكنك ترقية حساب تخزين إلى Data Lake Storage Gen2 الذي تم تمكين ميزة موجز التغيير عليه. ببساطة تعطيل موجز التغيير لن يسمح لك بإجراء ترقية. بدلا من ذلك، يجب إنشاء حساب مع تمكين ميزة مساحة الاسم الهرمية عليه، ونقل البيانات ثم نقلها إلى هذا الحساب.

تأكد من تسمية مقاطع كل مسار كائن ثنائي كبير الحجم

تنشئ عملية الترحيل دليلا لكل مقطع مسار من كائن ثنائي كبير الحجم. يجب أن يكون لدلائل Data Lake Storage Gen2 اسم حتى ينجح الترحيل، يجب أن يكون لكل مقطع مسار في دليل ظاهري اسم. ينطبق نفس المطلب على المقاطع التي يتم تسميتها فقط بحرف مسافة. إذا كانت أي مقاطع مسار إما غير مسماة (//) أو مسماة فقط بحرف مسافة (_)، فيجب عليك نسخ هذه الكائنات الثنائية كبيرة الحجم إلى مسار جديد متوافق مع متطلبات التسمية هذه قبل متابعة الترحيل.

منع نشاط الكتابة إلى حساب التخزين

قد تفشل الترقية إذا كتب أحد التطبيقات إلى حساب التخزين أثناء الترقية. لمنع نشاط الكتابة هذا:

1. قم بإعاقة أي تطبيقات أو خدمات قد تقوم بعمليات الكتابة.

2. تحرير أو قطع عقود الإيجار الموجودة على الحاويات والكائنات الثنائية كبيرة الحجم في حساب التخزين.

بعد اكتمال الترقية، قم بإيقاف عقود الإيجار التي قمت بإنشائها لاستئناف السماح بالوصول للكتابة إلى الحاويات والكائنات الثنائية كبيرة الحجم.

تحذير

قد يؤدي قطع عقد تأجير نشط دون تعطيل التطبيقات أو الأجهزة الظاهرية التي تصل حاليا إلى هذه الموارد إلى نتائج غير متوقعة. تأكد من إلغاء تنشيط أي أنشطة كتابة حالية قبل قطع أي عقود إيجار حالية.

تنفيذ الترقية

المدخل

1. سجل الدخول إلى مدخل Microsoft Azure للبدء.

2. حدد موقع حساب التخزين الخاص بك وعرض نظرة عامة على الحساب.

3. حدد ترحيل Data Lake Gen2.

   تظهر صفحة تكوين الترقية إلى حساب تخزين بقدرات Azure Data Lake Gen2.

   

4. وسِع الخطوة 1: راجع تغييرات الحساب قبل ترقية القسم وانقر على مراجعة والموافقة على التغييرات.

5. في صفحة مراجعة تغييرات الحساب، حدد مربع الاختيار ثم انقر فوق الموافقة على التغييرات.

6. وسِع الخطوة 2: التحقق من صحة الحساب قبل ترقية قسم ثم انقر فوق بدء التحقق من الصحة.

   في حالة فشل التحقق من الصحة، يظهر خطأ في الصفحة. في بعض الحالات، يظهر رابط عرض الأخطاء. إذا ظهر هذا الرابط، فحدده.

   

   ثم، من قائمة السياق لملف error.jsonحدد تنزيل.

   

   افتح الملف الذي تم تنزيله لتحديد سبب عدم اجتياز الحساب خطوة التحقق. يشير JSON التالي إلى تمكين ميزة غير متوافقة على الحساب. في هذه الحالة، يمكنك تعطيل الميزة ثم بدء عملية التحقق مرة أخرى.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

7. بعد التحقق من صحة حسابك بنجاح، وسِع قسم الخطوة 3: ترقية الحساب، ثم انقر فوق بدء الترقية.

   هام

   يتم تعطيل عمليات الكتابة في أثناء ترقية حسابك. لا تُعطل عمليات القراءة، ولكننا نوصي بشدة بتعليق عمليات القراءة لأنها قد تؤدي إلى إعاقة عملية الترقية.

   عند اكتمال الترحيل بنجاح، تظهر رسالة مشابهة لما يلي.

   

بوويرشيل

1. افتح نافذة أوامر Windows PowerShell.

2. تأكد من أن لديك أحدث وحدة نمطية من Azure PowerShell. اطلع على تثبيت وحدة Azure PowerShell

3. سجل الدخول إلى اشتراكك في Azure باستخدام الأمر Connect-AzAccount واتبع الإرشادات التي تظهر على الشاشة.

   Connect-AzAccount
   

4. إذا كانت هويتك مقترنة بأكثر من اشتراك واحد، فقم بتعيين الاشتراك النشط الخاص بك.

   $context = Get-AzSubscription -SubscriptionId <subscription-id>
   Set-AzContext $context
   

   استبدل قيمة <subscription-id>العنصر النائب بمعرف اشتراكك.

5. تحقق من صحة حساب التخزين خاصتك باستخدام الأمر التالي.

   $result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Validation -AsJob
   

   • استبدل <resource-group-name> قيمة العنصر النائب باسم مجموعة الموارد.

   • استبدل <storage-account-name> قيمة العنصر النائب باسم حساب التخزين الخاص بك.

   اعتمادًا على حجم حسابك، قد تستغرق هذه العملية بعض الوقت. يمكنك استخدام مفتاح asJob لتشغيل الأمر في مهمة خلفية بحيث لا يتم حظر عميلك. يعمل الأمر عن بعد، ولكن المهمة موجودة على جهازك المحلي أو الجهاز الظاهري الذي تدير الأمر منه. يتم نقل النتائج إلى جهازك المحلي أو الجهاز الظاهري.

6. للتحقق من حالة المهمة، وعرض جميع خصائص المهمة في قائمة، وصِل متغير الإرجاع إلى Format-List cmdlet.

   $result | Format-List -Property *
   

   إذا نجحت عملية التحقق من الصحة، ستُصبح ممتلكات الخاصيةمكتملة.

   في حالة فشل التحقق من الصحة، سيتم تعيين خاصية الحالة إلى فشل، وستعرض خاصية الخطأ أخطاء التحقق من الصحة.

   يشير الإخراج التالي إلى تمكين ميزة غير متوافقة على الحساب. في هذه الحالة، يمكنك تعطيل الميزة ثم بدء عملية التحقق مرة أخرى.

   

   في بعض الحالات، توفر لك الخاصية خطأ مساراً إلى ملف باسم error.json. يمكنك فتح هذا الملف لتحديد سبب عدم اجتياز الحساب خطوة التحقق من الصحة.

   يشير JSON التالي إلى تمكين ميزة غير متوافقة على الحساب. في هذه الحالة، يمكنك تعطيل الميزة ثم بدء عملية التحقق مرة أخرى.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

7. بعد التحقق من صحة حسابك بنجاح، ابدأ الترقية بتشغيل الأمر التالي.

   $result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Upgrade -AsJob -Force
   

   مثل مثال التحقق أعلاه، يستخدم هذا المثال مفتاح asJob لتشغيل الأمر في مهمة خلفية. يتجاوز المفتاح Force المطالبات لتأكيد الترقية. إذا كنت لا تستخدم المفتاح AsJob، فلن تضطر إلى استخدام Force المفتاح لأنه يمكنك فقط الرد على المطالبات.

   هام

   يتم تعطيل عمليات الكتابة في أثناء ترقية حسابك. لا تُعطل عمليات القراءة، ولكننا نوصي بشدة بتعليق عمليات القراءة لأنها قد تؤدي إلى إعاقة عملية الترقية.

   للتحقق من حالة المهمة، استخدم نفس التقنيات الموضحة في الخطوات السابقة. أثناء تشغيل العملية، ستُعَين خاصية الحالة إلى قيد التشغيل.

   عند اكتمال الترحيل بنجاح، سيتم تعيين خاصية الحالة إلى مكتمل ولن تعرض الخاصية خطأ أي أخطاء.

   

   هام

   سيكون التقدير التقريبي لوقت الترقية حوالي 5-10 دقائق لكل 2 مليون كائن ثنائي كبير الحجم. على سبيل المثال، إذا كان الحساب يحتوي على 10 ملايين كائن ثنائي كبير الحجم، فستستغرق الترقية حوالي 25 إلى 50 دقيقة. عادةً ما تتم ترقية الحسابات التي تحتوي على أقل من 2 مليون كائن ثنائي كبير الحجم في أقل من 10 دقائق.

Azure CLI

1. أولا، افتح Azure Cloud Shell، أو إذا قمت بتثبيت Azure CLI محليًا، افتح تطبيق وحدة تحكم أوامر مثل Windows PowerShell.

2. تحقق من أن إصدار Azure CLI الذي تم تثبيته هو 2.29.0 أو أعلى باستخدام الأمر التالي.

    az --version
   

   إذا كان إصدار Azure CLI خاصتك أقل من 2.29.0، فثبت أحدث إصدار. لمزيد من المعلومات، اطلع على تثبيت Azure CLI.

3. إذا كانت هويتك مقترنة بأكثر من اشتراك واحد، فقم بتعيين الاشتراك النشط الخاص بك.

      az account set --subscription <subscription-id>
   

   استبدل قيمة <subscription-id>العنصر النائب بمعرف اشتراكك.

4. تحقق من صحة حساب التخزين خاصتك باستخدام الأمر التالي.

   az storage account hns-migration start --type validation -n <storage-account-name> -g <resource-group-name>
   

   • استبدل <resource-group-name> قيمة العنصر النائب باسم مجموعة الموارد.

   • استبدل <storage-account-name> قيمة العنصر النائب باسم حساب التخزين الخاص بك.

   إذا نجح التحقق من الصحة، تكتمل العملية ولا تظهر أخطاء.

   في حالة فشل التحقق من الصحة، سيظهر خطأ في التحقق من الصحة في وحدة التحكم. على سبيل المثال، يشير الخطأ (IncompatibleValuesForAccountProperties) Values for account properties are incompatible: Versioning Enabled إلى تمكين ميزة غير متوافقة (تعيين الإصدار) على الحساب. في هذه الحالة، يمكنك تعطيل الميزة ثم بدء عملية التحقق مرة أخرى.

   في بعض الحالات، يظهر المسار إلى ملف باسم error.json في وحدة التحكم. يمكنك فتح هذا الملف لتحديد سبب عدم اجتياز الحساب خطوة التحقق من الصحة.

   يشير JSON التالي إلى تمكين ميزة غير متوافقة على الحساب. في هذه الحالة، يمكنك تعطيل الميزة ثم بدء عملية التحقق مرة أخرى.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

5. بعد التحقق من صحة حسابك بنجاح، ابدأ الترقية بتشغيل الأمر التالي.

   az storage account hns-migration start --type upgrade -n storage-account-name -g <resource-group-name>
   

   هام

   يتم تعطيل عمليات الكتابة في أثناء ترقية حسابك. لا تُعطل عمليات القراءة، ولكننا نوصي بشدة بتعليق عمليات القراءة لأنها قد تؤدي إلى إعاقة عملية الترقية.

   إذا نجح الترحيل، تكتمل العملية ولا تظهر أي أخطاء.

إيقاف الترقية

يمكنك إيقاف الترحيل قبل اكتماله.

المدخل

لإيقاف الترقية قبل اكتمالها، حدد إلغاء الترقية أثناء إجراء الترقية.

بوويرشيل

لإيقاف الترقية قبل اكتمالها، استخدم الأمر Stop-AzStorageAccountHierarchicalNamespaceUpgrade.

Stop-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName <resource-group-name> -Name <storage-account-name>

Azure CLI

لإيقاف الترقية قبل اكتمالها، استخدم الأمر az storage account hns-migration stop.

az storage account hns-migration stop -n <storage-account-name> -g <resource-group-name>

ترحيل البيانات وأحمال العمل والتطبيقات

1. كوِن الخدمات في أحمال العمل خاصتك للإشارة إما إلى نقطة نهاية خدمة كائن ثنائي كبير الحجم أو نقطة نهاية تخزين Data Lake.

   

2. بالنسبة لأحمال عمل Hadoop التي تستخدم Windows Azure Storage Blob أو برنامج تشغيل WASB، تأكد من تعديلها لاستخدام برنامج تشغيل نظام ملفات Azure Blob (ABFS). على عكس برنامج تشغيل WASB الذي يقدم طلبات إلى نقطة نهاية خدمة ;كائن ثنائي كبير الحجم، سيقوم برنامج تشغيل ABFS بتقديم طلبات إلى نقطة النهاية Data Lake Storage لحسابك.

3. اختبر التطبيقات المخصصة للتأكد من أنها تعمل كما هو متوقع مع حسابك الذي تمت ترقيته.

   يتيح الوصول متعدد البروتوكولات على Data Lake Storage لمعظم التطبيقات الاستمرار في استخدام واجهات برمجة تطبيقات كائن ثنائي كبير الحجم دون تعديل. إذا واجهت مشكلات أو كنت ترغب في استخدام واجهات برمجة التطبيقات للعمل مع عمليات الدليل وقوائم التحكم في الوصول، ففكر في نقل بعض التعليمات البرمجية لاستخدام واجهات برمجة التطبيقات Data Lake Storage Gen2. راجع أدلة NET. و Java و Python و Node.jsو REST.

4. اختبر أي برامج نصية مخصصة للتأكد من أنها تعمل كما هو متوقع مع حسابك الذي تمت ترقيته.

   كما هو الحال مع واجهات برمجة تطبيقات كائن ثنائي كبير الحجم، من المحتمل أن تعمل العديد من البرامج النصية خاصتك دون الحاجة إلى تعديلها. ومع ذلك, إذا لزم الأمر, يمكنك ترقية ملفات البرامج النصية لاستخدام Data Lake Storage Gen2PowerShell cmdletsو Azure CLI أوامر.

(راجع أيضًا )

مقدمة إلى الجيل الثاني من تخزين Data Lake Storage Gen2