مشاركة عبر

حسابات Premium لتخزين الكائن الثنائي الكبير الحجم للكتل

  • مقالة

تتيح حسابات تخزين كتل بيانات الكائنات الثنائية كبيرة الحجم المتميزة البيانات عبر أجهزة عالية الأداء. يتم تخزين البيانات على محركات الأقراص ذات الحالة الصلبة (SSDs) التي تم تحسينها لزمن انتقال منخفض. توفر محركات الأقراص ذات الحالة الصلبة معدل نقل أعلى مقارنةً بالأقراص الصلبة التقليدية. يتم نقل الملفات بشكل أسرع نظراً لتخزين البيانات على شرائح ذاكرة يمكن الوصول إليها على الفور. جميع أجزاء محرك الأقراص يمكن الوصول إليها في وقت واحد. وعلى النقيض من ذلك، يعتمد أداء محرك الأقراص الثابتة (HDD) على قرب البيانات من عناوين القراءة والكتابة.

أحمال عمل عالية الأداء

تعتبر حسابات تخزين Premium للكائنات الثنائية كبيرة الحجم مثالية لأحمال العمل التي تتطلب أوقات استجابة سريعة ومتسقة و/أو التي تحتوي على عدد كبير من عمليات الإدخال والإخراج في الثانية (IOP). ومن أمثلة أحمال العمل:

  • أحمال عمل تفاعلية. يجب أن تكتب التطبيقات التفاعلية للغاية وفي الوقت الحقيقي البيانات بسرعة. غالباً ما تتطلب تطبيقات التجارة الإلكترونية ورسم الخرائط تحديثات فورية وملاحظات المستخدمين. على سبيل المثال، في تطبيق التجارة الإلكترونية، من المحتمل أن تكون العناصر التي يتم عرضها بشكل أقل غير مخزنة مؤقتًا. ومع ذلك، يجب أن يتم عرضها على الفور إلى العميل عند الطلب. تحافظ تطبيقات التحرير التفاعلي أو الألعاب متعددة اللاعبين عبر الإنترنت على تجربة عالية الجودة من خلال توفير تحديثات في الوقت الحقيقي.

  • إنترنت الأشياء / تحليلات دفق البيانات. في سيناريو "إنترنت الأشياء"، قد يتم دفع الكثير من عمليات الكتابة الصغيرة إلى السحابة كل ثانية. ويمكن أخذ كميات كبيرة من البيانات وتجميعها لأغراض التحليل ثم حذفها على الفور تقريبًا. قدرات استيعاب عالية لتخزين كتلة blob المتميزة تجعلها فعالة لهذا النوع من حمل العمل.

  • الذكاء الاصطناعي/التعلم الآلي (AI/ML). الذكاء الاصطناعي/التعلم الآلي يتعامل مع استهلاك ومعالجة أنواع البيانات المختلفة مثل المرئيات والكلام والنص. هذا النوع من الحوسبة عالية الأداء من حمل العمل يتعامل مع كميات كبيرة من البيانات التي تتطلب استجابة سريعة وكفاءة وقت استيعاب لتحليل البيانات.

فعالية التكلفة

تتميز حسابات تخزين Premium للكائنات الثنائية كبيرة الحجم للكتل بتكلفة تخزين أعلى، ولكن بتكلفة عمليات أقل مقارنة بحسابات v2 القياسية للأغراض العامة. إذا نفذت تطبيقاتك وأحمال العمل عددا كبيرا من المعاملات، يمكن أن يكون تخزين الكائن الثنائي كبير الحجم للكتلة المتميزة فعالا من حيث التكلفة، خاصة إذا كان حمل العمل ثقيل الكتابة.

في معظم الحالات، تعتبر أحمال العمل التي تنفذ أكثر من 35 إلى 40 عملية في الثانية لكل تيرابايت (TPS/TB) مرشحات جيدة لهذا النوع من الحسابات. على سبيل المثال، إذا كان حمل عملك ينفذ 500 مليون عملية قراءة و100 مليون عملية كتابة في الشهر، يمكنك حساب TPS/TB على النحو التالي:

  • عمليات الكتابة في الثانية = 100,000,000 / (30 × 24 × 60 × 60) = 39 (مقربة إلى أقرب رقم صحيح)

  • عمليات القراءة في الثانية = 500,000,000 / (30 × 24 × 60 × 60) = 193 (مقربة إلى أقرب رقم صحيح)

  • إجمالي العمليات في الثانية = 193 + 39 = 232

  • إذا افترضنا أن حسابك يحتوي على بيانات بحجم 5 تيرابايت في المتوسط، فإن TPS / TB سيكون 230 / 5 = 46.

ملاحظة

تختلف الأسعار لكل عملية وكل منطقة. استخدم حاسبة أسعار Azure لمقارنة الأسعار بين مستويات الأداء القياسية والمتميزة.

يوضح الجدول التالي فعالية تكلفة حسابات تخزين Premium للكائنات الثنائية كبيرة الحجم للكتل. تستند الأرقام الموجودة في هذا الجدول إلى حساب تخزين كتلة كائن ثنائي كبير الحجم متميز ممكن Azure Data Lake Storage Gen2 (يشار إليه أيضا باسم الطبقة المتميزة Azure Data Lake Storage). يمثل كل عمود عدد العمليات في شهر. يمثل كل صف النسبة المئوية للعمليات التي تتم قراءتها. تعرض كل خلية في الجدول النسبة المئوية لتقليل التكلفة المقترنة بنسبة عملية قراءة وعدد العمليات المنفذة.

على سبيل المثال، بافتراض أن حسابك يقع في منطقة شرق الولايات المتحدة 2، فإن عدد العمليات مع حسابك يتجاوز 90 مليوناً، و70% من هذه العمليات تتمثل في عمليات قراءة وحسابات تخزين Premium لكائنات blob للكتلة، وهي أكثر فعالية من حيث التكلفة.

جدول الأداء

ملاحظة

إذا كنت تفضل تقييم فعالية التكلفة استناداً إلى عدد العمليات في الثانية لكل تيرابايت من البيانات، يمكنك استخدام عناوين الأعمدة التي تظهر في أسفل الجدول.

سيناريوهات Premium

يحتوي هذا القسم على أمثلة في العالم الحقيقي حول كيفية استخدام بعض شركاء Azure Storage لمساحة تخزين Premium لكائنات blob للكتلة. كما يتيح بعضها Azure Data Lake Storage Gen2 الذي يقدم بنية ملف هرمية يمكنها زيادة تحسين أداء العمليات في سيناريوهات معينة.

تلميح

إذا كانت لديك حالة استخدام تحليلية، فإننا نوصي بشدة باستخدام Azure Data Lake Storage Gen2 إلى جانب حساب تخزين Premium لكائنات blob للكتلة.

يحتوي هذا القسم على الأمثلة التالية:

ترطيب سريع للبيانات

يمكن أن يساعدك تخزين Premium لكائنات blob للكتلة في ترطيب بيئتك أو تحسينها بسرعة. في صناعات مثل الخدمات المصرفية، قد تتطلب بعض المتطلبات التنظيمية من الشركات هدم بيئاتها بانتظام، ثم إعادتها من الصفر. يجب تحميل البيانات المستخدمة لترطيب بيئتها بسرعة.

يقوم بعض شركائنا بتخزين نسخة من مثيل MongoDB الخاص بهم كل أسبوع إلى حساب تخزين Premium لكائنات blob للكتلة. ثم يتم هدم النظام. لإعادة النظام إلى الاتصال بالإنترنت بسرعة مرة أخرى، تتم قراءة أحدث نسخة من مثيل MongoDB وتحميلها. لأغراض التدقيق، يتم الاحتفاظ بالنسخ السابقة في التخزين السحابي لفترة من الزمن.

تطبيقات التحرير التفاعلية

في التطبيقات التي يقوم فيها مستخدمون متعددون بتحرير المحتوى نفسه، تصبح سرعة التحديثات أمراً بالغ الأهمية للحصول على تجربة مستخدم سلسة.

يقوم بعض شركائنا بتطوير برامج تحرير الفيديو. أي تحديث يجريه المستخدم على الفيديو يكون مرئياً على الفور للمستخدمين الآخرين. يمكن للمستخدمين التركيز على مهامهم بدلاً من انتظار ظهور تحديثات المحتوى. تساعد فترات الاستجابة المنخفضة المرتبطة بالتخزين Premium للكتل على إنشاء هذه التجربة السلسة والتعاونية.

برنامج تصور البيانات

يمكن للمستخدمين أن يكونوا أكثر إنتاجية بكثير باستخدام برنامج تصور البيانات إذا كان وقت العرض سريعاً.

لقد رأينا شركات في صناعة الخرائط تستخدم برامج تحرير الخرائط للكشف عن المشكلات المتعلقة بالخرائط. يستخدم هؤلاء المحررون البيانات التي يتم إنشاؤها من بيانات نظام تحديد المواقع العالمي (GPS) للعملاء. لإنشاء تداخلات في الخريطة، يعرض برنامج التحرير أقساماً صغيرة من الخريطة عن طريق إجراء عمليات البحث عن المفاتيح بسرعة.

في إحدى الحالات، قبل استخدام تخزين كتلة blob من نوع Premium، استخدم أحد الشركاء مجموعات HBase المدعومة بتخزين v2 قياسي للأغراض العامة. ومع ذلك، أصبح من المكلف الحفاظ على تشغيل أنظمة مجموعات كبيرة طوال الوقت. قرر هذا الشريك الابتعاد عن هذه البنية، وبدلاً من ذلك استخدم تخزين كتلة blob من نوع Premium لعمليات البحث السريعة عن المفاتيح. لإنشاء تداخلات، استخدموا واجهات برمجة تطبيقات REST لعرض التجانبات المقابلة لإحداثيات GPS. وفر لهم حساب تخزين blob من نوع Premium حلاً فعالاً من حيث التكلفة، وكانت فترات الانتقال أكثر قابلية للتنبؤ بها.

شركات التجارية الإلكترونية

بالإضافة إلى دعم متاجرها التي تواجه العملاء، قد توفر شركات التجارة الإلكترونية أيضاً حلول تخزين البيانات والتحليلات للفرق الداخلية. لقد رأينا الشركاء يستخدمون حسابات تخزين blob من نوع Premium لدعم متطلبات زمن الانتقال المنخفض من خلال حلول تخزين البيانات والتحليلات هذه. في إحدى الحالات، يحتفظ فريق الكتالوج بتطبيق تخزين البيانات للبيانات التي تتعلق بالعروض والأسعار وطرق الشحن والموردين والمخزون واللوجستيات. يتم الاستعلام عن المعلومات، ومسحها ضوئياً، واستخراجها، والبحث عنها لحالات الاستخدام المتعددة. يقوم الفريق بإجراء تحليلات حول هذه البيانات لتزويد فرق الترويج المختلفة بنتائج التحليلات والمعلومات ذات الصلة.

التحليلات التفاعلية

في كل صناعة تقريباً، هناك حاجة للمؤسسات للاستعلام عن بياناتها وتحليلها بشكل تفاعلي.

يمكن لعلماء البيانات والمحللين والمطورين استخلاص نتائج معرفية حساسة للوقت بشكل أسرع من خلال تشغيل الاستعلامات على البيانات المخزنة في حساب تخزين كائنات blob للكتلة من نوع Premium. يمكن للمديرين التنفيذيين تحميل لوحات المعلومات الخاصة بهم بسرعة أكبر بكثير عندما تأتي البيانات التي تظهر في لوحات المعلومات هذه من حساب تخزين كتلة blob من نوع Premium بدلاً من حساب v2 قياسي للأغراض العامة.

في أحد السيناريوهات، احتاج المحللون إلى تحليل بيانات القياس عن بعد من ملايين الأجهزة بسرعة لفهم كيفية استخدام منتجاتهم بشكل أفضل، واتخاذ قرارات طرح المنتجات. تخزين البيانات في قواعد بيانات SQL يعد أمراً مكلفاً. لتقليل التكلفة وزيادة مساحة السطح القابلة للاستعلام، استخدموا حساب تخزين blob للكتلة من نوع Premium تم به تمكين Azure Data Lake Storage Gen2، وأجروا عملية حسابية في Presto وSpark للتوصل إلى نتائج معرفية من جداول الخلية. وبهذه الطريقة، حتى نادراً ما يكون للبيانات نفس القدرة على الحساب، مثل البيانات التي يتم الوصول إليها بشكل متكرر.

لسد الفجوة بين أداء SQL في أقل من الثانية وعمليات الإخراج والإدخال في الثانية (IOPs) في Presto للتخزين الخارجي، يعد الاتساق والسرعة أمرًا بالغ الأهمية، خاصة عند التعامل مع الملفات الصغيرة المحسّنة للصفوف العمودية (ORC). أظهر حساب تخزين blob للكتلة من نوع premium عند استخدامه مع Data Lake Storage Gen2، مراراً وتكراراً تحسنا في الأداء بمعدل 3 أضعاف مقارنة بحساب v2 القياسي للأغراض العامة في هذا السيناريو. الاستعلامات التي يتم تنفيذها بسرعة كافية لتشعر بأنها محلية لجهاز الحساب.

وفي حالة أخرى، يقوم أحد الشركاء بتخزين السجلات التي يتم إنشاؤها من حل الأمان الخاص به والاستعلامات عنها. يتم إنشاء السجلات باستخدام Databricks، ثم تخزينها في حساب تخزين كتلة blob من نوع Premium ممكن عليه Data Lake Storage Gen2. يقوم المستخدمون النهائيون بالاستعلام عن هذه البيانات والبحث فيها باستخدام مستكشف بيانات Azure. اختاروا هذا النوع من الحساب لزيادة الاستقرار وزيادة أداء الاستعلامات التفاعلية. كما قاموا بتعيين نهج Delete Action لإدارة دورة الحياة على بضعة أيام، مما يساعد في تقليل التكاليف. ويمنعهم هذا النهج من الاحتفاظ بالبيانات إلى الأبد. وبدلاً من ذلك، يتم حذف البيانات بمجرد عدم الحاجة إليها.

مسارات معالجة البيانات

في كل صناعة تقريباً، هناك حاجة للمؤسسات لمعالجة البيانات. يجب إزالة البيانات الأولية من مصادر متعددة ومعالجتها، بحيث تصبح مفيدة للاستهلاك النهائي في أدوات، مثل لوحات معلومات البيانات التي تساعد المستخدمين في اتخاذ القرارات.

في حين أن سرعة المعالجة ليست دائماً الشاغل الرئيسي عند معالجة البيانات، فإن بعض الصناعات تتطلب ذلك. على سبيل المثال، غالباً ما تحتاج الشركات في صناعة الخدمات المالية إلى معالجة البيانات بشكل موثوق وبأسرع طريقة ممكنة. للكشف عن الاحتيال، يجب على هذه الشركات معالجة المدخلات من مصادر مختلفة، وتحديد المخاطر التي يتعرض لها عملاؤها، واتخاذ إجراءات سريعة.

في بعض الحالات، رأينا الشركاء يستخدمون حسابات تخزين قياسية متعددة لتخزين البيانات من مصادر مختلفة. ثم، يتم نقل بعض هذه البيانات إلى حساب تخزين كتلة Premium ممكَّن عليه Data Lake Storage، حيث يقرأ تطبيق معالجة البيانات هذه البيانات التي تصل حديثاً بشكل متكرر. كانت استدعاءات قوائم الدليل في هذا الحساب أسرع بكثير، وتم إجراؤها بشكل أكثر تناسقًا مما كانت ستؤديه في حساب قياسي v2 للأغراض العامة. وتكفل السرعة والاتساق اللذان يوفرهما الحساب إتاحة البيانات الجديدة دائماً لنظم المعالجة النهائية في أسرع وقت ممكن. وقد ساعدهم ذلك في التعرف على المخاطر الأمنية المحتملة والتصرف وفقًا لها على الفور.

إنترنت الأشياء (IoT)

أصبح إنترنت الأشياء جزءاً مهماً من حياتنا اليومية. يُستخدم إنترنت الأشياء لتتبع حركات السيارات، والتحكم في الأضواء، ومراقبة السلامة. كما أنه يضم تطبيقات صناعية. على سبيل المثال، تستخدم الشركات إنترنت الأشياء لتمكين مشاريع المصانع الذكية، وتحسين الإنتاج الزراعي، وعلى منصات النفط للصيانة التنبؤية. تضيف حسابات تخزين blob للكتل من نوع Premium قيمة كبيرة إلى هذه السيناريوهات.

لدينا شركاء في صناعة التعدين. يستخدمون Data Lake Storage Gen2 الذي يمكّن حساب تخزين blob للكتلة من نوع Premium، جنبًا إلى جنب مع HDInsight (Hbase) لاستيعاب بيانات مستشعر السلاسل الزمنية من أنواع معدات التعدين المتعددة، مع ملف تعريف تحميل مرهق للغاية. ساعد تخزين Premium لكتل blob في تلبية حاجتهم إلى معدل استيعاب عالٍ للعينات. كما أنه فعال من حيث التكلفة، نظرًا لأن تكلفة تخزين Premium للكائنات الثنائية الكبيرة محسّنة من حيث التكلفة لأحمال العمل التي تؤدي عددًا كبيرًا من عمليات الكتابة، وينتج عن حمل العمل هذا عددًا كبيرًا من عمليات الكتابة الصغيرة (في عشرات الآلاف في الثانية).

التعلّم الآلي

في كثير من الحالات، يجب معالجة الكثير من البيانات لتدريب نموذج التعلم الآلي. لإكمال هذه المعالجة، يجب تشغيل أجهزة الحساب لفترة طويلة. بالمقارنة مع تكاليف التخزين، عادة ما تمثل تكاليف الحساب نسبة مئوية أكبر بكثير من فاتورتك، لذا فإن تقليل مقدار الوقت الذي تعمل فيه آلات الحساب يمكن أن يؤدي إلى وفورات كبيرة. يمكن أن يؤدي زمن الانتقال المنخفض الذي تحصل عليه باستخدام تخزين blob من نوع Premium إلى تقليل هذا الوقت وفاتورتك بشكل كبير.

لدينا شركاء يقومون بتوزيع مسارات معالجة البيانات لإثارة مجموعات حيث يقومون بتشغيل التدريب على التعلم الآلي والاستدلال. يقومون بتخزين جداول spark (ملفات parquet) ونقاط فحص لحساب تخزين blob من نوع premium. يمكن لنقاط فحص Spark إنشاء عدد كبير من الملفات والمجلدات المتداخلة. تتسم عمليات قوائم الدليل الخاصة بهم بأنها سريعة، لأنها جمعت بين زمن الانتقال المنخفض لحساب تخزين الكائنات الثنائية الكبيرة مع هيكل البيانات الهرمي المتاح مع Data Lake Storage Gen2.

لدينا أيضًا شركاء في صناعة أشباه الموصلات مع حالات استخدام تتقاطع مع إنترنت الأشياء والتعلم الآلي. تلتقط أجهزة إنترنت الأشياء المتصلة بالآلات الموجودة في مصنع التصنيع صوراً لرقائق أشباه الموصلات وترسلها إلى حسابها. باستخدام استدلال التعلم العميق، يمكن للنظام إبلاغ الأجهزة المحلية إذا كانت هناك مشكلة في الإنتاج، وإذا كانت هناك حاجة إلى اتخاذ إجراء. ويجب أن تكون قادرة على تحميل الصور ومعالجتها بسرعة وموثوقية. يساعد استخدام حساب تخزين premium للكائنات الثنائية الكبيرة الممكّن عليه Data Lake Storage Gen2 في جعل ذلك ممكنًا.

تحليلات البث في الوقت الحقيقي

لدعم التحليلات التفاعلية في الوقت الفعلي تقريباً، يجب على النظام استيعاب ومعالجة كميات كبيرة من البيانات، ثم إتاحة هذه البيانات للأنظمة النهائية. يعد استخدام حساب تخزين premium للكائنات الثنائية الكبيرة الذي يدعم Data Lake Storage Gen2 مثاليًا لهذه الأنواع من السيناريوهات.

يمكن للشركات العاملة في صناعة الإعلام والترفيه إنشاء عدد كبير من السجلات وبيانات القياس عن بُعد في فترة زمنية قصيرة أثناء بثها لحدث ما. يعتمد بعض شركائنا على شركاء شبكة تسليم محتوى متعددين (CDN) للبث. ويجب عليهم اتخاذ قرارات في الوقت الحقيقي تقريباَ حول شركاء شبكة تسليم المحتوى لتخصيص نسبة استخدام الشبكة إليهم. لذلك، يجب أن تكون البيانات متاحة للاستعلام بعد بضع ثوانٍ من استيعابها. لتسهيل عملية اتخاذ القرار السريع هذه، يستخدمون البيانات المخزنة داخل وحدة تخزين premium لكتل الكائنات الثنائية الكبيرة، ويعالجون تلك البيانات في مستكشف بيانات Azure ‏(ADX). يتم تحويل جميع عمليات القياس عن بُعد التي يتم تحميلها إلى التخزين في مستكشف بيانات Azure، حيث يمكن تخزينها بتنسيق مألوف يمكن للمشغلين والمديرين التنفيذيين الاستعلام عنه بسرعة وموثوقية.

يتم تحميل البيانات إلى حسابات Blob Storage متعددة عالية الأداء. يتم توصيل كل حساب بمورد شبكة الأحداث ومركز الأحداث. يقوم مستكشف بيانات Azure باسترداد البيانات من Blob Storage، وإجراء أي تحويلات مطلوبة لتطبيع البيانات (على سبيل المثال: فك ضغط الملفات المضغوطة أو التحويل من JSON إلى CSV). بعد ذلك، يتم توفير البيانات للاستعلام من خلال ADX ولوحات المعلومات المعروضة في Grafana. يتم استخدام لوحات معلومات Grafana من قبل المشغلين والمديرين التنفيذيين والمستخدمين الآخرين. يحتفظ العميل بسجلاته الأصلية في وحدة تخزين عالية الأداء، أو ينسخها إلى حساب تخزين v2 للأغراض العامة، حيث يمكن تخزينها في طبقة التخزين الفعالة أو الفرعية للاحتفاظ بها على المدى الطويل والتحليل المستقبلي.

بدء العمل باستخدام Premium

أولاً، تحقق للتأكد من أن ميزات تخزين الكائن الثنائي كبير الحجم المفضلة لديك متوافقة مع حسابات تخزين Premium، ثم قم بإنشاء الحساب.

ملاحظة

لا يمكنك تحويل حساب تخزين v2 قياسي للأغراض العامة موجود إلى حساب Premium لتخزين كائن ثنائي كبير الحجم للكتلة. للترحيل إلى حسابات Premium لتخزين كائن ثنائي كبير الحجم للكتلة، يجب عليك إنشاء حسابات Premium لتخزين كائن ثنائي كبير الحجم للكتلة، وترحيل البيانات إلى الحساب الجديد.

التحقق من توافق ميزة Blob Storage

بعض ميزات Blob Storage غير مدعومة بعد، أو لديها دعم جزئي في حسابات Premium لتخزين كائن ثنائي كبير الحجم للكتلة. قبل اختيار Premium، راجع مقالة دعم ميزة Blob Storage في حسابات Azure Storage لتحديد ما إذا كانت الميزات التي تنوي استخدامها مدعومة بالكامل في حسابك أم لا. يتوسع دعم الميزات دائمًا، لذا تأكد من مراجعة هذه المقالة بشكل دوري للتعرف على التحديثات.

إنشاء حساب تخزين جديد

لإنشاء حساب تخزين كتلة Premium، تأكد من اختيار خيار الأداء Premium ونوع حساب كائنات ثنائية كبيرة الحجم للكتلة أثناء إنشاء الحساب.

إنشاء blockblobstorageacount

ملاحظة

بعض ميزات Blob Storage غير مدعومة بعد، أو لديها دعم جزئي في حسابات Premium لتخزين كائن ثنائي كبير الحجم للكتلة. قبل اختيار Premium، راجع مقالة دعم ميزة Blob Storage في حسابات Azure Storage لتحديد ما إذا كانت الميزات التي تنوي استخدامها مدعومة بالكامل في حسابك أم لا. يتوسع دعم الميزات دائمًا، لذا تأكد من مراجعة هذه المقالة بشكل دوري للتعرف على التحديثات.

إذا كان حساب التخزين لديك سيستخدم في التحليلات، فإننا نوصي بشدة استخدام Azure Data Lake Storage Gen2 إلى جانب حساب تخزين Premium للكائنات الثنائية كبيرة الحجم. لإلغاء تأمين إمكانات Azure Data Lake Storage Gen2، قم بتمكين إعداد مساحة الاسم الهرمية في علامة التبويب متقدم في الصفحة إنشاء حساب تخزين.

تعرض الصورة التالية هذا الإعداد في صفحة إنشاء حساب تخزين.

إعداد مساحة الاسم الهرمية

للحصول على الإرشادات الكاملة، راجع إنشاء حساب تخزين.

راجع أيضًا