مشاركة عبر

تحويل البيانات من Azure وإليه

  • مقالة

توجد العديد من الخيارات لنقل البيانات من وإلى Azure، حسب احتياجاتك.

النقل المادي

يعد استخدام الأجهزة المادية لنقل البيانات إلى Azure خياراً جيداً عندما:

  • شبكتك بطيئة أو غير موثوقة.
  • يعد الحصول على المزيد من النطاق الترددي للشبكة أمرا باهظ التكلفة.
  • لا تسمح نهج الأمان أو المؤسسة بالاتصالات الصادرة عند التعامل مع البيانات الحساسة.

إذا كان مصدر قلقك الأساسي هو المدة التي يستغرقها نقل بياناتك، فقد تحتاج إلى إجراء اختبار للتحقق مما إذا كان نقل الشبكة أبطأ من النقل الفعلي.

يوجد خياران رئيسيان لنقل البيانات فعلياً إلى Azure:

خدمة Azure Import/Export

تتيح لك خدمة Azure Import/Export نقل كميات كبيرة من البيانات بأمان إلى Azure Blob Storage أو Azure Files عن طريق شحن محركات أقراص SATA الثابتة الداخلية (HDDs) أو محركات الأقراص الصلبة إلى مركز بيانات Azure. يمكنك أيضا استخدام هذه الخدمة لنقل البيانات من Azure Storage إلى محركات الأقراص الثابتة وشحن محركات الأقراص إليك لتحميلها محليا.

Azure Data Box

Azure Data Box هو جهاز توفره Microsoft يعمل مثل خدمة الاستيراد/التصدير. مع Data Box، تقوم Microsoft بشحن جهاز نقل خاص وآمن ومقاومة للعبث، وتتعامل مع الخدمات اللوجستية الشاملة، والتي يمكنك تعقبها من خلال المدخل. إحدى فوائد خدمة Data Box هي سهولة الاستخدام. لا تحتاج إلى شراء العديد من محركات الأقراص الثابتة وتجهيزها ونقل الملفات إلى كل منها. يتم دعم Data Box من قبل العديد من شركاء Azure الرائدين في الصناعة لتسهيل استخدام النقل دون اتصال بسلاسة إلى السحابة من منتجاتهم.

أدوات سطر الأوامر وواجهات برمجة التطبيقات

ضع في اعتبارك هذه الخيارات عندما تريد نقل البيانات النصية والبرمجية:

  • Azure CLI هي أداة عبر النظام الأساسي تسمح لك بإدارة خدمات Azure وتحميل البيانات إلى التخزين.

  • AzCopy. استخدم AzCopy من سطر أوامر Windows أو Linux لنسخ البيانات بسهولة من وإلى Blob Storage وAzure File Storage وAzure Table Storage مع الأداء الأمثل. تدعم AzCopy التزامن والتوازي، والقدرة على استئناف عمليات النسخ عند انقطاعها. يمكنك أيضاً استخدام AzCopy لنسخ البيانات من AWS إلى Azure. للوصول الآلي، مكتبة نقل بيانات تخزين Microsoft Azure هي إطار العمل الأساسي الذي يدعم AzCopy. يتم توفيرها كمكتبة .NET Core.

  • باستخدام PowerShell، يعد Start-AzureStorageBlobCopy PowerShell cmdlet خيارا لمسؤولي Windows الذين اعتادوا على PowerShell.

  • يمكنك AdlCopy من نسخ البيانات من Blob Storage إلى Azure Data Lake Storage. يمكن استخدامه أيضا لنسخ البيانات بين حسابي Data Lake Storage. ومع ذلك، لا يمكن استخدامه لنسخ البيانات من Data Lake Storage إلى Blob Storage.

  • يتم استخدام Distcp لنسخ البيانات من وإلى تخزين مجموعة HDInsight (WASB) إلى حساب Data Lake Storage.

  • Sqoop هو أحد مشاريع Apache وجزء من نظام Hadoop البيئي. يأتي مثبتاً مسبقاً على جميع مجموعات HDInsight. يسمح بنقل البيانات بين مجموعة HDInsight وقواعد البيانات الارتباطية مثل SQL وOracle وMySQL وما إلى ذلك. Sqoop هي مجموعة من الأدوات ذات الصلة، بما في ذلك أدوات الاستيراد والتصدير. يعمل Sqoop مع مجموعات HDInsight باستخدام تخزين Blob أو تخزين Data Lake Storage المرفق.

  • PolyBase هي تقنية تصل إلى البيانات خارج قاعدة بيانات من خلال لغة T-SQL. في SQL Server 2016، يسمح لك بتشغيل الاستعلامات على البيانات الخارجية في Hadoop أو استيراد البيانات أو تصديرها من Blob Storage. في Azure Synapse Analytics، يمكنك استيراد البيانات أو تصديرها من Blob Storage وData Lake Storage. حاليا، PolyBase هو أسرع طريقة لاستيراد البيانات إلى Azure Synapse Analytics.

  • استخدم سطر الأوامر Hadoop عندما يكون لديك بيانات موجودة على عقدة رأس نظام مجموعة HDInsight. يمكنك استخدام hadoop -copyFromLocal الأمر لنسخ تلك البيانات إلى التخزين المرفق لنظام المجموعة، مثل Blob Storage أو Data Lake Storage. من أجل استخدام أمر Hadoop، يجب عليك أولاً الاتصال بالعقدة الرئيسية. بمجرد الاتصال، يمكنك تحميل ملف على وحدة التخزين.

واجهة رسومية

ضع في اعتبارك الخيارات التالية إذا كنت تقوم بنقل بعض الملفات أو كائنات البيانات فقط ولا تحتاج إلى أتمتة العملية.

  • Azure Storage Explorer هو أداة عبر النظام الأساسي تتيح لك إدارة محتويات حسابات Azure Storage الخاصة بك. يسمح لك بتحميل وتنزيل وإدارة الكائنات الثنائية كبيرة الحجم والملفات وقوائم الانتظار والجداول وكيانات Azure Cosmos DB. استخدمه مع Blob Storage لإدارة الكائنات الثنائية كبيرة الحجم والمجلدات، وتحميل وتنزيل الكائنات الثنائية كبيرة الحجم بين نظام الملفات المحلي وتخزين Blob، أو بين حسابات التخزين.

  • بوابة Azure يوفر كل من Blob Storage وData Lake Storage واجهة مستندة إلى الويب لاستكشاف الملفات وتحميل ملفات جديدة. هذا الخيار جيد إذا كنت لا تريد تثبيت أدوات أو إصدار أوامر لاستكشاف ملفاتك بسرعة، أو إذا كنت تريد تحميل عدد قليل من الملفات الجديدة.

مزامنة البيانات والتدفقات

  • Azure Data Factory هي خدمة مدارة الأنسب لنقل الملفات بانتظام بين العديد من خدمات Azure أو الأنظمة المحلية أو مزيج من الاثنين. باستخدام Data Factory، يمكنك إنشاء وجدولة مهام سير عمل تستند إلى البيانات تسمى البنية الأساسية لبرنامج ربط العمليات التجارية التي استيعاب البيانات من مخازن البيانات المتباينة. يمكن ل Data Factory معالجة البيانات وتحويلها باستخدام خدمات الحوسبة مثل Azure HDInsight Hadoop وSpark وAzure Data Lake Analytics وAzure التعلم الآلي. يمكنك إنشاء مهام سير عمل تستند إلى البيانات لتنسيق حركة البيانات وتحويل البيانات وأتمتتها.

  • يمكن استخدام المسارات والأنشطة في Data Factory وAzure Synapse Analytics لإنشاء مهام سير عمل قائمة على البيانات من طرف إلى طرف لسيناريوهات حركة البيانات ومعالجة البيانات. بالإضافة إلى ذلك، يتم استخدام وقت تشغيل تكامل Azure Data Factory لتوفير قدرات تكامل البيانات عبر بيئات شبكة مختلفة.

  • تقوم Azure Data Box Gateway بنقل البيانات من وإلى Azure، ولكنها جهاز ظاهري، وليس محرك أقراص ثابت. تكتب الأجهزة الظاهرية الموجودة في شبكتك المحلية البيانات إلى Data Box Gateway باستخدام بروتوكولات نظام ملفات الشبكة (NFS) وSMB. ثم ينقل الجهاز بياناتك إلى Azure.

معايير تحديد المفتاح

بالنسبة لسيناريوهات نقل البيانات، اختر النظام المناسب لاحتياجاتك من خلال الإجابة على الأسئلة التالية:

  • هل تحتاج إلى نقل كميات كبيرة من البيانات، حيث قد يستغرق القيام بذلك عبر اتصال بالإنترنت وقتا طويلا أو غير موثوق به أو مكلفا للغاية؟ إذا كانت الإجابة بنعم، ففكر في النقل الجسدي.

  • هل تفضل البرمجة النصية لمهام نقل البيانات، بحيث تكون قابلة لإعادة الاستخدام؟ إذا كان الأمر كذلك، فحدد أحد خيارات سطر الأوامر أو Data Factory.

  • هل تحتاج إلى نقل كمية كبيرة من البيانات عبر اتصال شبكة؟ إذا كان الأمر كذلك، فحدد خيارا محسنا للبيانات الضخمة.

  • هل تحتاج إلى نقل البيانات إلى أو من قاعدة بيانات ارتباطية؟ إذا كانت الإجابة بنعم، فحدد خياراً يدعم قاعدة بيانات ارتباطية واحدة أو أكثر. تتطلب بعض هذه الخيارات أيضا نظام مجموعة Hadoop.

  • هل تحتاج إلى خط بيانات تلقائي أو تنسيق لسير العمل؟ إذا كانت الإجابة بنعم، ففكر في Data Factory.

مصفوفة الإمكانات

تلخص الجداول التالية الاختلافات الرئيسية في القدرات.

النقل المادي

الإمكانية خدمة الاستيراد/التصدير Data Box
عامل التصميم SATA HDDs أو SDDs الداخلية جهاز آمن ومقاوم للعبث وأجهزة مفردة
تدير Microsoft الخدمات اللوجستية للشحن لا ‏‏نعم‬
يتكامل مع منتجات الشركاء لا ‏‏نعم‬
الأجهزة المخصصة لا ‏‏نعم‬

أدوات سطر الأوامر

Hadoop/HDInsight:

الإمكانية DistCp Sqoop Hadoop CLI
الأمثل للبيانات الضخمة ‏‏نعم‬ نعم ‏‏نعم‬
نسخ إلى قاعدة البيانات الارتباطية لا نعم لا
نسخ من قاعدة البيانات الارتباطية لا نعم لا
نسخ إلى Blob Storage ‏‏نعم‬ نعم ‏‏نعم‬
نسخ من Blob Storage ‏‏نعم‬ نعم لا
نسخ إلى Data Lake Storage ‏‏نعم‬ نعم ‏‏نعم‬
نسخ من Data Lake Storage ‏‏نعم‬ نعم لا

آخر:

الإمكانية The Azure CLI AzCopy PowerShell AdlCopy قاعدة متعددة
المنصات المتوافقة Linux، OS X، Windows Linux، Windows Windows Linux، OS X، Windows SQL Server وAzure Synapse Analytics
الأمثل للبيانات الضخمة لا نعم لا نعم 1 نعم 2
نسخ إلى قاعدة البيانات الارتباطية لا لا لا لا ‏‏نعم‬
نسخ من قاعدة البيانات الارتباطية لا لا لا لا ‏‏نعم‬
نسخ إلى Blob Storage ‏‏نعم‬ نعم نعم لا ‏‏نعم‬
نسخ من Blob Storage ‏‏نعم‬ نعم نعم نعم ‏‏نعم‬
نسخ إلى Data Lake Storage لا نعم نعم نعم ‏‏نعم‬
نسخ من Data Lake Storage لا لا نعم نعم ‏‏نعم‬

[1] تم تحسين AdlCopy لنقل البيانات الضخمة عند استخدامها مع حساب Data Lake Analytics.

[2] يمكن زيادة أداء PolyBase عن طريق دفع الحساب إلى Hadoop واستخدام مجموعات PolyBase التدريجية لتمكين نقل البيانات المتوازي بين مثيلات SQL Server وعقد Hadoop.

الواجهات الرسومية ومزامنة البيانات وتدفقات البيانات

الإمكانية Azure Storage Explorer مدخل Microsoft Azure * Data Factory Data Box Gateway
الأمثل للبيانات الضخمة لا لا نعم ‏‏نعم‬
نسخ إلى قاعدة البيانات الارتباطية لا لا نعم لا
نسخ من قاعدة البيانات الارتباطية لا لا نعم لا
نسخ إلى Blob Storage ‏‏نعم‬ لا نعم ‏‏نعم‬
نسخ من Blob Storage ‏‏نعم‬ لا نعم لا
نسخ إلى Data Lake Storage لا لا نعم لا
نسخ من Data Lake Storage لا لا نعم لا
تحميل إلى Blob Storage ‏‏نعم‬ نعم نعم ‏‏نعم‬
تحميل إلى Data Lake Storage ‏‏نعم‬ نعم نعم ‏‏نعم‬
تنظيم عمليات نقل البيانات لا لا نعم لا
تحويلات البيانات المخصصة لا لا نعم لا
نموذج الأسعار مجاني مجاني الدفع لكل استخدام الدفع لكل وحدة

يمثل مدخل Azure في هذه الحالة أدوات الاستكشاف المستندة إلى الويب ل Blob Storage وData Lake Storage.

المساهمون

تحتفظ Microsoft بهذه المقالة. وهي مكتوبة في الأصل من قبل المساهمين التاليين.

الكاتب الرئيسي:

الخطوات التالية