مشاركة عبر

تحميل البيانات في Azure Synapse Analytics باستخدام مصنع بيانات Azure أو مسار Synapse

  • مقالة

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

Azure Synapse Analytics هي قاعدة بيانات مستندة إلى السحابة وذات نطاق واسع قادرة على معالجة كميات هائلة من البيانات، سواء العلائقية أو غير العلائقية. ُصممتAzure Synapse Analytics على بنية المعالجة المتوازية (MPP) التي حُسنت لأعباء عمل مستودع بيانات المؤسسة. حيث توفر مرونة سحابة مع مرونة لتوسيع نطاق التخزين والحساب بشكل مستقل.

أصبح البدء باستخدام Azure Synapse Analytics الآن أسهل من أي وقت مضى. يوفر Azure Data Factory وميزة التدفقات المكافئة له داخل Azure Synapse نفسه خدمة تكامل بيانات مستندة إلى السحابة مُدارة بالكامل. يمكنك استخدام الخدمة لملأ Azure Synapse Analytics ببيانات من نظامك الحالي وتوفير الوقت عند إنشاء حلول التحليلات.

يوفر كل من بيانات مصنع Azure ومسار Synapse الفوائد التالية لتحميل البيانات في Azure Synapse Analytics :

  • سهولة الإعداد: معالج بديهي من 5 خطوات دون الحاجة إلى البرمجة النصية.
  • دعم مخزن البيانات الثري: دعم مضمن لمجموعة غنية من مخازن البيانات المحلية والمستندة إلى السحابة. للحصول على قائمة مفصلة، راجع جدول مخازن البيانات المدعومة.
  • آمنة ومتوافقة: يتم نقل البيانات عبر HTTPS أو ExpressRoute. يضمن التواجد العالمي للخدمة أن بياناتك لا تترك أبداً الحدود الجغرافية.
  • أداء لا مثيل له باستخدام PolyBase: Polybase هو الطريقة الأكثر فعالية لنقل البيانات إلى Azure Synapse Analytics استخدم ميزة الكائن الثنائي كبير الحجم في عملية التقسيم المرحلي لتحقيق سرعات تحميل عالية من جميع أنواع مخازن البيانات، بما في ذلك Azure Blob storage و Data Lake Store. (يدعم Polybase تخزين Azure Blob و Azure Data Lake Store بشكل افتراضي.) للحصول على التفاصيل، راجع نشاط أداء النسخ.

توضح هذه المقالة كيفية استخدام أداة Copy Data لتحميل البيانات من Azure SQL Database إلى Azure Synapse Analytics. يمكنك اتباع خطوات مماثلة لنسخ البيانات من أنواع أخرى من مخازن البيانات.

إشعار

لمزيد من المعلومات، راجع نسخ البيانات من أو إلى Azure Synapse Analytics

المتطلبات الأساسية

  • اشتراك Azure: إذا لم يكن لديك اشتراك Azure، فأنشئ حساباً مجانياً قبل أن تبدأ.
  • Azure Synapse Analytics: يحتفظ مستودع البيانات بالبيانات التي نُسخت من قاعدة بيانات SQL. إذا لم يكن لديكAzure Synapse Analytics، فشاهد الإرشادات الموجودة في إنشاءAzure Synapse Analytics.
  • قاعدة بيانات Azure SQL: ينسخ هذا البرنامج التعليمي البيانات من نموذج مجموعة بيانات Adventure Works LT في قاعدة بيانات Azure SQL. يمكنك إنشاء نموذج قاعدة البيانات هذا في قاعدة بيانات SQL باتباع الإرشادات الواردة في إنشاء نموذج قاعدة بيانات في قاعدة بيانات Azure SQL.
  • حساب تخزين Azure: يُستخدم Azure Storage ككائن ثنائي كبير الحجم في التقسيم المرحلي في معظم عملية النسخ. إذا لم يكن لديك حساب تخزين Azure، فراجع الإرشادات الواردة في إنشاء حساب تخزين.

إنشاء مصدرًا للبيانات

  1. إذا لم تكن قد أنشأت مصنع البيانات بعد، فاتبع الخطوات الواردة في التشغيل السريع: إنشاء مصنع بيانات باستخدام مدخل Azure وAzure Data Factory Studio لإنشاء واحد. بعد إنشائه، استعرض للوصول إلى مصنع البيانات في مدخل Microsoft Azure.

    الصفحة الرئيسية لـ zure Data Factory بالإضافة إلى تجانب Open Azure Data Factory Studio

  2. حدد Open من تجانب Open Azure Data Factory Studio لبدء تطبيق تكامل البيانات في علامة تبويب منفصلة.

تحميل البيانات في Azure Synapse Analytics

  1. في صفحة Azure Data Factory الرئيسية أو مساحة عمل Azure Synapse، حدد تجانب Ingest لبدء تشغيل أداة Copy Data. ثم اختر Built-in copy task.

  2. في صفحة Properties، اختر Built-in copy task ضمن Task type، ثم حدد Next.

    صفحة الخصائص

  3. في صفحة Source data store، أكمل الخطوات التالية:

    تلميح

    في هذا البرنامج التعليمي، تستخدم SQL authentication كنوع المصادقة لمخزن بيانات المصدر ولكن يمكنك اختيار طرق مصادقة أخرى مدعومة: Service PrincipalوManaged Identity إذا لزم الأمر. راجع الأقسام المقابلة فيthis article للحصول على التفاصيل. لتخزين أسرار مخازن البيانات بشكل آمن، يُوصى أيضًا باستخدام Azure Key Vault. راجعthis article للحصول على رسوم توضيحية مفصلة.

    1. حدد + اتصال جديد.

    2. حدد Azure SQL Database من المعرض، ثم حدد Continue. يمكنك كتابة "SQL" في مربع البحث لتصفية الموصلات.

      حدد Azure SQL DB

    3. في صفحة New connection (Azure SQL Database)، حدد اسم الخادم واسم قاعدة البيانات من القائمة المنسدلة، وحدد أيضًا اسم المستخدم وكلمة المرور. انقر فوق Test connection للتحقق من صحة الإعدادات، ثم حدد Create.

      تكوين قاعدة بيانات Azure SQL

    4. في صفحة Source data store حدد الاتصال الذي أُنشيء حديثا في كتلة الاتصال.

    5. في المقطع Source tables أدخل SalesLT لتصفية الجداول. اختر المربع (Select all) لاستخدام كافة الجداول للنسخ، ثم حدد Next.

    لقطة شاشة تظهر تكوين صفحة

  4. في صفحة Apply filter حدد إعداداتك أو حدد Next. يمكنك معاينة البيانات وعرض مخطط بيانات الإدخال عن طريق تحديد زر Preview data في هذه الصفحة.

    لقطة شاشة تظهر صفحة

  5. في صفحة Destination data store، أكمل الخطوات التالية:

    تلميح

    في البرنامج التعليمي هذا، تستخدم SQL authentication كنوع المصادقة لمخزن بيانات المتلقي ولكن يمكنك اختيار طرق مصادقة أخرى مدعومة: Service PrincipalوManaged Identity إذا لزم الأمر. راجع الأقسام المقابلة فيthis article للحصول على التفاصيل. لتخزين أسرار مخازن البيانات بشكل آمن، يُوصى أيضًا باستخدام Azure Key Vault. راجعthis article للحصول على رسوم توضيحية مفصلة.

    1. حدد + New connection لإضافة اتصال.

    2. حدد Azure SQL Analytics من المعرض، ثم حدد Continue.

      حدد Azure Synapse Analytics

    3. في صفحة New connection (Azure Synapse Analytics)، حدد اسم الخادم واسم قاعدة البيانات من القائمة المنسدلة، وحدد أيضًا اسم المستخدم وكلمة المرور. انقر فوق Test connection للتحقق من صحة الإعدادات، ثم حدد Create.

      تكوينAzure Synapse Analytics

    4. في صفحة Destination data store حدد الاتصال الذي أُنشيء حديثا في كتلة الاتصال.

  6. في المقطع Table mapping راجع المحتوى وحدد Next. يعرض تعيين جدول ذكي. تُعين الجداول المصدر إلى جداول الوجهة استنادا إلى أسماء الجداول. إذا لم يكن هناك جدول مصدر في الوجهة، تنشيء الخدمة جدول وجهة بنفس الاسم بشكل افتراضي. يمكنك أيضا تعيين جدول مصدر إلى جدول وجهة موجود.

    لقطة شاشة تعرض تكوين صفحة

  7. في صفحة Column mapping راجع المحتوى، وحدد Next. يستند تعيين الجدول الذكي إلى اسم العمود. إذا تركت الخدمة تلقائيا تنشيء الجداول، يمكن أن يحدث تحويل في نوع البيانات عندما يكون هناك عدم توافق بين مخازن المصدر والوجهة. إذا كان هناك تحويل نوع بيانات غير مدعوم بين العمود المصدر والعمود الوجهة، سترى رسالة خطأ بجوار الجدول المقابل.

    صفحة تعيين الأعمدة

  8. في صفحة Settings، أكمل الخطوات التالية:

    1. حدد CopyFromSQLToSQLDW لحقل Task name.

    2. في قسم Staging settings حدد + New إلى تخزين مرحلي جديد. يتم استخدام التخزين لتنظيم البيانات قبل أن يتم تحميلها في Azure Synapse Analytics باستخدام PolyBase. بعد اكتمال النسخة، تُنظف البيانات المؤقتة في Azure Blob Storage تلقائيا.

    3. في صفحة New linked service حدد حساب التخزين، وحدد Create لتوزيع الخدمة المرتبطة.

    4. ألغِ تحديد الخيار Use type default ثم حدد Next.

    تكوين PolyBase

  9. في صفحة Summary، راجع الإعدادات، وحدد Next.

  10. في صفحة Deployment، حدد Monitor لمراقبة المسار الذي أنشأته (مهمة).

    لقطة شاشة تعرض صفحة التوزيع المخصصة.

  11. لاحظ أن علامة التبويب Monitor على اليسار محددة تلقائياً. عند اكتمال تشغيل خط الأنابيب بنجاح، حدد الرابط CopyFromSQLToSQLDW ضمن العمود Pipeline name لعرض تفاصيل تشغيل النشاط أو لإعادة تشغيل المسار.

  1. للرجوع إلى طريقة عرض عمليات تشغيل التدفقات، حدد الارتباط All pipeline runs في الأعلى. حدد "Refresh" لتحديث القائمة.

    مراقبة تشغيلات النشاط

  2. لمراقبة تفاصيل التنفيذ لكل نشاط نسخ، حدد الرابط Details (رمز النظارات) ضمن Activity name في طريقة عرض تشغيل النشاط. يمكنك مراقبة التفاصيل مثل حجم البيانات المنسوخة من المصدر إلى الحوض، وإنتاجية البيانات، وخطوات التنفيذ مع المدة المقابلة، والتكوينات المستخدمة.

    مراقبة تفاصيل تشغيل النشاط الأول

    مراقبة نشاط تشغيل التفاصيل الثاني

المحتوى ذو الصلة

تقدم إلى المقالة التالية للتعرف على دعم Azure Synapse Analytics:

موصل Azure Synapse Analytics