نسخ البيانات من قاعدة بيانات SQL Server إلى مخزن البيانات الثنائية كبيرة الحجم في Azure

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

في هذا البرنامج التعليمي، يمكنك استخدام واجهة مستخدم مصنع البيانات Azure Data Factory لإنشاء مسارات لمصنع بيانات تعمل على نسخ البيانات من قاعدة بيانات SQL Server لمخزن البيانات الثنائية كبيرة الحجم في Azure. يمكنك إنشاء واستخدام وقت تشغيل تكامل ذاتي الاستضافة، والذي ينقل البيانات بين مخازن البيانات المحلية والسحابية.

إشعار

لا توفر هذه المقالة مقدمة مفصلة عن Data Factory. للحصول على المزيد من المعلومات، راجع مقدمة عن Azure Data Factory.

في هذا البرنامج التعليمي، يمكنك تنفيذ الخطوات التالية:

• إنشاء data factory.
• إنشاء وقت تشغيل تكامل الاستضافة الذاتية.
• إنشاء خدمات مرتبطة على SQL Server ومساحة تخزين Azure.
• يمكنك إنشاء مجموعات بيانات SQL Server ومخزن البيانات الثنائية كبيرة الحجم في Azure.
• كيفية إنشاء مسار من خلال نشاط النسخ لنقل البيانات.
• ابدأ تشغيل تدفق.
• مراقبة تشغيل المسار.

المتطلبات الأساسية

اشتراك Azure

في حال لم يكن لديك اشتراك على Azure، ينبغي إنشاء حساب مجاني قبل البدء.

أدوار Azure

لإنشاء مثيلات مصنع البيانات، يجب تعيين دور Contributor أو Owner لحساب المستخدم الذي تستخدمه لتسجيل الدخول إلى Azure أو يجب أن يكون administrator في اشتراك Azure.

لعرض الأذونات التي لديك في الاشتراك، انتقِل إلى مدخل Azure. في الزاوية العلوية اليمنى، حدد اسم المستخدم، ثم حدد Permissions. إذا كان لديك حق الوصول إلى اشتراكات متعددة، فحدّد الاشتراك المناسب. للحصول على نماذج من الإرشادات حول كيفية إضافة مستخدم إلى دور، راجع مقالة تعيين أدوار Azure باستخدام مدخل Azure.

SQL Server 2014، و2016، و2017

في هذا البرنامج التعليمي، يمكنك استخدام قاعدة بيانات SQL Server كمخزن بيانات المصدر. المسار في مصنع البيانات الذي تنشئه في هذا البرنامج التعليمي يعمل على نسخ البيانات من قاعدة البيانات SQL Server هذه (المصدر) لتخزين مخزن البيانات الثنائية كبيرة الحجم (المتلقي). ثم أنشئ جدولاً باسم emp في قاعدة بيانات SQL Server ثم أدرج اثنين من إدخالات النموذج في الجدول.

1. بدء تشغيل SQL Server Management Studio. إذا لم يكن مثبتًا من قبل على جهازك، فانتقِل إلى تنزيل SQL Server Management Studio.

2. الاتصال إلى مثيل SQL Server باستخدام بيانات الاعتماد الخاصة بك.

3. أنشئ نموذج قاعدة البيانات. في طريقة العرض الشجرية، انقر بزر الماوس الأيمن فوق قواعد البيانات، ثم حدد قاعدة بيانات جديدة.

4. في نافذة قاعدة بيانات جديدة أدخِل اسمًا لقاعدة البيانات، ثم حدد موافق.

5. لإنشاء جدول emp وإدراج بعض بيانات النموذج فيه، شغّل البرنامج النصي التالي للاستعلام مقابل قاعدة البيانات. في طريقة العرض الشجرية، انقر بزر الماوس الأيمن فوق قاعدة البيانات التي قمت بإنشائها، ثم حدد New Query.

    CREATE TABLE dbo.emp
    (
        ID int IDENTITY(1,1) NOT NULL,
        FirstName varchar(50),
        LastName varchar(50)
    )
    GO
   
    INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
    INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
    GO
   

حساب مخزن Azure

في هذا البرنامج التعليمي، يمكنك استخدام حساب تخزين Azure للأغراض العامة (وخاصةً مخزن البيانات الثنائية كبيرة الحجم) كمخزن بيانات الوجهة/المتلقي. إذا لم يكن لديك حساب مساحة تخزين Azure للأغراض العامة، يمكنك مراجعة إنشاء حساب مساحة تخزين. يعمل المسار في مصنع البيانات الذي تنشئه في هذا البرنامج التعليمي على نسخ البيانات من قاعدة بيانات SQL Server (المصدر) إلى مخزن البيانات الثنائية كبيرة الحجم (المتلقي).

الحصول على اسم حساب مساحة التخزين ومفتاح الحساب

يمكنك استخدام اسم ومفتاح حسابك على مساحة التخزين في هذا البرنامج التعليمي. للحصول على اسم حساب مساحة التخزين ومفتاحه، يُرجى إجراء الخطوات التالية:

1. سجّل الدخول إلى مدخل Azure باستخدام اسم المستخدم وكلمة المرور على Azure.

2. في القائمة اليسرى، حدد جميع الخدمات. أجرِ التصفية باستخدام الكلمة الرئيسية Storage، ثم حدد Storage accounts.

   

3. في قائمة حسابات مساحة التخزين، أجرِ تصفية حسابك على مساحة التخزين إذا لزم الأمر. ثم حدد حسابك على مساحة التخزين.

4. في نافذة Storage account حدد Access keys.

5. في المربعات Storage account name وkey1، انسخ القيم ثم الصقها في Notepad أو محرر آخر لاستخدامها لاحقًا في البرنامج التعليمي.

إنشاء حاوية باسم adftutorial

في هذا القسم، يمكنك إنشاء حاوية للكائنات الثنائية كبيرة الحجم باسم adftutorial في مخزن البيانات الثنائية كبيرة الحجم.

1. في نافذة Storage account، انتقِل إلى Overview، ثم حدد Containers.

   

2. في نافذة Containers، حدد + Container لإنشاء حاوية جديدة.

3. في نافذة New container، ضمن Name، أدخِل adftutorial. وبعد ذلك، حدد إنشاء.

4. في قائمة الحاويات، حدد adftutorial الذي أنشأته للتو.

5. إبقاء نافذة container لـ adftutorial مفتوحة. يمكنك استخدامها للتحقق من الناتج في نهاية البرنامج التعليمي. يعمل Data Factory تلقائيًا على إنشاء مجلد الناتج في هذه الحاوية، لذلك لا تحتاج إلى إنشاء مجلد.

إنشاء مصدرًا للبيانات

في هذه الخطوة، يمكنك إنشاء مصنع بيانات، وبدء تشغيل واجهة المستخدم Data Factory لإنشاء مسار لمصنع البيانات.

1. افتح إما مستعرض الويب Microsoft Edge أو Google Chrome. يتم حاليًّا دعم واجهة مستخدم Data Factory فقط في مستعرضي الويب Microsoft Edge وGoogle Chrome.

2. في القائمة اليسرى، حدد Create a resource >Integration>Data Factory:

   

3. في صفحة New data factory، أدخِل ADFTutorialDataFactory في خانة Name.

   يجب أن يكون اسم مصنع البيانات مميزًا وعامًا. إذا رأيت رسالة الخطأ التالية لحقل الاسم، فغيّر اسم مصنع البيانات (على سبيل المثال، yournameADFTutorialDataFactory). للحصول على قواعد التسمية للبيانات الاصطناعية على Data Factory، راجع قواعد تسمية Data Factory.

   

4. حدد subscription على Azure الذي تريد إنشاء مصنع البيانات فيه.

5. بالنسبة إلى مجموعة الموارد، نفِّذ إحدى الخطوات التالية:

   • حدد Use existing واختر مجموعة موارد موجودة من القائمة المنسدلة.

   • حدد Create new وأدخل اسم مجموعة الموارد.

     للتعرف على مجموعات الموارد، راجع استخدام مجموعات الموارد لإدارة موارد Azure التابعة لك.

6. ضمن Version، حدد V2.

7. ضمن Location، حدد موقع مصنع البيانات. لن تظهر القائمة المنسدلة إلا على المواقع المعتمدة فقط. يمكن أن تكون مخازن البيانات (على سبيل المثال، مخازن Azure وقاعدة بيانات SQL) ومراكز الحوسبة (على سبيل المثال، Azure HDInsight) المستخدمة في Data Factory مستخدمة أيضًا في أماكن أخرى.

8. حدد إنشاء.

9. بعد الانتهاء من الإنشاء، ستظهر صفحة Data Factory كما هو موضح في الصورة:

   

10. حدد Open على إطار تجانب فتح مصنع بيانات Azure Studio لتشغيل واجهة مستخدم Data Factory في علامة تبويب منفصلة.

إنشاء البنية الأساسية لبرنامج ربط العمليات التجارية

1. في صفحة Azure Data Factory الرئيسية، حدد Orchestrate. يتم إنشاء مسار تلقائيًا لك. سيظهر لك المسار في طريقة العرض الشجرية، وبعدها سينفتح محرره.

   

2. في اللوحة «General» ضمن Properties، حدد CopyPipeline في الخانة المخصصة لـ Name. ثم قم بطي اللوحة بالنقر فوق رمز الخصائص في الزاوية العلوية اليمنى.

3. في مربع أدوات Activities، وسّع Move & Transform. اسحب النشاط Copy وضعه في سطح تصميم المسار. اضبط اسم النشاط على CopySqlServerToAzureBlobActivity.

4. في نافذة Properties، انتقِل إلى علامة التبويب Source، ثم حدد + New.

5. في مربع الحوار New Dataset، ابحث عن SQL Server. حدد SQL Server، ثم حدد Continue.

6. في مربع الحوار Set Properties، ضمن Name، أدخِل SqlServerDataset. ضمن Linked service، حدد + New. يمكنك إنشاء اتصال إلى مخزن بيانات المصدر (قاعدة بيانات SQL Server) في هذه الخطوة.

7. في مربع الحوار New Linked Service، أضِف Name كاسم SqlServerLinkedService. ضمن Connect via integration runtime، حدد +New. في هذا القسم، يمكنك إنشاء وقت تشغيل تكامل ذاتي الاستضافة وربطه بجهاز محلي مع قاعدة بيانات SQL Server. يعد وقت تشغيل تكامل الاستضافة الذاتية المكون الذي ينسخ البيانات من قاعدة بيانات SQL Server على جهازك إلى مخزن البيانات الثنائية كبيرة الحجم.

8. في مربع الحوار Integration Runtime Setup، حدد Self-Hosted، ثم حدد Continue.

9. ضمن الاسم، أدخِل TutorialIntegrationRuntime. وبعد ذلك، حدد إنشاء.

10. للحصول على الإعدادات، حدد Click here to launch the express setup for this computer. يعمل هذا الإجراء على تثبيت وقت تشغيل التكامل على جهازك وتسجيله باستخدام Data Factory. بدلاً من ذلك، يمكنك استخدام خيار الإعداد اليدوي لتحميل ملف التثبيت وتشغيله واستخدام المفتاح لتسجيل وقت تشغيل التكامل.

11. في نافذة Integration Runtime (Self-hosted) Express Setup، حدد Close عند انتهاء العملية.

    

12. في مربع الحوار New linked service (SQL Server)، تأكد من تحديد TutorialIntegrationRuntime ضمن Connect via integration runtime. ثم اتخذ الخطوات التالية:

    أ. ضمن Name، أدخِل SqlServerLinkedService.

    ب. ضمن Server name، أدخِل اسم مثيل SQL Server.

    جـ. ضمن Database name، أدخِل اسم قاعدة البيانات مع جدول emp.

    د. ضمن Authentication type، حدد نوع المصادقة المناسب الذي يجب أن يستخدمه Data Factory للاتصال بقاعدة بيانات SQL Server.

    هـ. ضمن User nameوPassword، أدخِل اسم المستخدم وكلمة المرور. استخدم mydomain\myuser كاسم مستخدم إذا لزم الأمر.

    و. حدد اختبار الاتصال. هذه الخطوة لتأكيد أن Data Factory يمكنه الاتصال بقاعدة بيانات SQL Server باستخدام وقت تشغيل التكامل ذاتي الاستضافة الذي أنشأته.

    ز. حدد Create لحفظ الخدمة المرتبطة.

    

13. بعد إنشاء الخدمة المرتبطة، سترجع إلى صفحة Set properties لـ SqlServerDataset. اتخذ الخطوات التالية:

    أ. في Linked service، تأكد من ظهور SqlServerLinkedService.

    ب. ضمن Table name، حدد [dbo].[emp].

    جـ. حدد موافق.

14. انتقل إلى علامة التبويب التي تحتوي على SQLServerToBlobPipeline، أو حدد SQLServerToBlobPipeline في طريقة العرض الشجرية.

15. انتقل إلى علامة التبويب Sink في أسفل نافذة Properties، وحدد + New.

16. في مربع الحوار New Dataset، حدد Azure Blob Storage بعد ذلك، حدد متابعة.

17. في مربع الحوار Select Format، اختر نوع تنسيق بياناتك. بعد ذلك، حدد متابعة.

    

18. في مربع الحوار Set Properties، أدخِل الاسمAzureBlobDatasetفي الخانة المخصصة للاسم. ضمن مربع النص Linked service، حدد + New.

19. في مربع الحوار New Linked Service (Azure Blob Storage)، أدخِل AzureStorageLinkedService كاسم، وحدد حسابك على مساحة التخزين من قائمة الأسماء على Storage account. اختبر الاتصال، وحدد Create لنشر الخدمة المرتبطة.

20. بعد إنشاء الخدمة المرتبطة، سترجع إلى صفحة Set properties حدد موافق.

21. افتح مجموعة بيانات المتلقي. انتقِل إلى علامة التبويب Connection ثم نفّذ الخطوات التالية:

    أ. في Linked service، تأكد من تحديد AzureStorageLinkedService.

    ب. في File path، أدخل adftutorial/fromonprem لجزء الحاوية/الدليل. إذا لم يكن مجلد الناتج موجودًا في حاوية البرنامج التعليمي، يعمل Data Factory تلقائيًا على إنشاء مجلد الناتج.

    جـ. بالنسبة إلى جزء File، حدد Add dynamic content.

    د. أضِف @CONCAT(pipeline().RunId, '.txt')، ثم حدد Finish. سيعمل هذا الإجراء على إعادة تسمية الملف باسم PipelineRunID.txt.

22. انتقِل إلى علامة التبويب مع ترك المسار مفتوحًا، أو حدد المسار بطريقة العرض الشجرية. في Sink Dataset، تأكد من تحديد AzureBlobDataset.

23. للتحقق من صحة إعدادات المسار، حدد Validate على شريط الأدوات في المسار. لإغلاق ناتج التحقق من المسار، واختر >> الرمز.

24. لنشر الكيانات التي أنشأتها في Data Factory، حدد Publish all.

25. انتظر حتى تظهر رسالة Publishing succeeded. للتحقق من حالة النشر، حدد الرابط Show notifications في أعلى النافذة. لإغلاق نافذة الإشعار، حدد Close.

تتبع تشغيل البنية الأساسية

حدد Add Trigger على شريط الأدوات في المسار، ثم حدد Trigger Now.

راقب عملية تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية

1. انتقل إلى علامة التبويب Monitor راجع المسار الذي شغّلته يدويًا في الخطوة السابقة.

2. لعرض تشغيل النشاط المرتبط بتشغيل المسار، حدد رابط SQLServerToBlobPipelineضمن PIPELINE NAME.

3. على صفحة Activity runs، حدد رابط التفاصيل (صورة النظارة) للاطلاع على التفاصيل حول عملية النسخ. للرجوع إلى طريقة عرض «Pipeline Runs»، حدد All pipeline runs في الأعلى.

تحقق من الإخراج

ينشئ المسار تلقائيًا مجلد الناتج باسم fromonprem في حاوية البيانات الثنائية كبيرة الحجم adftutorial. تأكد من رؤية ملف [pipeline().RunId].txt في مجلد الناتج.

المحتوى ذو الصلة

يعمل المسار الموجود في هذا النموذج على نسخ البيانات من موقع إلى آخر في مخزن البيانات الثنائية كبيرة الحجم. لقد تعرفت على كيفية:

• إنشاء data factory.
• إنشاء وقت تشغيل تكامل الاستضافة الذاتية.
• إنشاء خدمات مرتبطة SQL Server ومساحة التخزين.
• يمكنك إنشاء مجموعات بيانات SQL Server ومخزن البيانات الثنائية كبيرة الحجم.
• كيفية إنشاء مسار من خلال نشاط النسخ لنقل البيانات.
• ابدأ تشغيل تدفق.
• مراقبة تشغيل المسار.

للحصول على قائمة مخازن البيانات المدعومة من Data Factory، راجع مخازن البيانات المعتمدة.

للتعرف على نسخ البيانات بشكل مجمع من مصدر إلى وجهة، انتقِل إلى البرنامج التعليمي التالي:

نسخ البيانات بشكل مجمع