نسخ البيانات بشكل آمن من مخزن البيانات الثنائية كبيرة الحجم لـ Azure إلى قاعدة بيانات SQL باستخدام نقاط النهاية الخاصة

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

في هذا البرنامج التعليمي، يمكنك إنشاء مصنع بيانات باستخدام واجهة مستخدم مصنع البيانات Azure (UI). ينسخ المسار في مصنع البيانات هذا البيانات بأمان من تخزين Azure Blob إلى قاعدة بيانات Azure SQL (كلاهما يسمح بالوصول إلى الشبكات المحددة فقط) باستخدام نقاط النهاية الخاصة في الشبكة الظاهرية المدارة من Azure Data Factory. ينطبق نمط التكوين في هذا البرنامج التعليمي على النسخ من مخزن بيانات يستند إلى ملف إلى مخزن بيانات يعتمد على العلاقات. للحصول على قائمة بمخازن البيانات المدعومة كمصادر ومتلقين، راجع جدول مخازن البيانات والتنسيقات المدعومة .

إشعار

إذا كنت مستخدما جديدا ل Data Factory، فراجع مقدمة إلى Azure Data Factory.

في هذا البرنامج التعليمي، يمكنك القيام بالخطوات التالية:

• إنشاء data factory.
• كيفية إنشاء التدفق الأساسي من خلال نشاط النسخ.

المتطلبات الأساسية

• اشتراك Azure. إذا لم تكن مشتركًا في Azure، فيمكنك إنشاء حساب مجاني على Azure قبل البدء.
• حساب Azure Storage. يمكنك استخدام تخزين Blob كمخزن بيانات مصدر . إذا لم يكن لديك حساب تخزين، فشاهد إنشاء حساب تخزين Azure للحصول على خطوات لإنشاء حساب. تأكد من أن حساب التخزين يسمح بالوصول فقط من الشبكات المحددة.
• Azure SQL Database. يمكنك استخدام قاعدة البيانات كمخزن بيانات متلقي . إذا لم يكن لديك قاعدة بيانات Azure SQL، فشاهد إنشاء قاعدة بيانات SQL للحصول على خطوات لإنشاء قاعدة بيانات . تأكد من أن حساب قاعدة بيانات SQL يسمح بالوصول فقط من الشبكات المحددة.

إنشاء كائن ثنائي كبير الحجم وجدول SQL

الآن، قم بإعداد مخزن الكائن الثنائي كبير الحجم وقاعدة بيانات SQL ضمن خطوات البرنامج التعليمي من خلال تنفيذ الخطوات التالية.

قم بإنشاء نقطة مصدر

1. فتح تطبيق مفكرة التدوين. انسخ النص التالي، واحفظه كملف emp.txt على القرص:

   FirstName,LastName
   John,Doe
   Jane,Doe
   

2. إنشاء حاوية باسم adftutorial في تخزين الكائن الثنائي كبير الحجم الخاص بك. إنشاء مجلد باسم الإدخال في هذه الحاوية. ثم قم بتحميل ملف emp.txt إلى مجلد الإدخال . استخدم مدخل Azure أو أدوات مثل Azure Storage Explorer للقيام بهذه المهام.

إنشاء جدولsink SQL

استخدم البرنامج النصي SQL التالي لإنشاء جدول dbo.emp في قاعدة بيانات SQL:

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

إنشاء مصدرًا للبيانات

في هذه الخطوة، يمكنك إنشاء مصنع بيانات، وبدء تشغيل واجهة المستخدم Data Factory لإنشاء مسار لمصنع البيانات.

1. افتح Microsoft Edge أو متصفح Google Chrome. حاليًا، لا يتوفر دعم واجهة مستخدم مصنع البيانات إلا لمتصفحات Microsoft Edge وGoogle Chrome.

2. في القائمة اليسرى، حدد Create a resource>Analytics>Data Factory.

3. في صفحة New data factory، أدخِل ADFTutorialDataFactory في خانة Name.

   يجب أن يكون اسم Azure data factory مميزاً عالمياً. إذا تلقيت رسالة خطأ بشأن قيمة الاسم، فأدخل اسمًا مختلفًا لمصنع البيانات (على سبيل المثال، yournameADFTutorialDataFactory). للحصول على قواعد التسمية للبيانات الاصطناعية على Data Factory، راجع قواعد تسمية Data Factory.

4. حدد subscription على Azure الذي تريد إنشاء مصنع البيانات فيه.

5. بالنسبة إلى مجموعة الموارد، نفِّذ إحدى الخطوات التالية:

   • حدد Use existing واختر مجموعة موارد موجودة من القائمة المنسدلة.
   • حدد Create new وأدخل اسم مجموعة الموارد.

   للتعرف على مجموعات الموارد، راجع استخدام مجموعات الموارد لإدارة موارد Azure التابعة لك.

6. ضمن Version، حدد V2.

7. ضمن الموقع، حدد موقعا لمصنع البيانات. لن تُظِّهر القائمة المنسدلة إلا المواقع المعتمدة فقط. يمكن أن تكون مخازن البيانات (على سبيل المثال، مخازن Azure وقاعدة بيانات SQL) ومراكز الحوسبة (على سبيل المثال، Azure HDInsight) المستخدمة في مصنع البيانات مستخدمة أيضًا في مناطق أخرى.

8. حدد إنشاء.

9. بعد الانتهاء من الإنشاء، سترى الإعلام في مركز الإعلامات. حدد Go to resource للانتقال إلى صفحة Data Factory .

10. حدد Open على إطار تجانب فتح مصنع بيانات Azure Studio لتشغيل واجهة مستخدم Data Factory في علامة تبويب منفصلة.

إنشاء وقت تشغيل تكامل Azure في الشبكة الظاهرية لإدارة مصنع البيانات

في هذه الخطوة، يمكنك إنشاء وقت تشغيل تكامل Azure وتفعيل "الشبكة الظاهرية لإدارة مصنع البيانات".

1. في مدخل Data Factory، انتقل إلى Manage وحدد New لإنشاء وقت تشغيل تكامل Azure جديد.

   

2. في صفحة إعداد وقت تشغيل التكامل، اختر وقت تشغيل التكامل الذي تريد إنشاؤه استنادا إلى الإمكانات المطلوبة. في هذا البرنامج التعليمي، حدد Azure، Self-Hosted ثم انقر فوق Continue.

3. حدد Azure ثم انقر فوق Continue لإنشاء وقت تشغيل تكامل Azure.

   

4. ضمن تكوين الشبكة الظاهرية (معاينة)، حدد تمكين.

   

5. حدد إنشاء.

إنشاء البنية الأساسية لبرنامج ربط العمليات التجارية

في هذه الخطوة، يمكنك إنشاء التدفق الأساسية لنشاط النسخ في مصنع البيانات. نشاط النسخ ينسخ البيانات من مخزن البيانات الثنائية كبيرة الحجم إلى قاعدة بيانات SQL. في البرنامج التعليمي للتشغيل السريع، قمت بإنشاء مسار باتباع الخطوات التالية:

1. إنشاء خدمة مرتبطة.
2. إنشاء مجموعات بيانات إدخالات وإخراجات.
3. إنشاء البنية الأساسية لبرنامج ربط العمليات التجارية.

في هذا البرنامج التعليمي، يمكنك البدء بإنشاء تدفق للبيانات. ثم تقوم بإنشاء الخدمات المرتبطة ومجموعات البيانات عندما تحتاج إليها لتكوين التدفق.

1. في الصفحة الرئيسية، حدد Orchestrate.

   

2. في جزء الخصائص للبنية الأساسية لبرنامج ربط العمليات التجارية، أدخل CopyPipeline لاسم المسار.

3. في مربع أداة الأنشطة ، قم بتوسيع الفئة نقل وتحويل ، واسحب نشاط نسخ البيانات من مربع الأداة إلى سطح مصمم البنية الأساسية لبرنامج ربط العمليات التجارية. أدخل CopyFromBlobToSql للاسم.

   

تكوين المصدر

تلميح

في هذا البرنامج التعليمي، يمكنك استخدام مفتاح الحساب كنوع مصادقة لمخزن بيانات المصدر. يمكنك أيضا اختيار أساليب المصادقة المدعومة الأخرى، مثل SAS URI، وService Principal، والهوية المدارة إذا لزم الأمر. لمزيد من المعلومات، راجع الأقسام المقابلة في نسخ البيانات وتحويلها في تخزين Azure Blob باستخدام Azure Data Factory.

لتخزين أسرار مخازن البيانات بشكل آمن، نوصي أيضًا باستخدام Azure Key Vault. لمزيد من المعلومات والرسوم التوضيحية، راجع تخزين بيانات الاعتماد في Azure Key Vault.

إنشاء مجموعة بيانات مصدر وخدمة مرتبطة

1. انتقل إلى علامة التبويب المصدر . حدد + جديد لإنشاء مجموعة بيانات مصدر.

2. في مربع الحوار New Dataset ، حدد Azure Blob Storage، ثم حدد Continue. البيانات المصدر في تخزين Blob، لذلك يمكنك تحديد Azure Blob Storage لمجموعة البيانات المصدر.

3. في مربع الحوار تحديد تنسيق ، حدد نوع تنسيق البيانات، ثم حدد متابعة.

4. في مربع الحوار تعيين خصائص، أدخل SourceBlobDataset للاسم. حدد خانة الاختيار للصف الأول كعنوان. ضمن مربع النص Linked service ، حدد + New.

5. في مربع الحوار خدمة مرتبطة جديدة (Azure Blob Storage)، أدخل AzureStorageLinkedService كاسم، وحدد حساب التخزين الخاص بك من قائمة اسم حساب التخزين.

6. تأكد من تمكين التأليف التفاعلي. قد يستغرق الأمر حوالي دقيقة واحدة ليتم التفعيل.

   

7. حدد اختبار الاتصال. يجب أن يفشل عندما يسمح حساب التخزين بالوصول فقط من الشبكات المحددة ويتطلب من Data Factory إنشاء نقطة نهاية خاصة إليه يجب الموافقة عليها قبل استخدامه. يجب أن تشاهد رابط إنشاء نقطة نهاية خاصة يمكنك اتباعها لإنشاء نقطة نهاية خاصة مدارة في رسالة الخطأ. البديل هو الانتقال مباشرة إلى علامة التبويب إدارة واتباع الإرشادات الموجودة في القسم التالي لإنشاء نقطة نهاية خاصة مدارة.

   إشعار

   قد لا تتوفر علامة التبويب إدارة لكافة مثيلات مصنع البيانات. إذا لم تتمكن من رؤيته، يمكنك الوصول إلى نقاط النهاية الخاصة عن طريق تحديد Author>Connections>Private Endpoint.

8. احتفظ بمربع الحوار مفتوحًا، وانتقل إلى حساب التخزين.

9. اتبع الإرشادات الواردة في هذا القسم للموافقة على الارتباط الخاص.

10. العودة إلى مربع الحوار. حدد اختبار الاتصال مرة أخرى، وحدد إنشاء لنشر الخدمة المرتبطة.

11. بعد إنشاء الخدمة المرتبطة، تعود إلى صفحة تعيين الخصائص. بجوار File path، حدد Browse.

12. انتقل إلى مجلد adftutorial/input ، وحدد ملف emp.txt ، ثم حدد موافق.

13. حدد موافق. وسينتقل تلقائيًا إلى صفحة تدفق البيانات. في علامة التبويب Source ، تأكد من تحديد SourceBlobDataset . لمعاينة البيانات في هذه الصفحة، حدد معاينة البيانات.

    

إنشاء نقطة نهاية خاصة مدارة

إذا لم تحدد الارتباط التشعبي عند اختبار الاتصال، فاتبع المسار. الآن تحتاج إلى إنشاء نقطة نهاية خاصة مدارة، وتوصيلها بالخدمة المرتبطة التي أنشأتها.

1. انتقل إلى علامة التبويب إدارة .

   إشعار

   قد لا تتوفر علامة التبويب إدارة لكافة مثيلات Data Factory. إذا لم تتمكن من رؤيته، يمكنك الوصول إلى نقاط النهاية الخاصة عن طريق تحديد Author>Connections>Private Endpoint.

2. انتقل إلى قسم نقاط النهاية الخاصة المدارة .

3. حدد + New ضمن نقاط النهاية الخاصة المدارة.

   

4. حدد لوحة Azure Blob Storage من القائمة، وحدد Continue.

5. أدخل اسم حساب التخزين الذي قمت بإنشائه.

6. حدد إنشاء.

7. بعد بضع ثوانٍ، يجب أن تجد أن الارتباط الخاص الذي تم إنشاؤه يحتاج إلى الموافقة عليه.

8. حدد نقطة النهاية الخاصة التي قمت بإنشائها. يمكنك مشاهدة الارتباط التشعبي الذي سيقودك إلى الموافقة على نقطة النهاية الخاصة على مستوى حساب التخزين.

   

الموافقة على الارتباط الخاص في حساب تخزين

1. في حساب التخزين، انتقل إلى اتصالات نقطة النهاية الخاصة ضمن قسم الإعدادات .

2. حدد خانة الاختيار لنقطة النهاية الخاصة التي قمت بإنشائها، وحدد موافقة.

   

3. أضف وصفا، وحدد نعم.

4. ارجع إلى قسم نقاط النهاية الخاصة المدارة في علامة التبويب إدارة في Data Factory.

5. بعد حوالي دقيقة أو دقيقتين، يجب أن ترى الموافقة على نقطة النهاية الخاصة بك تظهر في واجهة مستخدم مصنع البيانات.

تكوين متلقي

تلميح

في هذا البرنامج التعليمي، يمكنك استخدام مصادقة SQL كنوع مصادقة لمخزن بيانات المتلقي. يمكنك أيضا اختيار أساليب المصادقة المدعومة الأخرى، مثل كيان الخدمة والهوية المدارة إذا لزم الأمر. لمزيد من المعلومات، راجع الأقسام المقابلة في نسخ البيانات وتحويلها في قاعدة بيانات Azure SQL باستخدام Azure Data Factory.

لتخزين أسرار مخازن البيانات بشكل آمن، نوصي أيضًا باستخدام Azure Key Vault. لمزيد من المعلومات والرسوم التوضيحية، راجع تخزين بيانات الاعتماد في Azure Key Vault.

إنشاء مجموعة بيانات تلقي وخدمة مرتبطة

1. انتقل إلى علامة التبويب Sink ، وحدد + New لإنشاء مجموعة بيانات المتلقي.

2. في مربع الحوار مجموعة بيانات جديدة، أدخل SQL في مربع البحث لتصفية الموصلات. حدد Azure SQL Database، ثم حدد Continue. يمكنك في هذا البرنامج التعليمي، معرفة كيفية نسخ البيانات إلى قاعدة بيانات SQL.

3. في مربع الحوار تعيين خصائص، أدخل OutputSqlDataset للاسم. من القائمة المنسدلة Linked service، حدد + New. يجب أن تكون مجموعة البيانات مقترنة بخدمة مرتبطة. الخدمة المرتبطة هي سلسلة الاتصال التي يستخدمها "مصنع البيانات" للاتصال بقاعدة بيانات SQL في وقت التشغيل. تحدد مجموعة البيانات الحاوية والمجلد والملف (اختياريًا) الذي يتم نسخ البيانات إليه.

4. في مربع الحوار خدمة مرتبطة جديدة (قاعدة بيانات Azure SQL)، اتبع الخطوات التالية:

   1. ضمن Name، أدخل AzureSqlDatabaseLinkedService.
   2. ضمن اسم الخادم، حدد مثيل SQL Server الخاص بك.
   3. تأكد من تمكين التأليف التفاعلي.
   4. ضمن اسم قاعدة البيانات، حدد قاعدة بيانات SQL.
   5. ضمن اسم المستخدم، أدخل اسم المستخدم.
   6. ضمن كلمة المرور، أدخل كلمة المرور للمستخدم.
   7. حدد اختبار الاتصال. يجب أن يفشل لأن خادم SQL يسمح بالوصول فقط من الشبكات المحددة ويتطلب Data Factory لإنشاء نقطة نهاية خاصة إليه، والتي يجب الموافقة عليها قبل استخدامه. يجب أن تشاهد رابط إنشاء نقطة نهاية خاصة يمكنك اتباعها لإنشاء نقطة نهاية خاصة مدارة في رسالة الخطأ. البديل هو الانتقال مباشرة إلى علامة التبويب إدارة واتباع الإرشادات الموجودة في القسم التالي لإنشاء نقطة نهاية خاصة مدارة.
   8. واحتفظ بمربع الحوار مفتوحًا، ثم انتقل إلى خادم SQL المحدد.
   9. اتبع الإرشادات الواردة في هذا القسم للموافقة على الارتباط الخاص.
   10. العودة إلى مربع الحوار. حدد اختبار الاتصال مرة أخرى، وحدد إنشاء لنشر الخدمة المرتبطة.

5. ينتقل تلقائيا إلى مربع الحوار تعيين خصائص . في الجدول، حدد [dbo].[ emp]. ثم حدد موافق.

6. انتقل إلى علامة التبويب مع البنية الأساسية لبرنامج ربط العمليات التجارية، وفي مجموعة بيانات المتلقي، تأكد من تحديد OutputSqlDataset .

   

يمكنك اختياريا تعيين مخطط المصدر إلى المخطط المقابل للوجهة باتباع تعيين المخطط في نشاط النسخ.

إنشاء نقطة نهاية خاصة مدارة

إذا لم تحدد الارتباط التشعبي عند اختبار الاتصال، فاتبع المسار. الآن تحتاج إلى إنشاء نقطة نهاية خاصة مدارة، وتوصيلها بالخدمة المرتبطة التي أنشأتها.

1. انتقل إلى علامة التبويب إدارة .

2. انتقل إلى قسم نقاط النهاية الخاصة المدارة .

3. حدد + New ضمن نقاط النهاية الخاصة المدارة.

   

4. حدد لوحة قاعدة بيانات Azure SQL من القائمة، وحدد متابعة.

5. أدخل اسم خادم SQL الذي حددته.

6. حدد إنشاء.

7. بعد بضع ثوانٍ، يجب أن تجد أن الارتباط الخاص الذي تم إنشاؤه يحتاج إلى الموافقة عليه.

8. حدد نقطة النهاية الخاصة التي قمت بإنشائها. وسيمكنك رؤية ارتباط تشعبي يؤدي إلى الموافقة على نقطة النهاية الخاصة على مستوى خادم SQL.

الموافقة على رابط خاص لخادم SQL

1. في خادم SQL، انتقل إلى اتصالات نقطة النهاية الخاصة ضمن قسم الإعدادات .
2. حدد خانة الاختيار لنقطة النهاية الخاصة التي قمت بإنشائها، وحدد موافقة.
3. أضف وصفا، وحدد نعم.
4. ارجع إلى قسم نقاط النهاية الخاصة المدارة في علامة التبويب إدارة في Data Factory.
5. يجب أن يستغرق الأمر دقيقة أو دقيقتين حتى تظهر الموافقة على نقطة النهاية التي حددتها.

تصحيح الأخطاء ونشرها

يمكنك تصحيح التدفقات قبل نشر البيانات الاصطناعية (الخدمات المرتبطة ومجموعات البيانات والتدفق) إلى "مصنع البيانات" أو مستودع "Azure Repos Git" الخاص بك.

1. لتصحيح أخطاء التدفقات، حدد Debug على شريط الأدوات. تشاهد حالة تشغيل التدفقات في علامة التبويب Output أسفل النافذة.
2. بعد تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية بنجاح، في شريط الأدوات العلوي، حدد Publish all. ينشر هذا الإجراء الكيانات (مجموعات البيانات والتدفقات) التي أنشأتها من خلال مصنع البيانات.
3. انتظر حتى ترى رسالة تم النشر بنجاح. لمشاهدة رسائل الإعلام، حدد إظهار الإعلامات في الزاوية العلوية اليسرى (زر الجرس).

الملخص

تدفق بيانات هذا النموذج هو المسؤول عن نسخ البيانات من مخزن البيانات الثنائية كبيرة الحجم إلى قاعدة بيانات SQL باستخدام نقاط النهاية الخاصة في "الشبكة الظاهرية المدارة لمصنع البيانات". لقد تعرفت على كيفية:

• إنشاء data factory.
• كيفية إنشاء التدفق الأساسي من خلال نشاط النسخ.