استيعاب البيانات في Azure Data Lake Storage Gen2

في هذه المقالة، ستتعلم كيفية استيعاب البيانات من موقع إلى آخر في حساب تخزين Azure Data Lake Gen 2 (Azure Data Lake Gen 2) باستخدام Azure Synapse Analytics.

المتطلبات الأساسية

• اشتراك Azure: إذا لم يكن لديك اشتراك Azure، فقم بإنشاء حساب Azure مجاني قبل البدء.
• حساب Azure Storage: يمكنك استخدام Azure Data Lake Gen 2 كمخزن بيانات مصدر . إذا لم يكن لديك حساب تخزين، فراجع إنشاء حساب تخزين Azure للحصول على خطوات إنشاء حساب.

إنشاء linked services

في Azure Synapse Analytics، الخدمة المرتبطة هي المكان الذي تحدد فيه معلومات الاتصال بالخدمات الأخرى. في هذا القسم، ستضيف Azure Synapse Analytics وAzure Data Lake Gen 2 كخدمات مرتبطة.

1. افتح تجربة مستخدم Azure Synapse Analytics وانتقل إلى علامة التبويب إدارة .
2. ضمن الاتصالات الخارجية، حدد الخدمات المرتبطة.
3. لإضافة خدمة مرتبطة، حدد جديد.
4. حدد لوحة Azure Data Lake Storage Gen2 من القائمة وحدد متابعة.
5. أدخل بيانات اعتماد المصادقة. يعد مفتاح الحساب وكيان الخدمة والهوية المدارة أنواع المصادقة المدعومة حاليا. حدد اختبار الاتصال للتحقق من صحة بيانات الاعتماد الخاصة بك.
6. حدد إنشاء عند الانتهاء.

إنشاء مسار

يحتوي المسار على التدفق المنطقي لتنفيذ مجموعة من الأنشطة. في هذا القسم، ستقوم بإنشاء مسار يحتوي على نشاط نسخ يستوعب البيانات من Azure Data Lake Gen 2 إلى تجمع SQL مخصص.

1. انتقل إلى علامة التبويب تنسيق . حدد على أيقونة علامة الجمع بجوار رأس المسارات وحدد خط الأنابيب.
2. ضمن نقل وتحويل في جزء الأنشطة، اسحب نسخ البيانات إلى لوحة البنية الأساسية لخط الأنابيب.
3. حدد نشاط النسخ وانتقل إلى علامة التبويب المصدر . حدد جديد لإنشاء مجموعة بيانات مصدر جديدة.
4. حدد Azure Data Lake Storage Gen2 كمخزن البيانات الخاص بك وحدد متابعة.
5. حدد DelimitedText كتنسيق وحدد متابعة.
6. في جزء تعيين الخصائص، حدد الخدمة المرتبطة ب ADLS التي قمت بإنشائها. حدد مسار الملف لبيانات المصدر وحدد ما إذا كان الصف الأول يحتوي على رأس. يمكنك استيراد المخطط من مخزن الملفات أو نموذج ملف. حدد موافق عند الانتهاء.
7. انتقل إلى علامة التبويب Sink . حدد جديد لإنشاء مجموعة بيانات متلقي جديدة.
8. حدد Azure Data Lake Storage gen2 كمخزن البيانات الخاص بك وحدد متابعة.
9. حدد DelimitedText كتنسيق وحدد متابعة.
10. في جزء تعيين الخصائص، حدد الخدمة المرتبطة ب ADLS التي قمت بإنشائها. حدد مسار المجلد الذي ترغب في كتابة البيانات فيه. حدد موافق عند الانتهاء.

تصحيح أخطاء ونشر البنية الأساسية للمسار

بمجرد الانتهاء من تكوين البنية الأساسية لبرنامج ربط العمليات التجارية، يمكنك تنفيذ تشغيل تصحيح الأخطاء قبل نشر البيانات الاصطناعية للتحقق من صحة كل شيء.

1. لتصحيح أخطاء التدفقات، حدد Debug على شريط الأدوات. تشاهد حالة تشغيل التدفقات في علامة التبويب Output أسفل النافذة.
2. بمجرد تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية بنجاح، حدد نشر الكل في شريط الأدوات العلوي. ينشر هذا الإجراء الكيانات (مجموعات البيانات والمسارات) التي قمت بإنشائها إلى خدمة Synapse Analytics.
3. انتظر حتى ترى رسالة تم النشر بنجاح. للاطلاع على رسائل الإشعارات، حدد زر الجرس في أعلى اليسار.

تشغيل ومراقبة البنية الأساسية للمسار

في هذه الخطوة، يمكنك تشغيل المسار المنشور في الخطوة السابقة يدويا.

1. حدد Add Trigger على شريط الأدوات، ثم حدد Trigger Now. في صفحة تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية، حدد إنهاء.
2. انتقل إلى علامة التبويب الشاشة الموجودة في الشريط الجانبي الأيسر. ترى تشغيل البنية الأساسية الذي يتم تشغيله بواسطة مشغل يدوي. يمكنك استخدام الارتباطات الموجودة في عمود الإجراءات لعرض تفاصيل النشاط وإعادة تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية.
3. للاطلاع على عمليات تشغيل النشاط المقترنة بتشغيل البنية الأساسية لبرنامج ربط العمليات التجارية، حدد الارتباط عرض عمليات تشغيل النشاط في عمود الإجراءات . لا يوجد في هذا المثال سوى نشاط واحد، لذلك لن ترى سوى إدخال واحد في القائمة. للحصول على تفاصيل حول عملية النسخ، حدد رابط التفاصيل (أيقونة النظارات) في عمود الإجراءات . حدد عمليات تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية في الجزء العلوي للعودة إلى طريقة عرض عمليات تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية. لإعادة تنشيط طريقة العرض، حدد Refresh.
4. تحقق من كتابة بياناتك بشكل صحيح في تجمع SQL المخصص.

الخطوات التالية

لمزيد من المعلومات حول تكامل البيانات ل Azure Synapse Analytics، راجع مقالة استيعاب البيانات في تجمع SQL مخصص .