ارتباط Azure الخاص لمصنع بيانات Azure

ينطبق على:Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

باستخدام Azure Private Link، يمكنك الاتصال بمنصات متعددة كخدمة (PaaS) في Azure عبر نقطة نهاية خاصة. نقطة النهاية الخاصة هي عنوان IP خاص ضمن شبكة اتصال ظاهرية معينة وشبكة فرعية. للحصول على قائمة خدمات PAAS التي تدعم وظائف Private Link، انتقل إلى صفحة وثائق Private Link.

الاتصال الآمن بين شبكات العملاء ومصنع بيانات

يمكنك إعداد شبكة ظاهرية Azure كتمثيل منطقي لشبكتك في السحابة. يوفر القيام بذلك الفوائد التالية:

  • يمكنك المساعدة في حماية موارد Azure من الهجمات في الشبكات العامة.
  • يمكنك السماح للشبكات ومصنع البيانات بالتواصل بشكل آمن مع بعضها البعض.

يمكنك أيضاً توصيل شبكة محلية بشبكتك الظاهرية. إعداد اتصال VPN لأمان بروتوكول الإنترنت، وهو اتصال من موقع إلى موقع. أو قم بإعداد اتصال Azure ExpressRoute. وهو اتصال نظير خاص.

يمكنك أيضاً تثبيت وقت تشغيل تكامل مستضاف ذاتياً (وقت تشغيل التكامل) على جهاز محلي أو جهاز افتراضي في الشبكة الافتراضية. يتيح لك القيام بذلك ما يلي:

  • تشغيل أنشطة النسخ بين مخزن بيانات مجموعة النظراء ومخزن بيانات في شبكة اتصال خاصة.
  • إرسال أنشطة التحويل مقابل الموارد المحسوبة في شبكة محلية أو شبكة اتصال ظاهرية Azure.

يلزم وجود عدة قنوات اتصال بين Azure Data Factory والشبكة الافتراضية للعميل، كما هو موضح في الجدول التالي:

النطاق المنفذ ‏‏الوصف
adf.azure.com 443 مدخل Data Factory مطلوب من قبل تأليف Data Factory ومراقبته.
*.{region}.datafactory.azure.net 443 مطلوب من قبل وقت تشغيل التكامل المستضاف ذاتياً للاتصال بـ Data Factory.
*.servicebus.windows.net 443 مطلوب من قبل وقت تشغيل التكامل المستضاف ذاتياً للتأليف التفاعلي.
download.microsoft.com 443 مطلوبة من قبل وقت تشغيل التكامل المستضاف ذاتياً لتنزيل التحديثات.

إشعار

ينطبق تعطيل الوصول إلى الشبكة العامة فقط على وقت تشغيل التكامل المستضاف ذاتياً، وليس على وقت تشغيل تكامل Azure و SQL Server Integration Services IR.

تمرير الاتصالات إلى خدمة Azure Data Factory عبر الارتباط الخاص والمساعدة على توفير اتصال خاص آمن.

رسم تخطيطي يوضح الارتباط الخاص لبنية مصنع البيانات.

يتيح تمكين خدمة الارتباط الخاص لكل قناة اتصال سابقة الوظيفة التالية:

  • تدعم الخدمة:

    • يمكنك تأليف ومراقبة مصنع البيانات في الشبكة الظاهرية، حتى إذا قمت بحظر جميع الاتصالات الصادرة. لا يزال بإمكانك الوصول إلى مدخل مصنع بيانات Azure من خلال شبكة عامة بعد إنشاء نقطة نهاية خاصة للمدخل.
    • يمكن إجراء اتصالات الأمر بين وقت تشغيل التكامل المستضاف ذاتياً وخدمة Azure Data Factory بشكل آمن في بيئة شبكة اتصال خاصة. تمر نسبة استخدام الشبكة بين وقت تشغيل التكامل المستضاف ذاتياً و Data Factory عبر رابط خاص.
  • غير مدعوم حالياً:

    • التأليف التفاعلي الذي يستخدم وقت تشغيل التكامل المستضاف ذاتياً، مثل اختبار الاتصال، وتصفح قائمة المجلدات وقائمة الجدول، والحصول على المخطط، ومعاينة البيانات، يمر عبر الرابط الخاص. يرجى ملاحظة أن حركة المرور تمر عبر ارتباط خاص إذا تم تمكين التأليف التفاعلي المضمن ذاتيا. راجع التأليف التفاعلي المضمن ذاتيا.

    إشعار

    لا يتم دعم كل من "Get IP" و"Send log" عند تمكين التأليف التفاعلي المضمن ذاتيا.

    • الإصدار الجديد من وقت تشغيل التكامل المستضاف ذاتياً والذي يمكن تنزيله تلقائياً من Microsoft Download Center إذا قمت بتمكين التحديث التلقائي، غير معتمد في هذا الوقت.

    للوظائف غير المدعومة حالياً، لا تزال تحتاج إلى تكوين المجال والمنفذ المذكورين سابقاً في الشبكة الظاهرية أو جدار حماية الشركة.

    الاتصال بـ Date Factory عبر نقطة نهاية خاصة ينطبق فقط على وقت تشغيل التكامل المستضاف ذاتياً في Date Factory. هذه الميزة غير معتمدة لـ Azure Synapse Analytics.

تحذير

إذا قمت بتمكين Private Link Data Factory وحظرت الوصول العام في نفس الوقت، فخزن بيانات الاعتماد الخاصة بك في Azure Key Vault للتأكد من أنها آمنة.

تكوين نقطة النهاية الخاصة للاتصال بين وقت تشغيل التكامل المستضاف ذاتياً وDate Factory

يصف هذا القسم كيفية تكوين نقطة النهاية الخاصة للاتصال بين وقت تشغيل التكامل المستضاف ذاتياً وDate Factory.

يتم إنشاء نقطة النهاية الخاصة في شبكتك الظاهرية للاتصال بين وقت تشغيل التكامل المستضاف ذاتياً وDate Factory. اتبع الخطوات الواردة في إعداد ارتباط نقطة نهاية خاصة لـ Data Factory.

تأكد من صحة تكوين DNS

اتبع الإرشادات الواردة في تغييرات DNS لنقاط النهاية الخاصة للتحقق من إعدادات DNS أو تكوينها.

وضع FQDNs من Azure Relay ومركز التنزيل في القائمة المسموح بها لجدار الحماية الخاص بك

إذا تم تثبيت وقت تشغيل التكامل المستضاف ذاتياً على الجهاز الظاهري في شبكتك الظاهرية، فاسمح بنسبة استخدام الشبكة الصادرة إلى أقل من FQDNs في NSG للشبكة الظاهرية.

إذا تم تثبيت وقت تشغيل التكامل المستضاف ذاتياً على الجهاز في بيئتك المحلية، فاسمح بنسبة استخدام الشبكة الصادرة إلى أقل من FQDNs في جدار الحماية للبيئة المحلية وNSG للشبكة الظاهرية.

النطاق المنفذ ‏‏الوصف
*.servicebus.windows.net 443 مطلوب من قبل وقت تشغيل التكامل المستضاف ذاتياً للتأليف التفاعلي
download.microsoft.com 443 مطلوبة من قبل وقت تشغيل التكامل المستضاف ذاتياً لتنزيل التحديثات

إذا لم تسمح بنسبة استخدام الشبكة الصادرة السابقة في جدار الحماية وNSG، يتم عرض وقت تشغيل التكامل المستضاف ذاتياً بحالة محدودة. ولكن لا يزال بإمكانك استخدامه لتنفيذ الأنشطة. لا يعمل التأليف التفاعلي والتحديث التلقائي فقط.

إشعار

إذا كان أحد مصانع البيانات (المشتركة) يحتوي على وقت تشغيل التكامل المستضاف ذاتياً وتتم مشاركة وقت تشغيل التكامل المستضاف ذاتياً مع مصانع البيانات الأخرى (المرتبطة)، فأنت تحتاج فقط إلى إنشاء نقطة نهاية خاصة لمصنع البيانات المشتركة. يمكن لمصانع البيانات المرتبطة الأخرى الاستفادة من هذا الارتباط الخاص للاتصالات بين وقت تشغيل التكامل المستضاف ذاتياً وData Factory.

إشعار

لا ندعم حاليا إنشاء ارتباط خاص بين وقت تشغيل التكامل المستضاف ذاتيا ومساحة عمل Synapse Analytics. ولا يزال بإمكان وقت تشغيل التكامل المستضاف ذاتيا الاتصال ب Synapse حتى عند تمكين حماية النقل غير المصرح للبيانات على مساحة عمل Synapse.

تغييرات DNS لنقاط النهاية الخاصة

عند إنشاء نقطة نهاية خاصة، يتم تحديث سجل مورد DNS CNAME لمصنع البيانات إلى اسم مستعار في نطاق فرعي مع بادئة privatelink. افتراضياً، أنشانا أيضاً منطقة DNS خاصة، المقابلة للنشاط الفرعي privatelink، مع سجلات الموارد DNS A لنقاط النهاية الخاصة.

عند حل عنوان URL لنقطة نهاية مصنع البيانات من خارج الشبكة الافتراضية بنقطة النهاية الخاصة، فإنه يتحول إلى نقطة النهاية العامة لمصنع البيانات. عند حله من الشبكة الافتراضية التي تستضيف نقطة النهاية الخاصة، يتحول عنوان URL لنقطة نهاية التخزين إلى عنوان IP الخاص بنقطة النهاية الخاصة.

بالنسبة للمثال الموضح السابق، فإن سجلات موارد DNS لمصنع البيانات المسمى DataFactoryA، عند حلها من خارج الشبكة الافتراضية التي تستضيف نقطة النهاية الخاصة، ستكون:

Name نوع القيمة‬
DataFactoryA.{region}.datafactory.azure.net CNAME < نقطة النهاية العامة لـ Data Factory >
< نقطة النهاية العامة لـ Data Factory > ش < عنوان IP العام لمصنع البيانات >

ستكون سجلات موارد DNS الخاصة بـ DataFactoryA، عند حلها في الشبكة الافتراضية التي تستضيف نقطة النهاية الخاصة، كما يلي:

Name نوع القيمة‬
DataFactoryA.{region}.datafactory.azure.net CNAME DataFactoryA.{region}.privatelink.datafactory.azure.net
DataFactoryA.{region}.privatelink.datafactory.azure.net ش < عنوان IP لنقطة النهاية الخاصة >

إذا كنت تستخدم ملقم DNS مخصصاً على شبكة الاتصال، يجب أن يكون العملاء قادرين على حل FQDN نقطة النهاية لمصنع البيانات إلى عنوان IP نقطة النهاية الخاصة. يجب عليك تكوين خادم DNS الخاص بك لتفويض المجال الفرعي للارتباط الخاص إلى منطقة DNS الخاصة للشبكة الافتراضية. أو يمكنك تكوين سجلات A لـ DataFactoryA.{region}.datafactory.azure.net باستخدام عنوان IP الخاص بنقطة النهاية.

إشعار

حالياً، هناك نقطة نهاية واحدة فقط لبوابة Data Factory، لذا لا توجد سوى نقطة نهاية خاصة واحدة للمدخل في منطقة DNS. تؤدي محاولة إنشاء نقطة نهاية خاصة للمدخل الثاني أو اللاحق إلى الكتابة فوق إدخال DNS الخاص الذي تم إنشاؤه مسبقاً للمدخل.

في هذا القسم، ستقوم بإعداد ارتباط نقطة نهاية خاصة لمصنع بيانات.

يمكنك اختيار ما إذا كنت تريد توصيل وقت تشغيل التكامل المستضاف ذاتياً بـ Data Factory عن طريق تحديد نقطة النهاية العامة أو نقطة النهاية الخاصة أثناء خطوة إنشاء Data Factory، الموضحة هنا:

لقطة شاشة تعرض حظر الوصول العام إلى وقت تشغيل التكامل المستضاف ذاتياً.

يمكنك تغيير التحديد في أي وقت بعد الإنشاء من صفحة بوابة Data Factory في جزء الشبكات. بعد تمكين نقاط النهاية الخاصة هناك، يجب أيضاً إضافة نقطة نهاية خاصة إلى مصنع البيانات.

تتطلب نقطة النهاية الخاصة شبكة ظاهرية وشبكة فرعية للارتباط. في هذا المثال، يتم استخدام جهاز ظاهري داخل الشبكة الفرعية لتشغيل وقت تشغيل التكامل المستضاف ذاتياً، والذي يتصل عبر ارتباط نقطة النهاية الخاصة.

إنشاء شبكة ظاهرية

إذا لم يكن لديك شبكة افتراضية موجودة لاستخدامها مع ارتباط نقطة النهاية الخاصة، فيجب عليك إنشاء واحدة وتعيين شبكة فرعية.

  1. قم بتسجيل الدخول إلى بوابة Azure.

  2. في الجانب العلوي الأيسر من الشاشة، حدد Create a resource>Networking>Virtual network أو ابحث عن Virtual network في مربع البحث.

  3. في Create virtual network، أدخل هذه المعلومات أو حددها في علامة التبويب Basics:

    الإعداد القيمة
    تفاصيل المشروع
    الاشتراك حدد اشتراك Azure الخاص بك.
    مجموعة الموارد تحديد مجموعة موارد لشبكة الاتصال الظاهرية.
    تفاصيل المثيل
    الاسم أدخل اسماً لشبكتك الافتراضية.
    المنطقة هام: حدد نفس المنطقة التي تستخدمها نقطة النهاية الخاصة بك.
  4. حدد علامة التبويب عناوين IP أو حددالتالي: عناوينIP في أسفل الصفحة.

  5. في علامة التبويب IP Addresses أدخِل هذه المعلومات:

    الإعداد القيمة‬
    مساحة العنوان IPv4 أدخل 10.1.0.0/16.
  6. أدنى "Subnet name"، حدد كلمة "default".

  7. في Edit subnet، أدخل هذه المعلومات:

    الإعداد القيمة‬
    اسم الشبكة الفرعية إدخال اسم لشبكتك الفرعية.
    نطاق عنوان الشبكة الفرعية أدخل 10.1.0.0/24.
  8. حدد حفظ.

  9. حدد علامة التبويب Review + create أو حدد الزر Review + create.

  10. حدد إنشاء.

إنشاء جهاز ظاهري لوقت تشغيل التكامل المستضاف ذاتياً

يجب عليك أيضاً إنشاء أو تعيين جهاز ظاهري موجود لتشغيل وقت تشغيل التكامل المستضاف ذاتياً في الشبكة الفرعية الجديدة التي تم إنشاؤها في الخطوات السابقة.

  1. في الجانب العلوي الأيسر من المدخل، حدّد Create a resource>Compute>Virtual machine أو ابحث عن Virtual machine في مربع البحث.

  2. في إنشاء جهاز ظاهري، أدخل أو حدد القيم في علامة التبويب أساسيات:

    الإعداد القيمة‬
    تفاصيل المشروع
    الاشتراك حدد اشتراك Azure الخاص بك.
    مجموعة الموارد حدد مجموعة موارد.
    تفاصيل المثيل
    اسم الجهاز الظاهري أدخل اسم مستخدم للجهاز الظاهري.
    المنطقة حدد المنطقة المستخدمة أعلاه لشبكتك الظاهرية.
    خيارات التوفر حدد No infrastructure redundancy required.
    الصورة حدد مركز بياناتWindows Server 2019 - Gen1 (أو أي صورة Windows أخرى تدعم وقت تشغيل التكامل المستضاف ذاتياً).
    مثيل Azure Spot حدد لا.
    الحجم اختر حجم الجهاز الظاهري أو استخدم الإعداد الافتراضي.
    حساب المسؤول
    اسم مستخدم أدخل username.
    كلمة المرور إدخال «password».
    تأكيد كلمة المرور أعد إدخال كلمة المرور.
  3. حدد علامة التبويب Networking، أو حدد Next: Disks>Next: Networking.

  4. في علامة تبويب الشبكات، حدد أو أدخل:

    الإعداد القيمة‬
    واجهة الشبكة
    الشبكة الظاهرية حدد الشبكة الافتراضية التي أنشأتها مسبقاً.
    الشبكة الفرعية حدد الشبكة الفرعية التي تم إنشاؤها أعلاه.
    عنوان IP عام حدد لا شيء.
    المجموعة الأمنية للشبكة NIC رئيسي.
    المنافذ العامة الواردة حدد لا شيء.
  5. حدد "Review + create".

  6. راجع الإعدادات، ثم حدّد "إنشاء".

إشعار

يوفر Azure عنوان IP افتراضيا للوصول الصادر للأجهزة الظاهرية التي لم يتم تعيين عنوان IP عام لها أو الموجودة في تجمع الواجهة الخلفية لموازن تحميل Azure الأساسي الداخلي. توفر آلية IP للوصول الصادر الافتراضي عنوان IP صادر غير قابل للتكوين.

يتم تعطيل عنوان IP الافتراضي للوصول الصادر عند حدوث أحد الأحداث التالية:

  • يتم تعيين عنوان IP عام إلى الجهاز الظاهري.
  • يتم وضع الجهاز الظاهري في تجمع الواجهة الخلفية لموازن التحميل القياسي، مع قواعد صادرة أو بدونها.
  • يتم تعيين مورد Azure NAT Gateway إلى الشبكة الفرعية للجهاز الظاهري.

لا تتمتع الأجهزة الظاهرية التي تقوم بإنشائها باستخدام مجموعات مقياس الجهاز الظاهري في وضع التنسيق المرن بالوصول الصادر الافتراضي.

لمزيد من المعلومات حول الاتصالات الصادرة في Azure، راجع الوصول الصادر الافتراضي في Azure واستخدام ترجمة عنوان الشبكة المصدر (SNAT) للاتصالات الصادرة.

قم بإنشاء نقطة نهاية خاصة

وأخيراً، يجب إنشاء نقطة النهاية الخاصة في مصنع البيانات.

  1. في صفحة مدخل Microsoft Azure لمصنع البيانات، حدد جزء Networking>Private endpoint connections ثم حدد + Private endpoint.

    لقطة شاشة تعرض جزء اتصالات نقطة النهاية الخاصة المستخدم لإنشاء نقطة نهاية خاصة.

  2. في علامة التبويب Basicsفي Create a private endpointأدخل، أو حدد هذه المعلومات:

    الإعداد القيمة‬
    تفاصيل المشروع
    الاشتراك حدد Subscription الخاص بك.
    مجموعة الموارد حدد مجموعة موارد.
    تفاصيل المثيل
    الاسم إدخال اسم نقطة النهاية.
    المنطقة حدد منطقة الشبكة الظاهرية التي تم إنشاؤها أعلاه.
  3. حدّد علامة تبويب Resource، أو حدّد زر Next: Resource أسفل الصفحة.

  4. في Resource، أدخل أو حدد هذه المعلومات:

    الإعداد القيمة‬
    طريقة التوصيل حدد Connect to an Azure resource in my directory.
    الاشتراك حدد Subscription الخاص بك.
    نوع المورد حدد Microsoft.Datafactory/factories.
    Resource تحديد مصنع البيانات.
    المورد الفرعي المستهدف إذا كنت ترغب في استخدام نقطة النهاية الخاصة لاتصالات الأوامر بين وقت تشغيل التكامل المستضاف ذاتياً وخدمة مصنع البيانات فحدد datafactoryكـ مورد فرعي للهدف. إذا كنت تريد استخدام نقطة النهاية الخاصة لتأليف ومراقبة مصنع البيانات في الشبكة الظاهرية، فحدد portalكمورد فرعي الهدف.
  5. حدد علامة التبويب Configuration أو زر Next: Configuration في أسفل الشاشة.

  6. في Configuration، أدخل أو حدد هذه المعلومات:

    الإعداد القيمة‬
    التواصل الشبكي
    الشبكة الظاهرية حدد الشبكة الافتراضية التي أنشأتها مسبقاً.
    الشبكة الفرعية حدد الشبكة الفرعية التي تم إنشاؤها أعلاه.
    تكامل DNS الخاص
    التكامل مع منطقة DNS الخاصة اترك الإعداد الافتراضي نعم.
    الاشتراك حدد Subscription الخاص بك.
    مناطق DNS الخاصة اترك القيمة الافتراضية في كل من الموارد الفرعية المستهدفة: 1. مصنع البيانات: (جديد) privatelink.datafactory.azure.net. 2. المدخل: (جديد) privatelink.adf.azure.com.
  7. حدد "Review + create".

  8. حدد إنشاء.

إذا كنت تريد تقييد الوصول إلى موارد Data Factory في اشتراكاتك بواسطة Private Link، فاتبع الخطوات الواردة في استخدام المدخل لإنشاء ارتباط خاص لإدارة موارد Azure.

مشكلة معروفة

لا يمكنك الوصول إلى كل مورد PaaS عندما يتعرض كلا الجانبين لـ Private Link ونقطة نهاية خاصة. هذه المشكلة هي قيود معروفة على الرابط الخاص ونقاط النهاية الخاصة.

على سبيل المثال، يستخدم العميل A ارتباطا خاصا للوصول إلى مدخل مصنع البيانات A في الشبكة الظاهرية A. عندما لا يمنع مصنع البيانات A الوصول العام، يمكن للعميل B الوصول إلى مدخل مصنع البيانات A في الشبكة الظاهرية B عبر العام. ولكن عندما ينشئ العميل B نقطة نهاية خاصة مقابل مصنع بيانات B في الشبكة الظاهرية B، فلن يتمكن العميل B من الوصول إلى مصنع البيانات A عبر عام في الشبكة الظاهرية B بعد الآن.