الاتصال مساحة عمل Azure Databricks إلى شبكتك المحلية

توضح هذه المقالة كيفية إنشاء اتصال من مساحة عمل Azure Databricks إلى شبكتك المحلية. يتم توجيه حركة المرور عبر شبكة ظاهرية للعبور (VNet) إلى الشبكة المحلية، باستخدام تخطيط الشبكة المحوري التالي.

إذا كنت بحاجة إلى مساعدة باتباع هذا الدليل، فاتصل بفرق حساب Microsoft وDatabricks.

المتطلبات

يجب نشر مساحة عمل Azure Databricks في الشبكة الظاهرية الخاصة بك، والمعروفة أيضا باسم حقن VNet.

الخطوة 1: إعداد شبكة ظاهرية للعبور باستخدام Azure Virtual Network Gateway

تحتاج إلى بوابة شبكة Azure الظاهرية (ExpressRoute أو VPN) في شبكة ظاهرية للعبور، تم تكوينها باستخدام إحدى هذه الطرق. إذا كان لديك بوابة مناسبة بالفعل، فانتقل إلى نظير شبكة Azure Databricks الظاهرية مع الشبكة الظاهرية العابرة.

إذا كان لديك بالفعل ExpressRoute تم إعداده بين الشبكة المحلية وAzure، فاتبع الإجراء في تكوين بوابة شبكة ظاهرية ل ExpressRoute باستخدام مدخل Microsoft Azure.

وإلا، فاتبع الخطوات من 1 إلى 5 في تكوين اتصال بوابة VNet-to-VNet VPN باستخدام مدخل Microsoft Azure.

إذا كنت بحاجة إلى مساعدة، فاتصل بفريق حساب Microsoft.

الخطوة 2: نظير شبكة Azure Databricks الظاهرية مع الشبكة الظاهرية للعبور

إذا كانت مساحة عمل Azure Databricks في نفس الشبكة الظاهرية مثل بوابة الشبكة الظاهرية، فانتقل إلى إنشاء مسارات معرفة من قبل المستخدم وربطها بالشبكات الفرعية لشبكة Azure Databricks الظاهرية.

وإلا، فاتبع الإرشادات الواردة في الشبكات الظاهرية النظيرة لتناظر Azure Databricks VNet مع الشبكة الظاهرية العابرة، مع تحديد الخيارات التالية:

• استخدم Remote Gateways على جانب Azure Databricks VNet.
• السماح ببوابة النقل على جانب الشبكة الظاهرية للعبور.

للحصول على التفاصيل، راجع إنشاء نظير.

إشعار

إذا كان اتصال الشبكة المحلية ب Azure Databricks لا يعمل مع الإعدادات أعلاه، يمكنك أيضا تحديد الخيار السماح بنسبة استخدام الشبكة التي تمت إعادة توجيهها على جانبي النظير لحل المشكلة.

للحصول على معلومات حول تكوين عبور بوابة VPN لنظير الشبكة الظاهرية، راجع تكوين نقل بوابة VPN لنظير الشبكة الظاهرية.

الخطوة 3: إنشاء مسارات معرفة من قبل المستخدم وربطها بالشبكات الفرعية لشبكة Azure Databricks الظاهرية

بعد نظير Azure Databricks VNet مع الشبكة الظاهرية للعبور، يقوم Azure تلقائيا بتكوين جميع المسارات باستخدام الشبكة الظاهرية للعبور. لا يتضمن التكوين التلقائي مسار الإرجاع من عقد نظام المجموعة إلى مستوى التحكم Azure Databricks. يجب إنشاء هذه المسارات المخصصة يدويا، باستخدام المسارات المعرفة من قبل المستخدم.

1. إنشاء جدول توجيه، وتمكين نشر مسار BGP.

   إشعار

   في بعض الحالات، يتسبب نشر مسار BGP في حدوث فشل عند التحقق من صحة إعداد اتصال الشبكة المحلي. كحل أخير، يمكنك تعطيل نشر مسار BGP.

2. أضف مسارات معرفة من قبل المستخدم للخدمات التالية، باستخدام الإرشادات الموجودة في التوجيهات المخصصة.

   إذا تم تمكين اتصال نظام المجموعة الآمن (SCC) لمساحة العمل، فاستخدم عنوان IP لترحيل SCC بدلا من عنوان IP NAT لمستوى التحكم.

   المصدر	بادئة العنوان	نوع القفزة التالية
   الإعداد الافتراضي	عنوان IP الخاص ب NAT لمستوى التحكم (فقط إذا تم تعطيل SCC)	الإنترنت
   الإعداد الافتراضي	عنوان IP لترحيل SCC (فقط إذا تم تمكين SCC)	الإنترنت
   الإعداد الافتراضي	عنوان IP لتطبيق الويب	الإنترنت
   الإعداد الافتراضي	IP للبنية الأساسية الموسعة	الإنترنت
   الإعداد الافتراضي	Metastore IP	الإنترنت
   الإعداد الافتراضي	IP تخزين البيانات الثنائية كبيرة الحجم الاصطناعية	الإنترنت
   الإعداد الافتراضي	عنوان IP لتخزين Blob السجل	الإنترنت
   الإعداد الافتراضي	IP تخزين جذر DBFS (ADLS)	الإنترنت
   الإعداد الافتراضي	IP تخزين جذر DBFS (Blob) لمساحات العمل التي تم إنشاؤها قبل 6 مارس 2023.	الإنترنت

   للحصول على عناوين IP لكل من هذه الخدمات، اتبع الإرشادات الموجودة في إعدادات المسار المعرفة من قبل المستخدم ل Azure Databricks.

   إذا فشل المسار المستند إلى IP عند التحقق من صحة الإعداد، يمكنك إنشاء نقطة نهاية خدمة ل Microsoft.Storage لتوجيه جميع حركة مرور تخزين جذر DBFS من خلال العمود الفقري ل Azure. إذا كنت تستخدم هذا الأسلوب، فلن تحتاج إلى إنشاء مسارات معرفة من قبل المستخدم لتخزين جذر DBFS.

   إشعار

   للوصول إلى خدمات بيانات PaaS Azure الأخرى، مثل Cosmos DB أو Azure Synapse Analytics، من Azure Databricks، يجب إضافة مسارات معرفة من قبل المستخدم لتلك الخدمات إلى جدول التوجيه. حل كل نقطة نهاية إلى عنوان IP الخاص بها باستخدام nslookup أو أمر مكافئ.

3. قم بإقران جدول التوجيه بالشبكات الفرعية العامة والخاصة في Azure Databricks VNet، باستخدام الإرشادات الواردة في إقران جدول توجيه بشبكة فرعية.

   بعد إقران جدول التوجيه المخصص بالشبكات الفرعية ل Azure Databricks VNet، لا تحتاج إلى تحرير قواعد الأمان الصادرة في مجموعة أمان الشبكة. على سبيل المثال، لا تحتاج إلى جعل القاعدة الصادرة أكثر تحديدا، لأن المسارات ستتحكم في الخروج الفعلي.

الخطوة 4: التحقق من صحة الإعداد

للتحقق من صحة الإعداد:

1. إنشاء نظام مجموعة في مساحة عمل Azure Databricks.

   إذا فشل إنشاء نظام مجموعة، فانتقل إلى إرشادات الإعداد، وتجربة خيارات التكوين البديلة واحدا تلو الآخر.

   إذا كنت لا تزال غير قادر على إنشاء نظام مجموعة، فتحقق من أن جدول التوجيه يتضمن جميع المسارات المطلوبة المعرفة من قبل المستخدم. إذا استخدمت نقاط نهاية الخدمة بدلا من المسارات المعرفة من قبل المستخدم ل ADLS gen2 (لمساحات العمل التي تم إنشاؤها قبل 6 مارس 2023، Azure Blob Storage)، فتحقق من نقاط النهاية هذه أيضا.

   إذا كنت لا تزال غير قادر على إنشاء مجموعة، فاتصل بفرق حساب Microsoft وDatabricks للحصول على المساعدة.

2. اختبار اتصال IP محلي من دفتر ملاحظات باستخدام الأمر التالي:

   %sh
   ping <IP>
   

لمزيد من الإرشادات حول استكشاف الأخطاء وإصلاحها، راجع هذه الموارد:

• استكشاف الأخطاء وإصلاحها
• حل مشكلة

خطوات التكوين الاختيارية

الخيار: توجيه حركة مرور Azure Databricks باستخدام جهاز ظاهري أو جدار حماية

يمكنك تصفية جميع حركة المرور الصادرة من عقد نظام مجموعة Azure Databricks باستخدام جدار حماية أو جهاز DLP، مثل Azure Firewall أو Palo Alto أو Barracuda. يسمح لك هذا بفحص حركة المرور الصادرة لتلبية نهج الأمان، وإضافة عنوان IP عام واحد يشبه NAT أو CIDR لجميع المجموعات إلى قائمة السماح.

اضبط هذه الخطوات حسب الحاجة لجدار الحماية أو جهاز DLP:

1. إعداد جهاز ظاهري أو جدار حماية داخل الشبكة الظاهرية للنقل، باستخدام الإرشادات الموجودة في إنشاء NVA.

   إذا كنت بحاجة إلى تكوين جدار حماية واحد لمساحات عمل متعددة، يمكنك إنشاء جدار الحماية في شبكة فرعية آمنة أو DMZ داخل Azure Databricks VNet، وهو منفصل عن الشبكات الفرعية الخاصة والعامة الموجودة.

2. إنشاء مسار إضافي في جدول التوجيه المخصص إلى 0.0.0.0/0.

   • تعيين نوع الوثبة التالية إلى "الجهاز الظاهري".

   • تعيين عنوان الوثب التالي.

     لا تقم بإزالة المسارات التي قمت بإنشائها في الخطوة 3: إنشاء مسارات معرفة من قبل المستخدم وربطها بالشبكات الفرعية لشبكة Azure Databricks الظاهرية، باستثناء واحد: إذا كان يجب توجيه جميع حركة مرور Blob عبر جدار الحماية، يمكنك إزالة المسارات لحركة مرور Blob.

3. إذا كنت تستخدم نهج الشبكة الفرعية الآمنة أو DMZ، يمكنك إنشاء جدول توجيه إضافي مقترن فقط بالشبكة الفرعية DMZ. في جدول التوجيه هذا، أنشئ مسارا إلى 0.0.0.0.

   قم بتعيين نوع الوثبة التالية لهذا المسار إلى الإنترنت إذا كانت نسبة استخدام الشبكة موجهة لشبكة عامة، أو إلى بوابة الشبكة الظاهرية إذا كانت نسبة استخدام الشبكة موجهة لشبكة محلية.

4. تكوين قواعد السماح والرفض في جهاز جدار الحماية.

   إذا قمت بإزالة مسارات تخزين Blob، أضف هذه المسارات إلى قائمة السماح في جدار الحماية.

   إذا كانت مجموعاتك تعتمد على المستودعات العامة، مثل مستودعات نظام التشغيل أو سجلات الحاويات، أضفها إلى قائمة السماح.

   للحصول على معلومات حول قوائم السماح، راجع إعدادات المسار المعرفة من قبل المستخدم ل Azure Databricks.

الخيار: تكوين DNS المخصص

يمكنك استخدام DNS المخصص مع مساحات عمل Azure Databricks الموزعة في الشبكة الظاهرية الخاصة بك. راجع مقالات Microsoft التالية للحصول على مزيد من المعلومات حول كيفية تكوين DNS المخصص لشبكة Azure الظاهرية:

• تحليل الاسم الذي يستخدم خادم DNS الخاص بك
• تحديد خوادم DNS

.. مهم: لحل عناوين IP الخاصة ب Azure artifacts، يجب عليك تكوين DNS المخصص لإعادة توجيه هذه الطلبات إلى محلل Azure المتكرر.