شبكة افتراضية مُدارة من مصنع Azure Data

  • مقالة

ينطبق على:Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

تشرح هذه المقالة الشبكات الافتراضية المدارة ونقاط النهاية الخاصة المدارة في Azure Data Factory.

شبكة ظاهرية مدارة

عند إنشاء وقت تشغيل تكامل Azure داخل شبكة افتراضية تديرها Data Factory، يتم توفير وقت تشغيل التكامل مع الشبكة الافتراضية المدارة. يستخدم نقاط النهاية الخاصة للاتصال بشكل آمن بمخازن البيانات المدعومة.

إن إنشاء وقت تشغيل للتكامل داخل شبكة افتراضية مُدارة يضمن أن عملية تكامل البيانات معزولة وآمنة.

فوائد استخدام شبكة افتراضية مدارة:

  • من خلال شبكة افتراضية مُدارة، يمكنك تفريغ عبء إدارة الشبكة الافتراضية إلى Data Factory. لست بحاجة إلى إنشاء شبكة فرعية لوقت تشغيل التكامل الذي يمكن أن يستخدم في النهاية العديد من IPs الخاصة من شبكتك الافتراضية وسيتطلب تخطيطًا مسبقًا للبنية التحتية للشبكة.
  • معرفة شبكات Deep Azure ليست مطلوبة لإجراء تكامل البيانات بشكل آمن. بدلاً من ذلك، يعد البدء بـ ETL الآمن أبسط بكثير بالنسبة لمهندسي البيانات.
  • تحمي الشبكة الافتراضية المدارة جنبًا إلى جنب مع نقاط النهاية الخاصة المدارة من تهريب البيانات.

حاليًا، يتم دعم الشبكة الافتراضية المدارة فقط في نفس المنطقة مثل منطقة مصنع البيانات.

إشعار

لا يمكن أن يتحول وقت تشغيل التكامل العالمي الحالي إلى وقت تشغيل التكامل في شبكة افتراضية يديرها مصنع البيانات والعكس صحيح.

Diagram that shows Data Factory managed virtual network architecture.

هناك طريقتان لتمكين الشبكة الظاهرية المدارة في مصنع البيانات الخاص بك:

  1. تمكين الشبكة الظاهرية المدارة أثناء إنشاء مصنع البيانات.

Screenshot of enabling managed virtual network during the creation of data factory.

  1. تمكين الشبكة الظاهرية المدارة في وقت تشغيل التكامل.

Screenshot of enabling managed virtual network in integration runtime

نقاط النهاية الخاصة المدارة

نقاط النهاية الخاصة المُدارة هي نقاط نهاية خاصة تم إنشاؤها في الشبكة الافتراضية المُدارة من قبل مصنع البيانات والتي تنشئ ارتباطًا خاصًا لموارد Azure. يدير مصنع البيانات نقاط النهاية الخاصة هذه نيابة عنك.

يدعم مصنع البيانات الروابط الخاصة. يمكنك استخدام رابط Azure الخاص للوصول إلى النظام الأساسي Azure كخدمات (PaaS) مثل Azure Storage و Azure Cosmos DB و Azure Synapse Analytics.

عندما تستخدم رابطًا خاصًا، فإن حركة المرور بين متاجر البيانات الخاصة بك والشبكة الافتراضية المدارة تمر بالكامل عبر شبكة Microsoft الأساسية. يحمي الرابط الخاص من مخاطر النقل غير المُصرح للبيانات. يمكنك تأسيس ارتباط خاص إلى أحد الموارد عن طريق إنشاء نقطة نهاية خاصة.

تستخدم نقطة النهاية الخاصة عنوان IP خاص في الشبكة الافتراضية المدارة لإدخال الخدمة فيها بشكل فعال. يتم تعيين نقاط النهاية الخاصة إلى مورد معين في Azure وليس الخدمة بأكملها. يمكن للعملاء تقييد الاتصالية بمورد معين تعتمده مؤسستهم. للمزيد من المعلومات، راجع نقاط النهاية الخاصة للنسخ الاحتياطي في Azure.

إشعار

يجب تسجيل موفر الموارد Microsoft.Network في اشتراكك.

  1. تأكد من تمكين الشبكة الظاهرية المدارة في مصنع البيانات.
  2. إنشاء نقطة نهاية خاصة مدارة جديدة في Manage Hub.

Screenshot that shows new managed private endpoints.

  1. يتم إنشاء اتصال بنقطة النهاية الخاصة في حالة معلقة عند إنشاء نقطة نهاية خاصة مُدارة في مصنع البيانات. تم بدء سير عمل الموافقة. مالك مورد الرابط الخاص مسؤول عن الموافقة على الاتصال أو رفضه.

Screenshot that shows the option Manage approvals in Azure portal.

  1. إذا وافق المالك على الاتصال، فيتم تأسيس الارتباط الخاص. خلاف ذلك، لن يتم إنشاء الارتباط الخاص. في كلتا الحالتين، يتم تحديث نقطة النهاية الخاصة المدارة مع حالة الاتصال.

Screenshot that shows approving a managed private endpoint.

فقط نقطة النهاية الخاصة المدارة في دولة معتمدة يمكنها إرسال نسبة استخدام الشبكة إلى مورد رابط خاص معين.

إشعار

DNS المخصص غير مدعوم في الشبكة الظاهرية المدارة.

التأليف التفاعلي

يتم استخدام قدرات التأليف التفاعلية للوظائف مثل اتصال الاختبار، وتصفح قائمة المجلدات وقائمة الجداول، والحصول على مخطط، ومعاينة البيانات. يمكنك تمكين التأليف التفاعلي عند إنشاء أو تحرير وقت تشغيل تكامل Azure، الموجود في شبكة افتراضية تديرها Azure Data Factory. ستقوم الخدمة الخلفية بتخصيص الحساب مسبقاً لوظائف التأليف التفاعلي. خلاف ذلك، سيتم تخصيص الحساب في كل مرة يتم فيها إجراء أي عملية تفاعلية والتي ستستغرق وقتاً أطول. مدة البقاء للتأليف التفاعلي هو 60 دقيقة افتراضيًا، مما يعني أنه سيتم تعطيله تلقائيًا بعد 60 دقيقة من آخر عملية تأليف تفاعلية. يمكنك تغيير قيمة TTL وفقًا لاحتياجاتك الفعلية.

Screenshot that shows interactive authoring.

حان الوقت للحياة

Copy activity

افتراضيًا، كل نشاط نسخ يدور حوسبة جديدة بناءً على التكوين في نشاط النسخ. مع تمكين الشبكة الظاهرية المدارة، يستغرق وقت بدء تشغيل الحسابات الباردة بضع دقائق ولا يمكن بدء حركة البيانات حتى تكتمل. إذا كانت المسارات الخاصة بك تحتوي على أنشطة نسخ متسلسلة متعددة أو كان لديك العديد من أنشطة النسخ في حلقة foreach ولا يمكنك تشغيلها جميعًا بشكل متوازي، فيمكنك تمكين قيمة مدة البقاء (TTL) في تكوين وقت تشغيل تكامل Azure. إن تحديد وقت للقيمة الحية وأرقام DIU المطلوبة لنشاط النسخة يبقي الحسابات المقابلة حية لفترة معينة من الوقت بعد اكتمال تنفيذها. إذا بدأ نشاط نسخ جديد خلال فترة TTL، فسيتم إعادة استخدام الحسابات الحالية، وسيتم تقليل وقت بدء التشغيل بشكل كبير. بعد اكتمال نشاط النسخة الثانية، ستبقى الحسابات حية مرة أخرى لوقت TTL. لديك المرونة للاختيار من بين أحجام الحوسبة المحددة مسبقا، بدءا من صغيرة إلى متوسطة إلى كبيرة. بدلا من ذلك، لديك أيضا خيار تخصيص حجم الحساب استنادا إلى متطلباتك المحددة واحتياجاتك في الوقت الفعلي.

إشعار

لن تؤثر إعادة تكوين رقم DIU على تنفيذ نشاط النسخة الحالي.

إشعار

لا يتم دعم مقياس وحدة تكامل البيانات (DIU) البالغ 2 DIU لنشاط النسخ في شبكة افتراضية مُدارة.

سيتم استخدام وحدة DIU التي تحددها في TTL لتشغيل جميع أنشطة النسخ، ولن يتم تغيير حجم وحدة DIU تلقائيا وفقا للاحتياجات الفعلية. لذلك عليك اختيار وحدات DIUs كافية.

تحذير

سيؤدي تحديد عدد قليل من وحدات DIUs لتشغيل العديد من الأنشطة إلى تعليق العديد من الأنشطة في قائمة الانتظار، مما سيؤثر بشكل خطير على الأداء العام.

البنية الأساسية لبرنامج ربط العمليات التجارية والنشاط

على غرار النسخة، لديك القدرة على تخصيص حجم الحساب ومدة TTL وفقا لمتطلباتك المحددة. ومع ذلك، على عكس النسخة، يرجى ملاحظة أنه لا يمكن تعطيل البنية الأساسية لبرنامج ربط العمليات التجارية وTL الخارجي.

إشعار

لا تنطبق مدة البقاء إلا على الشبكة الافتراضية المدارة.

Screenshot that shows the TTL configuration.

يمكنك استخدام الجدول أدناه كمرجع لتحديد العدد الأمثل للعقد لتنفيذ كل من المسارات والأنشطة الخارجية.

نوع النشاط السعة
نشاط البنية الأساسية لبرنامج ربط العمليات التجارية حوالي 50 لكل عقدة
يميل نشاط البرنامج النصي ونشاط البحث مع SQL alwaysEncrypted إلى استهلاك المزيد من الموارد مقارنة بأنشطة البنية الأساسية لبرنامج ربط العمليات التجارية الأخرى، حيث يبلغ العدد المقترح حوالي 10 لكل عقدة
النشاط الخارجي حوالي 800 لكل عقدة

مقارنة TTL مختلفة

يسرد الجدول التالي الاختلافات بين أنواع مختلفة من TTL:

ميزة التأليف التفاعلي نسخ مقياس الحساب مقياس الحوسبة الخارجية للبنية الأساسية لبرنامج ربط العمليات التجارية
متى يدخل حيز التنفيذ مباشرة بعد التمكين تنفيذ النشاط الأول تنفيذ النشاط الأول
يمكن تعطيله نعم السنة N
الحساب المحجوز قابل للتكوين N نعم نعم

إشعار

لا يمكنك تمكين TTL في وقت تشغيل تكامل Azure الحل التلقائي الافتراضي. يمكنك إنشاء وقت تشغيل تكامل Azure جديد له.

إشعار

عند تنشيط مقياس الحوسبة للنسخ/المسار/الحوسبة الخارجية TTL، يتم تحديد الفوترة بواسطة موارد الحوسبة المحجوزة. ونتيجة لذلك، لا يتضمن إخراج النشاط الفوترةReference، لأن هذا الأمر ذو صلة حصرية في سيناريوهات غير TTL.

إنشاء شبكة افتراضية مُدارة عبر Azure PowerShell

$subscriptionId = ""
$resourceGroupName = ""
$factoryName = ""
$managedPrivateEndpointName = ""
$integrationRuntimeName = ""
$apiVersion = "2018-06-01"
$privateLinkResourceId = ""

$vnetResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default"
$privateEndpointResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default/managedprivateendpoints/${managedPrivateEndpointName}"
$integrationRuntimeResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/integrationRuntimes/${integrationRuntimeName}"

# Create managed Virtual Network resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${vnetResourceId}" -Properties @{}

# Create managed private endpoint resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${privateEndpointResourceId}" -Properties @{
        privateLinkResourceId = "${privateLinkResourceId}"
        groupId = "blob"
    }

# Create integration runtime resource enabled with virtual network
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${integrationRuntimeResourceId}" -Properties @{
        type = "Managed"
        typeProperties = @{
            computeProperties = @{
                location = "AutoResolve"
                dataFlowProperties = @{
                    computeType = "General"
                    coreCount = 8
                    timeToLive = 0
                }
            }
        }
        managedVirtualNetwork = @{
            type = "ManagedVirtualNetworkReference"
            referenceName = "default"
        }
    }

إشعار

يمكنك الحصول على groupId من مصادر البيانات الأخرى من مورد رابط خاص .

اتصال صادر

مصادر وخدمات البيانات المدعومة

الخدمات التالية لديها دعم محلي خاص بنقطة النهاية. يمكن توصيلها من خلال رابط خاص من شبكة افتراضية تديرها Data Factory:

  • خدمة Azure Databricks
  • وظائف Azure (خطة أولية)
  • Azure Key Vault
  • التعلم الآلي من Azure
  • Azure Private Link
  • Microsoft Purview

لدعم مصادر البيانات، يمكنك الرجوع إلى نظرة عامة على الموصل . يمكنك الوصول إلى جميع مصادر البيانات المدعومة من قبل Data Factory من خلال شبكة عامة.

مصادر البيانات المحلية

لمعرفة كيفية الوصول إلى مصادر البيانات في أماكن العمل من شبكة افتراضية مُدارة باستخدام نقطة نهاية خاصة، انظر الوصول في أماكن العمل SQL Server من شبكة افتراضية يديرها مصنع البيانات باستخدام نقطة نهاية خاصة .

الاتصالات الخارجية من خلال نقطة النهاية العامة من شبكة افتراضية يديرها مصنع البيانات

جميع المنافذ مفتوحة للاتصالات الصادرة.

القيود والمشاكل المعروفة

إنشاء خدمة مرتبطة لـ Key Vault

عندما تنشئ خدمة مرتبطة لـ Key Vault، لا يوجد مرجع وقت تشغيل التكامل. لذلك، لا يمكنك إنشاء نقاط نهاية خاصة أثناء إنشاء خدمة مرتبطة لـ Key Vault. ولكن عندما تنشئ خدمة مرتبطة لمخازن البيانات تشير إلى Key Vault، وتشير هذه الخدمة المرتبطة إلى وقت تشغيل التكامل مع تمكين الشبكة الافتراضية المدارة، يمكنك إنشاء نقطة نهاية خاصة لـ Key Vault أثناء الإنشاء.

  • اتصال الاختبار: هذه العملية لخدمة مرتبطة من Key Vault تتحقق فقط من تنسيق URL ولكنها لا تقوم بأي تشغيل للشبكة.
  • باستخدام نقطة النهاية الخاصة: يظهر هذا العمود دائمًا على أنه فارغ حتى لو قمت بإنشاء نقطة نهاية خاصة لـ Key Vault.

إنشاء خدمات مترابطة لـ Azure HDInsight

يُظهر العمود دائمًا استخدام نقطة النهاية الخاصة على أنه فارغ حتى لو قمت بإنشاء نقطة نهاية خاصة لـ HDInsight باستخدام خدمة ارتباط خاصة وموازن تحميل مع شحن المنفذ.

Screenshot that shows a private endpoint for Key Vault.

اسم المجال المؤهل بالكامل (FQDN) ل Azure HDInsight

إذا قمت بإنشاء خدمة ارتباط خاص مخصصة، يجب أن ينتهي FQDN azurehdinsight.net دون ارتباط خاص بادئ في اسم المجال عند إنشاء نقطة نهاية خاصة. إذا كنت تستخدم الارتباط الخاص في اسم المجال، فتأكد من أنه صالح وأنك قادر على حله.

قيود الوصول في الشبكة الظاهرية المدارة مع نقاط النهاية الخاصة

لا يمكنك الوصول إلى كل مورد PaaS عندما يتعرض كلا الجانبين لـ Private Link ونقطة نهاية خاصة. هذه المشكلة هي قيود معروفة على الرابط الخاص ونقاط النهاية الخاصة.

على سبيل المثال، لديك نقطة نهاية خاصة مُدارة لحساب التخزين A. يمكنك أيضًا الوصول إلى حساب التخزين B من خلال الشبكة العامة في نفس الشبكة الافتراضية المُدارة. ولكن عندما يحتوي حساب التخزين B على اتصال نقطة نهاية خاصة من شبكة افتراضية مدارة أخرى أو شبكة افتراضية للعميل، فلا يمكنك الوصول إلى حساب التخزين B في شبكتك الافتراضية المدارة عبر الشبكة العامة.

المحتوى ذو الصلة

انظر البرامج التعليمية التالية: