بيئات الحساب المدعومة من Azure Data Factory ومسارات Synapse

مقالة
10/03/2024

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

هام

سينتهي دعم Azure التعلم الآلي Studio (الكلاسيكي) في 31 أغسطس 2024. نوصي بالانتقال إلى Azure التعلم الآلي بحلول ذلك التاريخ.

اعتبارا من 1 ديسمبر 2021، لا يمكنك إنشاء موارد جديدة التعلم الآلي Studio (كلاسيكي) (مساحة العمل وخطة خدمة الويب). حتى 31 أغسطس 2024، يمكنك الاستمرار في استخدام تجارب التعلم الآلي Studio (الكلاسيكية) وخدمات الويب الحالية. لمزيد من المعلومات، راجع:

يتم إيقاف وثائق التعلم الآلي Studio (الكلاسيكي) وقد لا يتم تحديثها في المستقبل.

توضح هذه المقالة بيئات الحساب المختلفة التي يمكنك استخدامها لمعالجة أو تحويل البيانات. كما توفر تفاصيل حول التكوينات المختلفة (عند الطلب مقابل إحضار الخاصة بك) المدعومة عند تكوين الخدمات المرتبطة التي تربط بيئات الحساب هذه.

يوفر الجدول التالي قائمة ببيئات الحساب المعتمدة والأنشطة التي يمكن تشغيلها عليها.

بيئة الحساب	الأنشطة
مجموعة HDInsight عند الطلب أو مجموعة HDInsight الخاصة بك	Hive ،Pig ،Spark ،MapReduce، دفق Hadoop
Azure Batch	مخصص
ML Studio (كلاسيكي)	أنشطة ML Studio (الكلاسيكية): تنفيذ الدفعة وتحديث المورد
التعلم الآلي من Microsoft Azure	Azure التعلم الآلي تنفيذ البنية الأساسية لبرنامج ربط العمليات التجارية
Azure Data Lake Analytics	Data Lake Analytics U-SQL
Azure SQL وAzure Synapse Analytics وSQL Server	الإجراء المخزن
Azure Databricks	Notebook، Jar، Python
Azure Synapse Analytics (Artifacts)	نشاط Synapse Notebook، تعريف مهمة Synapse Spark
Azure Function	نشاط Azure Function

بيئة الحساب HDInsight

راجع الجدول أدناه للحصول على تفاصيل حول أنواع الخدمة المرتبطة بالتخزين المدعومة للتكوين في بيئة BYOC (إحضار الحوسبة الخاصة بك) وعند الطلب.

في خدمة المرتبطة بالحساب	اسم الخاصية	‏‏الوصف	كائن ثنائي كبير الحجم	ADLS Gen2	Azure SQL DB	ADLS Gen 1
عند الطلب	linkedServiceName	خدمة Azure Storage المرتبطة لاستخدامها بواسطة نظام المجموعة عند الطلب لتخزين ومعالجة البيانات.	‏‏نعم‬	نعم	لا	لا
	additionalLinkedServiceNames	تحديد حسابات تخزين إضافية لخدمة HDInsight المرتبطة لذا يمكن للخدمة تسجيلها نيابة عنك.	‏‏نعم‬	لا	لا	لا
	hcatalogLinkedServiceName	اسم Azure SQL linked service التي تشير إلى قاعدة بيانات HCatalog. يُنشأ نظام مجموعة HDInsight عند الطلب باستخدام Azure SQL database كـ metastore.	لا	لا	نعم	لا
BYOC	linkedServiceName	مرجع الخدمة المرتبطة بـ Azure Storage.	‏‏نعم‬	نعم	لا	لا
	additionalLinkedServiceNames	تحديد حسابات تخزين إضافية لخدمة HDInsight المرتبطة لذا يمكن للخدمة تسجيلها نيابة عنك.	لا	لا	لا	لا
	hcatalogLinkedServiceName	مرجع الخدمة المرتبطة بـ Azure SQL الذي يُشير إلى قاعدة بيانات HCatalog.	لا	لا	لا	لا

خدمة Azure HDInsight المرتبطة عند الطلب

في هذا النوع من التكوين، تُدار بيئة الحساب بشكل كامل بواسطة الخدمة. يتم إنشاؤها تلقائياً بواسطة الخدمة قبل إرسال المهمة لمعالجة البيانات وإزالتها عند اكتمال المهمة. يمكنك إنشاء خدمة مرتبطة لبيئة الحساب عند الطلب، وتكوينها، والتحكم في الإعدادات متعددة المستويات لتنفيذ المهمة، وإدارة نظام المجموعة، وإجراءات نظام تمهيد تشغيل الكمبيوتر.

إشعار

التكوين عند الطلب حالياً مدعوم فقط لنظام مجموعات Azure HDInsight. يدعم Azure Databricks أيضاً الوظائف عند الطلب باستخدام نظام مجموعة المهمات. راجع ⁧⁩خدمة Azure Databricks المرتبطة⁩ للحصول على مزيدٍ من المعلومات.

يمكن للخدمة إنشاء نظام مجموعة HDInsight عند الطلب تلقائياً لمعالجة البيانات. يتم إنشاء نظام المجموعة في نفس المنطقة مثل حساب التخزين (خاصية linkedServiceName في JSON) المقترن بنظام المجموعة. حساب التخزين must هو حساب Azure Storage قياسي للأغراض العامة.

لاحظ النقاط المهمة التالية حول الخدمة المرتبطة بـ HDInsight عند الطلب:

يتم إنشاء نظام مجموعة HDInsight عند الطلب ضمن اشتراك Azure. يمكنك مشاهدة مقطع التخزين في مدخل Microsoft Azure الخاص بك عندما يكون مقطع التخزين قيد التشغيل.
تُنسخ سجلات المهام التي يتم تشغيلها على نظام مجموعة HDInsight عند الطلب إلى حساب التخزين المقترن بنظام مجموعة HDInsight. يُستخدم clusterUserName، clusterPassword، clusterSshUserName، clusterSshPassword المُحدد في تعريف الخدمة المرتبطة لتسجيل الدخول إلى نظام المجموعة لاستكشاف الأخطاء وإصلاحها الدقيق أثناء دورة حياة نظام المجموعة.
أنت تُحاسب فقط على الوقت الذي يكون فيه نظام مجموعة HDInsight قيد التشغيل.
يمكنك استخدام إجراء البرنامج النصي مع خدمة Azure HDInsight المرتبطة عند الطلب.

هام

يستغرق عادة 20 دقيقة أو أكثر لتوفير نظام مجموعة Azure HDInsight عند الطلب.

مثال

يعرف JSON التالي خدمة مرتبطة HDInsight المستندة إلى Linux حسب الطلب. تُنشئ الخدمة تلقائياً نظام مجموعة HDInsight مستند إلى Linux لمعالجة النشاط المطلوب.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenent id>",
      "clusterResourceGroup": "<resource group name>",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

هام

تنشئ مجموعة HDInsight حاوية افتراضية في تخزين blob الذي حددته في JSON (linkedServiceName). لا تحذف HDInsight هذه الحاوية عند حذف نظام المجموعة. فهذا السلوك حسب التصميم. من خلال خدمة HDInsight المرتبطة عند الطلب، يتم إنشاء مجموعة HDInsight في كل مرة تحتاج فيها الشريحة إلى المعالجة ما لم تكن هناك مجموعة حية موجودة (timeToLive) ويتم حذفها عند انتهاء المعالجة.

مع تشغيل المزيد من النشاط، تشاهد العديد من الحاويات فيAzure blob storage. إذا لم تكن بحاجة إليها لاستكشاف أخطاء المهام وإصلاحها، فقد تحتاج إلى حذفها لتقليل تكلفة التخزين. تتبع أسماء هذه الحاويات نمطاً: adf**yourfactoryorworkspacename**-**linkedservicename**-datetimestamp. استخدام أدوات مثل Microsoft Azure Storage Explorer لحذف الحاويات الموجودة في مخزن البيانات الثنائية الكبيرة.

الخصائص

الخاصية	الوصف	مطلوب
النوع	يجب تعيين خاصية النوع إلى HDInsightOnDemand.	‏‏نعم‬
حجم المجموعة	عدد عقد العامل/البيانات في المجموعة. يتم إنشاء نظام المجموعة HDInsight مع عقدتين الرأس جنباً إلى جنب مع عدد العقد العاملة التي تحددها لهذه الخاصية. العقد بحجم Standard_D3 الذي يحتوي على 4 ذاكرة أساسية، لذلك تأخذ 4 نظام مجموعة العقد العاملة 24 ذاكرة أساسية ( 44 =16 ذاكرة أساسية للعقد العاملة، بالإضافة إلى 24 = 8 ذاكرة أساسية للعقد الرئيسية). راجع إعداد نظام مجموعات في HDInsight باستخدام Hadoop وSpark وKafka وغير ذلك للحصول على مزيدٍ من التفاصيل.	‏‏نعم‬
linkedServiceName	خدمة Azure Storage المرتبطة لاستخدامها بواسطة نظام المجموعة عند الطلب لتخزين ومعالجة البيانات. يتم إنشاء نظام المجموعة HDInsight في نفس المنطقة مثل حساب تخزين Azure هذا. يتضمن Azure HDInsight قيوداً على العدد الإجمالي للنوى التي يمكنك استخدامها في كل منطقة Azure تدعمها. تأكد من أن لديك حصص نسبية للذاكرة الأساسية كافية في منطقة Azure لتلبية حجم نظام مجموعة المطلوب. راجع إعداد نظام مجموعات في HDInsight باستخدام Hadoop وSpark وKafka وغير ذلك للحصول على مزيدٍ من التفاصيل حالياً، لا يمكنك إنشاء نظام مجموعة HDInsight عند الطلب الذي يستخدم Azure Data Lake Storage Azure (Gen 2) كمخزن. إذا كنت ترغب في تخزين بيانات النتائج من معالجة HDInsight في Azure Data Lake Storage (Gen 2)، فاستخدم Copy Activity لنسخ البيانات من Azure Blob Storage إلى Azure Data Lake Storage (Gen 2).	‏‏نعم‬
clusterResourceGroup	يتم إنشاء نظام مجموعة HDInsight في مجموعة الموارد هذه.	‏‏نعم‬
timetolive	وقت التعطيل المسموح به لمجموعة HDInsight عند الطلب. تحديد المدة التي يبقى فيها نظام مجموعة HDInsight عند الطلب نشطاً بعد إكمال تشغيل نشاط إذا لم تكن هناك أية مهام نشطة أخرى في نظام المجموعة. أقل قيمة مسموح بها هي 5 دقائق (00:05:00). على سبيل المثال، إذا كان تشغيل نشاط يستغرق 6 دقائق ويتم تعيين timetolive إلى 5 دقائق، نظام المجموعة يبقى نشطاً لمدة 5 دقائق بعد الـ 6 دقائق الخاصة بمعالجة تشغيل النشاط. إذا نُفذَ تشغيل نشاط آخر بنافذة 6 دقائق، فإنه يُعالج بواسطة نفس نظام المجموعة. إنشاء نظام مجموعة HDInsight عند الطلب هو عملية مكلفة (قد تستغرق بعض الوقت)، لذا استخدم هذا الإعداد حسب الحاجة لتحسين أداء الخدمة عن طريق إعادة استخدام نظام مجموعة HDInsight عند الطلب. إذا عينتَ قيمة timetolive إلى 0، سيُحذف نظام المجموعة بمجرد اكتمال تشغيل النشاط. بينما، إذا قمت بتعيين قيمة عالية، يمكن أن تبقى المجموعة خاملة بالنسبة لك لتسجيل الدخول لبعض أغراض استكشاف الأخطاء وإصلاحها ولكنها قد تؤدي إلى تكاليف عالية. لذلك، من المهم تعيين القيمة المناسبة استناداً إلى احتياجاتك. إذا عُينت قيمة الخاصية timetolive بشكل مناسب، فيمكن للمسارات المتعددة مشاركة مثيل نظام مجموعة HDInsight عند الطلب.	‏‏نعم‬
clusterType	نوع نظام المجموعة HDInsight التي سيتم إنشاؤها. القيم المسموح بها هي "hadoop" و"spark". إذا لم تُحدد، فإن القيمة الافتراضية هي hadoop. لا يمكن إنشاء نظام مجموعة Enterprise Security Package المُمكّنة عند الطلب، بدلاً من ذلك استخدام نظام المجموعة الموجودة/ إحضار الحساب الخاص بك.	لا
إصدار	إصدار نظام مجموعة HDInsight. إذا لم يُحدد، فإنه يستخدم إصدار HDInsight الافتراضي الحالي المحدد.	لا
hostSubscriptionId	مُعرّف اشتراك Azure المُستخدم لإنشاء نظام مجموعة HDInsight. إذا لم يُحدد، فإنه يستخدم مُعرّف الاشتراك لسياق تسجيل دخول Azure.	لا
clusterNamePrefix	بادئة اسم نظام مجموعة HDI، يُلحق الطابع الزمني تلقائياً في نهاية اسم نظام المجموعة	لا
sparkVersion	إصدار spark إذا كان نوع نظام المجموعة هو "Spark"	لا
additionalLinkedServiceNames	تحديد حسابات تخزين إضافية لخدمة HDInsight المرتبطة لذا يمكن للخدمة تسجيلها نيابة عنك. يجب أن تكون حسابات التخزين هذه في نفس المنطقة مثل نظام المجموعة HDInsight الذي يتم إنشاؤه في نفس المنطقة مثل حساب التخزين المحدد بواسطة linkedServiceName.	لا
osType	نوع نظام التشغيل. القيم المسموح بها هي: Linux وWindows (لـ HDInsight 3.3 فقط). الافتراضي هو Linux.	لا
hcatalogLinkedServiceName	اسم Azure SQL linked service التي تشير إلى قاعدة بيانات HCatalog. يُنشأ نظام مجموعة HDInsight عند الطلب باستخدام Azure SQL Database كـ metastore.	لا
connectVia	يُستخدم Integration Runtime لإرسال الأنشطة إلى هذه خدمة HDInsight المرتبطة. بالنسبة للخدمة المرتبطة بـ HDInsight عند الطلب، فإنها تدعم فقط Azure Integration Runtime. إذا لم يتم تحديده، فإنه يستخدم Azure Integration Runtime الافتراضي.	لا
clusterUserName	اسم المستخدم للوصول إلى نظام المجموعة.	لا
clusterPassword	كلمة المرور في نوع سلسلة آمنة للوصول إلى نظام المجموعة.	لا
clusterSshUserName	اسم المستخدم إلى SSH يتصل عن بُعد بعقدة نظام المجموعة (Linux).	لا
clusterSshPassword	كلمة المرور في نوع سلسلة آمنة إلى SSH تتصل عن بُعد بعقدة نظام المجموعة (Linux).	لا
scriptActions	حدد البرنامج النصي لتخصيصات نظام مجموعة HDInsight أثناء إنشاء نظام المجموعة عند الطلب. حالياً، تدعم أداة تأليف واجهة المستخدم تحديد إجراء نصي واحد فقط، ولكن يمكنك تجاوز هذا الحد في JSON (حدد إجراءات متعددة للبرنامج النصي في JSON).	لا

هام

يدعم HDInsight إصدارات نظام مجموعة Hadoop متعددة التي يمكن نشرها. يُنشئ كل خيار إصدار إصداراً محدداً من توزيع Hortonworks Data Platform (HDP) ومجموعة من المكونات المُضمنة في هذا التوزيع. تُحدّث قائمة إصدارات HDInsight المدعومة لتوفير أحدث مكونات النظام البنائي Hadoop والإصلاحات. تأكد من الرجوع دائماً إلى أحدث المعلومات من إصدار HDInsight المدعوم ونوع نظام التشغيل لضمان استخدام الإصدار المدعوم من HDInsight.

هام

حاليا، الخدمات المرتبطة بـ HDInsight لا تدعم HBase، Interactive Query (Hive LLAP)، Storm.

مثال additionalLinkedServiceNames JSON

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

المصادقة الأساسية للخدمة

تتطلب الخدمة المرتبطة بـ HDInsight عند الطلب مصادقة كيان الخدمة لإنشاء نظام مجموعات HDInsight نيابة عنك. لاستخدام المصادقة الأساسية للخدمة، قم بتسجيل كيان تطبيق في معرف Microsoft Entra وامنحه دور المساهم للاشتراك أو مجموعة الموارد التي يتم إنشاء مجموعة HDInsight فيها. للحصول على خطوات مفصلة، راجع استخدام المدخل لإنشاء تطبيق Microsoft Entra ومدير الخدمة الذي يمكنه الوصول إلى الموارد. دون القيم التالية التي تستخدمها لتعريف الخدمة المرتبطة:

مُعرّف التطبيق
مفتاح التطبيق
معرف المستأجر

استخدام مصادقة كيان الخدمة عن طريق تحديد الخصائص التالية:

الخاصية	الوصف	مطلوب
servicePrincipalId	حدد معرّف عميل التطبيق.	‏‏نعم‬
servicePrincipalKey	حدِّد مفتاح التطبيق.	‏‏نعم‬
tenant	حدد معلومات المستأجر (اسم المجال أو معرف المستأجر) التي يوجد داخلها التطبيق. يمكنك استرداده عن طريق تمرير الماوس في الزاوية العلوية اليمنى من مدخل Microsoft Azure.	‏‏نعم‬

خصائص متقدمة

يمكنك أيضا تحديد الخصائص التالية للتكوين متعدد المستويات لنظام مجموعة HDInsight عند الطلب.

الخاصية	الوصف	مطلوب
coreConfiguration	تُحدد معلمات التكوين الأساسية (كما في core-site.xml) لإنشاء نظام مجموعة HDInsight.	لا
hBaseConfiguration	لتحديد معلمات تكوين HBase (hbase-site.xml) لنظام مجموعة HDInsight.	لا
hdfsConfiguration	لتحديد معلمات تكوين HDFS (hdfs-site.xml) لنظام مجموعة HDInsight.	لا
hiveConfiguration	تُحدد معلمات تكوين hive (hive-site.xml) لنظام مجموعة HDInsight.	لا
mapReduceConfiguration	لتحديد معلمات تكوين MapReduce (mapred-site.xml) لنظام مجموعة HDInsight.	لا
oozieConfiguration	لتحديد معلمات تكوين Oozie (oozie-site.xml) لنظام مجموعة HDInsight.	لا
stormConfiguration	لتحديد معلمات تكوين Storm (storm-site.xml) لنظام مجموعة HDInsight.	لا
yarnConfiguration	تُحدد معلمات تكوين Yarn (yarn-site.xml) لنظام مجموعة HDInsight.	لا

مثال - تكوين مجموعة HDInsight عند الطلب مع خصائص متقدمة

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenent id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

أحجام العقدة

يمكنك تحديد أحجام عقدة الرأس والبيانات وعقد حارس الحديقة باستخدام الخصائص التالية:

الخاصية	الوصف	مطلوب
headNodeSize	تُحدد حجم عقدة الرأس. القيمة الافتراضية هي: Standard_D3. راجع قسم تحديد أحجام العقدة للحصول على مزيدٍ من التفاصيل.	لا
dataNodeSize	تُحدد حجم عقدة البيانات. القيمة الافتراضية هي: Standard_D3.	لا
zookeeperNodeSize	تحديد حجم عقدة حارس الحديقة. القيمة الافتراضية هي: Standard_D3.	لا

تحديد أحجام العقد، راجع مقالة أحجام الأجهزة الظاهرية لقيم السلسلة التي تحتاج إلى تحديدها للخصائص المذكورة في المقطع السابق. تحتاج القيم إلى تطابق مع CMDLETs & APIS المُشار إليها في المقالة. كما ترى في المقالة، تحتوي عقدة البيانات ذات الحجم الكبير (الافتراضي) على ذاكرة 7 غيغابايت، والتي قد لا تكون جيدة بما يكفي للسيناريو الخاص بك.

إذا كنت ترغب في إنشاء عُقد رأس بحجم D4 وعُقد عاملة، حدد "Standard_D4" كقيمة لخصائص headNodeSize و dataNodeSize.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

إذا قمت بتحديد قيمة خاطئة لهذه الخصائص، فقد تتلقى الخطأ التالي : فشل إنشاء نظام المجموعة. استثناء: غير قادر على إكمال عملية إنشاء نظام المجموعة. فشلت العملية مع رمز "400". حالة نظام المجموعة المتروك: "خطأ". الرسالة: "PreClusterCreationValidationFailure". عند ظهور هذا الخطأ، تأكد من استخدام اسم CMDLET & APIS من الجدول في المقالة أحجام الأجهزة الظاهرية.

جلب بيئة الحساب الخاصة بك

في هذا النوع من التكوين، يمكن للمستخدمين تسجيل بيئة حساب موجودة بالفعل كخدمة مرتبطة. تُدار بيئة الحساب بواسطة المستخدم، وتستخدم الخدمة لتنفيذ الأنشطة.

هذا النوع من التكوين مدعوم لبيئات الحساب التالية:

Azure HDInsight
Azure Batch
Azure Machine Learning
Azure Data Lake Analytics
Azure SQL DB وAzure Synapse Analytics وSQL Server

خدمة مرتبطة بـ Azure HDInsight

يمكنك إنشاء خدمة مرتبطة بـ Azure HDInsight لتسجيل نظام مجموعة HDInsight الخاصة بك مع مصنع بيانات أو مساحة عمل Synapse.

مثال

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

الخصائص

الخاصية	الوصف	مطلوب
النوع	يجب تعيين خاصية النوع إلى HDInsight.	‏‏نعم‬
clusterUri	عنوان "URL" من مجموعة HDInsight.	‏‏نعم‬
اسم المستخدم	حدد اسم المستخدم ليتم استخدامه للاتصال بمجموعة HDInsight القائمة.	‏‏نعم‬
كلمة المرور	تحديد كلمة المرور لحساب المستخدم.	‏‏نعم‬
linkedServiceName	اسم خدمة Azure Storage المرتبطة التي تشير إلى Azure blob storage المُستخدم من قِبل نظام مجموعة HDInsight. حالياً، لا يمكنك تحديد خدمة Azure Data Lake Storage (Gen 2) المرتبطة لهذه الخاصية. إذا كان نظام مجموعة HDInsight لديه حق الوصول إلى Data Lake Store، يمكنك الوصول إلى البيانات في Azure Data Lake Storage (Gen 2) من البرامج النصية Hive/Pig.	‏‏نعم‬
isEspEnabled	حدد 'true' إذا مُكّنَ Enterprise Security Package لنظام مجموعة HDInsight. الوضع الافتراضي "false".	لا
connectVia	يُستخدم Integration Runtime لإرسال الأنشطة إلى هذه الخدمة المرتبطة. يمكنك استخدام Integration Runtime أو وقت تشغيل التكامل المستضاف ذاتياً. إذا لم يتم تحديده، فإنه يستخدم Azure Integration Runtime الافتراضي. مكّنت Enterprise Security Package (ESP) نظام مجموعة HDInsight من استخدام وقت تشغيل التكامل المُستضاف ذاتياً، الذي يحتوي على خط إطلاع على نظام مجموعة أو يجب أن ينشره داخل نفس الشبكة الظاهرية مثل نظام مجموعة ESP HDInsight.	لا

هام

حاليا، الخدمات المرتبطة بـ HDInsight لا تدعم HBase، Interactive Query (Hive LLAP)، Storm.

الخدمة المرتبطة Azure Batch

إشعار

نوصي باستخدام الوحدة النمطية Azure Az PowerShell للتفاعل مع Azure. للبدء، راجع تثبيت Azure PowerShell. لمعرفة كيفية الترحيل إلى الوحدة النمطية Az PowerShell، راجع ترحيل Azure PowerShell من AzureRM إلى Az.

يمكنك إنشاء خدمة مرتبطة بـ Azure Batch لتسجيل تجمع دُفعات من الأجهزة الظاهرية (VMs) إلى مساحة عمل بيانات أو Synapse. يمكنك تشغيل نشاط مُخصص باستخدام Azure Batch.

راجع المقالات التالية إذا كنت جديدا على خدمة Azure Batch:

أساسيات Azure Batch للحصول على نظرة عامة حول خدمة Azure Batch.
New-AzBatchAccount cmdlet لإنشاء حساب Azure Batch (أو) مدخل Azure لإنشاء حساب Azure Batch باستخدام مدخل Azure. راجع مقالة استخدام PowerShell لإدارة حساب Azure Batch للحصول على إرشادات مفصلة حول استخدام cmdlet.
New-AzBatchPool cmdlet لإنشاء مجموعة Azure Batch.

هام

عند إنشاء مجموعة Azure Batch جديدة، يجب استخدام "VirtualMachineConfiguration" وليس "CloudServiceConfiguration". لمزيد من التفاصيل راجع إرشادات ترحيل مجموعة Azure Batch.

مثال

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

الخصائص

الخاصية	الوصف	مطلوب
النوع	يجب تعيين خاصية النوع إلى AzureBatch.	‏‏نعم‬
accountName	اسم حساب Azure Batch.	‏‏نعم‬
accessKey	مفتاح الوصول لحساب Azure Batch.	‏‏نعم‬
batchUri	عنوان موقع ويب URL لحساب Azure Batch الخاص بك، بتنسيق https://batchaccountname.region.batch.azure.com.	‏‏نعم‬
poolName	اسم تجمع الأجهزة الظاهرية.	‏‏نعم‬
linkedServiceName	اسم الخدمة المرتبطة بـ Azure Storage المقترنة بالخدمة المرتبطة بـ Azure Batch. تُستخدم هذه الخدمة المرتبطة لتنظيم الملفات المطلوبة لتشغيل النشاط.	‏‏نعم‬
connectVia	يُستخدم Integration Runtime لإرسال الأنشطة إلى هذه الخدمة المرتبطة. يمكنك استخدام Integration Runtime أو وقت تشغيل التكامل المستضاف ذاتياً. إذا لم يتم تحديده، فإنه يستخدم Azure Integration Runtime الافتراضي.	لا

خدمة مرتبطة بـ Machine Learning Studio (الكلاسيكي)

هام

يتم إيقاف وثائق التعلم الآلي Studio (الكلاسيكي) وقد لا يتم تحديثها في المستقبل.

يمكنك إنشاء خدمة مرتبطة التعلم الآلي Studio (كلاسيكي) لتسجيل نقطة نهاية تسجيل دفعة التعلم الآلي Studio (كلاسيكي) إلى مصنع بيانات أو مساحة عمل Synapse.

مثال

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

الخصائص

الخاصية	الوصف	مطلوب
نوع	يجب تعيين خاصية النوع إلى: AzureML.	‏‏نعم‬
mlEndpoint	عنوان "URL" لتسجيل الدفعة.	‏‏نعم‬
apiKey	واجهة برمجة التطبيقات API الخاصة بنموذج مساحة العمل المنشورة.	‏‏نعم‬
updateResourceEndpoint	عنوان ويب تحديث الموارد (URL) لنقطة تقديم خدمة التعلم الآلي من Microsoft Azure Studio (كلاسيكي) المستخدمة لتحديث خدمة الويب التنبؤية مع ملف نموذج متدرب	لا
servicePrincipalId	حدد معرّف عميل التطبيق.	مطلوب في حالة تحديد updateResourceEndpoint
servicePrincipalKey	حدِّد مفتاح التطبيق.	مطلوب في حالة تحديد updateResourceEndpoint
tenant	حدد معلومات المستأجر (اسم المجال أو معرف المستأجر) التي يوجد داخلها التطبيق. يمكنك استرداده عن طريق تمرير الماوس في الزاوية العلوية اليمنى من مدخل Microsoft Azure.	مطلوب في حالة تحديد updateResourceEndpoint
connectVia	يُستخدم Integration Runtime لإرسال الأنشطة إلى هذه الخدمة المرتبطة. يمكنك استخدام Integration Runtime أو وقت تشغيل التكامل المستضاف ذاتياً. إذا لم يتم تحديده، فإنه يستخدم Azure Integration Runtime الافتراضي.	لا

خدمة مرتبطة بالتعلم الآلي من Microsoft Azure

إنشاء خدمة مرتبطة بالتعلم الآلي من Microsoft Azure لتوصيل مساحة عمل التعلم الآلي من Microsoft Azure بمصنع بيانات أو مساحة عمل Synapse.

إشعار

حاليا مصادقة كيان الخدمة مدعومة فقط للخدمة المرتبطة بالتعلم الآلي من Microsoft Azure.

مثال

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

الخصائص

الخاصية	الوصف	مطلوب
نوع	يجب تعيين خاصية النوع إلى: AzureMLService.	‏‏نعم‬
subscriptionId	مُعرف اشتراكك في Azure	‏‏نعم‬
resourceGroupName	الاسم	‏‏نعم‬
mlWorkspaceName	اسم مساحة عمل التعلم الآلي من Microsoft Azure	‏‏نعم‬
servicePrincipalId	حدد معرّف عميل التطبيق.	‏‏نعم‬
servicePrincipalKey	حدِّد مفتاح التطبيق.	‏‏نعم‬
tenant	حدد معلومات المستأجر (اسم المجال أو معرف المستأجر) التي يوجد داخلها التطبيق. يمكنك استرداده عن طريق تمرير الماوس في الزاوية العلوية اليمنى من مدخل Microsoft Azure.	مطلوب في حالة تحديد updateResourceEndpoint
connectVia	يُستخدم Integration Runtime لإرسال الأنشطة إلى هذه الخدمة المرتبطة. يمكنك استخدام Integration Runtime أو وقت تشغيل التكامل المستضاف ذاتياً. إذا لم يتم تحديده، فإنه يستخدم Azure Integration Runtime الافتراضي.	لا

خدمة مرتبطة بـ Azure Data Lake Analytics

إنشاء خدمة مرتبطة بـ Azure Data Lake Analytics لربط خدمة حساب Azure Data Lake Analytics بمصنع بيانات أو مساحة عمل Synapse. يشير نشاط Data Lake Analytics U-SQL في المسار إلى هذه الخدمة المرتبطة.

مثال

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

الخصائص

الخاصية	الوصف	مطلوب
النوع	يجب تعيين خاصية النوع إلى: AzureDataLakeAnalytics.	‏‏نعم‬
accountName	اسم حساب Data Lake Analytics.	‏‏نعم‬
dataLakeAnalyticsUri	Azure Data Lake Analytics URI.	لا
subscriptionId	مُعرف اشتراكك في Azure	لا
resourceGroupName	اسم مجموعة موارد Azure	لا
servicePrincipalId	حدد معرّف عميل التطبيق.	‏‏نعم‬
servicePrincipalKey	حدِّد مفتاح التطبيق.	‏‏نعم‬
tenant	حدد معلومات المستأجر (اسم المجال أو معرف المستأجر) التي يوجد داخلها التطبيق. يمكنك استرداده عن طريق تمرير الماوس في الزاوية العلوية اليمنى من مدخل Microsoft Azure.	‏‏نعم‬
connectVia	يُستخدم Integration Runtime لإرسال الأنشطة إلى هذه الخدمة المرتبطة. يمكنك استخدام Integration Runtime أو وقت تشغيل التكامل المستضاف ذاتياً. إذا لم يتم تحديده، فإنه يستخدم Azure Integration Runtime الافتراضي.	لا

خدمة مرتبطة بـ Azure Databricks

يمكنك إنشاء خدمة مرتبطة بـ Azure Databricks لتسجيل مساحة عمل Databricks التي تستخدمها لتشغيل أحمال عمل Databricks (notebook، jar، python).

هام

تدعم الخدمات المرتبطة بـ Databricks تجمعات المثيل ومصادقة الهوية المُدارة التي يُعيّنها النظام.

مثال- استخدام نظام مجموعة مهام جديدة في Databricks

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "YourAccessToken"
            }
        }
    }
}

مثال- استخدام نظام مجموعة تفاعلية موجودة في Databricks

{
    "name": " AzureDataBricksLinkedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "YourAccessToken"
          },
        "existingClusterId": "{clusterId}"
        }
}

الخصائص

الخاصية	الوصف	مطلوب
الاسم	اسم الخدمة المرتبطة	‏‏نعم‬
النوع	يجب تعيين خاصية النوع إلى: Azure Databricks.	‏‏نعم‬
المجال	تحديد Azure Region استناداً إلى منطقة مساحة عمل Databricks. مثال: https://eastus.azuredatabricks.net	‏‏نعم‬
accessToken	الرمز المميز للوصول مطلوب للخدمة للمصادقة على Azure Databricks. يجب إنشاء الرمز المميز للوصول من مساحة عمل databricks. يمكن العثور على مزيد من الخطوات التفصيلية للعثور على الرمز المميز للوصول هنا	لا
MSI	استخدم هوية الخدمة المُدارة (التي يُعينّها النظام) للمصادقة على Azure Databricks. لا تحتاج إلى الرمز المميز للوصول عند استخدام مصادقة 'MSI'. يمكن العثور على مزيد من التفاصيل حول مصادقة الهوية المُدارة هنا	لا
existingClusterId	مُعرّف نظام مجموعة لنظام مجموعة موجودة لتشغيل كافة المهام على هذا. يجب أن يكون نظام المجموعة المنشأ مسبقاً تفاعلياً. قد تحتاج إلى إعادة تشغيل نظام المجموعة يدويا إذا توقف عن الاستجابة. تقترح Databricks تشغيل المهام على نظام مجموعات جديدة للحصول على وثوقية أكبر. يمكنك العثور على مُعرّف نظام المجموعة لمجموعة تفاعلية على مساحة عمل Databricks -> Clusters -> Interactive Cluster Name -> Configuration -> Tags. مزيد من التفاصيل	لا
instancePoolId	مُعرّف تجمع المثيل لتجمع موجود في مساحة عمل Databricks.	لا
newClusterVersion	إصدار Spark من نظام المجموعة. يُنشئ نظام مجموعة المهام في Databricks.	لا
newClusterNumOfWorker	عدد العُقد العاملة التي يجب أن تكون في نظام المجموعة هذا. يحتوي نظام المجموعة على برنامج تشغيل Spark واحد و منفذي num_workers لإجمالي عقد num_workers + 1 Spark. سلسلة منسقة Int32، مثل "1" يعني أن numOfWorker هو 1 أو "1:10" يعني تحجيم تلقائي من 1 كحد أدنى و10 كحد أقصى.	لا
newClusterNodeType	يُرمّز هذا الحقل الموارد المتوفرة لكل عقدة Spark في نظام المجموعة هذا، من خلال قيمة واحدة. على سبيل المثال، يمكن توفير عُقد Spark وتحسينها للذاكرة أو حساب أحمال العمل المكثفة. هذا الحقل مطلوب نظام المجموعة الجديدة	لا
newClusterSparkConf	مجموعة من أزواج قيم مفاتيح تكوين Spark الاختيارية المُحددة بواسطة المستخدم. يمكن للمستخدمين أيضا تمرير سلسلة من خيارات JVM إضافية إلى برنامج التشغيل والمنفذين عبر spark.driver.extraJavaOptions وspark.executor.extraJavaOptions على التوالي.	لا
newClusterInitScripts	مجموعة من البرامج النصية الاختيارية للتهيئة المُعرّفة بواسطة المستخدم لنظام المجموعة الجديدة. يمكنك تحديد البرامج النصية init في ملفات مساحة العمل (مستحسن) أو عبر مسار DBFS (قديم).	لا

خدمة مرتبطة Azure SQL Database

إنشاء خدمة مرتبطة بـ Azure SQL واستخدامها مع نشاط الإجراء المُخزّن لاستدعاء إجراء مُخزّن من المسار. راجع مقالة موصل Azure SQL للحصول على تفاصيل حول هذه الخدمة المرتبطة.

خدمة مرتبطة بـ Azure Synapse Analytics

إنشاء خدمة مرتبطة بـ Azure Synapse Analytics واستخدامها مع نشاط الإجراء المُخزّن لاستدعاء إجراء مُخزّن من المسار. راجع مقال موصل Azure Synapse Analytics للحصول على تفاصيل حول هذه الخدمة المرتبطة.

خدمة مرتبطة بـ SQL Server

إنشاء خدمة مرتبطة بـ SQL Server واستخدامها مع نشاط الإجراء المُخزّن لاستدعاء إجراء مُخزّن من المسار. راجع مقالة موصل SQL Server للحصول على تفاصيل حول هذه الخدمة المرتبطة.

خدمة مرتبطة ب Azure Synapse Analytics (Artifacts)

يمكنك إنشاء خدمة مرتبطة ب Azure Synapse Analytics (Artifacts) واستخدامها مع نشاط دفتر ملاحظات Synapse ونشاط تعريف وظيفة Synapse Spark.

مثال

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntergrationRuntimeReference"
        }
    }
}

الخصائص

الخاصية	الوصف	مطلوب
الاسم	اسم الخدمة المرتبطة	‏‏نعم‬
الوصف	وصف الخدمة المرتبطة	لا
التعليقات التوضيحية	التعليقات التوضيحية للخدمة المرتبطة	لا
النوع	يجب تعيين خاصية النوع إلى AzureSynapseArtifacts	‏‏نعم‬
نقطة النهاية	عنوان URL لتحليلات Azure Synapse	‏‏نعم‬
المصادقة	الإعداد الافتراضي هو الهوية المدارة المعينة من قبل النظام	‏‏نعم‬
workspaceResourceId	معرف مورد مساحة العمل	‏‏نعم‬
connectVia	يُستخدم وقت تشغيل التكامل للاتصال بمخزن البيانات. يمكنك استخدام وقت تشغيل تكامل Azure. إذا لم يتم تحديده، فإنه يستخدم Azure Integration Runtime الافتراضي. وقت تشغيل التكامل المستضاف ذاتيا غير مدعوم حاليا.	‏‏نعم‬

الخدمة المرتبطة لـ Azure Function

إنشاء خدمة مرتبطة بوظيفة Azure واستخدامها مع نشاط وظيفة Azure لتشغيل وظائف Azure في المسار. يجب أن يكون نوع إرجاع دالة Azure JObject صالحاً. (ضع في اعتبارك أن JArray ليس JObject.) أي نوع إرجاع بخلاف JObject يفشل ويطرح خطأ المستخدم محتوى الاستجابة ليس JObject صالحاً.

الخاصية	الوصف	مطلوب
النوع	يجب تعيين خاصية النوع إلى: AzureFunction	yes
URL تطيبق الوظائف	عنوان URL لتطيبق وظائف Azure. التنسيق هو `https://<accountname>.azurewebsites.net`. عنوان URL هو القيمة الموجودة ضمن قسم URL عند عرض تطيبق الوظائف في مدخل Microsoft Azure	yes
مفتاح الوظيفة	مفتاح الوصول لوظيفة Azure. انقر على القسم "Manage" للوظيفة المعنية، وانسخ إما "Function Key " أو "Host key". تعرف على المزيد هنا: استخدام مفاتيح الوصول	yes

للحصول على قائمة بأنشطة التحويل المدعومة، راجع تحويل البيانات.

مشاركة عبر

بيئات الحساب المدعومة من Azure Data Factory ومسارات Synapse

بيئة الحساب HDInsight

خدمة Azure HDInsight المرتبطة عند الطلب

مثال

الخصائص

المصادقة الأساسية للخدمة

خصائص متقدمة

أحجام العقدة

جلب بيئة الحساب الخاصة بك

خدمة مرتبطة بـ Azure HDInsight

مثال

الخصائص

الخدمة المرتبطة Azure Batch

مثال

الخصائص

خدمة مرتبطة بـ Machine Learning Studio (الكلاسيكي)

مثال

الخصائص

خدمة مرتبطة بالتعلم الآلي من Microsoft Azure

مثال

الخصائص

خدمة مرتبطة بـ Azure Data Lake Analytics

مثال

الخصائص

خدمة مرتبطة بـ Azure Databricks

مثال- استخدام نظام مجموعة مهام جديدة في Databricks

مثال- استخدام نظام مجموعة تفاعلية موجودة في Databricks

الخصائص

خدمة مرتبطة Azure SQL Database

خدمة مرتبطة بـ Azure Synapse Analytics

خدمة مرتبطة بـ SQL Server

خدمة مرتبطة ب Azure Synapse Analytics (Artifacts)

مثال

الخصائص

الخدمة المرتبطة لـ Azure Function

الملاحظات

الموارد الإضافية

مشاركة عبر

بيئات الحساب المدعومة من Azure Data Factory ومسارات Synapse

بيئة الحساب HDInsight

خدمة Azure HDInsight المرتبطة عند الطلب

مثال

الخصائص

المصادقة الأساسية للخدمة

خصائص متقدمة

أحجام العقدة

جلب بيئة الحساب الخاصة بك

خدمة مرتبطة بـ Azure HDInsight

مثال

الخصائص

الخدمة المرتبطة Azure Batch

مثال

الخصائص

خدمة مرتبطة بـ Machine Learning Studio (الكلاسيكي)

مثال

الخصائص

خدمة مرتبطة بالتعلم الآلي من Microsoft Azure

مثال

الخصائص

خدمة مرتبطة بـ Azure Data Lake Analytics

مثال

الخصائص

خدمة مرتبطة بـ Azure Databricks

مثال- استخدام نظام مجموعة مهام جديدة في Databricks

مثال- استخدام نظام مجموعة تفاعلية موجودة في Databricks

الخصائص

خدمة مرتبطة Azure SQL Database

خدمة مرتبطة بـ Azure Synapse Analytics

خدمة مرتبطة بـ SQL Server

خدمة مرتبطة ب Azure Synapse Analytics (Artifacts)

مثال

الخصائص

الخدمة المرتبطة لـ Azure Function

المحتوى ذو الصلة

الملاحظات

الموارد الإضافية