مشاركة عبر

انسخ البيانات إلى أو من Azure Data Explorer باستخدام Azure Data Factory أو Synapse Analytics

  • مقالة

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

توضح هذه المقالة كيفية استخدام نشاط النسخ في Azure Data Factory وومسارات Synapse Analytics لنسخ البيانات من أو إلى Azure Data Explorer. فهي تعتمد على مقالة نظرة عامة على نشاط النسخ التي تقدم نظرة عامة على نشاط النسخ.

تلميح

لمعرفة المزيد حول تكامل Azure Data Explorer مع الخدمة، اقرأ بشكل عام تكامل Azure Data Explorer.

القدرات المدعومة

موصل Azure Data Explorer هذا مدعوم للإمكانيات التالية:

القدرات المدعومة IR
Copy activity (المصدر/المتلق) (1) (2)
تعيين تدفق البيانات (المصدر/ المتلقي) (1)
نشاط البحث (1) (2)

① وقت تشغيل تكامل Azure ② وقت تشغيل التكامل المستضاف ذاتيًا

يمكنك نسخ البيانات من أي مخزن بيانات مصدر معتمد إلى Azure Data Explorer. يمكنك أيضاً نسخ البيانات من Azure Data Explorer إلى أي مخزن بيانات متلقي معتمد. للحصول على قائمة مخازن البيانات المعتمدة كمصادر ومواضع تلقي، راجع جدول مخازن البيانات المعتمدة.

إشعار

نسخ البيانات من أو إلى Azure Data Explorer من خلال مخزن بيانات محلي باستخدام وقت تشغيل التكامل المستضاف ذاتياً معتمد في الإصدار 3.14 والإصدارات الأحدث.

باستخدام موصل Azure Data Explorer، يمكنك القيام بما يلي:

  • انسخ البيانات باستخدام مصادقة الرمز المميز لتطبيق Microsoft Entra مع كيان الخدمة.
  • كمصدر، استرد البيانات باستخدام استعلام KQL‏ (Kusto).
  • كمتلقي، ألحق البيانات إلى جدول الوجهة.

الشروع في العمل

تلميح

للحصول على معاينة موصل Azure Data Explorer، راجع نسخ البيانات إلى/من Azure Data Explorerوالنسخ المجمع من قاعدة بيانات إلى Azure Data Explorer.

لتنفيذ نشاط النسخ باستخدام أحد المسارات، يمكنك استخدام إحدى الأدوات أو عدد تطوير البرامج التالية:

إنشاء خدمة مرتبطة بـ Azure Data Explorer باستخدام واجهة المستخدم

استخدم الخطوات التالية لإنشاء خدمة مرتبطة إلى Azure Data Explorer في واجهة مستخدم مدخل Azure.

  1. استعرض للوصول إلى علامة التبويب "Manage" في مصنع بيانات Azure أو مساحة عمل Synapse، وحدد "Linked Services"، ثم انقر فوق "New":

  2. ابحث عن مستكشف وحدد موصل Azure Data Explorer‏ (Kusto).

    لقطة شاشة لموصل Azure Data Explorer‏ (Kusto).

  3. قم بتكوين تفاصيل الخدمة، واختبر الاتصال، وأنشئ الخدمة المرتبطة الجديدة.

    لقطة شاشة لتكوين الخدمة المرتبطة لـ Azure Data Explorer.

تفاصيل تكوين الموصل

توفر المقاطع التالية تفاصيل حول الخصائص المستخدمة لتعريف الكيانات الخاصة بموصل Azure Data Explorer.

خصائص الخدمة المرتبطة

يدعم موصل Azure Data Explorer أنواع المصادقة التالية. راجع المقاطع المقابلة للحصول على التفاصيل:

المصادقة الأساسية للخدمة

لاستخدام المصادقة الأساسية للخدمة اتبع الخطوات التالية للحصول على كيان خدمة ومنح الأذونات:

  1. تسجيل تطبيق باستخدام النظام الأساسي للهويات في Microsoft. لمعرفة كيفية إجراء ذلك، راجع التشغيل السريع: تسجيل تطبيق باستخدام النظام الأساسي للهويات في Microsoft. دون هذه القيم التي تستخدمها لتعريف الخدمة المرتبطة:

    • مُعرّف التطبيق
    • مفتاح التطبيق
    • معرف المستأجر

  2. منح كيان الخدمة الأذونات الصحيحة في Azure Data Explorer. راجع إدارة أذونات قاعدة بيانات Azure Data Explorer للحصول على معلومات مفصلة حول الأدوار والأذونات وحول إدارة الأذونات. بشكل عام، يجب عليك:

    • كمصدر، منح دور عارض قاعدة البيانات على الأقل إلى قاعدة البيانات الخاصة بك
    • كمتلقي، امنح على الأقل دور مستخدم قاعدة البيانات إلى قاعدة البيانات الخاصة بك

إشعار

عند استخدام واجهة المستخدم للمؤلف، يتم استخدام حساب مستخدم تسجيل الدخول بشكل افتراضي لسرد مجموعات Azure Data Explorer وقواعد البيانات والجداول. يمكنك اختيار سرد الكائنات باستخدام كيان الخدمة بالنقر فوق القائمة المنسدلة بجوار زر التحديث، أو إدخال الاسم يدوياً إذا لم يكن لديك إذن لهذه العمليات.

يتم اعتماد الخصائص التالية لخدمة Azure Data Explorer المرتبطة:

الخاصية الوصف مطلوب
النوع يجب تعيين خاصية النوع إلى: AzureDataExplorer. ‏‏نعم‬
نقطة النهاية عنوان URL لنقطة النهاية لمجموعة Azure Data Explorer، بتنسيق مثل https://<clusterName>.<regionName>.kusto.windows.net. ‏‏نعم‬
قاعدة بيانات اسم قاعدة البيانات. ‏‏نعم‬
tenant حدد معلومات المستأجر (اسم المجال أو معرف المستأجر) التي يوجد داخلها التطبيق. يعرف هذا باسم "معرف السلطة" في سلسلة اتصال Kusto. قم باسترداده عن طريق تمرير مؤشر الماوس في الزاوية العلوية اليمنى من مدخل Azure. ‏‏نعم‬
servicePrincipalId حدد معرّف عميل التطبيق. يعرف هذا باسم "معرف عميل تطبيق Microsoft Entra" في Kusto سلسلة الاتصال. ‏‏نعم‬
servicePrincipalKey حدِّد مفتاح التطبيق. يعرف هذا باسم "مفتاح تطبيق Microsoft Entra" في Kusto سلسلة الاتصال. ضع علامة على هذا الحقل باعتباره SecureString لتخزينه بشكل آمن، أو يمكنك الإشارة إلى البيانات الآمنة المخزنة في Azure Key Vault. ‏‏نعم‬
connectVia يُستخدم وقت تشغيل التكامل للاتصال بمخزن البيانات. يمكنك استخدام وقت تشغيل تكامل Azure أو وقت تشغيل تكامل مستضاف ذاتياً إذا كان مخزن البيانات الخاص بك في شبكة خاصة. في حالة عدم التحديد، يُستخدم وقت تشغيل تكامل Azure الافتراضي. لا

مثال: استخدام مصادقة مفتاح كيان الخدمة

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "tenant": "<tenant name/id e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            }
        }
    }
}

مصادقة الهوية المدارة المعينة من قبل النظام

ولمعرفة المزيد عن الهويات المدارة لموارد Azure، راجع الهويات المدارة لموارد Azure.

لاستخدام مصادقة الهوية المدارة المعينة من قبل النظام، اتبع الخطوات التالية لمنح الأذونات:

  1. قم باسترداد معلومات الهوية المُدارة من خلال نسخ قيمة معرّف كائن الهوية المدارة الذي تم إنشاؤها مع المصنع أو مساحة عمل Synapse.

  2. امنح الهوية المدارة الأذونات الصحيحة في Azure Data Explorer. راجع إدارة أذونات قاعدة بيانات Azure Data Explorer للحصول على معلومات مفصلة حول الأدوار والأذونات وحول إدارة الأذونات. بشكل عام، يجب عليك:

    • كمصدر، امنح دور عارض قاعدة البيانات إلى قاعدة البيانات الخاصة بك.
    • كمتلقي، امنح أدوار عارض قاعدة البيانات ومعرض قاعدة البيانات إلى قاعدة البيانات الخاصة بك.

إشعار

عند استخدام واجهة المستخدم للمؤلف، يتم استخدام حساب مستخدم تسجيل الدخول لسرد مجموعات Azure Data Explorer وقواعد البيانات والجداول. أدخل الاسم يدوياً إذا لم يكن لديك إذن لهذه العمليات.

يتم اعتماد الخصائص التالية لخدمة Azure Data Explorer المرتبطة:

الخاصية الوصف مطلوب
النوع يجب تعيين خاصية النوع إلى: AzureDataExplorer. ‏‏نعم‬
نقطة النهاية عنوان URL لنقطة النهاية لمجموعة Azure Data Explorer، بتنسيق مثل https://<clusterName>.<regionName>.kusto.windows.net. ‏‏نعم‬
قاعدة بيانات اسم قاعدة البيانات. ‏‏نعم‬
connectVia يُستخدم وقت تشغيل التكامل للاتصال بمخزن البيانات. يمكنك استخدام وقت تشغيل تكامل Azure أو وقت تشغيل تكامل مستضاف ذاتياً إذا كان مخزن البيانات الخاص بك في شبكة خاصة. في حالة عدم التحديد، يُستخدم وقت تشغيل تكامل Azure الافتراضي. لا

مثال: استخدام مصادقة الهوية المدارة المعينة من قبل النظام

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
        }
    }
}

مصادقة الهوية المدارة المعينة من قبل المستخدم

لمعرفة المزيد حول الهويات المدارة لموارد Azure، راجع الهويات المدارة لموارد Azure

لاستخدام مصادقة الهوية المدارة المعينة من قبل المستخدم اتبع الخطوات التالية:

  1. إنشاء هوية مدارة واحدة أو متعددة من قبل المستخدمين ومنح الإذن في Azure Data Explorer. راجع إدارة أذونات قاعدة بيانات Azure Data Explorer للحصول على معلومات مفصلة حول الأدوار والأذونات وحول إدارة الأذونات. بشكل عام، يجب عليك:

    • كمصدر، منح دور عارض قاعدة البيانات على الأقل إلى قاعدة البيانات الخاصة بك
    • كمتلقي، منح دور عارض قاعدة البيانات على الأقل إلى قاعدة البيانات الخاصة بك

  2. تعيين هوية مدارة معينة من قبل مستخدم واحد أو متعدد إلى مصنع البيانات أو مساحة عمل Synapse وإنشاء بيانات اعتماد لكل هوية مدارة معينة من قبل المستخدم.

يتم اعتماد الخصائص التالية لخدمة Azure Data Explorer المرتبطة:

الخاصية الوصف مطلوب
النوع يجب تعيين خاصية النوع إلى: AzureDataExplorer. ‏‏نعم‬
نقطة النهاية عنوان URL لنقطة النهاية لمجموعة Azure Data Explorer، بتنسيق مثل https://<clusterName>.<regionName>.kusto.windows.net. ‏‏نعم‬
قاعدة بيانات اسم قاعدة البيانات. ‏‏نعم‬
بيانات الاعتماد حدد الهوية المدارة المعينة من قبل المستخدم ككائن بيانات الاعتماد. ‏‏نعم‬
connectVia يُستخدم وقت تشغيل التكامل للاتصال بمخزن البيانات. يمكنك استخدام وقت تشغيل تكامل Azure أو وقت تشغيل تكامل مستضاف ذاتياً إذا كان مخزن البيانات الخاص بك في شبكة خاصة. في حالة عدم التحديد، يُستخدم وقت تشغيل تكامل Azure الافتراضي. لا

مثال: استخدام مصادقة الهوية المدارة المعينة من قبل المستخدم

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        }
    }
}

خصائص مجموعة البيانات

للاطلاع على قائمة كاملة للأقسام والخصائص المتوفرة لتحديد مجموعات البيانات، راجع مجموعات البيانات. يسرد هذا المقطع الخصائص التي تدعمها مجموعة بيانات Azure Data Explorer.

لنسخ البيانات إلى Azure Data Explorer، قم بتعيين خاصية نوع مجموعة البيانات إلى AzureDataExplorerTable.

تدعم الخصائص التالية:

الخاصية الوصف مطلوب
النوع يجب تعيين خاصية النوع إلى AzureDataExplorerTable. ‏‏نعم‬
طاولتنا اسم الجدول الذي تشير إليه الخدمة المرتبطة. نعم للمتلقي ولا للمصدر

مثال خصائص مجموعة البيانات:

{
   "name": "AzureDataExplorerDataset",
    "properties": {
        "type": "AzureDataExplorerTable",
        "typeProperties": {
            "table": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Azure Data Explorer linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

انسخ خصائص النشاط

للحصول على قائمة كاملة بالأقسام والخصائص المتوفرة لتعريف الأنشطة، راجع خطوط الأنابيب والأنشطة . يوفر هذا القسم قائمة بالخصائص التي تدعمها مصادر ومواضع تلقي Azure Data Explorer.

Azure Data Explorer كمصدر

لنسخ البيانات من Azure Data Explorer، قم بتعيين خاصية النوع في مصدر نشاط النسخ إلى AzureDataExplorerSource. تُدعم الخصائص التالية في قسم مصدر نشاط النسخ:

الخاصية الوصف مطلوب
النوع يجب تعيين خاصية النوع لمصدر نشاط النسخ إلى AzureDataExplorerSource ‏‏نعم‬
استعلام طلب للقراءة فقط في تنسيق KQL. استخدم استعلام KQL المخصص كمرجع. ‏‏نعم‬
queryTimeout مهلة وقت الانتظار قبل طلب الاستعلام. القيمة الافتراضية هي 10 min (00:10:00)؛ القيمة القصوى المسموح بها هي ساعة واحدة (01:00:00). لا
noTruncation يشير إلى ما إذا كان يجب اقتطاع مجموعة النتائج التي تم إرجاعها. بشكل افتراضي، يتم اقتطاع النتيجة بعد 500,000 سجل أو 64 ميغابايت (MB). يوصى بشدة بالاقتطاع لضمان السلوك الصحيح للنشاط. لا

إشعار

بشكل افتراضي، يحتوي مصدر Azure Data Explorer على حد للحجم يبلغ 500000 سجل أو 64 ميجابايت. لاسترداد جميع السجلات بدون اقتطاع، يمكنك تحديد set notruncation; في بداية الاستعلام. لمزيد من المعلومات، راجع حد الاستعلام.

مثال:

"activities":[
    {
        "name": "CopyFromAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "AzureDataExplorerSource",
                "query": "TestTable1 | take 10",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        },
        "inputs": [
            {
                "referenceName": "<Azure Data Explorer input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Azure Data Explorer كمتلقي

لنسخ البيانات إلى Azure Data Explorer، قم بتعيين خاصية النوع في مصدر نشاط النسخ إلى AzureDataExplorerSink. تُدعم الخصائص التالية في قسم متلقي نشاط النسخ:

الخاصية الوصف مطلوب
النوع يجب تعيين خاصية النوع لمتلقي نشاط النسخ إلى: AzureDataExplorer Sink. ‏‏نعم‬
ingestionMappingName اسم تعيين تم إنشاؤه مسبقاً على جدول Kusto. لتعيين الأعمدة من المصدر إلى Azure Data Explorer (الذي ينطبق على جميع مخازن المصدر المعتمدة وتنسيقاتها، بما في ذلك تنسيقات CSV/JSON/Avro)، يمكنك استخدام نشاط النسخ تعيين عمود (ضمنياً بالاسم أو بشكل صريح كما تم تكوينه) و/أو تعيينات Azure Data Explorer. لا
additionalProperties حقيبة خصائص يمكن استخدامها لتحديد أي من خصائص التحويل التي لم يتم تعيينها بالفعل بواسطة Azure Data Explorer Sink. على وجه التحديد، يمكن أن يكون مفيدا لتحديد علامات التحويل. تعرف على المزيد من مستند تحويل البيانات Azure Data Explore. لا

مثال:

"activities":[
    {
        "name": "CopyToAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDataExplorerSink",
                "ingestionMappingName": "<optional Azure Data Explorer mapping name>",
                "additionalProperties": {<additional settings for data ingestion>}
            }
        },
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Data Explorer output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

تعيين خصائص تدفق البيانات

عند تحويل البيانات في تعيين تدفق البيانات، يمكنك القراءة من الجداول والكتابة إليها في Azure Data Explorer. لمزيد من المعلومات، راجع تحويل المصدر و تحويل المتلقي في تعيين تدفقات البيانات. يمكنك اختيار استخدام مجموعة بيانات Azure Data Explorer أو مجموعة بيانات مضمنة كنوع ألمصدر والمتلقي.

تحويل المصدر

يسرد الجدول أدناه الخصائص المعتمدة من قبل مصدر Azure Data Explorer. يمكنك تحرير هذه الخصائص في علامة التبويب "Source options".

Name ‏‏الوصف مطلوب القيم المسموح بها خاصية البرنامج النصي لتدفق البيانات
جدول إذا قمت بتحديد جدول كمدخلات، فسيجلب تدفق البيانات جميع البيانات من الجدول المحدد في مجموعة بيانات Azure Data Explorer أو في خيارات المصدر عند استخدام مجموعة البيانات المضمنة. لا السلسلة‬ (لمجموعة البيانات المضمنة فقط)
اسم الجدول
الاستعلام طلب للقراءة فقط في تنسيق KQL. استخدم استعلام KQL المخصص كمرجع. لا السلسلة‬ استعلام
المهلة مهلة وقت الانتظار الافتراضية قبل انقضاء مهلة طلب الاستعلام هي "172000" (يومان) لا رقم صحيح المهلة

أمثلة البرنامج النصي المصدر Azure Data Explorer

عند استخدام مجموعة بيانات Azure Data Explorer كنوع مصدر، يكون البرنامج النصي لتدفق البيانات المقترنة:

source(allowSchemaDrift: true,
	validateSchema: false,
	query: 'table | take 10',
	format: 'query') ~> AzureDataExplorerSource

إذا كنت تستخدم مجموعة بيانات مضمنة، يكون البرنامج النصي لتدفق البيانات المقترنة:

source(allowSchemaDrift: true,
    validateSchema: false,
    format: 'query',
    query: 'table | take 10',
    store: 'azuredataexplorer') ~> AzureDataExplorerSource

تحويل المتلقي

يسرد الجدول أدناه الخصائص المعتمدة من قبل متلقي Azure Data Explorer. يمكنك تحرير هذه الخصائص في علامة التبويب الإعدادات. عند استخدام مجموعة البيانات المضمنة، سترى إعدادات إضافية، وهي نفس الخصائص الموضحة في قسم خصائص مجموعة البيانات.

Name ‏‏الوصف مطلوب القيم المسموح بها خاصية البرنامج النصي لتدفق البيانات
إجراء الجدول يحدد ما إذا كان سيتم إعادة إنشاء أو إزالة كل الصفوف من الجدول الوجهة قبل الكتابة.
- None: لن يتم اتخاذ أي إجراء على الجدول.
- Recreate: سيتم إسقاط الجدول وإعادة إنشائه. مطلوب في حال إنشاء جدول جديد بشكل ديناميكي.
- Truncate: سيتم إزالة جميع الصفوف من الجدول الهدف.		 لا true أو false إعادة إنشاء
اقتطاع
نصوص SQL السابقة واللاحقة حدد أوامر تحكم Kusto التي سيتم تنفيذها قبل (المعالجة المسبقة) وبعد (المعالجة اللاحقة) كتابة البيانات في قاعدة بيانات المتلقي. لا السلسلة‬ preSQLs; postSQLs
المهلة مهلة وقت الانتظار الافتراضية قبل انقضاء مهلة طلب الاستعلام هي "172000" (يومان) لا رقم صحيح المهلة

أمثلة البرنامج النصي المتلقي Azure Data Explorer

عند استخدام مجموعة بيانات Azure Data Explorer كنوع المتلقي، يكون البرنامج النصي لتدفق البيانات المقترنة:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	format: 'table',
	preSQLs:['pre SQL scripts'],
	postSQLs:['post SQL script'],
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

إذا كنت تستخدم مجموعة بيانات مضمنة، يكون البرنامج النصي لتدفق البيانات المقترنة:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    format: 'table',
    store: 'azuredataexplorer',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

بحث عن خصائص النشاط

لمزيد من المعلومات حول الخصائص، راجع نشاط البحث.

المحتوى ذو الصلة