نسخ البيانات من خادم Impala باستخدامAzure Data Factory أو تحليلات Synapse

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

توضح هذه المقالة كيفية استخدام نشاط النسخ فيAzure Data Factory أو البنية الأساسية لتحليلات Synapse لنسخ البيانات من خادم Impala. وهو يستند إلى مقالة نظرة عامة حول نشاط النسخ التي تعرض نظرة عامة حول نشاط النسخ.

هام

الإصدار 1.0 من موصل إمبالا في مرحلة الإزالة. يوصى بترقية موصل Impala من الإصدار 1.0 إلى 2.0.

القدرات المدعومة

يتم دعم موصل Impala هذا للأنشطة التالية:

القدرات المدعومة	الاشعه تحت الحمراء
نشاط النسخ (مصدر/-)	(1) (2)
نشاط البحث	(1) (2)

① وقت تشغيل تكامل Azure ② وقت تشغيل التكامل المستضاف ذاتيًا

للحصول على قائمة مخازن البيانات المدعومة كمصادر أو أحواض بواسطة نشاط النسخ، راجع جدول مخازن البيانات المدعومة.

توفر الخدمة برنامج تشغيل مضمن لتمكين الاتصالية. لذلك، لا تحتاج إلى تثبيت برنامج تشغيل يدوياً لاستخدام هذا الموصل.

المتطلبات الأساسية

إذا كان مخزن البيانات الخاص بك موجوداً داخل شبكة محلية، أو شبكة Azure ظاهرية، أو Amazon Virtual Private Cloud، فأنت بحاجة إلى تكوين وقت تشغيل تكامل مستضاف ذاتياً للاتصال به.

إذا كان مخزن البيانات الخاص بك عبارة عن خدمة بيانات سحابية مُدارة، يمكنك استخدام Azure Integration Runtime. إذا كان الوصول مقتصراً على عناوين IP التي تمت الموافقة عليها في قواعد جدار الحماية، يمكنك إضافة عناوين IP لـ Azure Integration Runtime إلى قائمة السماح.

يمكنك أيضاً استخدام ميزة وقت تشغيل تكامل الشبكة الظاهرية المُدارة في Azure Data Factory للوصول إلى الشبكة المحلية دون تثبيت وقت تشغيل تكامل مستضاف ذاتياً وتكوينه.

لمزيد من المعلومات حول آليات وخيارات أمان الشبكة التي يدعمها Data Factory، راجع إستراتيجيات الوصول إلى البيانات.

ملاحظة

يتم دعم الإصدار 2.0 مع إصدار وقت تشغيل التكامل المستضاف ذاتيا 5.55 أو أعلى.

الشروع في العمل

لتنفيذ نشاط النسخ باستخدام خط أنابيب ، يمكنك استخدام إحدى الأدوات أو مجموعات SDK التالية:

• أداة نسخ البيانات
• مدخل Microsoft Azure
• .NET SDK
• Python SDK
• Azure PowerShell
• واجهة برمجة التطبيقات REST
• قالب Azure Resource Manager

إنشاء خدمة مرتبطة بخادم Impala باستخدام واجهة المستخدم

استخدام الخطوات التالية لإنشاء خدمة مرتبطة بـ Impala في واجهة مستخدم المدخل Azure.

1. استعرض للوصول إلى علامة التبويب "Manage" في مصنع بيانات Azure أو مساحة عمل Synapse، وحدد "Linked Services"، ثم انقر فوق "New":

   مصنع بيانات Azure

   

   Azure Synapse

   

2. ابحث عن خادم Impala وحدد موصل Impala.

   

3. قم بتكوين تفاصيل الخدمة، واختبر الاتصال، وأنشئ الخدمة المرتبطة الجديدة.

   

تفاصيل تكوين الموصل

توفر المقاطع التالية تفاصيل حول الخصائص التي يتم استخدامها لتعريف كيانات مصنع البيانات الخاصة بموصل Impala.

خصائص الخدمة المرتبطة

يدعم موصل Impala الآن الإصدار 2.0. راجع هذا القسم لترقية إصدار موصل Impala من الإصدار 1.0. للحصول على تفاصيل الخاصية، راجع الأقسام المقابلة.

• الإصدار 2.0
• الإصدار 1.0

الإصدار 2.0

تدعم خدمة Impala المرتبطة الخصائص التالية عند تطبيق الإصدار 2.0:

الخاصية	الوصف	مطلوب
النوع	يجب تعيين خاصية النوع إلى: Impala.	‏‏نعم‬
إصدار	الإصدار الذي تحدده. القيمة هي 2.0.	‏‏نعم‬
مضيف	عنوان IP أو اسم المضيف من خادم Impala (يتمثل ذلك في 192.168.222.160).	‏‏نعم‬
المنفذ	منفذ TCP الذي يستخدمه خادم Impala للاستماع إلى اتصالات العميل. القيمة الافتراضية هي 21050.	لا
بروتوكول النقل التوفير	بروتوكول النقل المراد استخدامه في طبقة التوفير. القيم المسموح بها هي: ثنائي، HTTP. القيمة الافتراضية هي Binary.	‏‏نعم‬
نوع المصادقة	نوع المصادقة الذي يجب استخدامه. القيم المسموح بها هي Anonymous و UsernameAndPassword.	‏‏نعم‬
اسم المستخدم	اسم المستخدم للوصول إلى خادم Impala.	لا
كلمة المرور	كلمة المرور التي تتوافق مع اسم المستخدم عند استخدام UsernameAndPassword. ضع علامة على هذا الحقل باعتباره SecureString لتخزينه بشكل آمن، أو قم بالإشارة إلى بيانات سرية مخزنة في Azure Key Vault.	لا
تمكينSsl	تحديد ما إذا كانت الاتصالات بالخادم مشفرة باستخدام برتوكول أمان طبقة النقل. القيمة الافتراضية صحيحة.	لا
enableServerCertificateValidation	حدد ما إذا كنت تريد تمكين التحقق من صحة شهادة SSL للخادم عند الاتصال. استخدم مخزن ثقة النظام دائما. القيمة الافتراضية صحيحة.	لا
connectVia	يُستخدم وقت تشغيل التكامل للاتصال بمخزن البيانات. تعرف على المزيد من قسم المتطلبات الأساسية. إذا لم يتم تحديده، فإنه يستخدم Azure Integration Runtime الافتراضي. يمكنك استخدام وقت تشغيل التكامل المستضاف ذاتيا ويجب أن يكون إصداره 5.55 أو أعلى.	لا

مثال:

{
    "name": "ImpalaLinkedService",
    "properties": {
        "type": "Impala",
        "version": "2.0",
        "typeProperties": {
            "host" : "<host>",
            "port" : "<port>",
            "authenticationType" : "UsernameAndPassword",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "enableSsl": true,
            "thriftTransportProtocol": "Binary",
            "enableServerCertificateValidation": true
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

الإصدار 1.0

يتم دعم الخصائص التالية لخدمة Impala المرتبطة عند تطبيق الإصدار 1.0:

يتم دعم الخصائص التالية لخدمة Impala المرتبطة.

الخاصية	الوصف	مطلوب
النوع	يجب تعيين خاصية النوع إلى: Impala.	‏‏نعم‬
مضيف	عنوان IP أو اسم المضيف من خادم Impala (يتمثل ذلك في 192.168.222.160).	‏‏نعم‬
المنفذ	منفذ TCP الذي يستخدمه خادم Impala للاستماع إلى اتصالات العميل. القيمة الافتراضية هي 21050.	لا
نوع المصادقة	نوع المصادقة الذي يجب استخدامه. القيم المسموح بها هي مجهول، SASLUsername، وUsernameAndPassword.	‏‏نعم‬
اسم المستخدم	اسم المستخدم للوصول إلى خادم Impala. القيمة الافتراضية مجهول عند استخدام SASLUsername.	لا
كلمة المرور	كلمة المرور التي تتوافق مع اسم المستخدم عند استخدام UsernameAndPassword. ضع علامة على هذا الحقل باعتباره SecureString لتخزينه بشكل آمن، أو قم بالإشارة إلى بيانات سرية مخزنة في Azure Key Vault.	لا
تمكينSsl	تحديد ما إذا كانت الاتصالات بالخادم مشفرة باستخدام برتوكول أمان طبقة النقل. القيمة الافتراضية هي false.	لا
مسارCertPath الموثوق به	المسار الكامل لملف.pem الذي يحتوي على شهادات CA موثوقة المستخدمة للتحقق من الخادم عند الاتصال عبر TLS. يمكن تعيين هذه الخاصية فقط عند استخدام TLS في وقت تشغيل التكامل المستضاف ذاتياً Microsoft Integration Runtime. القيمة الافتراضية هي ملف cacerts.pem المثبت مع وقت تشغيل التكامل.	لا
استخدامSystemTrustStore	تحديد ما إذا كنت تريد استخدام شهادة CA من مخزن الثقة بالنظام أو من ملف PEM محدد. القيمة الافتراضية هي false.	لا
allowHostNameCNMismatch	تحديد ما إذا كنت تريد طلب اسم شهادة TLS/SSL بإصدار CA لمطابقة اسم الخادم المضيف عند الاتصال عبر TLS. القيمة الافتراضية هي false.	لا
allowSelfSignedServerCert	يحدد ما إذا كان سيتم السماح بشهادات موقعة ذاتياً من الخادم. القيمة الافتراضية هي false.	لا
connectVia	يُستخدم وقت تشغيل التكامل للاتصال بمخزن البيانات. تعرف على المزيد من قسم المتطلبات الأساسية. إذا لم يتم تحديده، فإنه يستخدم Azure Integration Runtime الافتراضي.	لا

مثال:

{
    "name": "ImpalaLinkedService",
    "properties": {
        "type": "Impala",
        "typeProperties": {
            "host" : "<host>",
            "port" : "<port>",
            "authenticationType" : "UsernameAndPassword",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

خصائص مجموعة البيانات

للحصول على قائمة كاملة بالأقسام والخصائص المتوفرة لتعريف مجموعات البيانات، راجع مقالة مجموعات البيانات. يوفر هذا القسم قائمة بالخصائص التي تدعمها مجموعة بيانات Impala.

لنسخ البيانات من Impala، قم بتعيين خاصية نوع مجموعة البيانات إلى ImpalaObject. تدعم الخصائص التالية:

الخاصية	الوصف	مطلوب
النوع	يجب تعيين خاصية نوع مجموعة البيانات إلى: ImpalaObject	‏‏نعم‬
Schema	اسم المخطط.	لا (إذا تم تحديد "الاستعلام" في مصدر النشاط)
طاولتنا	ضع اسمًا للجدول.	لا (إذا تم تحديد "الاستعلام" في مصدر النشاط)
اسم الجدول	اسم الجدول مع المخطط. هذه الخاصية مدعومة للتوافق مع الإصدارات السابقة. استخدم schema وtable لأحمال العمل الجديدة.	لا (إذا تم تحديد "الاستعلام" في مصدر النشاط)

مثال

{
    "name": "ImpalaDataset",
    "properties": {
        "type": "ImpalaObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Impala linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

انسخ خصائص النشاط

للحصول على قائمة كاملة بالأقسام والخصائص المتوفرة لتعريف الأنشطة، راجع مقالة التدفقات. يوفر هذا القسم قائمة بالخصائص المعتمدة من نوع مصدر Impala.

Impala كنوع مصدر

لنسخ البيانات من Impala، قم بتعيين نوع المصدر في نشاط النسخ إلى ImpalaSource. يتم دعم الخصائص التالية في قسم المصدر لنشاط النسخ.

الخاصية	الوصف	مطلوب
النوع	يجب تعيين خاصية نوع مصدر نشاط النسخ إلى: ImpalaSource.	‏‏نعم‬
استعلام	استخدم استعلام SQL المخصص لقراءة البيانات. مثال على ذلك "SELECT * FROM MyTable" .	لا (إذا تم تحديد "tableName" في مجموعة البيانات)

مثال:

"activities":[
    {
        "name": "CopyFromImpala",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Impala input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "ImpalaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

تعيين نوع البيانات ل Impala

عند نسخ البيانات من وإلى Impala، يتم استخدام تعيينات نوع البيانات المؤقتة التالية داخل الخدمة. لمعرفة كيفية تعيين نشاط النسخ للمخطط المصدر ونوع البيانات إلى المتلقي، راجع تعيينات المخطط ونوع البيانات.

نوع بيانات Impala	نوع بيانات الخدمة المؤقتة (للإصدار 2.0)	نوع بيانات الخدمة المؤقتة (للإصدار 1.0)
صفيف	السلسلة‬	السلسلة‬
BIGINT	int64	int64
منطقيه	قيمة منطقية	قيمة منطقية
شار	السلسلة‬	السلسلة‬
التاريخ	التاريخ والوقت	التاريخ والوقت
عشري	عدد عشري	عدد عشري
مزدوج	مزدوج	مزدوج
حُر	فردي	فردي
الباحث	Int32	Int32
تعيين	السلسلة‬	السلسلة‬
smallint	Int16	Int16
سلسلة	السلسلة‬	السلسلة‬
البنيه	السلسلة‬	السلسلة‬
الطابع الزمني	DateTimeOffset	التاريخ والوقت
TINYINT	SByte	Int16
VARCHAR	السلسلة‬	السلسلة‬

بحث عن خصائص النشاط

لمعرفة تفاصيل حول الخصائص، تحقق من نشاط البحث.

دورة حياة موصل Impala والترقية

يعرض الجدول التالي مرحلة الإصدار وتغيير السجلات لإصدارات مختلفة من موصل Impala:

إصدار	مرحلة الإصدار	سجل التغيير
الإصدار 1.0	Removed	غير قابل للتطبيق.
الإصدار 2.0	يتوفر إصدار GA	• يجب أن يكون إصدار وقت تشغيل التكامل المستضاف ذاتيا 5.55 أو أعلى. • القيمة الافتراضية enableSSL هي true. enableServerCertificateValidationمدعوم. trustedCertPath useSystemTrustStore و allowHostNameCNMismatchو allowSelfSignedServerCert غير معتمدين. • تتم قراءة TIMESTAMP كنوع بيانات DateTimeOffset. • يتم قراءة TINYINT كنوع بيانات SByte. • نوع مصادقة SASLUsername غير مدعوم.

ترقية موصل Impala من الإصدار 1.0 إلى الإصدار 2.0

1. في صفحة تحرير الخدمة المرتبطة ، حدد الإصدار 2.0 وقم بتكوين الخدمة المرتبطة بالإشارة إلى خصائص الخدمة المرتبطة الإصدار 2.0.

2. يختلف تعيين نوع البيانات لإصدار الخدمة المرتبطة Impala 2.0 عن ذلك للإصدار 1.0. لمعرفة أحدث تعيين لنوع البيانات، راجع تعيين نوع البيانات ل Impala.

3. تطبيق وقت تشغيل تكامل مستضاف ذاتيا مع الإصدار 5.55 أو أعلى.

المحتوى ذو الصلة

للحصول على قائمة بمخازن البيانات المدعومة كمصادر ومتلقين من خلال نشاط النسخ، انظر مخازن البيانات المدعومة .