مشاركة عبر

انسخ البيانات من Vertica باستخدام مصنع بيانات Azure أو تحليلات Synapse

  • مقالة

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

توضح هذه المقالة كيفية استخدام نشاط النسخ في مصنع بيانات Azure أو مسار تحليلات Synapse لنسخ البيانات من Vertica. تعتمد هذه المقالة على مقالة نظرة عامة على نشاط النسخ التي تقدم نظرة عامة على نشاط النسخ.

القدرات المدعومة

موصل Vertica هذا مدعوم للإمكانيات التالية:

القدرات المدعومة IR
نشاط النسخ (مصدر/-) (1) (للإصدار 1.0 فقط) (2)
نشاط البحث (1) (للإصدار 1.0 فقط) (2)

① وقت تشغيل تكامل Azure ② وقت تشغيل التكامل المستضاف ذاتيًا

للحصول على قائمة بمخازن البيانات المدعومة كمصادر/متلقيات بواسطة نشاط النسخ، راجع جدول مخازن البيانات المدعومة.

توفر الخدمة برنامج تشغيل مضمناً لتمكين الاتصال، وبالتالي لا تحتاج إلى تثبيت أي برنامج تشغيل يدوياً باستخدام هذا الموصل.

بالنسبة للإصدار 2.0 (معاينة)، تحتاج إلى تثبيت برنامج تشغيل Vertica ODBC يدويا. بالنسبة للإصدار 1.0، توفر الخدمة برنامج تشغيل مضمنا لتمكين الاتصال، لذلك لا تحتاج إلى تثبيت أي برنامج تشغيل يدويا.

المتطلبات الأساسية

إذا كان مخزن البيانات الخاص بك موجوداً داخل شبكة محلية، أو شبكة Azure ظاهرية، أو Amazon Virtual Private Cloud، فأنت بحاجة إلى تكوين وقت تشغيل تكامل مستضاف ذاتياً للاتصال به. إذا كنت تستخدم الإصدار 2.0 (معاينة)، فيجب أن يكون إصدار وقت تشغيل التكامل المستضاف ذاتيا هو 5.44.8984.1 أو أعلى.

لمزيد من المعلومات حول آليات وخيارات أمان الشبكة التي يدعمها Data Factory، راجع إستراتيجيات الوصول إلى البيانات.

للإصدار 1.0

إذا كان مخزن البيانات الخاص بك عبارة عن خدمة بيانات سحابية مُدارة، يمكنك استخدام Azure Integration Runtime. إذا كان الوصول مقيدا ب IPs التي تمت الموافقة عليها في قواعد جدار الحماية، يمكنك إضافة عناوين IP لوقت تشغيل تكامل Azure إلى قائمة السماح.

يمكنك أيضاً استخدام ميزة وقت تشغيل تكامل الشبكة الظاهرية المُدارة في Azure Data Factory للوصول إلى الشبكة المحلية دون تثبيت وقت تشغيل تكامل مستضاف ذاتياً وتكوينه.

تثبيت برنامج تشغيل Vertica ODBC للإصدار 2.0 (معاينة)

لاستخدام موصل Vertica مع الإصدار 2.0 (معاينة)، قم بتثبيت برنامج تشغيل Vertica ODBC على الجهاز الذي يقوم بتشغيل وقت تشغيل التكامل المستضاف ذاتيا باتباع الخطوات التالية:

  1. قم بتنزيل إعداد عميل Vertica لبرنامج تشغيل ODBC من برامج تشغيل العميل | OpenText™ Vertica™. خذ إعداد نظام Windows كمثال:

    لقطة شاشة لمثال إعداد نظام Windows.

  2. افتح .exe التي تم تنزيلها لبدء عملية التثبيت. 

    لقطة شاشة لعملية التثبيت.

  3. حدد برنامج تشغيل ODBC ضمن قائمة مكونات Vertica، ثم حدد التالي لبدء التثبيت.

    لقطة شاشة لتحديد برنامج تشغيل ODBC.

  4. بعد اكتمال عملية التثبيت بنجاح، يمكنك الانتقال إلى البدء -> مسؤول مصدر بيانات ODBC لتأكيد التثبيت الناجح.

    لقطة شاشة لتأكيد التثبيت الناجح.

الشروع في العمل

يمكنك إنشاء مسار مع نشاط النسخ باستخدام .NET SDK أو Python SDK أو Azure PowerShell أو واجهة برمجة تطبيقات REST أو قالب Azure Resource Manager. راجع نسخ البرنامج التعليمي للنشاط للحصول على إرشادات خطوة بخطوة لإنشاء مسار مع نشاط نسخ.

قم بإنشاء خدمة مرتبطة بـ Vertica باستخدام واجهة المستخدم

استخدم الخطوات التالية لإنشاء خدمة مرتبطة بـ Vertica في واجهة مستخدم بوابة Azure.

  1. استعرض للوصول إلى علامة التبويب "Manage" في مصنع بيانات Azure أو مساحة عمل Synapse، وحدد "Linked Services"، ثم انقر فوق "New":

  2. ابحث عن Vertica وحدد موصل Vertica.

    لقطة شاشة لموصل Vertica.

  3. قم بتكوين تفاصيل الخدمة، واختبر الاتصال، وأنشئ الخدمة المرتبطة الجديدة.

    لقطة شاشة لتكوين الخدمة المرتبطة ل Vertica.

تفاصيل تكوين الموصل

توفر الأقسام التالية تفاصيل حول الخصائص المستخدمة لتحديد كيانات مصنع البيانات الخاصة بموصل Vertica.

خصائص الخدمة المرتبطة

إذا كنت تستخدم الإصدار 2.0 (معاينة)، يتم دعم الخصائص التالية لخدمة Vertica المرتبطة:

الخاصية الوصف مطلوب
النوع يجب تعيين خاصية النوع إلى: Vertica ‏‏نعم‬
الخادم اسم أو عنوان IP للخادم الذي تريد الاتصال به. ‏‏نعم‬
المنفذ رقم المنفذ الخاص بمستمع الخادم. لا، الافتراضي هو 5433
قاعدة بيانات اسم قاعدة بيانات Vertica. ‏‏نعم‬
uid معرف المستخدم المستخدم للاتصال بقاعدة البيانات. ‏‏نعم‬
Pwd كلمة المرور التي يستخدمها التطبيق للاتصال بقاعدة البيانات. ‏‏نعم‬
إصدار الإصدار عند تحديد الإصدار 2.0 (معاينة). القيمة هي 2.0. ‏‏نعم‬
connectVia Integration Runtime الذي سيتم استخدامه للاتصال بمخزن البيانات. تعرف على المزيد من قسم المتطلبات الأساسية. يمكنك فقط استخدام وقت تشغيل التكامل المستضاف ذاتيا ويجب أن يكون إصداره 5.44.8984.1 أو أعلى. لا

مثال:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": {
                "type": "SecureString",
                "value": "<password>"
             }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

مثال: تخزين كلمة المرور في Azure Key Vault

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

إذا كنت تستخدم الإصدار 1.0، يتم دعم الخصائص التالية:

الخاصية الوصف مطلوب
النوع يجب تعيين خاصية النوع إلى: Vertica ‏‏نعم‬
سلسلة الاتصال سلسلة اتصال ODBC للاتصال بـ Vertica.
يمكنك أيضاً وضع كلمة مرور في Azure Key Vault وسحب تكوين pwd خارج سلسلة الاتصال. راجع النماذج التالية ومقال تخزين بيانات الاعتماد في Azure Key Vault لمزيد من التفاصيل.		 ‏‏نعم‬
connectVia Integration Runtime الذي سيتم استخدامه للاتصال بمخزن البيانات. تعرف على المزيد من قسم المتطلبات الأساسية. إذا لم يتم تحديده، فإنه يستخدم Azure Integration Runtime الافتراضي. لا

مثال:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

خصائص مجموعة البيانات

للحصول على قائمة كاملة بالأقسام والخصائص المتوفرة لتعريف مجموعات البيانات، راجع مقالة مجموعات البيانات. يوفر هذا القسم قائمة بالخصائص التي تدعمها مجموعة بيانات Vertica.

لنسخ البيانات من Vertica، قم بتعيين خاصية نوع مجموعة البيانات إلى VerticaTable. تدعم الخصائص التالية:

الخاصية الوصف مطلوب
النوع يجب تعيين خاصية نوع مجموعة البيانات إلى: VerticaTable ‏‏نعم‬
Schema اسم المخطط. لا (إذا تم تحديد "الاستعلام" في مصدر النشاط)
طاولتنا ضع اسمًا للجدول. لا (إذا تم تحديد "الاستعلام" في مصدر النشاط)

مثال

{
    "name": "VerticaDataset",
    "properties": {
        "type": "VerticaTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Vertica linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

انسخ خصائص النشاط

للحصول على قائمة كاملة بالأقسام والخصائص المتوفرة لتعريف الأنشطة، راجع مقالة التدفقات. يوفر هذا القسم قائمة بالخصائص التي يدعمها مصدر Vertica.

Vertica كمصدر

لنسخ البيانات من Vertica، قم بتعيين نوع المصدر في نشاط النسخ إلى VerticaSource. تُدعم الخصائص التالية في قسم مصدر نشاط النسخ:

الخاصية الوصف مطلوب
النوع يجب تعيين خاصية نوع مصدر نشاط النسخ إلى: VerticaSource ‏‏نعم‬
استعلام استخدم استعلام SQL المخصص لقراءة البيانات. على سبيل المثال: "SELECT * FROM MyTable". لا (إذا تم تحديد "schema+table" في مجموعة البيانات)

مثال:

"activities":[
    {
        "name": "CopyFromVertica",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Vertica input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "VerticaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

بحث عن خصائص النشاط

لمعرفة تفاصيل حول الخصائص، تحقق من نشاط البحث.

ترقية إصدار Vertica

فيما يلي الخطوات التي تساعدك على ترقية إصدار Vertica:

  1. تثبيت برنامج تشغيل Vertica ODBC باتباع الخطوات الواردة في المتطلبات الأساسية.
  2. في صفحة تحرير الخدمة المرتبطة، حدد 2.0 (معاينة) ضمن الإصدار وقم بتكوين الخدمة المرتبطة بالإشارة إلى خصائص الخدمة المرتبطة.
  3. تطبيق وقت تشغيل تكامل مستضاف ذاتيا مع الإصدار 5.44.8984.1 أو أعلى. وقت تشغيل تكامل Azure غير مدعوم من قبل الإصدار 2.0 (معاينة).

المحتوى ذو الصلة

للحصول على قائمة بمخازن البيانات المدعومة من نشاط النسخ كمصادر ومواضع تلقي، راجع مخازن البيانات المدعومة.