مشاركة عبر

تحويل البيانات باستخدام نشاط Hadoop Pig في Azure Data Factory أو Synapse Analytics

  • مقالة

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

يقوم نشاط HDInsight Pig في مسار Data Factory بتنفيذ استعلامات Pig على نظام مجموعة HDInsight عند الطلب أو النظام الخاص بك. تعتمد هذه المقالة على مقالة أنشطة تحويل البيانات، والتي تقدم نظرة عامة على تحويل البيانات وأنشطة التحويل المدعومة.

لمعرفة المزيد، اقرأ المقدمة حتى Azure Data Factory أو Synapse Analytics واطّلع على البرنامج التعليمي: تحويل البيانات قبل قراءة هذه المقالة.

إضافة نشاط HDInsight Pig إلى البنية الأساسية لبرنامج ربط العمليات التجارية باستخدام واجهة المستخدم

لاستخدام نشاط HDInsight Pig في البنية الأساسية لبرنامج ربط العمليات التجارية، أكمل الخطوات التالية:

  1. ابحث عن Pig في جزء أنشطة البنية الأساسية لبرنامج ربط العمليات التجارية، واسحب نشاط Pig إلى لوحة البنية الأساسية لبرنامج ربط العمليات التجارية.

  2. حدد نشاط Pig الجديد على اللوحة إذا لم يكن محددا بالفعل.

  3. حدد علامة التبويب HDI Cluster لتحديد أو إنشاء خدمة مرتبطة جديدة إلى مجموعة HDInsight التي سيتم استخدامها لتنفيذ نشاط MapReduce.

    يعرض واجهة المستخدم لنشاط Pig.

  4. حدد علامة التبويب Script لتحديد أو إنشاء خدمة مرتبطة لبرنامج نصي جديد إلى موقع تخزين Azure حيث سيتم استضافة البرنامج النصي الخاص بك. حدد اسم فئة ليتم تنفيذه هناك، ومسار ملف داخل موقع التخزين. يمكنك أيضا تكوين تفاصيل متقدمة بما في ذلك تكوين تصحيح الأخطاء والوسيطات والمعلمات التي سيتم تمريرها إلى البرنامج النصي.

    يعرض واجهة المستخدم لعلامة تبويب البرنامج النصي لنشاط Pig.

بناء الجملة

{
    "name": "Pig Activity",
    "description": "description",
    "type": "HDInsightPig",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "scriptLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "scriptPath": "MyAzureStorage\\PigScripts\\MyPigSript.pig",
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }   
}

تفاصيل بناء الجملة

الخاصية الوصف مطلوب
الاسم تسمية النشاط ‏‏نعم‬
الوصف نص يوضح الغرض من استخدام النشاط لا
النوع بالنسبة لنشاط Hive يكون نوع النشاط هو HDinsightPig ‏‏نعم‬
linkedServiceName مرجع إلى نظام مجموعة HDInsight مسجلة كخدمة مرتبطة. للتعرف على هذه الخدمة المرتبطة، راجع مقالة خدمات الحوسبة المرتبطة. ‏‏نعم‬
scriptLinkedService مرجع إلى خدمة Azure Storage المرتبطة تُستخدم لتخزين برنامج Pig النصي ليتم تنفيذه. يتم دعم Azure Blob Storage والخدمات المرتبطة بـ ADLS Gen2 فقط هنا. إذا لم تحدد هذه الخدمة المرتبطة، فسيتم استخدام خدمة Azure Storage المرتبطة المحددة في خدمة HDInsight المرتبطة. لا
سكربت قم بتوفير المسار لملف البرنامج النصي المخزن في Azure Storage المشار إليه بواسطة scriptLinkedService. اسم الملف حساس لحالة الأحرف. لا
getDebugInfo تحدد متى يتم نسخ ملفات السجل إلى Azure Storage المستخدم بواسطة مجموعة HDInsight (أو) المحددة بواسطة scriptLinkedService. القيم المسموح بها: بلا، دوماً، أو فشل. القيمة الافتراضية: بلا. لا
الحجج تعين صفيف من الوسيطات لمهمة Hadoop. يتم تمرير الوسيطات كوسيطات سطر الأوامر لكل مهمة. لا
يعرّف حدد المعلمات كأزواج مفتاح / قيمة للإشارة إليها داخل البرنامج النصي Pig. لا

المحتوى ذو الصلة

راجع المقالات التالية التي تشرح كيفية تحويل البيانات بطرق أخرى: