مشاركة عبر

تحويل البيانات باستخدام نشاط تدفق Hadoop في مصنع بيانات Azure أو تحليلات Synapse

  • مقالة

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

يقوم نشاط التدفق HDInsight في مصنع بيانات Azure أو البنية الأساسية لبرنامج ربط العمليات التجارية لتحليلات Synapse بتنفيذ برامج دفق Hadoop بنفسك أو على مقطع تخزين HDInsight عند الطلب. تعتمد هذه المقالة على مقالة أنشطة تحويل البيانات، والتي تقدم نظرة عامة على تحويل البيانات وأنشطة التحويل المدعومة.

لمعرفة المزيد، اقرأ مقالات المقدمة حتى Azure Data Factory وSynapse Analytics وقم بإجراء البرنامج التعليمي: تحويل البيانات قبل قراءة هذه المقالة.

أضف نشاط HDInsight Streaming إلى البنية الأساسية لبرنامج ربط العمليات التجارية باستخدام واجهة المستخدم

لاستخدام نشاط HDInsight Streaming في البنية الأساسية لبرنامج ربط العمليات التجارية، أكمل الخطوات التالية:

  1. ابحث عن الدفق في جزء أنشطة البنية الأساسية لبرنامج ربط العمليات التجارية، واسحب نشاط الدفق إلى لوحة البنى الأساسية لبرنامج ربط العمليات التجارية.

  2. حدد نشاط الدفق الجديد على اللوحة القماشية إذا لم يكن محددًا بالفعل.

  3. حدد علامة التبويب HDI Cluster لتحديد أو إنشاء خدمة مرتبطة جديدة إلى مجموعة HDInsight التي ستستخدم لتنفيذ نشاط البث.

    يعرض واجهة المستخدم لنشاط البث.

  4. حدد علامة التبويب ملف لتحديد أسماء المعيّن والمخفض لمهمة الدفق الخاصة بك، وحدد خدمة مرتبطة جديدة أو أنشئها لحساب Azure Storage الذي سيعمل على تعيين الملفات والمخفض والمدخلات والمخرجات للمهمة. يمكنك أيضًا تكوين تفاصيل متقدمة بما في ذلك تكوين تصحيح الأخطاء والوسيطات والمعلمات لتمريرها إلى الوظيفة.

    يعرض واجهة المستخدم لعلامة التبويب

عينة JSON

{
    "name": "Streaming Activity",
    "description": "Description",
    "type": "HDInsightStreaming",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "mapper": "MyMapper.exe",
        "reducer": "MyReducer.exe",
        "combiner": "MyCombiner.exe",
        "fileLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "filePaths": [
            "<containername>/example/apps/MyMapper.exe",
            "<containername>/example/apps/MyReducer.exe",
            "<containername>/example/apps/MyCombiner.exe"
        ],
        "input": "wasb://<containername>@<accountname>.blob.core.windows.net/example/input/MapperInput.txt",
        "output": "wasb://<containername>@<accountname>.blob.core.windows.net/example/output/ReducerOutput.txt",
        "commandEnvironment": [
            "CmdEnvVarName=CmdEnvVarValue"
        ],
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }
}

تفاصيل بناء الجملة

الخاصية الوصف مطلوب
الاسم تسمية النشاط ‏‏نعم‬
الوصف نص يوضح الغرض من استخدام النشاط لا
النوع بالنسبة لنشاط تدفق Hadoop، يكون نوع النشاط HDInsightStreaming ‏‏نعم‬
linkedServiceName مرجع إلى نظام مجموعة HDInsight مسجلة كخدمة مرتبطة. للتعرف على هذه الخدمة المرتبطة، راجع مقالة خدمات الحوسبة المرتبطة. ‏‏نعم‬
مُعين يحدد اسم المُعين القابل للتنفيذ ‏‏نعم‬
المخفض يحدد اسم المخفض القابل للتنفيذ ‏‏نعم‬
الموحد يحدد اسم الموحد القابل للتنفيذ لا
fileLinkedService مرجع إلى خدمة مرتبطة بتخزين Azure مستخدمة لتخزين برامج المُعين والموحد والمخفض المقرر تنفيذها. يتم دعم Azure Blob Storage والخدمات المرتبطة بـ ADLS Gen2 فقط هنا. إذا لم تحدد هذه الخدمة المرتبطة، فسيتم استخدام خدمة Azure Storage المرتبطة المحددة في خدمة HDInsight المرتبطة. لا
filePath قم بتوفير صفيف من المسار إلى برامج المُعين والموحد والمخفض المخزنة في تخزين Azure المشار إليه بواسطة fileLinkedService. يتمتع المسار بحساسية حالة الأحرف. ‏‏نعم‬
إدخال يحدد مسار WASB إلى ملف الإدخال للمعين. ‏‏نعم‬
الإخراج يحدد مسار WASB إلى ملف الإخراج للمخفض. ‏‏نعم‬
getDebugInfo تحدد متى يتم نسخ ملفات السجل إلى Azure Storage المستخدم بواسطة مجموعة HDInsight (أو) المحددة بواسطة scriptLinkedService. القيم المسموح بها: بلا، دوماً، أو فشل. القيمة الافتراضية: بلا. لا
الحجج تعين صفيف من الوسيطات لمهمة Hadoop. يتم تمرير الوسيطات كوسيطات سطر الأوامر لكل مهمة. لا
يعرّف يحدد المعلمات كأزواج مفاتيح/قيم للرجوع إليها ضمن البرنامج النصي للخلية. لا

المحتوى ذو الصلة

راجع المقالات التالية التي تشرح كيفية تحويل البيانات بطرق أخرى: