Azure Data Factory veya Synapse Analytics'te Hadoop Pig etkinliğini kullanarak verileri dönüştürme

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Data Factory'deki eşdeğer etkinlik için Microsoft Fabric'te Azure HDInsight etkinliğine bakınız.

Data Factory işlem hattındaki HDInsight Pig etkinliği, Pig sorgularını kendi veya isteğe bağlı HDInsight kümenizde yürütür. Bu makale , veri dönüştürme ve desteklenen dönüştürme etkinliklerine genel bir genel bakış sunan veri dönüştürme etkinlikleri makalesini oluşturur.

Daha fazla bilgi edinmek için Azure Data Factory veya Synapse Analytics giriş makalesini okuyun ve bu makaleyi okumadan önce Tutorial: transform data yapın.

tr-TR: HDInsight Pig etkinliğini kullanıcı arabirimiyle işlem hattına ekleyin

İşlem hattında HDInsight Pig etkinliği kullanmak için aşağıdaki adımları tamamlayın:

  1. İşlem hattı Etkinlikleri bölmesinde Pig'i arayın ve bir Pig etkinliğini işlem hattı tuvaline sürükleyin.

  2. Henüz seçili değilse tuvaldeki yeni Pig etkinliğini seçin.

  3. MapReduce etkinliğini yürütmek için kullanılacak bir HDInsight kümesine bağlı yeni bir hizmet seçmek veya oluşturmak için HDI Kümesi sekmesini seçin.

    Pig etkinliğinin kullanıcı arabirimini gösterir.

  4. Betiğinizin barındırılacağı bir Azure Depolama konumuna yeni bir betik bağlantılı hizmeti seçmek veya oluşturmak için Script sekmesini seçin. Orada yürütülecek bir sınıf adı ve depolama konumu içinde bir dosya yolu belirtin. Ayrıca hata ayıklama yapılandırmasını ve script'e geçirilecek bağımsız değişkenler ve parametreler gibi gelişmiş ayrıntıları da yapılandırabilirsiniz.

    Pig etkinliğinin Betik sekmesinin kullanıcı arabirimini gösterir.

Sözdizimi

{
    "name": "Pig Activity",
    "description": "description",
    "type": "HDInsightPig",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "scriptLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "scriptPath": "MyAzureStorage\\PigScripts\\MyPigScript.pig",
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }   
}

Söz dizimi ayrıntıları

Özellik Açıklama Gerekli
Adı Etkinliğin adı Yes
açıklama Etkinliğin ne için kullanıldığını açıklayan metin Hayır
Tip Hive Etkinliği için etkinlik türü HDinsightPig'dir Yes
bağlantılıHizmetAdı Bağlı hizmet olarak kaydedilen HDInsight kümesine başvuru. Bu bağlı hizmet hakkında bilgi edinmek için Bağlı hizmetleri hesaplama makalesine bakın. Yes
scriptLinkedService Yürütülecek Pig betiğini depolamak için kullanılan Azure Depolama Bağlantılı Hizmetine referans. Burada yalnızca Azure Blob Depolama ve ADLS 2. Nesil bağlı hizmetler desteklenir. Bu Bağlı Hizmeti belirtmezseniz HDInsight Bağlı Hizmeti'nde tanımlanan Azure Depolama Bağlı Hizmet kullanılır. Hayır
scriptPath scriptLinkedService tarafından başvurulan Azure Depolama içerisindeki betik dosyasının yolunu belirtin. Dosya adı büyük/küçük harfe duyarlıdır. Hayır
getDebugInfo HDInsight kümesi veya scriptLinkedService tarafından belirtilen Azure Depolama kullanılarak günlük dosyalarının ne zaman kopyalanacağını belirtir. İzin verilen değerler: Yok, Her Zaman veya Hata. Varsayılan değer: Hiçbiri. Hayır
Parametreler Hadoop görevi için bir dizi bağımsız değişken belirtir. Bağımsız değişkenler, her göreve komut satırı argümanları olarak aktarılır. Hayır
Tanımlar Pig betiği içinde referans almak amacıyla parametreleri anahtar/değer çiftleri olarak belirtin. Hayır

İlgili içerik

Verileri başka şekillerde dönüştürmeyi açıklayan aşağıdaki makalelere bakın:

  • Last updated on