Aracılığıyla paylaş

Azure Data Factory veya Synapse Analytics'te Hadoop Pig etkinliğini kullanarak verileri dönüştürme

  • Makale

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Data Factory işlem hattındaki HDInsight Pig etkinliği, Pig sorgularını kendi veya isteğe bağlı HDInsight kümenizde yürütür. Bu makale , veri dönüştürme ve desteklenen dönüştürme etkinliklerine genel bir genel bakış sunan veri dönüştürme etkinlikleri makalesini oluşturur.

Daha fazla bilgi edinmek için Azure Data Factory veya Synapse Analytics'e giriş makalesini okuyun ve öğretici: bu makaleyi okumadan önce verileri dönüştürme öğreticisini yapın.

Kullanıcı arabirimiyle işlem hattına HDInsight Pig etkinliği ekleme

İşlem hattında HDInsight Pig etkinliği kullanmak için aşağıdaki adımları tamamlayın:

  1. İşlem hattı Etkinlikleri bölmesinde Pig'i arayın ve bir Pig etkinliğini işlem hattı tuvaline sürükleyin.

  2. Henüz seçili değilse tuvaldeki yeni Pig etkinliğini seçin.

  3. MapReduce etkinliğini yürütmek için kullanılacak bir HDInsight kümesine bağlı yeni bir hizmet seçmek veya oluşturmak için HDI Kümesi sekmesini seçin.

    Pig etkinliğinin kullanıcı arabirimini gösterir.

  4. Betiğinizin barındırılacağı Azure Depolama konumuna yeni bir betik bağlı hizmeti seçmek veya oluşturmak için Betik sekmesini seçin. Orada yürütülecek bir sınıf adı ve depolama konumu içinde bir dosya yolu belirtin. Ayrıca hata ayıklama yapılandırması ve betike geçirilecek bağımsız değişkenler ve parametreler de dahil olmak üzere gelişmiş ayrıntıları yapılandırabilirsiniz.

    Pig etkinliğinin Betik sekmesinin kullanıcı arabirimini gösterir.

Sözdizimi

{
    "name": "Pig Activity",
    "description": "description",
    "type": "HDInsightPig",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "scriptLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "scriptPath": "MyAzureStorage\\PigScripts\\MyPigSript.pig",
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }   
}

Söz dizimi ayrıntıları

Özellik Açıklama Gerekli
Adı Etkinliğin adı Yes
açıklama Etkinliğin ne için kullanıldığını açıklayan metin Hayır
Tür Hive Etkinliği için etkinlik türü HDinsightPig'dir Yes
linkedServiceName Bağlı hizmet olarak kaydedilen HDInsight kümesine başvuru. Bu bağlı hizmet hakkında bilgi edinmek için bkz . Bağlı hizmetleri hesaplama makalesi. Yes
scriptLinkedService Yürütülecek Pig betiğini depolamak için kullanılan azure depolama bağlı hizmetine başvuru. Burada yalnızca Azure Blob Depolama ve ADLS 2. Nesil bağlı hizmetleri desteklenir. Bu Bağlı Hizmeti belirtmezseniz HDInsight Bağlı Hizmeti'nde tanımlanan Azure Depolama Bağlı Hizmeti kullanılır. Hayır
scriptPath scriptLinkedService tarafından başvurulan Azure Depolama'da depolanan betik dosyasının yolunu belirtin. Dosya adı büyük/küçük harfe duyarlıdır. Hayır
getDebugInfo Günlük dosyalarının scriptLinkedService tarafından belirtilen HDInsight kümesi (veya) tarafından kullanılan Azure Depolama'ya ne zaman kopyalandığı belirtir. İzin verilen değerler: Yok, Her Zaman veya Hata. Varsayılan değer: Hiçbiri. Hayır
Bağımsız değişken Hadoop işi için bir bağımsız değişken dizisi belirtir. Bağımsız değişkenler her göreve komut satırı bağımsız değişkenleri olarak geçirilir. Hayır
Tanım -lar Pig betiği içinde başvurmak için parametreleri anahtar/değer çiftleri olarak belirtin. Hayır

İlgili içerik

Verileri başka şekillerde dönüştürmeyi açıklayan aşağıdaki makalelere bakın: