Azure Data Factory veya Synapse Analytics'te Hadoop Pig etkinliğini kullanarak verileri dönüştürme

  • Makale

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Data Factory işlem hattındaki HDInsight Pig etkinliği, Pig sorgularını kendi veya isteğe bağlı HDInsight kümenizde yürütür. Bu makale , veri dönüştürme ve desteklenen dönüştürme etkinliklerine genel bir genel bakış sunan veri dönüştürme etkinlikleri makalesini oluşturur.

Daha fazla bilgi edinmek için Azure Data Factory veya Synapse Analytics'egiriş makalesini okuyun ve öğretici: bu makaleyi okumadan önce verileri dönüştürme öğreticisini yapın.

Kullanıcı arabirimiyle işlem hattına HDInsight Pig etkinliği ekleme

İşlem hattında HDInsight Pig etkinliği kullanmak için aşağıdaki adımları tamamlayın:

  1. İşlem hattı Etkinlikleri bölmesinde Pig'i arayın ve bir Pig etkinliğini işlem hattı tuvaline sürükleyin.

  2. Henüz seçili değilse tuvaldeki yeni Pig etkinliğini seçin.

  3. MapReduce etkinliğini yürütmek için kullanılacak bir HDInsight kümesine bağlı yeni bir hizmet seçmek veya oluşturmak için HDI Kümesi sekmesini seçin.

    Shows the UI for a Pig activity.

  4. Betiğinizin barındırılacağı Azure Depolama konumuna yeni bir betik bağlı hizmeti seçmek veya oluşturmak için Betik sekmesini seçin. Orada yürütülecek bir sınıf adı ve depolama konumu içinde bir dosya yolu belirtin. Ayrıca hata ayıklama yapılandırması ve betike geçirilecek bağımsız değişkenler ve parametreler de dahil olmak üzere gelişmiş ayrıntıları yapılandırabilirsiniz.

    Shows the UI for the Script tab for a Pig activity.

Sözdizimi

{
    "name": "Pig Activity",
    "description": "description",
    "type": "HDInsightPig",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "scriptLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "scriptPath": "MyAzureStorage\\PigScripts\\MyPigSript.pig",
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }   
}

Söz dizimi ayrıntıları

Özellik Açıklama Gerekli
name Etkinliğin adı Evet
açıklama Etkinliğin ne için kullanıldığını açıklayan metin No
type Hive Etkinliği için etkinlik türü HDinsightPig'dir Evet
linkedServiceName Bağlı hizmet olarak kaydedilen HDInsight kümesine başvuru. Bu bağlı hizmet hakkında bilgi edinmek için bkz . Bağlı hizmetleri hesaplama makalesi. Evet
scriptLinkedService Yürütülecek Pig betiğini depolamak için kullanılan Azure Depolama Bağlı Hizmetine başvuru. Burada yalnızca Azure Blob Depolama ve ADLS 2. Nesil bağlı hizmetleri desteklenir. Bu Bağlı Hizmeti belirtmezseniz HDInsight Bağlı Hizmeti'nde tanımlanan Azure Depolama Bağlı Hizmeti kullanılır. No
scriptPath scriptLinkedService tarafından başvurulan Azure Depolama depolanan betik dosyasının yolunu belirtin. Dosya adı büyük/küçük harfe duyarlıdır. No
getDebugInfo Günlük dosyalarının scriptLinkedService tarafından belirtilen HDInsight kümesi (veya) tarafından kullanılan Azure Depolama ne zaman kopyalanır belirtir. İzin verilen değerler: Yok, Her Zaman veya Hata. Varsayılan değer: Hiçbiri. No
Bağımsız değişken Hadoop işi için bir bağımsız değişken dizisi belirtir. Bağımsız değişkenler her göreve komut satırı bağımsız değişkenleri olarak geçirilir. No
Tanım -lar Pig betiği içinde başvurmak için parametreleri anahtar/değer çiftleri olarak belirtin. No

İlgili içerik

Verileri başka şekillerde dönüştürmeyi açıklayan aşağıdaki makalelere bakın: