Azure Data Factory veya Synapse Analytics'te Hadoop Pig etkinliğini kullanarak verileri dönüştürme
UYGULANANLAR: 
Azure Data Factory Azure Synapse Analytics
İpucu
Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!
Data Factory işlem hattındaki HDInsight Pig etkinliği, Pig sorgularını kendi veya isteğe bağlı HDInsight kümenizde yürütür. Bu makale , veri dönüştürme ve desteklenen dönüştürme etkinliklerine genel bir genel bakış sunan veri dönüştürme etkinlikleri makalesini oluşturur.
Daha fazla bilgi edinmek için Azure Data Factory veya Synapse Analytics'e giriş makalesini okuyun ve öğretici: bu makaleyi okumadan önce verileri dönüştürme öğreticisini yapın.
Kullanıcı arabirimiyle işlem hattına HDInsight Pig etkinliği ekleme
İşlem hattında HDInsight Pig etkinliği kullanmak için aşağıdaki adımları tamamlayın:
İşlem hattı Etkinlikleri bölmesinde Pig'i arayın ve bir Pig etkinliğini işlem hattı tuvaline sürükleyin.
Henüz seçili değilse tuvaldeki yeni Pig etkinliğini seçin.
MapReduce etkinliğini yürütmek için kullanılacak bir HDInsight kümesine bağlı yeni bir hizmet seçmek veya oluşturmak için HDI Kümesi sekmesini seçin.
Betiğinizin barındırılacağı Azure Depolama konumuna yeni bir betik bağlı hizmeti seçmek veya oluşturmak için Betik sekmesini seçin. Orada yürütülecek bir sınıf adı ve depolama konumu içinde bir dosya yolu belirtin. Ayrıca hata ayıklama yapılandırması ve betike geçirilecek bağımsız değişkenler ve parametreler de dahil olmak üzere gelişmiş ayrıntıları yapılandırabilirsiniz.
Sözdizimi
{
"name": "Pig Activity",
"description": "description",
"type": "HDInsightPig",
"linkedServiceName": {
"referenceName": "MyHDInsightLinkedService",
"type": "LinkedServiceReference"
},
"typeProperties": {
"scriptLinkedService": {
"referenceName": "MyAzureStorageLinkedService",
"type": "LinkedServiceReference"
},
"scriptPath": "MyAzureStorage\\PigScripts\\MyPigSript.pig",
"getDebugInfo": "Failure",
"arguments": [
"SampleHadoopJobArgument1"
],
"defines": {
"param1": "param1Value"
}
}
}
Söz dizimi ayrıntıları
| Özellik | Açıklama | Gerekli |
|---|---|---|
| Adı | Etkinliğin adı | Yes |
| açıklama | Etkinliğin ne için kullanıldığını açıklayan metin | Hayır |
| Tür | Hive Etkinliği için etkinlik türü HDinsightPig'dir | Yes |
| linkedServiceName | Bağlı hizmet olarak kaydedilen HDInsight kümesine başvuru. Bu bağlı hizmet hakkında bilgi edinmek için bkz . Bağlı hizmetleri hesaplama makalesi. | Yes |
| scriptLinkedService | Yürütülecek Pig betiğini depolamak için kullanılan azure depolama bağlı hizmetine başvuru. Burada yalnızca Azure Blob Depolama ve ADLS 2. Nesil bağlı hizmetleri desteklenir. Bu Bağlı Hizmeti belirtmezseniz HDInsight Bağlı Hizmeti'nde tanımlanan Azure Depolama Bağlı Hizmeti kullanılır. | Hayır |
| scriptPath | scriptLinkedService tarafından başvurulan Azure Depolama'da depolanan betik dosyasının yolunu belirtin. Dosya adı büyük/küçük harfe duyarlıdır. | Hayır |
| getDebugInfo | Günlük dosyalarının scriptLinkedService tarafından belirtilen HDInsight kümesi (veya) tarafından kullanılan Azure Depolama'ya ne zaman kopyalandığı belirtir. İzin verilen değerler: Yok, Her Zaman veya Hata. Varsayılan değer: Hiçbiri. | Hayır |
| Bağımsız değişken | Hadoop işi için bir bağımsız değişken dizisi belirtir. Bağımsız değişkenler her göreve komut satırı bağımsız değişkenleri olarak geçirilir. | Hayır |
| Tanım -lar | Pig betiği içinde başvurmak için parametreleri anahtar/değer çiftleri olarak belirtin. | Hayır |
İlgili içerik
Verileri başka şekillerde dönüştürmeyi açıklayan aşağıdaki makalelere bakın: