Azure Data Factory veya Synapse Analytics'te Hadoop Hive etkinliğini kullanarak verileri dönüştürme

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Data Factory'deki eşdeğer etkinlik için Microsoft Fabric'te Azure HDInsight etkinliğine bakınız.

Azure Data Factory veya Synapse Analytics pipeline'ındaki HDInsight Hive etkinliği, kendi HDInsight kümeniz üzerinde veya talep üzerine bir HDInsight kümesinde Hive sorguları yürütür. Bu makale , veri dönüştürme ve desteklenen dönüştürme etkinliklerine genel bir genel bakış sunan veri dönüştürme etkinlikleri makalesini oluşturur.

Azure Data Factory ve Synapse Analytics'i kullanmaya yeniyseniz, bu makaleyi okumadan önce Azure Data Factory veya Synapse Analytics giriş makalelerini okuyun ve Tutorial: transform data yapın.

Kullanıcı arabirimiyle işlem hattına HDInsight Hive etkinliği ekleme

İşlem hattında Azure Data Lake Analytics hdInsight Hive etkinliğini kullanmak için aşağıdaki adımları tamamlayın:

  1. İşlem hattı Etkinlikleri bölmesinde Hive arayın ve Hive Etkinliğini işlem hattı tuvaline sürükleyin.

  2. Henüz seçili değilse tuvaldeki yeni Hive etkinliğini seçin.

  3. Hive etkinliğini yürütmek için kullanılacak bir HDInsight kümesine bağlı yeni bir hizmet seçmek veya oluşturmak için HDI Kümesi sekmesini seçin.

    Hive etkinliğinin kullanıcı arabirimini gösterir.

  4. Yeni bir depolama bağlı hizmeti seçmek veya oluşturmak için Betik sekmesini ve betiği barındıracak depolama konumu içinde bir yol seçin.

    Hive etkinliği için Betik sekmesinin kullanıcı arabirimini gösterir.

Sözdizimi

{
    "name": "Hive Activity",
    "description": "description",
    "type": "HDInsightHive",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "scriptLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "scriptPath": "MyAzureStorage\\HiveScripts\\MyHiveScript.hql",
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }
}

Söz dizimi ayrıntıları

Özellik Açıklama Gerekli
Adı Etkinliğin adı Yes
açıklama Etkinliğin ne için kullanıldığını açıklayan metin Hayır
Tip Hive Etkinliği için etkinlik türü HDinsightHive'dir Yes
bağlantılıHizmetAdı Bağlı hizmet olarak kaydedilen HDInsight kümesine başvuru. Bu bağlı hizmet hakkında bilgi edinmek için Bağlı hizmetleri hesaplama makalesine bakın. Yes
scriptLinkedService Yürütülmesi gereken Hive betiğinin depolanması için kullanılan Azure Depolama Bağlı Hizmeti referansı. Burada yalnızca Azure Blob Depolama ve ADLS 2. Nesil bağlı hizmetler desteklenir. Bu Bağlı Hizmeti belirtmezseniz HDInsight Bağlı Hizmeti'nde tanımlanan Azure Depolama Bağlı Hizmet kullanılır. Hayır
scriptPath scriptLinkedService tarafından başvurulan Azure Depolama içerisindeki betik dosyasının yolunu belirtin. Dosya adı büyük/küçük harfe duyarlıdır. Yes
getDebugInfo HDInsight kümesi veya scriptLinkedService tarafından belirtilen Azure Depolama kullanılarak günlük dosyalarının ne zaman kopyalanacağını belirtir. İzin verilen değerler: Yok, Her Zaman veya Hata. Varsayılan değer: Hiçbiri. Hayır
Parametreler Hadoop görevi için bir dizi bağımsız değişken belirtir. Bağımsız değişkenler, her göreve komut satırı argümanları olarak aktarılır. Hayır
Tanımlar Hive betiği içinde başvurmak için parametreleri anahtar/değer çiftleri olarak belirtin. Hayır
queryTimeout Sorgu zaman aşımı değeri (dakika cinsinden). HDInsight kümesi Kurumsal Güvenlik Paketi etkin olduğunda geçerlidir. Hayır

Not

queryTimeout için varsayılan değer 120 dakikadır.

İlgili içerik

Verileri başka şekillerde dönüştürmeyi açıklayan aşağıdaki makalelere bakın:

  • Last updated on