Azure Data Factory veya Synapse Analytics'te Hadoop Hive etkinliğini kullanarak verileri dönüştürme
UYGULANANLAR:
Azure Data Factory Azure Synapse Analytics
Bahşiş
Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!
Azure Data Factory veya Synapse Analytics işlem hattındaki HDInsight Hive etkinliği Hive sorgularını kendi veya isteğe bağlı HDInsight kümenizde yürütür. Bu makale , veri dönüştürme ve desteklenen dönüştürme etkinliklerine genel bir genel bakış sunan veri dönüştürme etkinlikleri makalesini oluşturur.
Azure Data Factory ve Synapse Analytics'i yeni kullanıyorsanız Azure Data Factory veya Synapse Analytics'e giriş makalelerini okuyun ve öğretici: bu makaleyi okumadan önce verileri dönüştürme öğreticisini yapın.
Kullanıcı arabirimiyle işlem hattına HDInsight Hive etkinliği ekleme
İşlem hattında Azure Data Lake Analytics için HDInsight Hive etkinliğini kullanmak için aşağıdaki adımları tamamlayın:
İşlem hattı Etkinlikleri bölmesinde Hive'ı arayın ve hive etkinliğini işlem hattı tuvaline sürükleyin.
Henüz seçili değilse tuvaldeki yeni Hive etkinliğini seçin.
Hive etkinliğini yürütmek için kullanılacak bir HDInsight kümesine bağlı yeni bir hizmet seçmek veya oluşturmak için HDI Kümesi sekmesini seçin.
Yeni bir depolama bağlı hizmeti seçmek veya oluşturmak için Betik sekmesini ve betiği barındıracak depolama konumu içinde bir yol seçin.
Sözdizimi
{
"name": "Hive Activity",
"description": "description",
"type": "HDInsightHive",
"linkedServiceName": {
"referenceName": "MyHDInsightLinkedService",
"type": "LinkedServiceReference"
},
"typeProperties": {
"scriptLinkedService": {
"referenceName": "MyAzureStorageLinkedService",
"type": "LinkedServiceReference"
},
"scriptPath": "MyAzureStorage\\HiveScripts\\MyHiveSript.hql",
"getDebugInfo": "Failure",
"arguments": [
"SampleHadoopJobArgument1"
],
"defines": {
"param1": "param1Value"
}
}
}
Söz dizimi ayrıntıları
| Özellik | Açıklama | Gerekli |
|---|---|---|
| name | Etkinliğin adı | Evet |
| açıklama | Etkinliğin ne için kullanıldığını açıklayan metin | No |
| type | Hive Etkinliği için etkinlik türü HDinsightHive'dir | Evet |
| linkedServiceName | Bağlı hizmet olarak kaydedilen HDInsight kümesine başvuru. Bu bağlı hizmet hakkında bilgi edinmek için bkz . Bağlı hizmetleri hesaplama makalesi. | Evet |
| scriptLinkedService | Yürütülecek Hive betiğini depolamak için kullanılan Azure Depolama Bağlı Hizmetine başvuru. Burada yalnızca Azure Blob Depolama ve ADLS 2. Nesil bağlı hizmetleri desteklenir. Bu Bağlı Hizmeti belirtmezseniz HDInsight Bağlı Hizmeti'nde tanımlanan Azure Depolama Bağlı Hizmeti kullanılır. | No |
| scriptPath | scriptLinkedService tarafından başvurulan Azure Depolama depolanan betik dosyasının yolunu belirtin. Dosya adı büyük/küçük harfe duyarlıdır. | Evet |
| getDebugInfo | Günlük dosyalarının scriptLinkedService tarafından belirtilen HDInsight kümesi (veya) tarafından kullanılan Azure Depolama ne zaman kopyalanır belirtir. İzin verilen değerler: Yok, Her Zaman veya Hata. Varsayılan değer: Hiçbiri. | No |
| Bağımsız değişken | Hadoop işi için bir bağımsız değişken dizisi belirtir. Bağımsız değişkenler her göreve komut satırı bağımsız değişkenleri olarak geçirilir. | No |
| Tanım -lar | Hive betiği içinde başvurmak için parametreleri anahtar/değer çiftleri olarak belirtin. | No |
| Querytimeout | Sorgu zaman aşımı değeri (dakika cinsinden). HDInsight kümesi Kurumsal Güvenlik Paketi etkin olduğunda geçerlidir. | No |
Dekont
queryTimeout için varsayılan değer 120 dakikadır.
İlgili içerik
Verileri başka şekillerde dönüştürmeyi açıklayan aşağıdaki makalelere bakın: