Azure Data Factory ve Synapse işlem hatları tarafından desteklenen işlem ortamları

Makale
03/05/2024

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Önemli

Azure Machine Learning Studio (klasik) desteği 31 Ağustos 2024'te sona erecektir. Bu tarihe kadar Azure Machine Learning'e geçmenizi öneririz.

1 Aralık 2021 itibarıyla yeni Machine Learning Studio (klasik) kaynakları (çalışma alanı ve web hizmeti planı) oluşturamazsınız. 31 Ağustos 2024'e kadar mevcut Machine Learning Studio (klasik) denemelerini ve web hizmetlerini kullanmaya devam edebilirsiniz. Daha fazla bilgi için bkz.

Machine Learning Studio (klasik) belgeleri kullanımdan kaldırılıyor ve gelecekte güncelleştirilmeyebilir.

Bu makalede, verileri işlemek veya dönüştürmek için kullanabileceğiniz farklı işlem ortamları açıklanmaktadır. Ayrıca, bu işlem ortamlarını bağlayan bağlı hizmetleri yapılandırırken desteklenen farklı yapılandırmalar (isteğe bağlı ve kendi yapılandırmanızı getirin) hakkında ayrıntılar da sağlar.

Aşağıdaki tabloda desteklenen işlem ortamlarının ve bunlar üzerinde çalışabilecek etkinliklerin listesi sağlanır.

İşlem ortamı	Aktiviteler
İsteğe bağlı HDInsight kümesi veya kendi HDInsight kümeniz	Hive, Pig, Spark, MapReduce, Hadoop Streaming
Azure Batch	Özel
ML Studio (klasik)	ML Studio (klasik) etkinlikleri: Toplu Yürütme ve Kaynağı Güncelleştirme
Azure Machine Learning	Azure Machine Learning İşlem Hattı Yürütme
Azure Data Lake Analytics	Data Lake Analytics U-SQL
Azure SQL, Azure Synapse Analytics, SQL Server	Saklı Yordam
Azure Databricks	Not Defteri, Jar, Python
Azure Synapse Analytics (Yapıtlar)	Synapse Notebook etkinliği, Synapse Spark iş tanımı
Azure İşlevi	Azure İşlevi etkinliği

HDInsight işlem ortamı

İsteğe bağlı ve BYOC (Kendi işlem ortamınızı getirin) ortamında yapılandırma için desteklenen depolama bağlantılı hizmet türleri hakkında ayrıntılı bilgi için aşağıdaki tabloya bakın.

İşlem Bağlı Hizmeti'nde	Özellik Adı	Açıklama	Blob	ADLS 2. Nesil	Azure SQL DB	ADLS 1. Nesil
İsteğe bağlı	linkedServiceName	Azure Depolama bağlı hizmeti, verileri depolamak ve işlemek için isteğe bağlı küme tarafından kullanılacaktır.	Yes	Evet	Hayı	Hayır
	additionalLinkedServiceNames	HDInsight bağlı hizmeti için ek depolama hesapları belirtir, böylece hizmet bunları sizin adınıza kaydedebilir.	Yes	Hayı	Hayı	Hayır
	hcatalogLinkedServiceName	HCatalog veritabanını işaret eden Azure SQL bağlı hizmetinin adı. İsteğe bağlı HDInsight kümesi, meta veri deposu olarak Azure SQL veritabanı kullanılarak oluşturulur.	Hayır	Hayı	Evet	Hayır
KCG	linkedServiceName	Azure Depolama bağlı hizmet başvurusu.	Yes	Evet	Hayı	Hayır
	additionalLinkedServiceNames	HDInsight bağlı hizmeti için ek depolama hesapları belirtir, böylece hizmet bunları sizin adınıza kaydedebilir.	Hayır	Hayı	Hayı	Hayır
	hcatalogLinkedServiceName	HCatalog veritabanına işaret eden Azure SQL bağlı hizmetine başvuru.	Hayır	Hayı	Hayı	Hayır

İsteğe bağlı Azure HDInsight bağlı hizmeti

Bu tür bir yapılandırmada bilgi işlem ortamı hizmet tarafından tamamen yönetilir. Bir iş verileri işlemek üzere gönderilmeden önce hizmet tarafından otomatik olarak oluşturulur ve iş tamamlandığında kaldırılır. İsteğe bağlı işlem ortamı için bağlı bir hizmet oluşturabilir, bunu yapılandırabilir ve iş yürütme, küme yönetimi ve önyükleme eylemleri için ayrıntılı ayarları denetleyebilirsiniz.

Not

İsteğe bağlı yapılandırma şu anda yalnızca Azure HDInsight kümeleri için desteklenmektedir. Azure Databricks, iş kümelerini kullanan isteğe bağlı işleri de destekler. Daha fazla bilgi için bkz . Azure databricks bağlı hizmeti.

Hizmet, verileri işlemek için otomatik olarak isteğe bağlı bir HDInsight kümesi oluşturabilir. Küme, kümeyle ilişkilendirilmiş depolama hesabıyla (JSON'da linkedServiceName özelliği) aynı bölgede oluşturulur. Depolama hesabı must genel amaçlı standart bir Azure Depolama hesabıdır.

İsteğe bağlı HDInsight bağlı hizmeti hakkında aşağıdaki önemli noktalara dikkat edin:

İsteğe bağlı HDInsight kümesi Azure aboneliğiniz altında oluşturulur. Küme çalışır durumdayken azure portalınızda kümeyi görebilirsiniz.
İsteğe bağlı HDInsight kümesinde çalıştırılan işlerin günlükleri HDInsight kümesiyle ilişkili depolama hesabına kopyalanır. Bağlı hizmet tanımınızda tanımlanan clusterUserName, clusterPassword, clusterSshUserName, clusterSshPassword, küme yaşam döngüsü sırasında ayrıntılı sorun giderme amacıyla kümede oturum açmak için kullanılır.
Yalnızca HDInsight kümesinin çalışır durumda olduğu ve çalıştığı süre için ücretlendirilirsiniz.
Azure HDInsight isteğe bağlı bağlı hizmetiyle Betik Eylemi kullanabilirsiniz.

Önemli

Azure HDInsight kümesinin isteğe bağlı olarak sağlanması genellikle 20 dakika veya daha uzun sürer.

Örnek

Aşağıdaki JSON, Linux tabanlı isteğe bağlı HDInsight bağlı hizmetini tanımlar. Hizmet, gerekli etkinliği işlemek için otomatik olarak Linux tabanlı bir HDInsight kümesi oluşturur.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenent id>",
      "clusterResourceGroup": "<resource group name>",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Önemli

HDInsight kümesi JSON’da belirttiğiniz blob depolamada (linkedServiceName) bir varsayılan kapsayıcı oluşturur. HDInsight, küme silindiğinde bu kapsayıcıyı silmez. Bu davranış, tasarım gereğidir. İsteğe bağlı HDInsight bağlı hizmetiyle, HDInsight kümesi her oluşturulduğunda, burada mevcut canlı bir küme (timeToLive) olmadıkça bir dilim gerekir ve işlem bittiğinde silinir.

Daha fazla etkinlik çalıştırıldığında, Azure blob depolama alanınızda birçok kapsayıcı görürsünüz. İşlerin sorunlarını gidermek için bunlara ihtiyacınız yoksa depolama maliyetini azaltmak için bunları silmek isteyebilirsiniz. Bu kapsayıcı adları bir düzene sahiptir: adf**yourfactoryorworkspacename**-**linkedservicename**-datetimestamp. Azure blob depolama alanınızdaki kapsayıcıları silmek için Microsoft Azure Depolama Gezgini gibi araçları kullanın.

Özellikler

Özellik	Açıklama	Gerekli
Tür	tür özelliği HDInsightOnDemand olarak ayarlanmalıdır.	Yes
clusterSize	Kümedeki çalışan/veri düğümlerinin sayısı. HDInsight kümesi, bu özellik için belirttiğiniz çalışan düğümlerinin sayısıyla birlikte 2 baş düğümle oluşturulur. Düğümler, 4 çekirdeği olan Standard_D3 boyutundadır, bu nedenle 4 çalışan düğümü kümesi 24 çekirdek alır (çalışan düğümleri için 44 = 16 çekirdek, baş düğümler için 24 = 8 çekirdek). Ayrıntılar için bkz . Hadoop, Spark, Kafka ve daha fazlası ile HDInsight'ta kümeleri ayarlama.	Yes
linkedServiceName	Azure Depolama bağlı hizmeti, verileri depolamak ve işlemek için isteğe bağlı küme tarafından kullanılacaktır. HDInsight kümesi, bu Azure Depolama hesabıyla aynı bölgede oluşturulur. Azure HDInsight, desteklediği her bir Azure bölgesinde kullanabileceğiniz toplam çekirdek sayısıyla ilgili sınırlamaya sahiptir. Gerekli clusterSize'ı karşılamak için bu Azure bölgesinde yeterli çekirdek kotanız olduğundan emin olun. Ayrıntılar için bkz . Hadoop, Spark, Kafka ve daha fazlası ile HDInsight'ta kümeleri ayarlama Şu anda depolama alanı olarak Azure Data Lake Depolama (2. Nesil) kullanan isteğe bağlı bir HDInsight kümesi oluşturamazsınız. HDInsight işlemesinden elde edilen sonuç verilerini bir Azure Data Lake Depolama(2. Nesil) içinde depolamak istiyorsanız, Azure Blob Depolama verileri Azure Data Lake Depolama'ne (2. Nesil) kopyalamak için Kopyalama Etkinliği kullanın.	Yes
clusterResourceGroup	HDInsight kümesi bu kaynak grubunda oluşturulur.	Yes
timetolive	İsteğe bağlı HDInsight kümesi için izin verilen boşta kalma süresi. Kümede başka etkin iş yoksa, bir etkinlik çalıştırması tamamlandıktan sonra isteğe bağlı HDInsight kümesinin ne kadar süreyle etkin kalacağını belirtir. İzin verilen en düşük değer 5 dakikadır (00:05:00). Örneğin, bir etkinlik çalıştırması 6 dakika sürerse ve yaşam süresi 5 dakika olarak ayarlanırsa, etkinlik çalıştırmasının işlenmesinden sonraki 6 dakika sonra küme 5 dakika boyunca canlı kalır. 6 dakikalık pencereyle başka bir etkinlik çalıştırması yürütülürse, aynı küme tarafından işlenir. İsteğe bağlı HDInsight kümesi oluşturmak pahalı bir işlemdir (biraz zaman alabilir), bu nedenle isteğe bağlı HDInsight kümesini yeniden kullanarak hizmetin performansını artırmak için bu ayarı kullanın. timetolive değerini 0 olarak ayarlarsanız, etkinlik çalıştırması tamamlanır tamamlanmaz küme silinir. Öte yandan, yüksek bir değer ayarlarsanız küme bazı sorun giderme amacıyla oturum açmanız için boşta kalabilir ancak yüksek maliyetlere neden olabilir. Bu nedenle, gereksinimlerinize göre uygun değeri ayarlamanız önemlidir. timetolive özellik değeri uygun şekilde ayarlandıysa, birden çok işlem hattı isteğe bağlı HDInsight kümesinin örneğini paylaşabilir.	Yes
clusterType	Oluşturulacak HDInsight kümesinin türü. İzin verilen değerler "hadoop" ve "spark" değerleridir. Belirtilmezse, varsayılan değer hadoop olur. Kurumsal Güvenlik Paketi etkinleştirilmiş küme isteğe bağlı olarak oluşturulamaz, bunun yerine mevcut bir kümeyi kullanın/ kendi işleminizi getirin.	Hayır
sürüm	HDInsight kümesinin sürümü. Belirtilmezse, geçerli HDInsight tanımlı varsayılan sürümü kullanır.	Hayır
hostSubscriptionId	HDInsight kümesi oluşturmak için kullanılan Azure abonelik kimliği. Belirtilmezse, Azure oturum açma bağlamınızın Abonelik Kimliğini kullanır.	Hayır
clusterNamePrefix	HDI küme adının ön eki, küme adının sonuna otomatik olarak bir zaman damgası eklenir	Hayır
sparkVersion	Küme türü "Spark" ise Spark sürümü	Hayır
additionalLinkedServiceNames	HDInsight bağlı hizmeti için ek depolama hesapları belirtir, böylece hizmet bunları sizin adınıza kaydedebilir. Bu depolama hesapları, linkedServiceName tarafından belirtilen depolama hesabıyla aynı bölgede oluşturulan HDInsight kümesiyle aynı bölgede olmalıdır.	Hayır
osType	İşletim sistemi türü. İzin verilen değerler şunlardır: Linux ve Windows (yalnızca HDInsight 3.3 için). Varsayılan, Linux'tır.	Hayır
hcatalogLinkedServiceName	HCatalog veritabanını işaret eden Azure SQL bağlı hizmetinin adı. İsteğe bağlı HDInsight kümesi, meta veri deposu olarak Azure SQL Veritabanı kullanılarak oluşturulur.	Hayır
connectVia	Etkinlikleri bu HDInsight bağlı hizmetine göndermek için kullanılacak Integration Runtime. İsteğe bağlı HDInsight bağlı hizmeti için yalnızca Azure Integration Runtime'ı destekler. Belirtilmezse, varsayılan Azure Integration Runtime'ı kullanır.	Hayır
clusterUserName	Kümeye erişmek için kullanılan kullanıcı adı.	Hayır
clusterPassword	Kümeye erişmek için güvenli dize türündeki parola.	Hayır
clusterSshUserName	SSH kullanıcı adı, kümenin düğümüne (Linux için) uzaktan bağlanır.	Hayır
clusterSshPassword	SSH'ye yönelik güvenli dize türündeki parola, kümenin düğümünü uzaktan bağlar (Linux için).	Hayır
scriptActions	İsteğe bağlı küme oluşturma sırasında HDInsight küme özelleştirmeleri için betik belirtin. Şu anda kullanıcı arabirimi yazma aracı yalnızca 1 betik eylemi belirtmeyi destekler, ancak JSON'da bu sınırlamayı aşabilirsiniz (JSON'da birden çok betik eylemi belirtin).	Hayır

Önemli

HDInsight, dağıtılabilir birden çok Hadoop kümesi sürümünü destekler. Her sürüm seçimi, Hortonworks Veri Platformu (HDP) dağıtımının belirli bir sürümünü ve bu dağıtımın içinde yer alan bir bileşen kümesini oluşturur. Desteklenen HDInsight sürümlerinin listesi, en son Hadoop ekosistem bileşenlerini ve düzeltmelerini sağlayacak şekilde güncelleştirilmeye devam ediyor. HDInsight'ın desteklenen sürümünü kullandığınızdan emin olmak için her zaman Desteklenen HDInsight sürümü ve İşletim Sistemi Türü'ne ait en son bilgilere başvurdığınızdan emin olun.

Önemli

HdInsight bağlı hizmetleri şu anda HBase, Interactive Query (Hive LLAP), Storm'u desteklememektedir.

additionalLinkedServiceNames JSON örneği

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Hizmet sorumlusu kimlik doğrulaması

İsteğe Bağlı HDInsight bağlı hizmeti, sizin adınıza HDInsight kümeleri oluşturmak için bir hizmet sorumlusu kimlik doğrulaması gerektirir. Hizmet sorumlusu kimlik doğrulamasını kullanmak için, bir uygulama varlığını Microsoft Entra Id'ye kaydedin ve hdInsight kümesinin oluşturulduğu aboneliğin veya kaynak grubunun Katkıda Bulunan rolünü verin. Ayrıntılı adımlar için bkz . Kaynaklara erişebilen bir Microsoft Entra uygulaması ve hizmet sorumlusu oluşturmak için portalı kullanma. Bağlı hizmeti tanımlamak için kullandığınız aşağıdaki değerleri not edin:

Uygulama Kimliği
Uygulama anahtarı
Kiracı kimliği

Aşağıdaki özellikleri belirterek hizmet sorumlusu kimlik doğrulamasını kullanın:

Özellik	Açıklama	Gerekli
servicePrincipalId	Uygulamanın istemci kimliğini belirtin.	Yes
servicePrincipalKey	Uygulamanın anahtarını belirtin.	Yes
tenant	Uygulamanızın bulunduğu kiracı bilgilerini (etki alanı adı veya kiracı kimliği) belirtin. Fareyi Azure portalının sağ üst köşesine getirerek alabilirsiniz.	Yes

Gelişmiş Özellikler

İsteğe bağlı HDInsight kümesinin ayrıntılı yapılandırması için aşağıdaki özellikleri de belirtebilirsiniz.

Özellik	Açıklama	Gerekli
coreConfiguration	Oluşturulacak HDInsight kümesinin temel yapılandırma parametrelerini (core-site.xml gibi) belirtir.	Hayır
hBaseConfiguration	HDInsight kümesi için HBase yapılandırma parametrelerini (hbase-site.xml) belirtir.	Hayır
hdfsConfiguration	HDInsight kümesi için HDFS yapılandırma parametrelerini (hdfs-site.xml) belirtir.	Hayır
hiveConfiguration	HDInsight kümesi için hive yapılandırma parametrelerini (hive-site.xml) belirtir.	Hayır
mapReduceConfiguration	HDInsight kümesi için MapReduce yapılandırma parametrelerini (mapred-site.xml) belirtir.	Hayır
oozieConfiguration	HDInsight kümesi için Oozie yapılandırma parametrelerini (oozie-site.xml) belirtir.	Hayır
stormConfiguration	HDInsight kümesi için Storm yapılandırma parametrelerini (storm-site.xml) belirtir.	Hayır
yarnConfiguration	HDInsight kümesi için Yarn yapılandırma parametrelerini (yarn-site.xml) belirtir.	Hayır

Örnek - Gelişmiş özelliklere sahip isteğe bağlı HDInsight küme yapılandırması

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenent id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

Düğüm boyutları

Aşağıdaki özellikleri kullanarak baş, veri ve zookeeper düğümlerinin boyutlarını belirtebilirsiniz:

Özellik	Açıklama	Gerekli
headNodeSize	Baş düğümün boyutunu belirtir. Varsayılan değer: Standard_D3. Ayrıntılar için Düğüm boyutlarını belirtme bölümüne bakın.	Hayır
dataNodeSize	Veri düğümünün boyutunu belirtir. Varsayılan değer: Standard_D3.	Hayır
zookeeperNodeSize	Zoo Keeper düğümünün boyutunu belirtir. Varsayılan değer: Standard_D3.	Hayır

Düğüm boyutlarını belirtme Önceki bölümde belirtilen özellikler için belirtmeniz gereken dize değerleri için Sanal Makineler boyutları makalesine bakın. Değerlerin makalede başvuruda bulunan CMDLETs ve APIS ile uyumlu olması gerekir. Makalede görebileceğiniz gibi, Büyük (varsayılan) boyutundaki veri düğümünün 7 GB belleği vardır ve bu da senaryonuz için yeterli olmayabilir.

D4 boyutlu baş düğümleri ve çalışan düğümleri oluşturmak istiyorsanız, headNodeSize ve dataNodeSize özellikleri için değer olarak Standard_D4 belirtin.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

Bu özellikler için yanlış bir değer belirtirseniz şu hatayı alabilirsiniz: Küme oluşturulamadı. Özel durum: Küme oluşturma işlemi tamamlanamadı. İşlem '400' koduyla başarısız oldu. Küme geride bırakma durumu: 'Hata'. İleti: 'PreClusterCreationValidationFailure'. Bu hatayı aldığınızda, Sanal Makineler Boyutları makalesindeki tablodan CMDLET ve APIS adını kullandığınızdan emin olun.

Kendi işlem ortamınızı getirme

Bu tür bir yapılandırmada, kullanıcılar zaten var olan bir bilgi işlem ortamını bağlı hizmet olarak kaydedebilir. Bilgi işlem ortamı kullanıcı tarafından yönetilir ve hizmet bu ortamı kullanarak etkinlikleri yürütür.

Bu yapılandırma türü aşağıdaki işlem ortamları için desteklenir:

Azure HDInsight
Azure Batch
Azure Machine Learning
Azure Data Lake Analytics
Azure SQL DB, Azure Synapse Analytics, SQL Server

Azure HDInsight bağlı hizmeti

Kendi HDInsight kümenizi bir veri fabrikasına veya Synapse çalışma alanına kaydetmek için bir Azure HDInsight bağlı hizmeti oluşturabilirsiniz.

Örnek

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Özellikler

Özellik	Açıklama	Gerekli
Tür	tür özelliği HDInsight olarak ayarlanmalıdır.	Yes
clusterUri	HDInsight kümesinin URI'sini.	Yes
username	Mevcut bir HDInsight kümesine bağlanmak için kullanılacak kullanıcının adını belirtin.	Yes
password	Kullanıcı hesabı için parola belirtin.	Yes
linkedServiceName	HDInsight kümesi tarafından kullanılan Azure blob depolama alanına başvuran Azure Depolama bağlı hizmetinin adı. Şu anda bu özellik için Azure Data Lake Depolama (2. Nesil) bağlı bir hizmet belirtemezsiniz. HDInsight kümesinin Data Lake Store'a erişimi varsa Hive/Pig betiklerinden Azure Data Lake Depolama (2. Nesil) içindeki verilere erişebilirsiniz.	Yes
isEspEnabled	HDInsight kümesi Kurumsal Güvenlik Paketi etkinse 'true' değerini belirtin. Varsayılan değer 'false'tur.	Hayır
connectVia	Etkinlikleri bu bağlı hizmete göndermek için kullanılacak Integration Runtime. Azure Integration Runtime veya Şirket İçinde Barındırılan Tümleştirme Çalışma Zamanı'nı kullanabilirsiniz. Belirtilmezse, varsayılan Azure Integration Runtime'ı kullanır. Kurumsal Güvenlik Paketi (ESP) özellikli HDInsight kümesi için, kümeyi görme çizgisi olan veya ESP HDInsight kümesiyle aynı Sanal Ağ dağıtılması gereken şirket içinde barındırılan tümleştirme çalışma zamanı kullanın.	Hayır

Önemli

HdInsight bağlı hizmetleri şu anda HBase, Interactive Query (Hive LLAP), Storm'u desteklememektedir.

Azure Batch bağlı hizmeti

Not

Azure ile etkileşim kurmak için Azure Az PowerShell modülünü kullanmanızı öneririz. Başlamak için bkz. Azure PowerShell'i yükleme. Az PowerShell modülüne nasıl geçeceğinizi öğrenmek için bkz. Azure PowerShell’i AzureRM’den Az’ye geçirme.

Sanal makinelerin (VM) Batch havuzunu bir verilere veya Synapse çalışma alanına kaydetmek için bir Azure Batch bağlı hizmeti oluşturabilirsiniz. Azure Batch'i kullanarak Özel etkinlik çalıştırabilirsiniz.

Azure Batch hizmetinde yeniyseniz aşağıdaki makalelere bakın:

Azure Batch hizmetine genel bakış için Azure Batch ile ilgili temel bilgiler .
New-AzBatchAccount cmdlet'i, Azure portalını kullanarak Azure Batch hesabı oluşturmak üzere bir Azure Batch hesabı (veya) Azure portalı oluşturmak için kullanılır. Cmdlet'ini kullanma hakkında ayrıntılı yönergeler için Bkz . Azure Batch Hesabını yönetmek için PowerShell kullanma makalesi.
Azure Batch havuzu oluşturmak için New-AzBatchPool cmdlet'i.

Önemli

Yeni bir Azure Batch havuzu oluştururken 'VirtualMachineConfiguration' kullanılmalıdır ve 'CloudServiceConfiguration' kullanılmamalıdır. Daha fazla ayrıntı için Bkz . Azure Batch Havuzu geçiş kılavuzu.

Örnek

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Özellikler

Özellik	Açıklama	Gerekli
Tür	type özelliği AzureBatch olarak ayarlanmalıdır.	Yes
accountName	Azure Batch hesabının adı.	Yes
Accesskey	Azure Batch hesabı için erişim anahtarı.	Yes
batchUri	https:// batchaccountname.region.batch.azure.com biçiminde Azure Batch hesabınızın URL'si.	Yes
poolName	Sanal makine havuzunun adı.	Yes
linkedServiceName	Bu Azure Batch bağlı hizmetiyle ilişkili Azure Depolama bağlı hizmetinin adı. Bu bağlı hizmet, etkinliği çalıştırmak için gereken hazırlama dosyaları için kullanılır.	Yes
connectVia	Etkinlikleri bu bağlı hizmete göndermek için kullanılacak Integration Runtime. Azure Integration Runtime veya Şirket İçinde Barındırılan Tümleştirme Çalışma Zamanı'nı kullanabilirsiniz. Belirtilmezse, varsayılan Azure Integration Runtime'ı kullanır.	Hayır

Machine Learning Studio (klasik) bağlı hizmeti

Önemli

Azure Machine Learning Studio (klasik) desteği 31 Ağustos 2024'te sona erecektir. Bu tarihe kadar Azure Machine Learning'e geçmenizi öneririz.

Machine Learning Studio (klasik) belgeleri kullanımdan kaldırılıyor ve gelecekte güncelleştirilmeyebilir.

Machine Learning Studio (klasik) toplu puanlama uç noktasını bir veri fabrikasına veya Synapse çalışma alanına kaydetmek için Bir Machine Learning Studio (klasik) bağlı hizmeti oluşturursunuz.

Örnek

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

Özellikler

Özellik	Açıklama	Gerekli
Tür	tür özelliği şu şekilde ayarlanmalıdır: AzureML.	Yes
mlEndpoint	Toplu puanlama URL'si.	Yes
apiKey	Yayımlanan çalışma alanı modelinin API'sini.	Yes
updateResourceEndpoint	Tahmine dayalı Web Hizmetini eğitilmiş model dosyasıyla güncelleştirmek için kullanılan ML Studio (klasik) Web Hizmeti uç noktasının Kaynak Güncelleştirme URL'si	Hayır
servicePrincipalId	Uygulamanın istemci kimliğini belirtin.	updateResourceEndpoint belirtilirse gereklidir
servicePrincipalKey	Uygulamanın anahtarını belirtin.	updateResourceEndpoint belirtilirse gereklidir
tenant	Uygulamanızın bulunduğu kiracı bilgilerini (etki alanı adı veya kiracı kimliği) belirtin. Fareyi Azure portalının sağ üst köşesine getirerek alabilirsiniz.	updateResourceEndpoint belirtilirse gereklidir
connectVia	Etkinlikleri bu bağlı hizmete göndermek için kullanılacak Integration Runtime. Azure Integration Runtime veya Şirket İçinde Barındırılan Tümleştirme Çalışma Zamanı'nı kullanabilirsiniz. Belirtilmezse, varsayılan Azure Integration Runtime'ı kullanır.	Hayır

Azure Machine Learning bağlı hizmeti

Azure Machine Learning çalışma alanını bir veri fabrikasına veya Synapse çalışma alanına bağlamak için bir Azure Machine Learning bağlı hizmeti oluşturursunuz.

Not

Şu anda Azure Machine Learning bağlı hizmeti için yalnızca hizmet sorumlusu kimlik doğrulaması desteklenmektedir.

Örnek

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Özellikler

Özellik	Açıklama	Gerekli
Tür	tür özelliği şu şekilde ayarlanmalıdır: AzureMLService.	Yes
subscriptionId	Azure abonelik kimliği	Yes
resourceGroupName	Adı	Yes
mlWorkspaceName	Azure Machine Learning çalışma alanı adı	Yes
servicePrincipalId	Uygulamanın istemci kimliğini belirtin.	Yes
servicePrincipalKey	Uygulamanın anahtarını belirtin.	Yes
tenant	Uygulamanızın bulunduğu kiracı bilgilerini (etki alanı adı veya kiracı kimliği) belirtin. Fareyi Azure portalının sağ üst köşesine getirerek alabilirsiniz.	updateResourceEndpoint belirtilirse gereklidir
connectVia	Etkinlikleri bu bağlı hizmete göndermek için kullanılacak Integration Runtime. Azure Integration Runtime veya Şirket İçinde Barındırılan Tümleştirme Çalışma Zamanı'nı kullanabilirsiniz. Belirtilmezse, varsayılan Azure Integration Runtime'ı kullanır.	Hayır

Azure Data Lake Analytics bağlı hizmeti

Azure Data Lake Analytics işlem hizmetini bir veri fabrikasına veya Synapse çalışma alanına bağlamak için bir Azure Data Lake Analytics bağlı hizmeti oluşturursunuz. İşlem hattındaki Data Lake Analytics U-SQL etkinliği bu bağlı hizmeti ifade eder.

Örnek

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Özellikler

Özellik	Açıklama	Gerekli
Tür	type özelliği şu şekilde ayarlanmalıdır: AzureDataLakeAnalytics.	Yes
accountName	Azure Data Lake Analytics Hesap Adı.	Yes
dataLakeAnalyticsUri	Azure Data Lake Analytics URI'si.	Hayır
subscriptionId	Azure abonelik kimliği	Hayır
resourceGroupName	Azure kaynak grubu adı	Hayır
servicePrincipalId	Uygulamanın istemci kimliğini belirtin.	Yes
servicePrincipalKey	Uygulamanın anahtarını belirtin.	Yes
tenant	Uygulamanızın bulunduğu kiracı bilgilerini (etki alanı adı veya kiracı kimliği) belirtin. Fareyi Azure portalının sağ üst köşesine getirerek alabilirsiniz.	Yes
connectVia	Etkinlikleri bu bağlı hizmete göndermek için kullanılacak Integration Runtime. Azure Integration Runtime veya Şirket İçinde Barındırılan Tümleştirme Çalışma Zamanı'nı kullanabilirsiniz. Belirtilmezse, varsayılan Azure Integration Runtime'ı kullanır.	Hayır

Azure Databricks bağlı hizmeti

Databricks iş yüklerini (not defteri, jar, python) çalıştırmak için kullandığınız Databricks çalışma alanını kaydetmek için Azure Databricks bağlı hizmeti oluşturabilirsiniz.

Önemli

Databricks bağlı hizmetleri Örnek havuzlarını ve Sistem tarafından atanan yönetilen kimlik kimlik doğrulamalarını destekler.

Örnek - Databricks'te yeni iş kümesi kullanma

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "dapif33c9c721144c3a790b35000b57f7124f"
            }
        }
    }
}

Örnek - Databricks'te mevcut Etkileşimli kümeyi kullanma

{
    "name": " AzureDataBricksLinedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "dapif33c9c72344c3a790b35000b57f7124f"
          },
        "existingClusterId": "{clusterId}"
        }
}

Özellikler

Özellik	Açıklama	Gerekli
Adı	Bağlı Hizmetin Adı	Yes
Tür	tür özelliği şu şekilde ayarlanmalıdır: Azure Databricks.	Yes
etki alanı	Databricks çalışma alanının bölgesini temel alarak Azure Bölgesini buna göre belirtin. Örnek: https://eastus.azuredatabricks.net	Yes
accessToken	Hizmetin Azure Databricks'de kimlik doğrulaması için erişim belirteci gereklidir. Erişim belirtecinin databricks çalışma alanından oluşturulması gerekir. Erişim belirtecini bulmak için daha ayrıntılı adımlar burada bulunabilir	Hayır
MSI	Azure Databricks'de kimlik doğrulaması yapmak için hizmetin yönetilen kimliğini (sistem tarafından atanan) kullanın. 'MSI' kimlik doğrulaması kullanırken Erişim Belirteci gerekmez. Yönetilen Kimlik kimlik doğrulaması hakkında daha fazla ayrıntıya buradan ulaşabilirsiniz	Hayır
existingClusterId	Bunun üzerindeki tüm işleri çalıştırmak için mevcut bir kümenin küme kimliği. Bu zaten oluşturulmuş bir Etkileşimli Küme olmalıdır. Yanıt vermeyi durdurursa kümeyi el ile yeniden başlatmanız gerekebilir. Databricks, daha fazla güvenilirlik için yeni kümelerde iş çalıştırmayı önerir. Databricks çalışma alanında Etkileşimli Kümenin Küme Kimliğini bulabilirsiniz -> Kümeler -> Etkileşimli Küme Adı -> Yapılandırma -> Etiketler. Diğer ayrıntılar	Hayır
instancePoolId	Databricks çalışma alanında var olan bir havuzun Örnek Havuzu Kimliği.	Hayır
newClusterVersion	Kümenin Spark sürümü. Databricks'te bir iş kümesi oluşturur.	Hayır
newClusterNumOfWorker	Bu kümenin sahip olması gereken çalışan düğümlerinin sayısı. Bir kümede toplam num_workers + 1 Spark düğümü için bir Spark Sürücüsü ve num_workers Yürütücüleri vardır. Int32 biçimindeki "1" gibi bir dize, numOfWorker'ın 1 veya "1:10" olduğu anlamına gelir.	Hayır
newClusterNodeType	Bu alan, bu kümedeki Spark düğümlerinin her biri için kullanılabilen kaynakları tek bir değer aracılığıyla kodlar. Örneğin Spark düğümleri bellek veya işlem yoğunluklu iş yükleri için sağlanabilir ve iyileştirilebilir. Bu alan yeni küme için gereklidir	Hayır
newClusterSparkConf	isteğe bağlı, kullanıcı tarafından belirtilen Spark yapılandırması anahtar-değer çiftleri kümesi. Kullanıcılar ayrıca sırasıyla spark.driver.extraJavaOptions ve spark.executor.extraJavaOptions aracılığıyla sürücüye ve yürütücülere fazladan JVM seçeneklerinden oluşan bir dize geçirebilir.	Hayır
newClusterInitScripts	yeni küme için isteğe bağlı, kullanıcı tanımlı başlatma betikleri kümesi. Çalışma alanı dosyalarında (önerilen) veya DBFS yolu (eski) aracılığıyla init betiklerini belirtebilirsiniz.	Hayır

Azure SQL Veritabanı bağlı hizmeti

Bir Azure SQL bağlı hizmeti oluşturur ve saklı yordamı bir işlem hattından çağırmak için Saklı Yordam Etkinliği ile birlikte kullanırsınız. Bu bağlı hizmetle ilgili ayrıntılar için Azure SQL Bağlan or makalesine bakın.

Azure Synapse Analytics bağlı hizmeti

Azure Synapse Analytics bağlı hizmeti oluşturur ve saklı yordamı bir işlem hattından çağırmak için Saklı Yordam Etkinliği ile birlikte kullanırsınız. Bu bağlı hizmetle ilgili ayrıntılar için Azure Synapse Analytics Bağlan or makalesine bakın.

SQL Server bağlı hizmeti

SQL Server bağlı hizmeti oluşturur ve saklı yordamı bir işlem hattından çağırmak için Saklı Yordam Etkinliği ile birlikte kullanırsınız. Bu bağlı hizmetle ilgili ayrıntılar için SQL Server bağlayıcısı makalesine bakın.

Azure Synapse Analytics (Artifacts) bağlı hizmeti

Bir Azure Synapse Analytics (Artifacts) bağlı hizmeti oluşturur ve Synapse Notebook Etkinliği ve Synapse Spark iş tanımı Etkinliği ile kullanırsınız.

Örnek

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntergrationRuntimeReference"
        }
    }
}

Özellikler

Özellik	Açıklama	Gerekli
Adı	Bağlı Hizmetin Adı	Yes
açıklama	Bağlı Hizmetin açıklaması	Hayır
Ek açıklama -ları	Bağlı Hizmetin ek açıklamaları	Hayır
Tür	Tür özelliği AzureSynapseArtifacts olarak ayarlanmalıdır	Yes
endpoint	Azure Synapse Analytics URL'si	Yes
kimlik doğrulaması	Varsayılan ayar Sistem Tarafından Atanan Yönetilen Kimlik'tir	Yes
workspaceResourceId	çalışma alanı Kaynak Kimliği	Yes
connectVia	Veri deposuna bağlanmak için kullanılacak tümleştirme çalışma zamanı. Azure Integration Runtime kullanabilirsiniz. Belirtilmezse, varsayılan Azure Integration Runtime'ı kullanır. Şirket içinde barındırılan tümleştirme çalışma zamanı şu anda desteklenmiyor.	Yes

Azure İşlevi bağlı hizmeti

Bir Azure İşlevi bağlı hizmeti oluşturur ve Azure İşlevleri bir işlem hattında çalıştırmak için Azure İşlevi etkinliğiyle birlikte kullanırsınız. Azure işlevinin dönüş türü geçerli JObjectolmalıdır. (Unutmayın:JArray bir JObject.) Dışında herhangi bir dönüş türü JObject başarısız olur ve kullanıcı hatasını yükseltir Yanıt İçeriği geçerli bir JObject değil.

Özellik	Açıklama	Gerekli
Tür	Tür özelliği şu şekilde ayarlanmalıdır: AzureFunction	evet
işlev uygulaması URL'si	Azure İşlev Uygulaması URL'si. Biçim: `https://<accountname>.azurewebsites.net`. Bu URL, İşlev Uygulamanızı Azure portalında görüntülerken URL bölümünün altındaki değerdir	evet
işlev tuşu	Azure İşlevi için erişim anahtarı. İlgili işlevin Yönet bölümüne tıklayın ve İşlev Anahtarı'nı veya Konak anahtarını kopyalayın. Daha fazla bilgi için bkz. HTTP tetikleyicilerini ve bağlamalarını Azure İşlevleri	evet

Desteklenen dönüştürme etkinliklerinin listesi için bkz . Verileri dönüştürme.

Azure Data Factory ve Synapse işlem hatları tarafından desteklenen işlem ortamları

HDInsight işlem ortamı

İsteğe bağlı Azure HDInsight bağlı hizmeti

Örnek

Özellikler

Hizmet sorumlusu kimlik doğrulaması

Gelişmiş Özellikler

Düğüm boyutları

Kendi işlem ortamınızı getirme

Azure HDInsight bağlı hizmeti

Örnek

Özellikler

Azure Batch bağlı hizmeti

Örnek

Özellikler

Machine Learning Studio (klasik) bağlı hizmeti

Örnek

Özellikler

Azure Machine Learning bağlı hizmeti

Örnek

Özellikler

Azure Data Lake Analytics bağlı hizmeti

Örnek

Özellikler

Azure Databricks bağlı hizmeti

Örnek - Databricks'te yeni iş kümesi kullanma

Örnek - Databricks'te mevcut Etkileşimli kümeyi kullanma

Özellikler

Azure SQL Veritabanı bağlı hizmeti

Azure Synapse Analytics bağlı hizmeti

SQL Server bağlı hizmeti

Azure Synapse Analytics (Artifacts) bağlı hizmeti

Örnek

Özellikler

Azure İşlevi bağlı hizmeti

İlgili içerik

Ek kaynaklar