Výpočetní prostředí podporovaná kanály Azure Data Factory a Synapse

Článek
10/26/2023

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Důležité

Podpora pro Azure Machine Učení Studio (Classic) skončí 31. srpna 2024. Doporučujeme, abyste do tohoto data přešli na Učení Azure Machine.

Od 1. prosince 2021 nemůžete vytvořit nové prostředky machine Učení Studio (klasické) (pracovní prostor a plán webové služby). Až do 31. srpna 2024 můžete dál používat stávající experimenty a webové služby machine Učení Studio (klasické). Další informace naleznete v tématu:

Dokumentace k sadě Machine Učení Studio (classic) se vyřadí z provozu a nemusí být v budoucnu aktualizována.

Tento článek vysvětluje různá výpočetní prostředí, která můžete použít ke zpracování nebo transformaci dat. Poskytuje také podrobnosti o různých konfiguracích (vs. přineste si vlastní) podporované při konfiguraci propojených služeb propojování těchto výpočetních prostředí.

Následující tabulka obsahuje seznam podporovaných výpočetních prostředí a aktivit, které na nich můžou běžet.

Výpočetní prostředí	Aktivity
Cluster HDInsight na vyžádání nebo vlastní cluster HDInsight	Hive, Pig, Spark, MapReduce, Hadoop Streaming
Azure Batch	Vlastní
ML Studio (classic)	Aktivity nástroje ML Studio (klasické): Dávkové spouštění a aktualizace prostředku
Azure Machine Learning	Azure Machine Učení Execute Pipeline
Azure Data Lake Analytics	U-SQL Data Lake Analytics
Azure SQL, Azure Synapse Analytics, SQL Server	Uložená procedura
Azure Databricks	Notebook, Jar, Python
Azure Synapse Analytics (artefakty)	Aktivita poznámkového bloku Synapse, definice úlohy Synapse Spark
Funkce Azure Functions	Aktivita funkce Azure

Výpočetní prostředí HDInsight

Podrobnosti o podporovaných typech propojených služeb úložiště pro konfiguraci v prostředí by demand a BYOC (Bring your own compute) najdete v následující tabulce.

Ve výpočetní propojené službě	Název vlastnosti	Popis	Objekt blob	ADLS Gen2	Azure SQL DB	ADLS Gen 1
Na vyžádání	linkedServiceName	Propojená služba Azure Storage, kterou cluster na vyžádání používá k ukládání a zpracování dat.	Ano	Ano	No	Ne
	additionalLinkedServiceNames	Určuje další účty úložiště pro propojenou službu HDInsight, aby je služba mohl zaregistrovat vaším jménem.	Yes	No	No	Ne
	hcatalogLinkedServiceName	Název propojené služby Azure SQL, která ukazuje na databázi HCatalog. Cluster HDInsight na vyžádání se vytvoří pomocí databáze Azure SQL jako metastoru.	No	No	Ano	No
BYOC	linkedServiceName	Referenční informace k propojené službě Azure Storage	Ano	Ano	No	Ne
	additionalLinkedServiceNames	Určuje další účty úložiště pro propojenou službu HDInsight, aby je služba mohl zaregistrovat vaším jménem.	No	No	No	Ne
	hcatalogLinkedServiceName	Odkaz na propojenou službu Azure SQL, která odkazuje na databázi HCatalog.	No	No	No	Ne

Propojená služba Azure HDInsight na vyžádání

V tomto typu konfigurace je výpočetní prostředí plně spravované službou. Služba ji automaticky vytvoří před odesláním úlohy ke zpracování dat a odebrání po dokončení úlohy. Můžete vytvořit propojenou službu pro výpočetní prostředí na vyžádání, nakonfigurovat ji a řídit podrobná nastavení spouštění úloh, správy clusteru a spouštěcích akcí.

Poznámka:

Konfigurace na vyžádání se v současné době podporuje jenom pro clustery Azure HDInsight. Azure Databricks podporuje také úlohy na vyžádání pomocí clusterů úloh. Další informace najdete v tématu Propojená služba Azure Databricks.

Služba může automaticky vytvořit cluster HDInsight na vyžádání pro zpracování dat. Cluster se vytvoří ve stejné oblasti jako účet úložiště (vlastnost linkedServiceName ve formátu JSON) přidružený ke clusteru. Účet must úložiště je standardním účtem Azure Storage pro obecné účely.

Všimněte si následujících důležitých bodů týkající se propojené služby HDInsight na vyžádání:

Cluster HDInsight na vyžádání se vytvoří v rámci vašeho předplatného Azure. Cluster můžete zobrazit na webu Azure Portal, když je cluster spuštěný.
Protokoly pro úlohy spuštěné v clusteru HDInsight na vyžádání se zkopírují do účtu úložiště přidruženého ke clusteru HDInsight. ClusterUserName, clusterPassword, clusterSshUserName, clusterSshPassword definovaný v definici propojené služby se používají k přihlášení ke clusteru pro podrobné řešení potíží během životního cyklu clusteru.
Účtuje se vám pouze čas, kdy je cluster HDInsight spuštěný a spuštěný.
Akci skriptu můžete použít s propojenou službou Azure HDInsight na vyžádání.

Důležité

Zřízení clusteru Azure HDInsight na vyžádání obvykle trvá 20 minut nebo déle.

Příklad

Následující JSON definuje propojenou službu HDInsight založenou na linuxu. Služba automaticky vytvoří cluster HDInsight se systémem Linux, který zpracuje požadovanou aktivitu.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenent id>",
      "clusterResourceGroup": "<resource group name>",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Důležité

Cluster HDInsight vytvoří výchozí kontejner ve službě Blob Storage, kterou jste určili v kódu JSON (linkedServiceName). Při odstranění clusteru HDInsight neprovede odstranění tohoto kontejneru. Toto chování je záměrné. Díky propojené službě HDInsight na vyžádání se cluster HDInsight vytvoří pokaždé, když je potřeba zpracovat určitý řez, pokud neexistuje aktivní cluster (timeToLive), a po dokončení zpracování se zase odstraní.

Při dalším spuštění aktivit uvidíte v úložišti objektů blob Azure mnoho kontejnerů. Pokud je nepotřebujete pro řešení potíží s úlohami, můžete je odstranit, abyste snížili náklady na úložiště. Názvy těchto kontejnerů se řídí vzorem: adf**yourfactoryorworkspacename**-**linkedservicename**-datetimestamp. Pomocí nástrojů, jako je Průzkumník služby Microsoft Azure Storage, odstraňte kontejnery ve službě Azure Blob Storage.

Vlastnosti

Vlastnost	Popis	Povinní účastníci
type	Vlastnost typu by měla být nastavena na HDInsightOnDemand.	Ano
clusterSize	Počet pracovních a datových uzlů v clusteru Cluster HDInsight se vytvoří se 2 hlavními uzly spolu s počtem pracovních uzlů, které pro tuto vlastnost zadáte. Uzly mají velikost Standard_D3, které mají 4 jádra, takže cluster 4 pracovních uzlů má 24 jader (44 = 16 jader pro pracovní uzly, plus 24 = 8 jader pro hlavní uzly). Podrobnosti najdete v tématu Nastavení clusterů v HDInsight s Hadoopem, Sparkem, Kafka a dalšími informacemi.	Ano
linkedServiceName	Propojená služba Azure Storage, kterou cluster na vyžádání používá k ukládání a zpracování dat. Cluster HDInsight se vytvoří ve stejné oblasti jako tento účet Azure Storage. Pro Azure HDInsight platí omezení celkového počtu jader, která můžete v jednotlivých podporovaných oblastech Azure použít. Ujistěte se, že v dané oblasti Azure máte dostatek kvót jader, abyste splnili požadovanou kvótu clusterŮ. Podrobnosti najdete v tématu Nastavení clusterů ve službě HDInsight s Hadoopem, Sparkem, Kafka a dalšími funkcemi. V současné době nemůžete vytvořit cluster HDInsight na vyžádání, který jako úložiště používá Azure Data Lake Storage (Gen 2). Pokud chcete uložit výsledná data ze zpracování HDInsight ve službě Azure Data Lake Storage (Gen 2), pomocí aktivity kopírování zkopírujte data ze služby Azure Blob Storage do Azure Data Lake Storage (Gen 2).	Ano
clusterResourceGroup	Cluster HDInsight se vytvoří v této skupině prostředků.	Ano
timetolive	Povolený čas nečinnosti pro cluster HDInsight na vyžádání Určuje, jak dlouho cluster HDInsight na vyžádání zůstane aktivní po dokončení spuštění aktivity, pokud v clusteru nejsou žádné další aktivní úlohy. Minimální povolená hodnota je 5 minut (00:05:00). Pokud například spuštění aktivity trvá 6 minut a časový limit je nastavený na 5 minut, cluster zůstane aktivní po dobu 5 minut po 6 minutách zpracování spuštění aktivity. Pokud se spustí jiné spuštění aktivity s intervalem 6 minut, zpracuje ho stejný cluster. Vytvoření clusteru HDInsight na vyžádání je náročná operace (může nějakou dobu trvat), takže toto nastavení použijte podle potřeby ke zlepšení výkonu služby opětovným použitím clusteru HDInsight na vyžádání. Pokud nastavíte hodnotu časového limitu na hodnotu 0, cluster se odstraní, jakmile se aktivita dokončí. Vzhledem k tomu, že pokud nastavíte vysokou hodnotu, může cluster zůstat nečinný, abyste se mohli přihlásit k určitému účelu řešení potíží, ale mohlo by to vést k vysokým nákladům. Proto je důležité nastavit odpovídající hodnotu na základě vašich potřeb. Pokud je hodnota vlastnosti timetolive správně nastavena, může několik kanálů sdílet instanci clusteru HDInsight na vyžádání.	Ano
clusterType	Typ clusteru HDInsight, který se má vytvořit. Povolené hodnoty jsou hadoop a Spark. Pokud není zadána, výchozí hodnota je hadoop. Cluster s povoleným balíčkem zabezpečení podniku nelze vytvořit na vyžádání, místo toho použijte existující cluster nebo přineste si vlastní výpočetní prostředky.	No
version	Verze clusteru HDInsight Pokud není zadaný, používá aktuální výchozí verzi služby HDInsight.	No
hostSubscriptionId	ID předplatného Azure použité k vytvoření clusteru HDInsight. Pokud není zadaný, použije ID předplatného vašeho přihlašovacího kontextu Azure.	No
clusterNamePrefix	Předpona názvu clusteru HDI, časové razítko se automaticky připojí na konec názvu clusteru.	No
SparkVersion	Verze Sparku, pokud je typ clusteru Spark	No
additionalLinkedServiceNames	Určuje další účty úložiště pro propojenou službu HDInsight, aby je služba mohl zaregistrovat vaším jménem. Tyto účty úložiště musí být ve stejné oblasti jako cluster HDInsight, který se vytvoří ve stejné oblasti jako účet úložiště určený linkedServiceName.	No
osType	Typ operačního systému. Povolené hodnoty jsou: Linux a Windows (pouze pro HDInsight 3.3). Výchozí hodnota je Linux.	No
hcatalogLinkedServiceName	Název propojené služby Azure SQL, která ukazuje na databázi HCatalog. Cluster HDInsight na vyžádání se vytvoří pomocí služby Azure SQL Database jako metastoru.	No
connectVia	Prostředí Integration Runtime, které se má použít k odeslání aktivit do této propojené služby HDInsight. Pro propojenou službu HDInsight na vyžádání podporuje pouze prostředí Azure Integration Runtime. Pokud není zadaný, použije výchozí prostředí Azure Integration Runtime.	No
clusterUserName	Uživatelské jméno pro přístup ke clusteru.	No
clusterPassword	Heslo typu zabezpečeného řetězce pro přístup ke clusteru.	No
clusterSshUserName	Uživatelské jméno ke vzdálenému připojení SSH k uzlu clusteru (pro Linux).	No
clusterSshPassword	Heslo typu zabezpečeného řetězce pro vzdálené připojení uzlu clusteru s protokolem SSH (pro Linux).	No
scriptActions	Zadejte skript pro přizpůsobení clusteru HDInsight během vytváření clusteru na vyžádání. Nástroj pro vytváření uživatelského rozhraní v současné době podporuje zadávání pouze 1 akce skriptu, ale toto omezení můžete provést ve formátu JSON (zadat více akcí skriptů ve formátu JSON).	No

Důležité

HDInsight podporuje více verzí clusteru Hadoop, které je možné nasadit. Každá volba verze vytvoří konkrétní verzi distribuce Hortonworks Data Platform (HDP) a sadu komponent obsažených v dané distribuci. Seznam podporovaných verzí HDInsight se neustále aktualizuje, aby poskytoval nejnovější součásti ekosystému Hadoop a opravy. Ujistěte se, že vždy odkazujete na nejnovější informace o podporované verzi HDInsight a typu operačního systému, abyste měli jistotu, že používáte podporovanou verzi SLUŽBY HDInsight.

Důležité

Propojené služby HDInsight v současné době nepodporují HBase, Interactive Query (Hive LLAP), Storm.

Příklad json additionalLinkedServiceNames

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Ověřování instančního objektu

Propojená služba HDInsight na vyžádání vyžaduje ověření instančního objektu k vytvoření clusterů HDInsight vaším jménem. Pokud chcete použít ověřování instančního objektu, zaregistrujte entitu aplikace v ID Microsoft Entra a udělte jí roli Přispěvatel předplatného nebo skupiny prostředků, ve které je cluster HDInsight vytvořen. Podrobný postup najdete v tématu Použití portálu k vytvoření aplikace Microsoft Entra a instančního objektu, který má přístup k prostředkům. Poznamenejte si následující hodnoty, které slouží k definování propojené služby:

ID aplikace
Klíč aplikace
ID tenanta

Ověřování instančního objektu použijte zadáním následujících vlastností:

Vlastnost	Popis	Povinní účastníci
servicePrincipalId	Zadejte ID klienta aplikace.	Ano
servicePrincipalKey	Zadejte klíč aplikace.	Ano
Nájemce	Zadejte informace o tenantovi (název domény nebo ID tenanta), pod kterým se vaše aplikace nachází. Můžete ho načíst tak, že narazíte myší v pravém horním rohu webu Azure Portal.	Ano

Upřesnit vlastnosti

Můžete také zadat následující vlastnosti podrobné konfigurace clusteru HDInsight na vyžádání.

Vlastnost	Popis	Povinní účastníci
CoreConfiguration	Určuje základní konfigurační parametry (jako v core-site.xml) pro vytvoření clusteru HDInsight.	No
hBaseConfiguration	Určuje parametry konfigurace HBase (hbase-site.xml) pro cluster HDInsight.	No
hdfsConfiguration	Určuje parametry konfigurace HDFS (hdfs-site.xml) pro cluster HDInsight.	No
hiveConfiguration	Určuje parametry konfigurace Hive (hive-site.xml) pro cluster HDInsight.	No
mapReduceConfiguration	Určuje parametry konfigurace MapReduce (mapred-site.xml) pro cluster HDInsight.	No
oozieConfiguration	Určuje parametry konfigurace Oozie (oozie-site.xml) pro cluster HDInsight.	No
stormConfiguration	Určuje parametry konfigurace Stormu (storm-site.xml) pro cluster HDInsight.	No
Konfigurace yarnConfiguration	Určuje parametry konfigurace Yarn (yarn-site.xml) pro cluster HDInsight.	No

Příklad – Konfigurace clusteru HDInsight na vyžádání s pokročilými vlastnostmi

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenent id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

Velikosti uzlů

Velikost uzlů head, data a zookeeper můžete zadat pomocí následujících vlastností:

Vlastnost	Popis	Povinní účastníci
headNodeSize	Určuje velikost hlavního uzlu. Výchozí hodnota je: Standard_D3. Podrobnosti najdete v části Určení velikostí uzlů.	No
dataNodeSize	Určuje velikost datového uzlu. Výchozí hodnota je: Standard_D3.	No
zookeeperNodeSize	Určuje velikost uzlu Zoo Keeper. Výchozí hodnota je: Standard_D3.	No

Určení velikostí uzlů Najdete v článku Velikost virtuálních počítačů řetězcové hodnoty, které je potřeba zadat pro vlastnosti uvedené v předchozí části. Hodnoty musí odpovídat CMDLETs a APIS , na které odkazuje článek. Jak vidíte v článku, datový uzel velké (výchozí) velikosti má 7 GB paměti, což nemusí být pro váš scénář dostatečné.

Pokud chcete vytvořit hlavní uzly a pracovní uzly velikosti D4, zadejte Standard_D4 jako hodnotu vlastností headNodeSize a dataNodeSize.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

Pokud pro tyto vlastnosti zadáte nesprávnou hodnotu, může se zobrazit následující chyba: Vytvoření clusteru se nezdařilo. Výjimka: Operaci vytvoření clusteru nelze dokončit. Operace se nezdařila, kód chyby je 400. Zanechaný stav clusteru: Chyba. Zpráva: PreClusterCreationValidationFailure. Pokud se zobrazí tato chyba, ujistěte se, že používáte název RUTINy a rozhraní APIS z tabulky v článku Velikosti virtuálních počítačů .

Používání vlastního výpočetního prostředí

V tomto typu konfigurace můžou uživatelé zaregistrovat již existující výpočetní prostředí jako propojenou službu. Výpočetní prostředí spravuje uživatel a služba ho používá k provádění aktivit.

Tento typ konfigurace je podporován pro následující výpočetní prostředí:

Azure HDInsight
Azure Batch
Azure Machine Learning
Azure Data Lake Analytics
Azure SQL DB, Azure Synapse Analytics, SQL Server

Propojená služba Azure HDInsight

Můžete vytvořit propojenou službu Azure HDInsight pro registraci vlastního clusteru HDInsight v datové továrně nebo pracovním prostoru Synapse.

Příklad

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Vlastnosti

Vlastnost	Popis	Povinní účastníci
type	Vlastnost typu by měla být nastavena na HDInsight.	Ano
clusterUri	Identifikátor URI clusteru HDInsight.	Ano
username	Zadejte jméno uživatele, který se má použít pro připojení k existujícímu clusteru HDInsight.	Ano
Heslo	Zadejte heslo pro uživatelský účet.	Ano
linkedServiceName	Název propojené služby Azure Storage, která odkazuje na úložiště objektů blob Azure používané clusterem HDInsight. V současné době nemůžete pro tuto vlastnost zadat propojenou službu Azure Data Lake Storage (Gen2). Pokud má cluster HDInsight přístup ke službě Data Lake Store, můžete přistupovat k datům ve službě Azure Data Lake Storage (Gen 2) ze skriptů Hive/Pig.	Ano
isEspEnabled	Zadejte true, pokud je cluster HDInsight povolený balíčkem zabezpečení podniku. Výchozí hodnota je false.	No
connectVia	Prostředí Integration Runtime, které se má použít k odeslání aktivit do této propojené služby. Můžete použít prostředí Azure Integration Runtime nebo místní prostředí Integration Runtime. Pokud není zadaný, použije výchozí prostředí Azure Integration Runtime. Pro cluster HDInsight s podporou balíčku zabezpečení podniku (ESP) použijte místní prostředí Integration Runtime, které má přehled o clusteru nebo by se mělo nasadit ve stejné virtuální síti jako cluster ESP HDInsight.	No

Důležité

Propojené služby HDInsight v současné době nepodporují HBase, Interactive Query (Hive LLAP), Storm.

Propojená služba Azure Batch

Poznámka:

Při práci s Azure doporučujeme používat modul Azure Az PowerShellu. Začněte tím, že si projdete téma Instalace Azure PowerShellu. Informace o tom, jak migrovat na modul Az PowerShell, najdete v tématu Migrace Azure PowerShellu z AzureRM na Az.

Můžete vytvořit propojenou službu Azure Batch pro registraci fondu virtuálních počítačů Batch do dat nebo pracovního prostoru Synapse. Vlastní aktivitu můžete spustit pomocí služby Azure Batch.

Pokud s službou Azure Batch začínáte, projděte si následující články:

Základy služby Azure Batch pro přehled služby Azure Batch
Rutina New-AzBatchAccount pro vytvoření účtu Azure Batch (nebo webu Azure Portal) pro vytvoření účtu Azure Batch pomocí webu Azure Portal. Podrobné pokyny k používání rutiny najdete v článku o správě účtu Azure Batch pomocí PowerShellu.
Rutina New-AzBatchPool pro vytvoření fondu Azure Batch

Důležité

Při vytváření nového fondu Azure Batch se musí použít VirtualMachineConfiguration a NE CloudServiceConfiguration. Další podrobnosti najdete v pokynech k migraci fondu Azure Batch.

Příklad

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Vlastnosti

Vlastnost	Popis	Povinní účastníci
type	Vlastnost typu by měla být nastavena na AzureBatch.	Ano
accountName	Název účtu Azure Batch.	Ano
Accesskey	Přístupový klíč pro účet Azure Batch.	Ano
batchUri	Adresa URL vašeho účtu Azure Batch ve formátu https:// batchaccountname.region.batch.azure.com.	Ano
poolName	Název fondu virtuálních počítačů.	Ano
linkedServiceName	Název propojené služby Azure Storage přidružené k této propojené službě Azure Batch Tato propojená služba se používá pro přípravné soubory potřebné ke spuštění aktivity.	Ano
connectVia	Prostředí Integration Runtime, které se má použít k odeslání aktivit do této propojené služby. Můžete použít prostředí Azure Integration Runtime nebo místní prostředí Integration Runtime. Pokud není zadaný, použije výchozí prostředí Azure Integration Runtime.	No

Propojená služba Machine Učení Studio (Classic)

Důležité

Podpora pro Azure Machine Učení Studio (Classic) skončí 31. srpna 2024. Doporučujeme, abyste do tohoto data přešli na Učení Azure Machine.

Dokumentace k sadě Machine Učení Studio (classic) se vyřadí z provozu a nemusí být v budoucnu aktualizována.

Vytvoříte propojenou službu Machine Učení Studio (Classic) pro registraci koncového bodu dávkového bodování machine Učení Studio (Classic) do datové továrny nebo pracovního prostoru Synapse.

Příklad

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

Vlastnosti

Vlastnost	Popis	Povinní účastníci
Typ	Vlastnost typu by měla být nastavená na: AzureML.	Ano
mlEndpoint	Adresa URL dávkového bodování.	Ano
apiKey	Rozhraní API publikovaného modelu pracovního prostoru.	Ano
updateResourceEndpoint	Adresa URL prostředku aktualizace pro koncový bod webové služby ML Studio (Classic) sloužící k aktualizaci prediktivní webové služby pomocí vytrénovaného souboru modelu	No
servicePrincipalId	Zadejte ID klienta aplikace.	Požadováno, pokud je zadán parametr updateResourceEndpoint.
servicePrincipalKey	Zadejte klíč aplikace.	Požadováno, pokud je zadán parametr updateResourceEndpoint.
tenant	Zadejte informace o tenantovi (název domény nebo ID tenanta), pod kterým se vaše aplikace nachází. Můžete ho načíst tak, že narazíte myší v pravém horním rohu webu Azure Portal.	Požadováno, pokud je zadán parametr updateResourceEndpoint.
connectVia	Prostředí Integration Runtime, které se má použít k odeslání aktivit do této propojené služby. Můžete použít prostředí Azure Integration Runtime nebo místní prostředí Integration Runtime. Pokud není zadaný, použije výchozí prostředí Azure Integration Runtime.	No

Propojená služba Azure Machine Učení

Vytvoříte propojenou službu Azure Machine Učení pro připojení pracovního prostoru Azure Machine Učení k datové továrně nebo pracovnímu prostoru Synapse.

Poznámka:

V současné době se pro propojenou službu Azure Machine Učení podporuje pouze ověřování instančního objektu.

Příklad

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Vlastnosti

Vlastnost	Popis	Povinní účastníci
Typ	Vlastnost typu by měla být nastavená na: AzureMLService.	Ano
subscriptionId	ID předplatného Azure	Ano
resourceGroupName	name	Ano
mlWorkspaceName	Název pracovního prostoru Učení Azure Machine	Ano
servicePrincipalId	Zadejte ID klienta aplikace.	Ano
servicePrincipalKey	Zadejte klíč aplikace.	Ano
tenant	Zadejte informace o tenantovi (název domény nebo ID tenanta), pod kterým se vaše aplikace nachází. Můžete ho načíst tak, že narazíte myší v pravém horním rohu webu Azure Portal.	Požadováno, pokud je zadán parametr updateResourceEndpoint.
connectVia	Prostředí Integration Runtime, které se má použít k odeslání aktivit do této propojené služby. Můžete použít prostředí Azure Integration Runtime nebo místní prostředí Integration Runtime. Pokud není zadaný, použije výchozí prostředí Azure Integration Runtime.	No

Propojená služba Azure Data Lake Analytics

Vytvoříte propojenou službu Azure Data Lake Analytics , která propojí výpočetní službu Azure Data Lake Analytics s datovou továrnou nebo pracovním prostorem Synapse. Aktivita U-SQL služby Data Lake Analytics v kanálu odkazuje na tuto propojenou službu.

Příklad

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Vlastnosti

Vlastnost	Popis	Povinní účastníci
type	Vlastnost typu by měla být nastavena na: AzureDataLakeAnalytics.	Ano
accountName	Název účtu Azure Data Lake Analytics	Ano
dataLakeAnalyticsUri	Identifikátor URI služby Azure Data Lake Analytics	No
subscriptionId	ID předplatného Azure	No
resourceGroupName	Název skupiny prostředků Azure	No
servicePrincipalId	Zadejte ID klienta aplikace.	Ano
servicePrincipalKey	Zadejte klíč aplikace.	Ano
tenant	Zadejte informace o tenantovi (název domény nebo ID tenanta), pod kterým se vaše aplikace nachází. Můžete ho načíst tak, že narazíte myší v pravém horním rohu webu Azure Portal.	Ano
connectVia	Prostředí Integration Runtime, které se má použít k odeslání aktivit do této propojené služby. Můžete použít prostředí Azure Integration Runtime nebo místní prostředí Integration Runtime. Pokud není zadaný, použije výchozí prostředí Azure Integration Runtime.	No

Propojená služba Azure Databricks

Propojenou službu Azure Databricks můžete vytvořit k registraci pracovního prostoru Databricks, který používáte ke spouštění úloh Databricks (poznámkový blok, jar, python).

Důležité

Propojené služby Databricks podporují fondy instancí a ověřování spravované identity přiřazené systémem.

Příklad – Použití nového clusteru úloh v Databricks

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "dapif33c9c721144c3a790b35000b57f7124f"
            }
        }
    }
}

Příklad – Použití existujícího interaktivního clusteru v Databricks

{
    "name": " AzureDataBricksLinedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "dapif33c9c72344c3a790b35000b57f7124f"
          },
        "existingClusterId": "{clusterId}"
        }
}

Vlastnosti

Vlastnost	Popis	Povinní účastníci
name	Název propojené služby	Ano
type	Vlastnost typu by měla být nastavená na: Azure Databricks.	Ano
domain	Podle toho zadejte oblast Azure na základě oblasti pracovního prostoru Databricks. Příklad: https://eastus.azuredatabricks.net	Ano
accessToken	Pro ověření ve službě Azure Databricks se vyžaduje přístupový token. Přístupový token je potřeba vygenerovat z pracovního prostoru Databricks. Podrobnější kroky k vyhledání přístupového tokenu najdete tady.	No
MSI	Použijte spravovanou identitu služby (přiřazenou systémem) k ověření ve službě Azure Databricks. Při použití ověřování MSI nepotřebujete přístupový token. Další podrobnosti o ověřování spravované identity najdete tady.	No
existingClusterId	ID clusteru existujícího clusteru pro spuštění všech úloh v tomto clusteru Mělo by se jednat o již vytvořený interaktivní cluster. Pokud cluster přestane reagovat, budete možná muset cluster restartovat ručně. Databricks navrhuje spouštění úloh v nových clusterech pro větší spolehlivost. ID clusteru interaktivního clusteru najdete v pracovním prostoru Databricks –> Clustery –> Název interaktivního clusteru –> Konfigurace –> Značky. Další podrobnosti	No
instancePoolId	ID fondu instancí existujícího fondu v pracovním prostoru Databricks	No
newClusterVersion	Verze Sparku clusteru. Vytvoří cluster úloh v Databricks.	No
newClusterNumOfWorker	Počet pracovních uzlů, které má mít tento cluster Cluster má jeden ovladač Sparku a num_workers Exekutory pro celkem num_workers + 1 uzly Spark. Řetězec formátovaný v int32, například "1", znamená, že numOfWorker je 1 nebo "1:10" znamená automatické škálování od 1 do min a 10 jako maximum.	No
newClusterNodeType	Toto pole kóduje prostředky dostupné pro každý z uzlů Sparku v tomto clusteru prostřednictvím jedné hodnoty. Uzly Sparku je například možné zřídit a optimalizovat pro úlohy náročné na paměť nebo výpočetní výkon. Toto pole se vyžaduje pro nový cluster.	No
newClusterSparkConf	a set of optional, user-specified spark configuration key-value pairs. Uživatelé mohou také předat řetězec dalších možností JVM ovladači a exekutorům prostřednictvím spark.driver.extraJavaOptions a spark.executor.extraJavaOptions.	No
newClusterInitScripts	sada volitelných uživatelsky definovaných inicializačních skriptů pro nový cluster. Inicializační skripty můžete zadat v souborech pracovního prostoru (doporučeno) nebo prostřednictvím cesty DBFS (starší verze).	No

Propojená služba Azure SQL Database

Vytvoříte propojenou službu Azure SQL a použijete ji s aktivitou Uložená procedura k vyvolání uložené procedury z kanálu. Podrobnosti o této propojené službě najdete v článku azure SQL Připojení or.

Propojená služba Azure Synapse Analytics

Vytvoříte propojenou službu Azure Synapse Analytics a použijete ji s aktivitou Uložená procedura k vyvolání uložené procedury z kanálu. Podrobnosti o této propojené službě najdete v článku o službě Azure Synapse Analytics Připojení or.

Propojená služba SQL Serveru

Vytvoříte propojenou službu SQL Serveru a použijete ji s aktivitou Uložená procedura k vyvolání uložené procedury z kanálu. Podrobnosti o této propojené službě najdete v článku o konektoru SQL Serveru.

Propojená služba Azure Synapse Analytics (artefakty)

Vytvoříte propojenou službu Azure Synapse Analytics (Artefakty) a použijete ji s aktivitou poznámkového bloku Synapse a aktivitou definice úlohy Synapse Spark.

Příklad

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntergrationRuntimeReference"
        }
    }
}

Vlastnosti

Vlastnost	Popis	Povinní účastníci
name	Název propojené služby	Ano
description	popis propojené služby	No
Poznámky	poznámky propojené služby	No
type	Vlastnost typu by měla být nastavená na AzureSynapseArtifacts.	Ano
endpoint	Adresa URL služby Azure Synapse Analytics	Ano
ověřování	Výchozí nastavení je spravovaná identita přiřazená systémem.	Ano
workspaceResourceId	ID prostředku pracovního prostoru	Ano
connectVia	Prostředí Integration Runtime, které se má použít pro připojení k úložišti dat. Můžete použít prostředí Azure Integration Runtime. Pokud není zadaný, použije výchozí prostředí Azure Integration Runtime. Místní prostředí Integration Runtime se v současné době nepodporuje.	Ano

Propojená služba Azure Functions

Vytvoříte propojenou službu Azure Functions a použijete ji s aktivitou funkce Azure Functions ke spuštění Azure Functions v kanálu. Návratový typ funkce Azure musí být platný JObject. (Mějte na paměti, že JArray není JObject.) Jakýkoli jiný návratový typ než JObject selže a vyvolá obsah odpovědi uživatele není platným objektem JObject.

Vlastnost	Popis	Povinní účastníci
type	Vlastnost typu musí být nastavená na: AzureFunction.	ano
adresa URL aplikace funkcí	Adresa URL aplikace Funkcí Azure Formát je `https://<accountname>.azurewebsites.net`. Tato adresa URL je hodnota v části Adresa URL při prohlížení aplikace funkcí na webu Azure Portal.	ano
funkční klávesa	Přístupový klíč pro funkci Azure Functions Klikněte na oddíl Správa příslušné funkce a zkopírujte klíč funkce nebo klíč hostitele. Další informace najdete tady: Triggery a vazby HTTP služby Azure Functions	ano

Seznam podporovaných aktivit transformace najdete v tématu Transformace dat.

Výpočetní prostředí podporovaná kanály Azure Data Factory a Synapse

Výpočetní prostředí HDInsight

Propojená služba Azure HDInsight na vyžádání

Příklad

Vlastnosti

Ověřování instančního objektu

Upřesnit vlastnosti

Velikosti uzlů

Používání vlastního výpočetního prostředí

Propojená služba Azure HDInsight

Příklad

Vlastnosti

Propojená služba Azure Batch

Příklad

Vlastnosti

Propojená služba Machine Učení Studio (Classic)

Příklad

Vlastnosti

Propojená služba Azure Machine Učení

Příklad

Vlastnosti

Propojená služba Azure Data Lake Analytics

Příklad

Vlastnosti

Propojená služba Azure Databricks

Příklad – Použití nového clusteru úloh v Databricks

Příklad – Použití existujícího interaktivního clusteru v Databricks

Vlastnosti

Propojená služba Azure SQL Database

Propojená služba Azure Synapse Analytics

Propojená služba SQL Serveru

Propojená služba Azure Synapse Analytics (artefakty)

Příklad

Vlastnosti

Propojená služba Azure Functions

Související obsah

Další materiály