Sdílet prostřednictvím

Výpočetní prostředí podporovaná kanály Azure Data Factory a Synapse

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje vše od přesunu dat až po datovou vědu, analýzy v reálném čase, podnikovou inteligenci a reportování. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Important

Podpora nástroje Azure Machine Learning Studio (classic) skončí 31. srpna 2024. Doporučujeme, abyste do tohoto data přešli na Azure Machine Learning .

Od 1. prosince 2021 nemůžete vytvářet nové prostředky machine Learning Studia (klasické) (pracovní prostor a plán webových služeb). Až do 31. srpna 2024 můžete dál používat stávající experimenty a webové služby Machine Learning Studio (klasické). Další informace najdete tady:

Dokumentace k nástroji Machine Learning Studio (classic) se vyřadí z provozu a nemusí se v budoucnu aktualizovat.

Tento článek vysvětluje různá výpočetní prostředí, která můžete použít ke zpracování nebo transformaci dat. Poskytuje také podrobnosti o různých konfiguracích (na vyžádání vs. přineste si vlastní), které jsou podporovány při konfiguraci propojených služeb pro připojení těchto výpočetních prostředí.

Následující tabulka obsahuje seznam podporovaných výpočetních prostředí a aktivit, které na nich můžou běžet.

Výpočetní prostředí Activities
Cluster HDInsight na vyžádání nebo vlastní cluster HDInsight Hive, Pig, Spark, MapReduce, Hadoop Streaming
Azure Batch Custom
ML Studio (classic) Aktivity nástroje ML Studio (klasické): Dávkové spouštění a aktualizace prostředku
Azure Machine Learning Kanál spuštění služby Azure Machine Learning
Azure Data Lake Analytics Data Lake Analytics U-SQL
Azure SQL, Azure Synapse Analytics, SQL Server Uložená procedura
Azure Databricks Notebook, Jar, Python
Azure Synapse Analytics (artefakty) Aktivita poznámkového bloku Synapse, definice úlohy Synapse Spark
Funkce Azure Aktivita funkce Azure

Výpočetní prostředí HDInsight

Podrobnosti o podporovaných typech propojených služeb úložiště pro konfiguraci v prostředí by demand a BYOC (Bring your own compute) najdete v následující tabulce.

Ve službě propojené s výpočetními prostředky Název vlastnosti Description Blob ADLS Gen2 Azure SQL DB ADLS Gen1
On-demand linkedServiceName Propojená služba Azure Storage, kterou cluster na vyžádání používá k ukládání a zpracování dat. Yes Yes No No
additionalLinkedServiceNames Určuje další účty úložiště pro propojenou službu HDInsight, aby je služba mohl zaregistrovat vaším jménem. Yes No No No
hcatalogLinkedServiceName Název propojené služby Azure SQL, která ukazuje na databázi HCatalog. Cluster HDInsight na vyžádání se vytvoří pomocí databáze Azure SQL jako metastoru. No No Yes No
BYOC linkedServiceName Referenční informace k propojené službě Azure Storage Yes Yes No No
additionalLinkedServiceNames Určuje další účty úložiště pro propojenou službu HDInsight, aby je služba mohl zaregistrovat vaším jménem. No No No No
hcatalogLinkedServiceName Odkaz na propojenou službu Azure SQL, která odkazuje na databázi HCatalog. No No No No

Propojená služba Azure HDInsight na vyžádání

V tomto typu konfigurace je výpočetní prostředí plně spravované službou. Služba ji automaticky vytvoří před odesláním úlohy ke zpracování dat a odebrání po dokončení úlohy. Můžete vytvořit propojenou službu pro výpočetní prostředí na vyžádání, nakonfigurovat ji a řídit podrobná nastavení spouštění úloh, správy clusteru a spouštěcích akcí.

Note

Konfigurace na vyžádání se v současné době podporuje jenom pro clustery Azure HDInsight. Azure Databricks podporuje také úlohy na vyžádání pomocí clusterů úloh. Další informace najdete v tématu Propojená služba Azure Databricks.

Služba může automaticky vytvořit cluster HDInsight na vyžádání pro zpracování dat. Cluster se vytvoří ve stejné oblasti jako účet úložiště (vlastnost linkedServiceName ve formátu JSON) přidružený ke clusteru. Účet must úložiště musí být standardním účtem úložiště Azure pro obecné účely.

Všimněte si následujících důležitých bodů týkající se propojené služby HDInsight na vyžádání:

  • Cluster HDInsight na vyžádání se vytvoří v rámci vašeho předplatného Azure. Cluster můžete zobrazit na webu Azure Portal, když je cluster spuštěný.
  • Protokoly pro úlohy spuštěné v clusteru HDInsight na vyžádání se zkopírují do účtu úložiště přidruženého ke clusteru HDInsight. ClusterUserName, clusterPassword, clusterSshUserName, clusterSshPassword definovaný v definici propojené služby se používají k přihlášení ke clusteru pro podrobné řešení potíží během životního cyklu clusteru.
  • Účtuje se vám pouze čas, kdy je cluster HDInsight spuštěn a běží úlohy.
  • Akci skriptu můžete použít s propojenou službou Azure HDInsight na vyžádání.

Important

Zřízení clusteru Azure HDInsight na vyžádání obvykle trvá 20 minut nebo déle.

Příklad použití klíče objektu služby

Následující JSON definuje propojenou službu HDInsight založenou na linuxu. Služba automaticky vytvoří cluster HDInsight se systémem Linux , který zpracuje požadovanou aktivitu.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenant id>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "ServicePrincipalKey",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Příklad použití spravované identity přiřazené systémem

Následující JSON definuje propojenou službu HDInsight založenou na linuxu. Služba automaticky vytvoří cluster HDInsight se systémem Linux , který zpracuje požadovanou aktivitu.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "SystemAssignedManagedIdentity",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Příklad použití spravované identity přiřazené uživatelem

Následující JSON definuje propojenou službu HDInsight založenou na linuxu. Služba automaticky vytvoří cluster HDInsight se systémem Linux , který zpracuje požadovanou aktivitu.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "UserAssignedManagedIdentity",
      "credential": {
            "referenceName": "CredentialName",
            "type": "CredentialReference"
       },
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Important

Cluster HDInsight vytvoří výchozí kontejner v úložišti objektů blob, který jste zadali ve formátu JSON (linkedServiceName). HdInsight tento kontejner při odstranění clusteru neodstraní. Toto chování je záměrné. S propojenou službou HDInsight na vyžádání se cluster HDInsight vytvoří pokaždé, když je potřeba zpracovat řez, pokud neexistuje existující živý cluster (timeToLive) a po dokončení zpracování se odstraní.

Jakmile probíhá více aktivit, uvidíte v úložišti objektů blob Azure mnoho kontejnerů. Pokud je nepotřebujete pro řešení potíží s úlohami, můžete je odstranit, abyste snížili náklady na úložiště. Názvy těchto kontejnerů se řídí vzorem: adf**yourfactoryorworkspacename**-**linkedservicename**-datetimestamp. Pomocí nástrojů, jako je Průzkumník služby Microsoft Azure Storage , odstraňte kontejnery ve službě Azure Blob Storage Storage.

Properties

Property Description Required
typ Vlastnost typu by měla být nastavena na HDInsightOnDemand. Yes
clusterSize Počet pracovních a datových uzlů v clusteru Cluster HDInsight je vytvořen se 2 hlavními uzly a s počtem pracovních uzlů, který zadáte jako parametr této vlastnosti. Uzly mají velikost Standard_D3, které mají 4 jádra, takže cluster 4 pracovních uzlů má 24 jader (4*4 = 16 jader pro pracovní uzly, plus 2*4 = 8 jader pro hlavní uzly). Podrobnosti najdete v tématu Nastavení clusterů v HDInsight s Hadoopem, Sparkem, Kafkou a dalšími. Yes
linkedServiceName Propojená služba Azure Storage, kterou cluster na vyžádání používá k ukládání a zpracování dat. Cluster HDInsight se vytvoří ve stejné oblasti jako tento účet Azure Storage. Azure HDInsight má omezení celkového počtu jader, která můžete použít v každé oblasti Azure, kterou podporuje. Ujistěte se, že v dané oblasti Azure máte dostatek kvót výpočetních jader, aby pokryly požadovanou velikost clusteru. Podrobnosti najdete v tématu Nastavení clusterů ve službě HDInsight s Hadoopem, Sparkem, Kafka a dalšími funkcemi.

V současné době nemůžete vytvořit cluster HDInsight na vyžádání, který jako úložiště používá Azure Data Lake Storage (Gen 2). Pokud chcete uložit výsledná data ze zpracování HDInsight ve službě Azure Data Lake Storage (Gen 2), pomocí aktivity kopírování zkopírujte data ze služby Azure Blob Storage do Azure Data Lake Storage (Gen 2).

Yes
clusterResourceGroup Cluster HDInsight je vytvořen v této skupině prostředků. Yes
clusterResourceGroupAuthType Zadejte typ ověřování pro skupinu prostředků na vyžádání clusteru HDInsight. Podporované typy ověřování jsou ServicePrincipalKey, SystemAssignedManagedIdentity, UserAssignedManagedIdentity. Vyžaduje se pro použití ověřování spravované identity. Pokud tam pole není, použije se výchozí hodnota ServicePrincipalKey.
přihlašovací údaje Zadejte odkaz na přihlašovací údaje obsahující objekt spravované identity, který má přístup ke skupině prostředků. Vyžaduje se pouze pro ověřování UserAssignedManagedIdentity.
timetolive Povolený čas nečinnosti pro cluster HDInsight na vyžádání Určuje, jak dlouho cluster HDInsight na vyžádání zůstane aktivní po dokončení spuštění aktivity, pokud v clusteru nejsou žádné další aktivní úlohy. Minimální povolená hodnota je 5 minut (00:05:00).

Pokud například spuštění aktivity trvá 6 minut a časový limit je nastavený na 5 minut, cluster zůstane aktivní po dobu 5 minut po 6 minutách zpracování spuštění aktivity. Pokud se spustí jiné spuštění aktivity s intervalem 6 minut, zpracuje ho stejný cluster.

Vytvoření clusteru HDInsight na vyžádání je náročná operace (může nějakou dobu trvat), takže toto nastavení použijte podle potřeby ke zlepšení výkonu služby opětovným použitím clusteru HDInsight na vyžádání.

Pokud nastavíte hodnotu časového limitu na hodnotu 0, cluster se odstraní, jakmile se aktivita dokončí. Vzhledem k tomu, že pokud nastavíte vysokou hodnotu, může cluster zůstat nečinný, abyste se mohli přihlásit k určitému účelu řešení potíží, ale mohlo by to vést k vysokým nákladům. Proto je důležité nastavit odpovídající hodnotu na základě vašich potřeb.

Pokud je hodnota vlastnosti timetolive nastavena správně, mohou instanci clusteru HDInsight na vyžádání sdílet více kanálů.		 Yes
clusterType Typ clusteru HDInsight, který se má vytvořit. Povolené hodnoty jsou hadoop a Spark. Pokud není zadána, výchozí hodnota je hadoop. Cluster s povoleným balíčkem zabezpečení podniku nelze vytvořit na vyžádání, místo toho použijte existující cluster nebo přineste si vlastní výpočetní prostředky. No
verze Verze clusteru HDInsight Pokud není zadaný, používá aktuální výchozí verzi služby HDInsight. No
hostSubscriptionId ID předplatného Azure použité k vytvoření clusteru HDInsight. Pokud není zadaný, použije ID předplatného vašeho přihlašovacího kontextu Azure. No
clusterNamePrefix Předpona názvu clusteru HDI, časové razítko se automaticky připojí na konec názvu clusteru. No
sparkVersion Verze Sparku, pokud je typ clusteru Spark No
additionalLinkedServiceNames Určuje další účty úložiště pro propojenou službu HDInsight, aby je služba mohl zaregistrovat vaším jménem. Účty úložiště musí být ve stejné oblasti jako cluster HDInsight, který se vytváří ve stejné oblasti jako účet úložiště určený proměnnou linkedServiceName. No
osType Typ operačního systému. Povolené hodnoty jsou: Linux a Windows (pouze pro HDInsight 3.3). Výchozí hodnota je Linux. No
hcatalogLinkedServiceName Název propojené služby Azure SQL, která ukazuje na databázi HCatalog. Cluster HDInsight na vyžádání se vytvoří pomocí služby Azure SQL Database jako metastoru. No
connectVia Prostředí Integration Runtime, které se má použít pro odesílání aktivit do této propojené služby HDInsight. Pouze pro propojenou službu HDInsight na vyžádání je podporováno prostředí Azure Integration Runtime. Pokud není zadaný, použije výchozí prostředí Azure Integration Runtime. No
clusterUserName Uživatelské jméno pro přístup ke clusteru. No
clusterPassword Heslo typu zabezpečeného řetězce pro přístup ke clusteru. No
clusterSshUserName Uživatelské jméno ke vzdálenému připojení SSH k uzlu clusteru (pro Linux). No
clusterSshPassword Heslo typu zabezpečeného řetězce pro vzdálené připojení uzlu clusteru s protokolem SSH (pro Linux). No
scriptActions Zadejte skript pro přizpůsobení clusteru HDInsight během vytváření clusteru na vyžádání.
Nástroj pro vytváření uživatelského rozhraní v současné době podporuje zadávání pouze 1 akce skriptu, ale toto omezení můžete provést ve formátu JSON (zadat více akcí skriptů ve formátu JSON).		 No

Important

HDInsight podporuje více verzí clusteru Hadoop, které je možné nasadit. Každá volba verze vytvoří konkrétní verzi distribuce Hortonworks Data Platform (HDP) a sadu komponent obsažených v dané distribuci. Seznam podporovaných verzí HDInsight se neustále aktualizuje, aby poskytoval nejnovější součásti ekosystému Hadoop a opravy. Ujistěte se, že vždy odkazujete na nejnovější informace o podporované verzi HDInsight a typu operačního systému , abyste měli jistotu, že používáte podporovanou verzi SLUŽBY HDInsight.

Important

Propojené služby HDInsight v současné době nepodporují HBase, Interactive Query (Hive LLAP), Storm.

  • Příklad JSON additionalLinkedServiceNames
"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Autentizace

Ověřování servisního principála

Propojená služba HDInsight na vyžádání vyžaduje ověření služebního objektu pro vytvoření clusterů HDInsight ve vašem zastoupení. Pokud chcete použít ověřování pomocí service principal, zaregistrujte aplikační entitu v Microsoft Entra ID a udělte jí roli Přispěvatel ve vašem předplatném nebo ve skupině prostředků, kde je vytvořen cluster HDInsight. Podrobný postup najdete v části Použití portálu k vytvoření aplikace Microsoft Entra a služebního principálu, který má přístup k prostředkům. Poznamenejte si následující hodnoty, které slouží k definování propojené služby:

  • Identifikátor aplikace
  • Klíč aplikace
  • Identifikátor nájemce

Ověřování službového principálu použijte zadáním následujících vlastností:

Property Description Required
servicePrincipalId Zadejte ID klienta aplikace. Yes
servicePrincipalKey Zadejte klíč aplikace. Yes
tenant Zadejte informace o tenantovi (název domény nebo ID tenanta), pod kterým se vaše aplikace nachází. Můžete ho načíst tak, že přenesete kurzor myši do pravého horního rohu portálu Azure. Yes

Ověřování spravované identity

Pokud používáte ověřování spravované identity pro propojené služby Azure HDInsight na vyžádání, ujistěte se, že objekt spravované identity má k této skupině prostředků přístup role Přispěvatel.

Primární účty úložiště ADLS Gen2 teď podporují ověřování na základě spravované identity přiřazené uživatelem (UAMI) kromě stávajícího ověřování založeného na klíči. UAMI musí mít oprávnění role vlastníka dat úložiště Blob na primárním účtu úložiště.

Omezení:

  • Primární účet úložiště ADLS Gen2 a UAMI se musí nacházet ve stejné skupině prostředků jako skupina prostředků použitá k vytvoření clusteru HDInsight na vyžádání.
  • Název objektu přihlašovacích údajů pro UAMI ve službě Data Factory musí přesně odpovídat názvu UAMI.

Další informace najdete v tématu Vytvoření Azure HDInsight – Azure Data Lake Storage Gen2 – portál a spravované identity ve službě Azure HDInsight.

Pokročilé vlastnosti

Můžete také zadat následující vlastnosti podrobné konfigurace clusteru HDInsight na vyžádání.

Property Description Required
coreConfiguration Určuje základní konfigurační parametry (jako v core-site.xml) pro vytvoření clusteru HDInsight. No
hBaseConfiguration Určuje parametry konfigurace HBase (hbase-site.xml) pro cluster HDInsight. No
hdfsConfiguration Určuje parametry konfigurace HDFS (hdfs-site.xml) pro cluster HDInsight. No
hiveConfiguration Určuje parametry konfigurace hive (hive-site.xml) pro cluster HDInsight. No
mapReduceConfiguration Určuje parametry konfigurace MapReduce (mapred-site.xml) pro cluster HDInsight. No
oozieConfiguration Určuje parametry konfigurace Oozie (oozie-site.xml) pro cluster HDInsight. No
stormConfiguration Určuje parametry konfigurace Stormu (storm-site.xml) pro cluster HDInsight. No
yarnConfiguration Určuje parametry konfigurace Yarn (yarn-site.xml) pro cluster HDInsight. No
  • Příklad – Konfigurace clusteru HDInsight na vyžádání s pokročilými vlastnostmi
{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenant id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

Velikosti uzlů

Velikost uzlů head, data a zookeeper můžete zadat pomocí následujících vlastností:

Property Description Required
headNodeSize Určuje velikost hlavního uzlu. Výchozí hodnota je: Standard_D3. Podrobnosti najdete v části Určení velikostí uzlů . No
dataNodeSize Určuje velikost datového uzlu. Výchozí hodnota je: Standard_D3. No
zookeeperNodeSize Určuje velikost uzlu Zoo Keeper. Výchozí hodnota je: Standard_D3. No
  • Určení velikostí uzlů Najdete v článku Velikost virtuálních počítačů řetězcové hodnoty, které je potřeba zadat pro vlastnosti uvedené v předchozí části. Hodnoty musí odpovídat CMDLETs a APIS , na které odkazuje článek. Jak vidíte v článku, datový uzel velké (výchozí) velikosti má 7 GB paměti, což nemusí být pro váš scénář dostatečné.

Pokud chcete vytvořit hlavní uzly a pracovní uzly velikosti D4, zadejte Standard_D4 jako hodnotu vlastností headNodeSize a dataNodeSize.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

Pokud pro tyto vlastnosti zadáte nesprávnou hodnotu, může se zobrazit následující chyba: Vytvoření clusteru se nezdařilo. Výjimka: Operaci vytvoření clusteru nelze dokončit. Operace selhala s kódem 400. Cluster skončil ve stavu: Chyba. Zpráva: PreClusterCreationValidationFailure. Pokud se zobrazí tato chyba, ujistěte se, že používáte název příkazů CMDLET a rozhraní API z tabulky v článku Velikosti virtuálních počítačů.

Přineste si své vlastní výpočetní prostředí

V tomto typu konfigurace můžou uživatelé zaregistrovat již existující výpočetní prostředí jako propojenou službu. Výpočetní prostředí spravuje uživatel a služba ho používá k provádění aktivit.

Tento typ konfigurace je podporován pro následující výpočetní prostředí:

  • Azure HDInsight
  • Azure Batch
  • Azure Machine Learning
  • Azure Data Lake Analytics
  • Azure SQL DB, Azure Synapse Analytics, SQL Server

Propojená služba Azure HDInsight

Můžete vytvořit propojenou službu Azure HDInsight pro registraci vlastního clusteru HDInsight v datové továrně nebo pracovním prostoru Synapse.

Příklad použití základního ověřování

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Příklad použití spravované identity přiřazené systémem

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "clusterAuthType": "SystemAssignedManagedIdentity",
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Příklad použití spravované identity přiřazené uživatelem

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
         "clusterAuthType": "UserAssignedManagedIdentity",
         "credential": {
                "referenceName": "CredentialName",
                "type": "CredentialReference"
            },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Property Description Required
typ Vlastnost typu by měla být nastavena na HDInsight. Yes
clusterUri Identifikátor URI clusteru HDInsight. Yes
uživatelské jméno Zadejte jméno uživatele, který se má použít pro připojení k existujícímu clusteru HDInsight. Yes
heslo Zadejte heslo pro uživatelský účet. Yes
linkedServiceName Název propojené služby Azure Storage, která odkazuje na úložiště objektů blob Azure používané clusterem HDInsight.

V současné době nemůžete pro tuto vlastnost zadat propojenou službu Azure Data Lake Storage (Gen2). Pokud má cluster HDInsight přístup ke službě Data Lake Store, můžete přistupovat k datům ve službě Azure Data Lake Storage (Gen 2) ze skriptů Hive/Pig.

Yes
isEspEnabled Zadejte true, pokud je cluster HDInsight povolený balíčkem zabezpečení podniku . Výchozí hodnota je false. No
connectVia Prostředí Integration Runtime, které se má použít k odeslání aktivit do této propojené služby. Můžete použít prostředí Azure Integration Runtime nebo místní prostředí Integration Runtime. Pokud není zadaný, použije výchozí prostředí Azure Integration Runtime.
Pro cluster HDInsight s podporou balíčku zabezpečení podniku (ESP) použijte místní prostředí Integration Runtime, které má přehled o clusteru nebo by se mělo nasadit ve stejné virtuální síti jako cluster ESP HDInsight.		 No
typ clusteru Zadejte typ ověřování clusteru HDInsight. Podporované typy ověřování jsou BasicAuth, SystemAssignedManagedIdentity, UserAssignedManagedIdentity. Vyžaduje se pro použití ověřování spravované identity. Pokud pole neexistuje, použije se výchozí hodnota BasicAuth.
přihlašovací údaje Zadejte odkaz na přihlašovací údaje obsahující informace o objektu spravované identity pro cluster HDInsight. Vyžaduje se pouze pro autentizaci UserAssignedManagedIdentity.

Autentizace

Propojená služba Azure Storage pro ADLS Gen2 teď kromě existujících metod ověřování podporuje spravované identity přiřazené systémem a přiřazené uživatelem. Tato podpora je ve výchozím nastavení dostupná při použití prostředí Azure Integration Runtime (Azure IR) a je podporovaná v místním prostředí Integration Runtime (SHIR) od verze 5.55.9306.2 nebo novější. V případě služby Azure Blob Storage propojená služba Azure Storage nadále podporuje pouze ověřování pomocí klíče účtu. Ověřování spravované identity clusteru je teď také ve výchozím nastavení dostupné při použití Azure IR a podporované v prostředí SHIR počínaje verzí 5.58 nebo novější. Při vytváření clusteru lze pro každý cluster použít pouze jednu metodu ověřování. Podrobnosti o vytváření a správě clusterů se spravovanou identitou najdete v tématu Vytvoření a správa clusteru Azure HDInsight s ověřováním Entra ID.

Important

HDInsight podporuje více verzí clusteru Hadoop, které je možné nasadit. Každá volba verze vytvoří konkrétní verzi distribuce Hortonworks Data Platform (HDP) a sadu komponent obsažených v dané distribuci. Seznam podporovaných verzí HDInsight se neustále aktualizuje, aby poskytoval nejnovější součásti ekosystému Hadoop a opravy. Ujistěte se, že vždy odkazujete na nejnovější informace o podporované verzi HDInsight a typu operačního systému , abyste měli jistotu, že používáte podporovanou verzi SLUŽBY HDInsight.

Important

Propojené služby HDInsight v současné době nepodporují HBase, Interactive Query (Hive LLAP), Storm.

Propojená služba Azure Batch

Note

K interakci s Azure doporučujeme použít modul Azure Az PowerShell. Pokud chcete začít, přečtěte si téma Instalace Azure PowerShellu. Informace o tom, jak migrovat na modul Az PowerShell, najdete v tématu Migrace Azure PowerShellu z AzureRM na Az.

Můžete vytvořit propojenou službu Azure Batch pro registraci fondu virtuálních počítačů Batch do dat nebo pracovního prostoru Synapse. Vlastní aktivitu můžete spustit pomocí služby Azure Batch.

Pokud s službou Azure Batch začínáte, projděte si následující články:

Important

Při vytváření nového fondu Azure Batch se musí použít VirtualMachineConfiguration a NE CloudServiceConfiguration.

Example

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Property Description Required
typ Vlastnost typu by měla být nastavena na AzureBatch. Yes
accountName Název účtu Azure Batch. Yes
accessKey Přístupový klíč pro účet Azure Batch. Yes
batchUri Adresa URL vašeho účtu Azure Batch ve formátu https:// batchaccountname.region.batch.azure.com. Yes
poolName Název fondu virtuálních počítačů. Yes
linkedServiceName Název propojené služby Azure Storage přidružené k této propojené službě Azure Batch Tato propojená služba se používá pro přípravné soubory potřebné ke spuštění aktivity. Yes
connectVia Prostředí Integration Runtime, které se má použít k odeslání aktivit do této propojené služby. Můžete použít prostředí Azure Integration Runtime nebo místní prostředí Integration Runtime. Pokud není zadaný, použije výchozí prostředí Azure Integration Runtime. No

Propojená služba Machine Learning Studio (Classic)

Important

Podpora nástroje Azure Machine Learning Studio (classic) skončí 31. srpna 2024. Doporučujeme, abyste do tohoto data přešli na Azure Machine Learning .

Od 1. prosince 2021 nemůžete vytvářet nové prostředky machine Learning Studia (klasické) (pracovní prostor a plán webových služeb). Až do 31. srpna 2024 můžete dál používat stávající experimenty a webové služby Machine Learning Studio (klasické). Další informace najdete tady:

Dokumentace k nástroji Machine Learning Studio (classic) se vyřadí z provozu a nemusí se v budoucnu aktualizovat.

Vytvoříte propojenou službu Machine Learning Studio (Classic) pro registraci koncového bodu dávkového bodování Machine Learning Studia (Classic) do datové továrny nebo pracovního prostoru Synapse.

Example

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

Properties

Property Description Required
Typ Vlastnost typu by měla být nastavená na: AzureML. Yes
mlEndpoint Adresa URL pro dávkové vyhodnocení. Yes
apiKey Rozhraní API publikovaného modelu pracovního prostoru. Yes
updateResourceEndpoint Adresa URL prostředku aktualizace pro koncový bod webové služby ML Studio (Classic) sloužící k aktualizaci prediktivní webové služby pomocí vytrénovaného souboru modelu No
servicePrincipalId Zadejte ID klienta aplikace. Požadováno, pokud je zadán parametr updateResourceEndpoint.
servicePrincipalKey Zadejte klíč aplikace. Požadováno, pokud je zadán parametr updateResourceEndpoint.
klient Zadejte informace o tenantovi (název domény nebo ID tenanta), pod kterým se vaše aplikace nachází. Můžete ho načíst tak, že přenesete kurzor myši do pravého horního rohu portálu Azure. Požadováno, pokud je zadán parametr updateResourceEndpoint.
connectVia Prostředí Integration Runtime, které se má použít k odeslání aktivit do této propojené služby. Můžete použít prostředí Azure Integration Runtime nebo místní prostředí Integration Runtime. Pokud není zadaný, použije výchozí prostředí Azure Integration Runtime. No

Propojená služba Azure Machine Learning

Vytvoříte propojenou službu Azure Machine Learning pro připojení pracovního prostoru Azure Machine Learning k datové továrně nebo pracovnímu prostoru Synapse.

Note

V současné době se pro připojenou službu Azure Machine Learning podporuje pouze ověřování principála služby.

Example

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Property Description Required
Typ Vlastnost typu by měla být nastavená na: AzureMLService. Yes
subscriptionId ID předplatného Azure Yes
resourceGroupName name Yes
mlWorkspaceName Název pracovního prostoru Služby Azure Machine Learning Yes
servicePrincipalId Zadejte ID klienta aplikace. Yes
servicePrincipalKey Zadejte klíč aplikace. Yes
klient Zadejte informace o tenantovi (název domény nebo ID tenanta), pod kterým se vaše aplikace nachází. Můžete ho načíst tak, že přenesete kurzor myši do pravého horního rohu portálu Azure. Požadováno, pokud je zadán parametr updateResourceEndpoint.
connectVia Prostředí Integration Runtime, které se má použít k odeslání aktivit do této propojené služby. Můžete použít prostředí Azure Integration Runtime nebo místní prostředí Integration Runtime. Pokud není zadaný, použije výchozí prostředí Azure Integration Runtime. No

Propojená služba Azure Data Lake Analytics

Vytvoříte propojenou službu Azure Data Lake Analytics , která propojí výpočetní službu Azure Data Lake Analytics s datovou továrnou nebo pracovním prostorem Synapse. Aktivita U-SQL služby Data Lake Analytics v kanálu odkazuje na tuto propojenou službu.

Example

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Property Description Required
typ Vlastnost typu by měla být nastavena na: AzureDataLakeAnalytics. Yes
accountName Název účtu Azure Data Lake Analytics Yes
dataLakeAnalyticsUri URI služby Azure Data Lake Analytics No
subscriptionId ID předplatného Azure No
resourceGroupName Název skupiny prostředků Azure No
servicePrincipalId Zadejte ID klienta aplikace. Yes
servicePrincipalKey Zadejte klíč aplikace. Yes
klient Zadejte informace o tenantovi (název domény nebo ID tenanta), pod kterým se vaše aplikace nachází. Můžete ho načíst tak, že přenesete kurzor myši do pravého horního rohu portálu Azure. Yes
connectVia Prostředí Integration Runtime, které se má použít k odeslání aktivit do této propojené služby. Můžete použít prostředí Azure Integration Runtime nebo místní prostředí Integration Runtime. Pokud není zadaný, použije výchozí prostředí Azure Integration Runtime. No

Propojená služba Azure Databricks

Propojenou službu Azure Databricks můžete vytvořit k registraci pracovního prostoru Databricks, který používáte ke spouštění úloh Databricks (poznámkový blok, jar, python).

Important

Služby propojené s Databricks podporují fondy instancí a autentizaci spravované identity, která je přiřazena systémem.

Příklad – Použití nového clusteru úloh v Databricks

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "YourAccessToken"
            }
        }
    }
}

Příklad – Použití existujícího interaktivního clusteru v Databricks

{
    "name": " AzureDataBricksLinkedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "YourAccessToken"
          },
        "existingClusterId": "{clusterId}"
        }
}

Properties

Property Description Required
name Název propojené služby Yes
typ Vlastnost typu by měla být nastavená na: Azure Databricks. Yes
doména Podle toho zadejte oblast Azure na základě oblasti pracovního prostoru Databricks. Příklad: https://eastus.azuredatabricks.net Yes
accessToken Pro ověření ve službě Azure Databricks se vyžaduje přístupový token. Přístupový token je potřeba vygenerovat z pracovního prostoru Databricks. Podrobnější kroky k vyhledání přístupového tokenu najdete tady. No
MSI Použijte spravovanou identitu služby (přiřazenou systémem) k ověření ve službě Azure Databricks. Při použití ověřování MSI nepotřebujete přístupový token. Další podrobnosti o ověřování spravované identity najdete tady. No
existingClusterId ID existujícího clusteru pro spuštění všech úloh na tomto clusteru. Mělo by se jednat o již vytvořený interaktivní cluster. Pokud cluster přestane reagovat, budete možná muset cluster restartovat ručně. Databricks navrhuje spouštění úloh v nových clusterech pro větší spolehlivost. ID clusteru interaktivního clusteru najdete v pracovním prostoru Databricks –> Clustery –> Název interaktivního clusteru –> Konfigurace –> Značky. Další podrobnosti No
instancePoolId ID poolu instancí existujícího poolu v pracovním prostoru Databricks No
newClusterVersion Verze clusteru Sparku. Vytvoří cluster úloh v Databricks. No
newClusterNumOfWorker Počet pracovních jednotek, které by tento cluster měl mít. Cluster má jeden ovladač Sparku a num_workers Exekutory pro celkem num_workers + 1 uzly Spark. Řetězec formátovaný v int32, například "1", znamená, že numOfWorker je 1 nebo "1:10" znamená automatické škálování od 1 do min a 10 jako maximum. No
newClusterNodeType Toto pole kóduje prostředky dostupné pro každý z uzlů Sparku v tomto clusteru prostřednictvím jedné hodnoty. Například uzly Spark mohou být nakonfigurovány a optimalizovány pro pracovní zátěže náročné na paměť nebo výpočetní výkon. Toto pole se vyžaduje pro nový cluster. No
newClusterSparkConf a set of optional, user-specified spark configuration key-value pairs. Uživatelé mohou také předat řetězec dalších možností JVM ovladači a exekutorům prostřednictvím spark.driver.extraJavaOptions a spark.executor.extraJavaOptions. No
newClusterInitScripts sada volitelných uživatelsky definovaných inicializačních skriptů pro nový cluster. Inicializační skripty můžete zadat v souborech pracovního prostoru (doporučeno) nebo prostřednictvím cesty DBFS (starší verze). No

Propojená služba Azure SQL Database

Vytvoříte propojenou službu Azure SQL a použijete ji s aktivitou Uložená procedura k vyvolání uložené procedury z kanálu. Podrobnosti o této propojené službě najdete v článku o konektoru Azure SQL .

Propojená služba Azure Synapse Analytics

Vytvoříte propojenou službu Azure Synapse Analytics a použijete ji s aktivitou Uložená procedura k vyvolání uložené procedury z kanálu. Podrobnosti o této propojené službě najdete v článku o konektoru Azure Synapse Analytics .

Propojená služba SQL Serveru

Vytvoříte propojenou službu SQL Serveru a použijete ji s aktivitou Uložená procedura k vyvolání uložené procedury z kanálu. Podrobnosti o této propojené službě najdete v článku o konektoru SQL Serveru .

Propojená služba Azure Synapse Analytics (artefakt)

Vytvoříte propojenou službu Azure Synapse Analytics (Artefakty) a použijete ji s aktivitou poznámkového bloku Synapse a aktivitou definice úlohy Synapse Spark.

Example

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Property Description Required
name Název propojené služby Yes
description popis propojené služby No
annotations poznámky k propojené službě No
typ Vlastnost typu by měla být nastavená na AzureSynapseArtifacts. Yes
koncový bod Adresa URL služby Azure Synapse Analytics Yes
ověřování Výchozí nastavení je spravovaná identita přiřazená systémem. Yes
workspaceResourceId Identifikátor prostředku pracovního prostoru Yes
connectVia Prostředí Integration Runtime, které se má použít pro připojení k úložišti dat. Můžete použít prostředí Azure Integration Runtime. Pokud není zadaný, použije výchozí prostředí Azure Integration Runtime. Místní prostředí Integration Runtime se v současné době nepodporuje. Yes

Propojená služba Azure Functions

Vytvoříte propojenou službu Azure Function a použijete ji s aktivitou Azure Function ke spuštění Azure Functions v rámci kanálu. Návratový typ funkce Azure musí být platný JObject. (Mějte na paměti, že JArrayneníJObject.) Jakýkoli jiný návratový typ než JObject selže a vyvolá chybu uživatelského obsahu Obsah odpovědi není platný JObject.

Property Description Required
typ Vlastnost typu musí být nastavená na: AzureFunction. yes
URL adresa funkční aplikace Adresa URL funkční aplikace Azure Formát je https://<accountname>.azurewebsites.net. Tato adresa URL je hodnota v části Adresa URL při prohlížení aplikace funkcí na webu Azure Portal. yes
funkční klávesa Přístupový klíč pro funkci Azure Functions Klikněte na oddíl Správa příslušné funkce a zkopírujte klíč funkce nebo klíč hostitele. Další informace najdete tady: Práce s přístupovými klíči yes

Související obsah

Seznam podporovaných aktivit transformace najdete v tématu Transformace dat.

  • Last updated on