Azure Data Factory és Synapse-folyamatok által támogatott számítási környezetek

Vonatkozik: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory a Microsoft Fabric a Azure Data Factory következő generációja, egyszerűbb architektúrával, beépített AI-vel és új funkciókkal. Ha még nem ismerkedik az adatintegrációval, kezdje a Fabric Data Factoryvel. A meglévő ADF-számítási feladatok frissíthetők Fabric használatával, hogy elérjék az adatkutatás, a valós idejű elemzés és a jelentéskészítés új képességeit.

Important

Az Azure Machine Learning Studio (klasszikus) támogatása 2024. augusztus 31-én megszűnik. Javasoljuk, hogy Azure Machine Learning használatára váltson addig az időpontig.

2021. december 1-től nem hozhat létre új Machine Learning Studio (klasszikus) erőforrásokat (munkaterület és webszolgáltatás-csomag). 2024. augusztus 31-ig továbbra is használhatja a meglévő Machine Learning Studio (klasszikus) kísérleteket és webszolgáltatásokat. További információkért lásd:

Machine Learning Studio (klasszikus) dokumentáció kivezetése folyamatban van, és előfordulhat, hogy a jövőben nem frissül.

Ez a cikk az adatok feldolgozására vagy átalakítására használható különböző számítási környezeteket ismerteti. Emellett részletesen ismerteti a számítási környezeteket összekapcsoló társított szolgáltatások konfigurálásakor támogatott különböző konfigurációkat (igény szerinti és saját használat esetén is).

Az alábbi táblázat a támogatott számítási környezetek és az rajtuk futtatható tevékenységek listáját tartalmazza.

Számítási környezet Activities
Igény szerinti HDInsight-fürt vagy saját HDInsight-fürt Hive, Pig, Spark, MapReduce, Hadoop Streaming
Azure Batch Custom
ML Studio (klasszikus) ML Studio (klasszikus) tevékenységek: Batch-végrehajtás és erőforrás frissítése
Azure Machine Learning Azure Machine Learning Pipelint végrehajtása
Azure Data Lake Analytics Data Lake Analytics U-SQL
Azure SQL, Azure Synapse Analytics, SQL Server Tárolt eljárás
Azure Databricks Notebook, Jar, Python
Azure Synapse Analytics (Összetevők) Synapse Notebook-tevékenység, Synapse Spark-feladatdefiníció
Azure Function Azure Function-tevékenység

HDInsight számítási környezet

Az alábbi táblázat a támogatott storage társított szolgáltatástípusokkal kapcsolatos információkat tartalmazza az igény szerinti és a BYOC (Saját számítási környezet használata) környezetben történő konfigurációhoz.

A Compute Linked Service szolgáltatáson belül Tulajdonság neve Description Blob ADLS Gen2 Azure SQL DB ADLS Gen 1
On-demand linkedServiceName Az Azure Storage azon társított szolgáltatása, amelyet az igény szerinti fürt használ az adatok tárolására és feldolgozására. Yes Yes No No
additionalLinkedServiceNames További storage-fiókokat ad meg a HDInsight társított szolgáltatáshoz, hogy a szolgáltatás regisztrálhassa őket az Ön nevében. Yes No No No
hcatalogLinkedServiceName Az Azure SQL-hez társított szolgáltatás neve, amely az HCatalog-adatbázisra mutat. Az igény szerinti HDInsight-fürt a Azure SQL adatbázis metaadattárként való használatával jön létre. No No Yes No
BYOC linkedServiceName A Azure Storage társított szolgáltatás referenciája. Yes Yes No No
additionalLinkedServiceNames További storage-fiókokat ad meg a HDInsight társított szolgáltatáshoz, hogy a szolgáltatás regisztrálhassa őket az Ön nevében. No No No No
hcatalogLinkedServiceName Hivatkozás a HCatalog-adatbázisra mutató Azure SQL társított szolgáltatásra. No No No No

Azure HDInsight igény szerinti társított szolgáltatás

Ebben a konfigurációtípusban a számítási környezetet teljes mértékben a szolgáltatás felügyeli. A szolgáltatás automatikusan létrehozza, mielőtt egy feladatot elküldenének az adatok feldolgozására, és eltávolítja, amikor a feladat befejeződik. Létrehozhat egy társított szolgáltatást az igény szerinti számítási környezethez, konfigurálhatja, és szabályozhatja a feladatok végrehajtására, a fürtkezelésre és a rendszerindítási műveletekre vonatkozó részletes beállításokat.

Note

Igény szerinti konfiguráció jelenleg csak Azure HDInsight fürtök esetében támogatott. Azure Databricks az igény szerinti feladatokat is támogatja feladatfürtök használatával. További információ: Azure databricks társított szolgáltatás.

A szolgáltatás automatikusan létrehozhat egy igény szerinti HDInsight-fürtöt az adatok feldolgozásához. A fürt ugyanabban a régióban jön létre, mint a fürthöz társított tárfiók (storage) (a JSON linkedServiceName tulajdonsága). A tárfióknak must általános célú, standard Azure Storage fióknak kell lennie.

Az igény szerinti HDInsight társított szolgáltatással kapcsolatban vegye figyelembe a következő fontos szempontokat:

  • Az igény szerinti HDInsight-fürt az Azure-előfizetésed keretében jön létre. A fürt akkor jelenik meg a Azure portálon, ha a fürt működik.
  • Az igény szerinti HDInsight-fürtön futó feladatok naplóit a rendszer a HDInsight-fürthöz társított storage fiókba másolja. A clusterUserName, clusterPassword, clusterSshUserName és clusterSshPassword, amelyek a társított szolgáltatás definíciójában vannak meghatározva, a fürtbe való bejelentkezéshez használatosak, hogy részletes hibaelhárítást végezzenek a fürt életciklusa során.
  • Csak arra az időre számítunk fel díjat, amikor a HDInsight-fürt üzembe van állítva és futtatja a feladatokat.
  • A Script-művelet az Azure HDInsight igény szerinti társított szolgáltatással is használható.

Important

Általában 20 perc vagy több időt vesz igénybe egy Azure HDInsight-fürt igény szerinti kiépítése.

Példa szolgáltatási főkulcs használatával

Az alábbi JSON egy igény szerinti Linux-alapú HDInsight társított szolgáltatást határoz meg. A szolgáltatás automatikusan létrehoz egy Linux-alapú HDInsight-fürtöt a szükséges tevékenység feldolgozásához.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenant id>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "ServicePrincipalKey",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Példa a rendszer által hozzárendelt felügyelt identitás használatára

Az alábbi JSON egy igény szerinti Linux-alapú HDInsight társított szolgáltatást határoz meg. A szolgáltatás automatikusan létrehoz egy Linux-alapú HDInsight-fürtöt a szükséges tevékenység feldolgozásához.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "SystemAssignedManagedIdentity",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Példa a felhasználó által hozzárendelt felügyelt identitás használatára

Az alábbi JSON egy igény szerinti Linux-alapú HDInsight társított szolgáltatást határoz meg. A szolgáltatás automatikusan létrehoz egy Linux-alapú HDInsight-fürtöt a szükséges tevékenység feldolgozásához.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "UserAssignedManagedIdentity",
      "credential": {
            "referenceName": "CredentialName",
            "type": "CredentialReference"
       },
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Important

A HDInsight-fürt létrehoz egy alapértelmezett tárolót a JSON-ban megadott blobtárolóban (linkedServiceName). A HDInsight nem törli ezt a tárolót a fürt törlésekor. Ez a viselkedés terv szerint történik. Igény szerinti HDInsight társított szolgáltatás esetén a rendszer minden alkalommal létrehoz egy HDInsight-fürtöt, amikor egy szeletet fel kell dolgozni, hacsak nincs meglévő élő fürt (timeToLive), és a feldolgozás befejezésekor törlődik.

A további tevékenységek futtatásával az Azure blobtárolóban számos tároló jelenik meg. Ha nincs szüksége rájuk a feladatok hibaelhárításához, érdemes lehet törölni őket a storage költség csökkentése érdekében. A tárolók nevei a következő mintát követik: adf**yourfactoryorworkspacename**-**linkedservicename**-datetimestamp. A Azure blobtároló tárolóinak törléséhez használjon olyan eszközöket, mint a Microsoft Azure Storage Explorer.

Properties

Property Description Required
típus A típustulajdonságnak HDInsightOnDemand értékre kell állítania. Yes
clusterSize A klaszter munkavállalói/adatcsomópontok száma. A HDInsight-fürt 2 fő csomóponttal és a tulajdonsághoz megadott feldolgozó csomópontok számával jön létre. A csomópontok Standard_D3 méretűek és 4 maggal rendelkeznek, így egy 4 feldolgozó csomópontot tartalmazó fürt összesen 24 magot vesz igénybe (4*4 = 16 mag feldolgozó csomópontokhoz, plusz 2*4 = 8 mag a fejcsomópontokhoz). További részletekért lásd: Fürtök beállítása a HDInsightban a Hadoop, a Spark és a Kafka használatával. Yes
linkedServiceName Az Azure Storage azon társított szolgáltatása, amelyet az igény szerinti fürt használ az adatok tárolására és feldolgozására. Az HDInsight-fürt ugyanabban a régióban jön létre, mint ez az Azure Storage-fiók. Azure HDInsight az egyes támogatott Azure régiókban használható magok teljes számát korlátozza. Győződjön meg arról, hogy elegendő alapkvótával rendelkezik abban a Azure régióban a szükséges clusterSize eléréséhez. További információ: Fürtök beállítása a HDInsightban a Hadoop, a Spark, a Kafka stb. használatával

Jelenleg nem hozható létre igény szerinti HDInsight-fürt, amely tárolóként egy Azure Data Lake Storage (Gen 2)-t használhat. Ha a HDInsight feldolgozásának eredményadatait az Azure Data Lake Storage (Gen 2)-ben szeretné tárolni, használjon másolási tevékenységet, hogy az adatokat az Azure Blob Storage-ból az Azure Data Lake Storage (Gen 2)-be másolja.

Yes
clusterResourceGroup A HDInsight-fürt ebben az erőforráscsoportban jön létre. Yes
clusterResourceGroupAuthType Adja meg a HDInsight igény szerinti fürt erőforráscsoportjának hitelesítési típusát. A támogatott hitelesítési típusok a következők: "ServicePrincipalKey", "SystemAssignedManagedIdentity", "UserAssignedManagedIdentity". A felügyelt identitás hitelesítésének használatához szükséges. Ha a mező nincs megadva, akkor alapértelmezés szerint a ServicePrincipalKey lesz
hitelesítő adat Adja meg a hitelesítőadat-hivatkozást, amely tartalmazza a kezelt identitás objektumot, amely hozzáféréssel rendelkezik az erőforráscsoport felett. Csak a "UserAssignedManagedIdentity" hitelesítéshez szükséges.
timetolive Az igény szerinti HDInsight-fürt engedélyezett üresjárati ideje. Meghatározza, hogy az igény szerinti HDInsight-fürt mennyi ideig maradjon aktív a tevékenység végrehajtása befejeződése után, ha nincsenek más aktív feladatok a fürtben. A minimálisan megengedett érték 5 perc (00:05:00).

Ha például egy tevékenységfuttatás 6 percet vesz igénybe, és az élettartam 5 percre van állítva, a rendszer a tevékenység futtatásának 6 perces feldolgozása után további 5 percig aktív marad. Ha egy másik tevékenység futtatását hajtja végre a 6 perces időablakon belül, azt ugyanaz a fürt dolgozza fel.

Az igény szerinti HDInsight-fürt létrehozása költséges művelet (eltarthat egy ideig), ezért ezt a beállítást szükség szerint használhatja a szolgáltatás teljesítményének javítására egy igény szerinti HDInsight-fürt újrafelhasználásával.

Ha az időtolertív értéket 0 értékre állítja, a fürt a tevékenység futtatása után azonnal törlődik. Abban az esetben, ha magas értéket ad meg, a fürt tétlen maradhat, hogy hibaelhárítás céljából bejelentkezhessen, de ez magas költségeket eredményezhet. Ezért fontos, hogy az igényeinek megfelelően állítsa be a megfelelő értéket.

Ha az élettartam tulajdonság értéke megfelelően van beállítva, több csővezeték is megoszthatja az igény szerinti HDInsight fürt példányát.		 Yes
clusterType A létrehozandó HDInsight-fürt típusa. Az engedélyezett értékek a "hadoop" és a "spark". Ha nincs megadva, az alapértelmezett érték a hadoop. Az Enterprise Security Package által engedélyezett fürt nem hozható létre igény szerint, ehelyett használjon meglevő fürtöt/ használja a saját számítási erőforrásait. No
verzió A HDInsight-fürt verziója. Ha nincs megadva, az aktuális HDInsight által definiált alapértelmezett verziót használja. No
hostSubscriptionId A HDInsight-fürt létrehozásához használt Azure előfizetés-azonosító. Ha nincs megadva, a Azure bejelentkezési környezet előfizetés-azonosítóját használja. No
clusterNamePrefix A HDI-fürt nevének előtagja, amelyhez a fürt neve végére automatikusan hozzáfűződik egy időbélyeg. No
sparkVersion A fürt típusa "Spark" esetén a Spark verziója No
additionalLinkedServiceNames További storage-fiókokat ad meg a HDInsight társított szolgáltatáshoz, hogy a szolgáltatás regisztrálhassa őket az Ön nevében. Ezeknek a storage fiókoknak ugyanabban a régióban kell lenniük, mint a HDInsight-fürtnek, amely ugyanabban a régióban jön létre, mint a linkedServiceName által megadott storage fiók. No
osType Az operációs rendszer típusa. Az engedélyezett értékek a következők: Linux és Windows (csak HDInsight 3.3 esetén). Az alapértelmezett érték a Linux. No
hcatalogLinkedServiceName Az Azure SQL-hez társított szolgáltatás neve, amely az HCatalog-adatbázisra mutat. Az igény szerinti HDInsight-fürt az Azure SQL Database metaadattárként való használatával jön létre. No
connectVia Az az Integrációs Futásidejű rendszer, amellyel a tevékenységeket a HDInsight-hoz társított szolgáltatásba továbbítják. Igény szerinti HDInsight társított szolgáltatás esetén csak a Azure Integration Runtime támogatja. Ha nincs megadva, az alapértelmezett Azure Integration Runtime használja. No
clusterUserName A klaszter eléréséhez szükséges felhasználónév. No
clusterPassword A fürthöz való hozzáférés biztonságos karakterlánc típusú jelszava. No
clusterSshUserName Az SSH-hoz tartozó felhasználónév távolról csatlakozik a fürt csomóponthoz (Linux esetén). No
clusterSshPassword A biztonságos karakterlánc típusú jelszó SSH-val történő távoli csatlakozáshoz a fürtök csomópontjaihoz (Linux esetén). No
scriptActions Adjon meg szkriptet a HDInsight-fürtök testreszabásához az igény szerinti fürt létrehozása során.
A felhasználói felület készítő eszköze jelenleg csak 1 szkriptművelet megadását támogatja, de ezt a korlátozást a JSON-ban is átvészelheti (több szkriptműveletet is megadhat a JSON-ban).		 No

Important

A HDInsight több, üzembe helyezhető Hadoop-fürtverziót is támogat. Minden verzióválasztás létrehozza a Hortonworks Data Platform (HDP) disztribúció egy adott verzióját, valamint az adott disztribúcióban található összetevők készletét. A támogatott HDInsight-verziók listája folyamatosan frissül a Hadoop-ökoszisztéma legújabb összetevőinek és javításainak biztosítása érdekében. Győződjön meg arról, hogy mindig a HDInsight támogatott verziójára és operációs rendszerének típusára vonatkozó legfrissebb információkra hivatkozik, hogy biztosan a HDInsight támogatott verzióját használja-e.

Important

A HDInsight társított szolgáltatásai jelenleg nem támogatják a HBase, Interactive Query (Hive LLAP), Storm szolgáltatást.

  • additionalLinkedServiceNames JSON-példa
"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Authentication

Szolgáltatási főnév hitelesítése

Az igény szerinti HDInsight társított szolgáltatáshoz szolgáltatásnév-hitelesítés szükséges a HDInsight-fürtök létrehozásához az Ön nevében. Szolgáltatásazonosítóval történő hitelesítés használatához regisztráljon egy alkalmazásentitást a Microsoft Entra ID-ben, és adja meg neki a Contributor szerepkört annál az előfizetésnél vagy erőforráscsoportnál, amelyben a HDInsight-fürt létrejön. Részletes lépésekért tekintse meg a Microsoft Entra alkalmazás és szolgáltatási főfelhasználó létrehozása portál használatával, amely hozzáférhet az erőforrásokhoz. Jegyezze fel az alábbi értékeket, amelyeket a társított szolgáltatás definiálásához használ:

  • Pályázat azonosítója
  • Alkalmazáskulcs
  • Bérlő azonosító

A szolgáltatásnév-hitelesítést a következő tulajdonságok megadásával használja:

Property Description Required
servicePrincipalId Adja meg az alkalmazás ügyfél-azonosítóját. Yes
servicePrincipalKey Adja meg az alkalmazás kulcsát. Yes
tenant Adja meg azt a bérlői információt (tartománynevet vagy bérlőazonosítót), amely alatt az alkalmazás található. A lekéréshez vigye az egérmutatót a Azure portál jobb felső sarkában. Yes

Felügyelt identitás hitelesítése

Ha felügyelt identitás-hitelesítést használ Azure HDInsight igény szerinti társított szolgáltatásokhoz, győződjön meg arról, hogy a Felügyelt identitás objektum közreműködői szerepkörrel rendelkezik az erőforráscsoporthoz.

Az ADLS Gen2 elsődleges storage-fiókok mostantól támogatják a felhasználó által hozzárendelt felügyelt identitás (UAMI) alapú hitelesítést a meglévő kulcsalapú hitelesítés mellett. Az UAMI-nak Storage Blob-adattulajdonosi engedélyekkel kell rendelkeznie az elsődleges storage-fiókhoz.

Korlátozások:

  • Az ADLS Gen2 elsődleges tárolói fióknak és az UAMI-nak ugyanabban az erőforráscsoportban kell lennie, mint abban az erőforráscsoportban, amelyet az igény szerinti HDInsight-fürt létrehozásához használtak.
  • A Data Factory UAMI azonosító objektumnevének pontosan meg kell egyeznie az UAMI nevével.

További információ: A Azure HDInsight létrehozása – Azure Data Lake Storage Gen2 – portál és A Azure HDInsight

Speciális tulajdonságok

Megadhatja az igény szerinti HDInsight-fürt alábbi részletes konfigurációs tulajdonságait is.

Property Description Required
coreConfiguration A létrehozandó HDInsight-fürt alapvető konfigurációs paramétereit (mint például a core-site.xml fájlban) specifikálja. No
hBaseConfiguration A HDInsight-fürt HBase-konfigurációs paramétereit (hbase-site.xml) adja meg. No
hdfsConfiguration A HDInsight-fürt HDFS-konfigurációs paramétereit adja meg (hdfs-site.xml). No
hiveConfiguration A HDInsight-fürt hive-konfigurációs paramétereit (hive-site.xml) adja meg. No
mapReduceConfiguration Az HDInsight-fürtre vonatkozó MapReduce konfigurációs paramétereket (mapred-site.xml) adja meg. No
oozieConfiguration Az HDInsight-fürt Oozie-konfigurációs paramétereit (oozie-site.xml) adja meg. No
stormConfiguration A HDInsight-fürt Storm-konfigurációs paramétereit (storm-site.xml) adja meg. No
yarnConfiguration Meghatározza a HDInsight klaszter Yarn-konfigurációs paramétereit (yarn-site.xml). No
  • Példa – Igény szerinti HDInsight-fürtkonfiguráció speciális tulajdonságokkal
{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenant id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

Csomópontméretek

A fej, az adatok és a zookeeper csomópontok méretét a következő tulajdonságok használatával adhatja meg:

Property Description Required
headNodeSize A főcsomópont méretét adja meg. Az alapértelmezett érték a következő: Standard_D3. A részletekért tekintse meg a Csomópontméretek megadása szakaszt. No
dataNodeSize Az adatcsomópont méretét adja meg. Az alapértelmezett érték a következő: Standard_D3. No
zookeeperNodeSize A Zoo Keeper csomópont méretét adja meg. Az alapértelmezett érték a következő: Standard_D3. No
  • A csomópontméretek megadása: Lásd a Virtuális gépek méretei című cikket a sztringértékekért, amelyeket az előző szakaszban említett tulajdonságokhoz kell megadni. Az értékeknek meg kell felelniük a cikkben hivatkozott CMDLETs &APIS-nak . Ahogy a cikkben látható, a nagy (alapértelmezett) méretű adatcsomópont 7 GB memóriával rendelkezik, ami nem feltétlenül elég jó a forgatókönyvhöz.

Ha D4 méretű fejcsomópontokat és feldolgozó csomópontokat szeretne létrehozni, adja meg a Standard_D4 a headNodeSize és a dataNodeSize tulajdonságok értékeként.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

Ha nem megfelelő értéket ad meg ezekhez a tulajdonságokhoz, a következő hibaüzenet jelenhet meg: Nem sikerült fürtöt létrehozni. Kivétel: A fürt létrehozásának művelete nem fejezhető be. A művelet a "400" kóddal meghiúsult. A fürt végállapota: "Hiba". Üzenet: "PreClusterCreationValidationFailure". Amikor ezt a hibát kapja, győződjön meg arról, hogy a CMDLET & APIS nevet használja a Virtuális Gépek Méretei című cikk táblázatából.

Saját számítási környezet létrehozása

Ebben a konfigurációtípusban a felhasználók egy már meglévő számítási környezetet regisztrálhatnak társított szolgáltatásként. A számítási környezetet a felhasználó kezeli, és a szolgáltatás a tevékenységek végrehajtásához használja.

Ez a konfigurációtípus a következő számítási környezetekhez támogatott:

  • Azure HDInsight
  • Azure Batch
  • Azure Machine Learning
  • Azure Data Lake Analytics
  • Azure SQL DB, Azure Synapse Analytics, SQL Server

Azure HDInsight társított szolgáltatás

Létrehozhat egy Azure HDInsight társított szolgáltatást, amellyel regisztrálhatja saját HDInsight-fürtödet egy adatgyárban vagy Synapse-munkaterületen.

Példa alapszintű hitelesítésre

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Példa a rendszer által hozzárendelt felügyelt identitás használatára

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "clusterAuthType": "SystemAssignedManagedIdentity",
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Példa a felhasználó által hozzárendelt felügyelt identitás használatára

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
         "clusterAuthType": "UserAssignedManagedIdentity",
         "credential": {
                "referenceName": "CredentialName",
                "type": "CredentialReference"
            },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Property Description Required
típus A típustulajdonságnak HDInsight értékre kell állítania. Yes
clusterUri Az HDInsight-fürt URI-je. Yes
felhasználónév Adja meg a meglévő HDInsight-fürthöz való csatlakozáshoz használni kívánt felhasználó nevét. Yes
jelszó Adja meg a felhasználói fiók jelszavát. Yes
linkedServiceName Az Azure Storage társított szolgáltatás neve, amely az Azure blob-tárolót jelöli, amelyet a HDInsight-fürt használ.

Jelenleg nem adhat meg Azure Data Lake Storage (Gen 2) társított szolgáltatást ehhez a tulajdonsághoz. Ha a HDInsight-fürt rendelkezik hozzáféréssel a Data Lake Store-hoz, a Azure Data Lake Storage (Gen 2) adatait Hive/Pig szkriptekből érheti el.

Yes
isEspEnabled Adja meg a "true" értéket, ha a HDInsight-fürt engedélyezve van az Enterprise Security Package szolgáltatásban. Az alapértelmezett érték "false". No
connectVia Az a Integration Runtime, amely a tevékenységeknek a társított szolgáltatásba való továbbítására szolgál. Használhatja Azure Integration Runtime vagy saját üzemeltetésű Integration Runtime. Ha nincs megadva, az alapértelmezett Azure Integration Runtime használja.
Az ESP-engedélyezett HDInsight-fürtökhöz használjon saját üzemeltetésű integrációs futtatókörnyezetet, amely közvetlen eléréssel rendelkezik a fürthöz, vagy azt ugyanabban a virtuális hálózatban kell üzembe helyezni, mint az ESP HDInsight-fürtöt.		 No
clusterAuthType Adja meg a HDInsight-fürt hitelesítési típusát. A támogatott hitelesítési típusok a következők: "BasicAuth", "SystemAssignedManagedIdentity", "UserAssignedManagedIdentity". A felügyelt identitás hitelesítéséhez szükséges. Ha a mező nincs megadva, alapértelmezés szerint a BasicAuth lesz
hitelesítő adat Adja meg azt a hitelesítőadat-hivatkozást, amely a HDInsight-fürt felügyelt identitás objektuminformációit tartalmazza. Csak a "UserAssignedManagedIdentity" hitelesítéshez szükséges

Authentication

Az ADLS Gen2 Azure Storage társított szolgáltatása mostantól a meglévő hitelesítési módszerek mellett a rendszer által hozzárendelt és felhasználó által hozzárendelt felügyelt identitásokat is támogatja. Ez a támogatás alapértelmezés szerint Azure Integration Runtime (Azure IR) használatakor érhető el, és az 5.55.9306.2-es vagy újabb verziótól kezdve támogatott a saját üzemeltetésű Integration Runtime (SHIR). A Azure Blob Storage esetében a Azure Storage társított szolgáltatás továbbra is csak a fiókkulcs-hitelesítést támogatja. A fürt által felügyelt identitáshitelesítés alapértelmezés szerint akkor is elérhető, ha Azure integrációs modult használ, és az 5.58-os vagy újabb verziótól kezdve támogatott az SHIR-ben. Fürt létrehozásakor fürtönként csak egy hitelesítési módszer használható. A felügyelt identitással rendelkező fürtök létrehozásának és kezelésének részleteit az Azure HDInsight-fürt létrehozása és kezelése Entra ID hitelesítéssel című részben találja.

Important

A HDInsight több, üzembe helyezhető Hadoop-fürtverziót is támogat. Minden verzióválasztás létrehozza a Hortonworks Data Platform (HDP) disztribúció egy adott verzióját, valamint az adott disztribúcióban található összetevők készletét. A támogatott HDInsight-verziók listája folyamatosan frissül a Hadoop-ökoszisztéma legújabb összetevőinek és javításainak biztosítása érdekében. Győződjön meg arról, hogy mindig a HDInsight támogatott verziójára és operációs rendszerének típusára vonatkozó legfrissebb információkra hivatkozik, hogy biztosan a HDInsight támogatott verzióját használja-e.

Important

A HDInsight társított szolgáltatásai jelenleg nem támogatják a HBase, Interactive Query (Hive LLAP), Storm szolgáltatást.

Azure Batch társított szolgáltatás

Note

Javasoljuk, hogy az Azure Az PowerShell-modult használja a Azure használatához. Első lépésként lásd: Install Azure PowerShell. Az Az PowerShell-modulra való migrálásról az Migrate Azure PowerShell az AzureRM-ből az Az című témakörben olvashat.

Létrehozhat egy Azure Batch társított szolgáltatást arra, hogy virtuális gépek egy Batch példánykészletét regisztrálja egy adat- vagy Synapse-munkaterületre. Egyéni tevékenységet futtathat Azure Batch használatával.

Ha még nem ismerkedik Azure Batch szolgáltatással, tekintse meg a következő cikkeket:

Important

Új Azure Batch-készlet létrehozásakor a "VirtualMachineConfiguration" kifejezést kell használni, és NEM a CloudServiceConfigurationt.

Example

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Property Description Required
típus A típustulajdonságnak AzureBatch-re kell állítania. Yes
accountName A Azure Batch fiók neve. Yes
accessKey A Azure Batch-fiók hozzáférési kulcsa. Yes
batchUri Az Azure Batch-fiók URL-címe a https://batchaccountname.region.batch.azure.com formátumban van megadva. Yes
poolName A virtuális gépek készlet neve. Yes
linkedServiceName Az Azure Storage szolgáltatás neve, amely az Azure Batch társított szolgáltatáshoz van kapcsolva. Ez a társított szolgáltatás a tevékenység futtatásához szükséges átmeneti fájlok tárolására szolgál. Yes
connectVia Az a Integration Runtime, amely a tevékenységeknek a társított szolgáltatásba való továbbítására szolgál. Használhatja Azure Integration Runtime vagy saját üzemeltetésű Integration Runtime. Ha nincs megadva, az alapértelmezett Azure Integration Runtime használja. No

Machine Learning Studio (klasszikus) társított szolgáltatás

Important

Az Azure Machine Learning Studio (klasszikus) támogatása 2024. augusztus 31-én megszűnik. Javasoljuk, hogy Azure Machine Learning használatára váltson addig az időpontig.

2021. december 1-től nem hozhat létre új Machine Learning Studio (klasszikus) erőforrásokat (munkaterület és webszolgáltatás-csomag). 2024. augusztus 31-ig továbbra is használhatja a meglévő Machine Learning Studio (klasszikus) kísérleteket és webszolgáltatásokat. További információkért lásd:

Machine Learning Studio (klasszikus) dokumentáció kivezetése folyamatban van, és előfordulhat, hogy a jövőben nem frissül.

Létrehoz egy Machine Learning Studio (klasszikus) társított szolgáltatást, amely regisztrál egy Machine Learning Studio (klasszikus) kötegpontozási végpontot egy adat-előállítóban vagy Synapse-munkaterületen.

Example

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

Properties

Property Description Required
Típus A típustulajdonságnak a következőnek kell lennie: AzureML. Yes
mlEndpoint A tételes pontozási URL-címe. Yes
apiKey A közzétett munkaterület-modell API-ja. Yes
updateResourceEndpoint A prediktív webszolgáltatás betanított modellfájllal való frissítéséhez használt ML Studio (klasszikus) webszolgáltatás-végpont erőforrás-URL-címe No
servicePrincipalId Adja meg az alkalmazás ügyfél-azonosítóját. Az updateResourceEndpoint megadásakor kötelező
servicePrincipalKey Adja meg az alkalmazás kulcsát. Az updateResourceEndpoint megadásakor kötelező
bérlő Adja meg azt a bérlői információt (tartománynevet vagy bérlőazonosítót), amely alatt az alkalmazás található. A lekéréshez vigye az egérmutatót a Azure portál jobb felső sarkában. Az updateResourceEndpoint megadásakor kötelező
connectVia Az a Integration Runtime, amely a tevékenységeknek a társított szolgáltatásba való továbbítására szolgál. Használhatja Azure Integration Runtime vagy saját üzemeltetésű Integration Runtime. Ha nincs megadva, az alapértelmezett Azure Integration Runtime használja. No

Azure Machine Learning társított szolgáltatás

Egy Azure Machine Learning társított szolgáltatást hoz létre egy Azure Machine Learning-munkaterület adat-előállítóhoz vagy Synapse-munkaterülethez való csatlakoztatásához.

Note

Jelenleg csak a szolgáltatási főhasználó hitelesítése támogatott az Azure Machine Learning kapcsolt szolgáltatáshoz.

Example

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Property Description Required
Típus A típustulajdonságnak a következőnek kell lennie: AzureMLService. Yes
subscriptionId Azure előfizetés azonosítója Yes
resourceGroupName name Yes
mlWorkspaceName Azure Machine Learning munkaterület neve Yes
servicePrincipalId Adja meg az alkalmazás ügyfél-azonosítóját. Yes
servicePrincipalKey Adja meg az alkalmazás kulcsát. Yes
bérlő Adja meg azt a bérlői információt (tartománynevet vagy bérlőazonosítót), amely alatt az alkalmazás található. A lekéréshez vigye az egérmutatót a Azure portál jobb felső sarkában. Az updateResourceEndpoint megadásakor kötelező
connectVia Az a Integration Runtime, amely a tevékenységeknek a társított szolgáltatásba való továbbítására szolgál. Használhatja Azure Integration Runtime vagy saját üzemeltetésű Integration Runtime. Ha nincs megadva, az alapértelmezett Azure Integration Runtime használja. No

Azure Data Lake Analytics társított szolgáltatás

Létrehoz egy Azure Data Lake Analytics társított szolgáltatást egy Azure Data Lake Analytics számítási szolgáltatás adat-előállítóhoz vagy Synapse-munkaterülethez való csatolásához. A folyamat Data Lake Analytics U-SQL-tevékenysége erre a társított szolgáltatásra hivatkozik.

Example

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Property Description Required
típus A típustulajdonságnak a következőnek kell lennie: AzureDataLakeAnalytics. Yes
accountName Azure Data Lake Analytics fiók neve. Yes
dataLakeAnalyticsUri Azure Data Lake Analytics URI. No
subscriptionId Azure előfizetés azonosítója No
resourceGroupName Azure erőforráscsoport neve No
servicePrincipalId Adja meg az alkalmazás ügyfél-azonosítóját. Yes
servicePrincipalKey Adja meg az alkalmazás kulcsát. Yes
bérlő Adja meg azt a bérlői információt (tartománynevet vagy bérlőazonosítót), amely alatt az alkalmazás található. A lekéréshez vigye az egérmutatót a Azure portál jobb felső sarkában. Yes
connectVia Az a Integration Runtime, amely a tevékenységeknek a társított szolgáltatásba való továbbítására szolgál. Használhatja Azure Integration Runtime vagy saját üzemeltetésű Integration Runtime. Ha nincs megadva, az alapértelmezett Azure Integration Runtime használja. No

Azure Databricks társított szolgáltatás

Létrehozhat Azure Databricks társított szolgáltatást a Databricks-számítási feladatok (notebook, jar, python) futtatásához használt Databricks-munkaterület regisztrálásához.

Important

A Databricks társított szolgáltatásai támogatják a példánykészleteket és a rendszer által hozzárendelt felügyelt identitáshitelesítést.

Példa – Új feladatfürt használata a Databricksben

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "YourAccessToken"
            }
        }
    }
}

Példa – Meglévő interaktív fürt használata a Databricksben

{
    "name": " AzureDataBricksLinkedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "YourAccessToken"
          },
        "existingClusterId": "{clusterId}"
        }
}

Properties

Property Description Required
name A társított szolgáltatás neve Yes
típus A típustulajdonságnak a következőre kell állítania: Azure Databricks. Yes
tartomány Ennek megfelelően adja meg a Azure régiót a Databricks-munkaterület régiója alapján. Példa: https://eastus.azuredatabricks.net Yes
accessToken Hozzáférési jogkivonatra van szükség ahhoz, hogy a szolgáltatás hitelesítést végezzen a Azure Databricks. A hozzáférési tokent a Databricks munkaterületen kell generálni. Az access token megkeresésének részletes lépéseit itt találhatja. No
MSI A szolgáltatás rendszer által hozzárendelt felügyelt identitásának használatával hitelesíthet az Azure Databrickshez. Az 'MSI' hitelesítés használatakor nincs szükség Access Tokenre (hozzáférési jogkivonatra). A felügyelt identitás hitelesítéséről további információt itt talál. No
existingClusterId Meglévő fürt azonosítója az összes feladat ezen történő futtatásához. Ennek már létrehozott interaktív fürtnek kell lennie. Előfordulhat, hogy manuálisan kell újraindítania a klasztert, ha az nem reagál. A Databricks azt javasolja, hogy a nagyobb megbízhatóság érdekében a feladatokat új fürtökön futtassa. A Databricks-munkaterületen található interaktív fürt azonosítóját itt találhatja meg: –> Fürtök –> Interaktív fürt neve –> Konfiguráció –> Címkék. További részletek No
instancePoolId A Databricks-munkaterületen található meglévő készlet példánykészlet-azonosítója. No
newClusterVersion A fürt Spark verziója. Létrehoz egy feladatfürtöt a Databricksben. No
newClusterNumOfWorker Azoknak a munkavégző csomópontoknak a száma, amellyel ennek a fürtnek rendelkeznie kell. A fürt egyetlen Spark-illesztőprogrammal és num_workers végrehajtóval rendelkezik, összesen num_workers + 1 Spark-csomópontot alkotva. Az Int32 formátumú sztringek, például az "1" azt jelentik, hogy a numOfWorker értéke 1, vagy az "1:10" azt jelenti, hogy az automatikus skálázás minimum 1-ről maximum 10-re történik. No
newClusterNodeType Ez a mező egyetlen értéken keresztül kódolja a fürtben lévő Spark-csomópontok számára elérhető erőforrásokat. Például, a Spark csomópontok előkészíthetők és optimalizálhatók memória- vagy számításigényes feladatokhoz. Ez a mező az új fürthöz szükséges No
newClusterSparkConf választható, felhasználó által megadott Spark-konfigurációs kulcs-érték párok készlete. A felhasználók a spark.driver.extraJavaOptions és a spark.executor.extraJavaOptions használatával további JVM-beállításokat is átadhatnak az illesztőprogramnak és a végrehajtóknak. No
newClusterInitScripts az új fürt felhasználó által definiált, opcionális inicializáló szkriptjeinek gyűjteménye. Az init-szkripteket megadhatja a munkaterület fájljaiban (ajánlott), vagy a DBFS elérési útján (elavult módszer). No

Azure SQL Database társított szolgáltatás

Hozzon létre egy Azure SQL társított szolgáltatást, és használja azt a Adattár-eljárástevékenységgel egy folyamat tárolt eljárásának meghívásához. A csatolt szolgáltatással kapcsolatos részletekért lásd a Azure SQL Összekötő cikket.

Azure Synapse Analytics társított szolgáltatás

Hozzon létre egy Azure Synapse Analytics társított szolgáltatást, és használja azt a Adattár-eljárástevékenységgel egy folyamat tárolt eljárásának meghívásához. A csatolt szolgáltatásról további információt a Azure Synapse Analytics Összekötő cikkben talál.

SQL Server társított szolgáltatás

Hozzon létre egy SQL Server társított szolgáltatást, és használja azt a Adattár-eljárástevékenységgel egy folyamat tárolt eljárásának meghívásához. A csatolt szolgáltatással kapcsolatos részletekért lásd SQL Server összekötő cikket.

Azure Synapse Analytics (Artifacts) társított szolgáltatás

Hozzon létre egy Azure Synapse Analytics (Artifacts) társított szolgáltatást, és használja azt a Synapse Notebook Activity és Synapse Spark-feladatdefiníciós tevékenységgel.

Example

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Property Description Required
name A társított szolgáltatás neve Yes
description a társított szolgáltatás leírása No
annotations A társított szolgáltatás megjegyzései No
típus A típustulajdonságot AzureSynapseArtifacts értékre kell állítani Yes
végpont Az Azure Synapse Analytics URL-címe Yes
hitelesítés Az alapértelmezett beállítás a rendszer által hozzárendelt felügyelt identitás Yes
workspaceResourceId munkaterület erőforrás-azonosítója Yes
connectVia Az adattárhoz való csatlakozáshoz használandó integration runtime. Használhatja a Azure Integration Runtime. Ha nincs megadva, az alapértelmezett Azure Integration Runtime használja. A saját üzemeltetésű integration runtime jelenleg nem támogatott. Yes

Azure Function-hoz társított szolgáltatás

Létrehoz egy Azure Function kapcsolt szolgáltatást, és a Azure Function tevékenységgel használja, hogy futtassa az Azure Functions-t egy folyamatban. A Azure függvény visszatérési típusának érvényes JObject kell lennie. Ne feledje, hogy JArraynemJObject. Bármely visszatérési típus, amely nem JObject, meghiúsul, és a felhasználói hibát jelzi: A válasz tartalma nem érvényes JObject.

Property Description Required
típus A típustulajdonságnak a következőnek kell lennie: AzureFunction yes
függvényalkalmazás URL-címe A Azure függvényalkalmazás URL-címe. Formátum https://<accountname>.azurewebsites.net. Ez az URL-cím a URL szakaszban található érték, amikor a függvényalkalmazást a Azure portálon tekinti meg yes
funkciógomb A Azure függvény hozzáférési kulcsa. Kattintson a megfelelő függvény Kezelés szakaszára, és másolja ki a függvénykulcsot vagy a gazdagépkulcsot. További információ: Munka hozzáférési kulcsokkal yes

Kapcsolódó tartalom

A támogatott átalakítási tevékenységek listáját az Adatok átalakítása című témakörben találja.

  • Last updated on