Önállóan üzemeltetett, megosztott integrációs futtatókörnyezet létrehozása az Azure Data Factoryben

Vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Data Factory a Microsoft Fabric a Azure Data Factory következő generációja, egyszerűbb architektúrával, beépített AI-vel és új funkciókkal. Ha még nem ismerkedik az adatintegrációval, kezdje a Fabric Data Factoryvel. A meglévő ADF-számítási feladatok frissíthetők Fabric használatával, hogy elérjék az adatkutatás, a valós idejű elemzés és a jelentéskészítés új képességeit.

Ez az útmutató bemutatja, hogyan hozhat létre megosztott, saját üzemeltetésű integrációs modult Azure Data Factory. Ezután használhatja a megosztott, helyi integrációs futtatókörnyezetet egy másik adat-előállítóban.

Feljegyzés

Mivel a saját üzemeltetésű integrációs modult több adat-előállító között osztja meg, a megnövekedett számítási feladatok néha hosszabb várakozási időt is eredményezhetnek. Ha a várakozási idő túl hosszúra nyúlik, növelheti a csomópont kapacitását, vagy horizontálisan skálázhat több csomópont hozzáadásával. Legfeljebb 4 csomópontot adhat hozzá.

Önállóan üzemeltetett, megosztott integrációs futtatókörnyezet létrehozása az Azure Data Factoryben

Újra felhasználhat egy meglévő, saját üzemeltetésű integrációs futtatókörnyezeti infrastruktúrát, amelyet már beállított egy adat-előállítóban. Ez az újrahasználat lehetővé teszi, hogy egy meglévő megosztott, saját üzemeltetésű integrációs modulra hivatkozva hozzon létre egy kapcsolt, saját üzemeltetésű integrációs modult egy másik adatgyárban.

A funkció bevezetésének és bemutatásának megtekintéséhez nézze meg a következő 12 perces videót:

Terminológia

  • Megosztott integrációs modul: Egy eredeti, saját üzemeltetésű integrációs modul, amely fizikai infrastruktúrán fut.
  • Csatolt integrációs modul: Egy másik megosztott integrációs modulra hivatkozó integrációs modul. A csatolt integrációs modul egy logikai integrációs modul, amely egy másik megosztott, saját üzemeltetésű integrációs modul infrastruktúráját használja.

Megosztott, saját üzemeltetésű integrációs modul létrehozása Azure Data Factory felhasználói felülettel

Ha megosztott, saját üzemeltetésű integrációs modult szeretne létrehozni Azure Data Factory felhasználói felülettel, hajtsa végre a következő lépéseket:

  1. A megosztani kívánt saját üzemeltetésű integrációs modulban válassza az Engedély megadása egy másik Adat-előállítónak lehetőséget, majd az "Integrációs modul beállítása" lapon válassza ki azt a Data Factoryt, amelyben létre szeretné hozni a csatolt integrációs modult.

    Engedély megadásának gombja a Megosztás lapon

  2. Jegyezze fel és másolja ki a megosztott helyi integrációs modul fenti "erőforrás-azonosítóját".

  3. Abban az adatgyárban, amelyhez megadták az engedélyeket, hozzon létre egy új saját üzemeltetésű integrációs modult (kapcsolt), és adja meg az erőforrás-azonosítót.

    Gomb saját üzemeltetésű integrációs modul létrehozásához

    Gomb a csatolt, saját üzemeltetésű integrációs modul létrehozásához

    Név és erőforrás-azonosító mezői

Megosztott, helyi üzemeltetésű integrációs futtatókörnyezet létrehozása Azure PowerShell használatával

Ha megosztott, saját üzemeltetésű integrációs modult szeretne létrehozni Azure PowerShell használatával, hajtsa végre a következő lépéseket:

  1. Adat-előállító létrehozása
  2. Hozzon létre önállóan üzemeltetett integrációs futtatókörnyezetet.
  3. Ossza meg a saját üzemeltetésű integrációs modult más adat-előállítókkal.
  4. Csatolt integrációs futtatási környezet létrehozása.
  5. A megosztás visszavonása.

Előfeltételek

Feljegyzés

Javasoljuk, hogy az Azure Az PowerShell-modult használja a Azure használatához. Első lépésként lásd: Install Azure PowerShell. Az Az PowerShell-modulra való migrálásról az Migrate Azure PowerShell az AzureRM-ből az Az című témakörben olvashat.

Feljegyzés

Azoknak a Azure régióknak a listájához, amelyekben a Data Factory jelenleg elérhető, válassza ki a Régiónként elérhető termékek.

Adat-előállító létrehozása

  1. Indítsa el a Windows Integrált PowerShell-szkriptelési környezetet (ISE).

  2. Változók létrehozása. Másolja és illessze be a következő szkriptet. Cserélje le a változókat( például SubscriptionName és ResourceGroupName) tényleges értékekre:

    # If input contains a PSH special character, e.g. "$", precede it with the escape character "`" like "`$". 
    $SubscriptionName = "[Azure subscription name]" 
    $ResourceGroupName = "[Azure resource group name]" 
    $DataFactoryLocation = "EastUS" 
    
    # Shared Self-hosted integration runtime information. This is a Data Factory compute resource for running any activities 
    # Data factory name. Must be globally unique 
    $SharedDataFactoryName = "[Shared Data factory name]" 
    $SharedIntegrationRuntimeName = "[Shared Integration Runtime Name]" 
    $SharedIntegrationRuntimeDescription = "[Description for Shared Integration Runtime]"
    
    # Linked integration runtime information. This is a Data Factory compute resource for running any activities
    # Data factory name. Must be globally unique
    $LinkedDataFactoryName = "[Linked Data factory name]"
    $LinkedIntegrationRuntimeName = "[Linked Integration Runtime Name]"
    $LinkedIntegrationRuntimeDescription = "[Description for Linked Integration Runtime]"
    
  3. Jelentkezzen be, és válasszon ki egy előfizetést. Adja hozzá a következő kódot a szkripthez a bejelentkezéshez és a Azure-előfizetés kiválasztásához:

    Connect-AzAccount
    Select-AzSubscription -SubscriptionName $SubscriptionName
    
  4. Hozzon létre egy erőforráscsoportot és egy adat-előállítót.

    Feljegyzés

    Ez a lépés nem kötelező. Ha már rendelkezik adat-előállítóval, hagyja ki ezt a lépést.

    Hozzon létre egy Azure erőforráscsoportot a New-AzResourceGroup paranccsal. Az erőforráscsoportok olyan logikai tárolók, amelyekbe Azure erőforrásokat helyeznek üzembe és kezelnek csoportként. Az alábbi példa létrehoz egy WestEurope-helyen elnevezett myResourceGroup erőforráscsoportot:

    New-AzResourceGroup -Location $DataFactoryLocation -Name $ResourceGroupName
    

    Futtassa a következő parancsot egy adat-előállító létrehozásához:

    Set-AzDataFactoryV2 -ResourceGroupName $ResourceGroupName `
                             -Location $DataFactoryLocation `
                             -Name $SharedDataFactoryName
    

Saját üzemeltetésű Integration Runtime létrehozása

Feljegyzés

Ez a lépés nem kötelező. Ha már rendelkezik a más adat-előállítókkal megosztani kívánt saját üzemeltetésű integrációs modullal, hagyja ki ezt a lépést.

Futtassa a következő parancsot egy saját üzemeltetésű integrációs modul létrehozásához:

$SharedIR = Set-AzDataFactoryV2IntegrationRuntime `
    -ResourceGroupName $ResourceGroupName `
    -DataFactoryName $SharedDataFactoryName `
    -Name $SharedIntegrationRuntimeName `
    -Type SelfHosted `
    -Description $SharedIntegrationRuntimeDescription

Az integrációs modul hitelesítési kulcsának lekérése és csomópont regisztrálása

Futtassa a következő parancsot a saját üzemeltetésű integrációs modul hitelesítési kulcsának lekéréséhez:

Get-AzDataFactoryV2IntegrationRuntimeKey `
    -ResourceGroupName $ResourceGroupName `
    -DataFactoryName $SharedDataFactoryName `
    -Name $SharedIntegrationRuntimeName

A válasz tartalmazza a saját üzemeltetésű integrációs modul hitelesítési kulcsát. Ezt a kulcsot az integrációs futtatókörnyezeti csomópont regisztrálásakor használja.

A saját üzemeltetésű integrációs modul telepítése és regisztrálása

  1. Töltse le az önállóan üzemeltetett Integration Runtime telepítőt az Azure Data Factory Integration Runtime oldalról.

  2. Futtassa a telepítőt a saját üzemeltetésű integráció helyi számítógépre való telepítéséhez.

  3. Regisztrálja az új, saját üzemeltetésű integrációt az előző lépésben lekért hitelesítési kulccsal.

A saját üzemeltetésű integrációs modul megosztása egy másik adat-előállítóval

Másik adat-előállító létrehozása

Feljegyzés

Ez a lépés nem kötelező. Ha már rendelkezik a megosztani kívánt adat-előállítóval, hagyja ki ezt a lépést. A szerepkör-hozzárendelések más adat-előállítókhoz való hozzáadásához vagy eltávolításához azonban Microsoft.Authorization/roleAssignments/write és Microsoft.Authorization/roleAssignments/delete engedélyekkel kell rendelkeznie, például Felhasználói hozzáférés-rendszergazda vagy Tulajdonos.

$factory = Set-AzDataFactoryV2 -ResourceGroupName $ResourceGroupName `
    -Location $DataFactoryLocation `
    -Name $LinkedDataFactoryName

Engedély megadása

Adjon engedélyt az adat-előállítónak, amely hozzá szeretne férni a létrehozott és regisztrált saját üzemeltetésű integrációs modulhoz.

Fontos

Ne hagyja ki ezt a lépést!

New-AzRoleAssignment `
    -ObjectId $factory.Identity.PrincipalId ` #MSI of the Data Factory with which it needs to be shared
    -RoleDefinitionName 'Contributor' `
    -Scope $SharedIR.Id

Csatolt, saját üzemeltetésű integrációs modul létrehozása

Futtassa a következő parancsot egy csatolt, saját üzemeltetésű integrációs modul létrehozásához:

Set-AzDataFactoryV2IntegrationRuntime `
    -ResourceGroupName $ResourceGroupName `
    -DataFactoryName $LinkedDataFactoryName `
    -Name $LinkedIntegrationRuntimeName `
    -Type SelfHosted `
    -SharedIntegrationRuntimeResourceId $SharedIR.Id `
    -Description $LinkedIntegrationRuntimeDescription

Most már bármilyen társított szolgáltatásban használhatja ezt a társított integrációs modult. A társított integrációs modul a megosztott integrációs modult használja a tevékenységek futtatásához.

Integrációs futásidejű környezet megosztásának visszavonása adatgyárból

Ha vissza szeretné vonni egy adat-előállító hozzáférését a megosztott integrációs modulból, futtassa a következő parancsot:

Remove-AzRoleAssignment `
    -ObjectId $factory.Identity.PrincipalId `
    -RoleDefinitionName 'Contributor' `
    -Scope $SharedIR.Id

A meglévő csatolt integrációs modul eltávolításához futtassa a következő parancsot a megosztott integrációs modulon:

Remove-AzDataFactoryV2IntegrationRuntime `
    -ResourceGroupName $ResourceGroupName `
    -DataFactoryName $SharedDataFactoryName `
    -Name $SharedIntegrationRuntimeName `
    -LinkedDataFactoryName $LinkedDataFactoryName

Figyelés

Megosztott infravörös

A megosztott integrációs modul megkeresésére kijelölt elemek

Megosztott integrációs futtatókörnyezet figyelése

Csatolt integrációs modul

A csatolt integrációs futtatókörnyezet megkereséséhez kijelölt elemek

Csatolt integrációs futtatókörnyezet figyelése

A saját üzemeltetésű integrációs modul megosztásának ismert korlátozásai

  • A csatolt integrációs modult létrehozó adat-előállítónak felügyelt identitással kell rendelkeznie. Alapértelmezés szerint a Azure portálon vagy a PowerShell-parancsmagokban létrehozott adat-előállítók implicit módon létrehozott felügyelt identitással rendelkeznek. Ha azonban egy adat-előállító Azure Resource Manager sablonnal vagy SDK-val jön létre, explicit módon kell beállítania a Identity tulajdonságot. Ez a beállítás biztosítja, hogy Resource Manager létrehozzon egy felügyelt identitást tartalmazó adat-előállítót.

  • A Data Factory .NET ezt a funkciót támogató SDK-nak 1.1.0-s vagy újabb verziónak kell lennie.

  • Az engedély megadásához a tulajdonosi szerepkörre vagy az örökölt tulajdonosi szerepkörre van szükség abban az adat-előállítóban, ahol a megosztott integrációs modul létezik.

  • A megosztási funkció csak az ugyanazon Microsoft Entra bérlőn belüli adat-előállítók esetében működik.

  • A Microsoft Entra ID guest felhasználók esetében a felhasználói felületen nem működik a keresési funkció, amely az összes adat-előállítót keresési kulcsszó használatával listázza. Ha azonban a vendégfelhasználó az adatgyár tulajdonosa, a keresési funkció nélkül is megoszthatja az IR-t. Az Integrációs futtatókörnyezet megosztásához szükséges Data Factory felügyelt identitásához írja be a felügyelt identitást az Engedély hozzárendelése mezőbe, majd válassza a Hozzáadás lehetőséget a Data Factory felhasználói felületén.

    Feljegyzés

    Ez a funkció csak a Data Factory V2-ben érhető el.