Megosztás a következőn keresztül:

Oktatóanyag: Adattermék-köteg beállítása

  • Cikk

Ebben az oktatóanyagban megtudhatja, hogyan állíthatja be a már üzembe helyezett adattermék-szolgáltatásokat. Az Azure Data Factory használatával integrálhatja és vezényelheti az adatokat, és a Microsoft Purview használatával felderítheti, kezelheti és szabályozhatja az adategységeket.

Az alábbiak végrehajtásának módját ismerheti meg:

  • Szükséges erőforrások létrehozása és üzembe helyezése
  • Szerepkörök és hozzáférési engedélyek hozzárendelése
  • Csatlakozás erőforrások az adatintegrációhoz

Ez az oktatóanyag segít megismerni a mintaadat-termék erőforráscsoportjában <DMLZ-prefix>-dev-dp001 üzembe helyezett szolgáltatásokat. Ismerje meg, hogyan kapcsolódnak egymáshoz az Azure-szolgáltatások, és milyen biztonsági intézkedések vannak érvényben.

Az új összetevők üzembe helyezésekor lehetősége lesz megvizsgálni, hogy a Purview hogyan kapcsolja össze a szolgáltatásirányítást az adatállapot holisztikus, naprakész térképének létrehozásához. Az eredmény az automatizált adatfelderítés, a bizalmas adatbesorolás és a végpontok közötti adatsorolás.

Előfeltételek

Mielőtt megkezdené az adattermék-köteg beállítását, győződjön meg arról, hogy megfelel az alábbi előfeltételeknek:

  • Egy Azure-előfizetés. Ha nem rendelkezik Azure-előfizetéssel, hozza létre ingyenes Azure-fiókját még ma.

  • Engedélyek az Azure-előfizetéshez. A Purview és az Azure Synapse Analytics üzembe helyezéséhez felhasználói hozzáférési Rendszergazda istrator szerepkört vagy tulajdonosiszerepkört kell megadnia az Azure-előfizetésben. Az oktatóanyagban további szerepkör-hozzárendeléseket fog beállítani a szolgáltatásokhoz és a szolgáltatásnevekhez.

  • Üzembe helyezett erőforrások. Az oktatóanyag elvégzéséhez ezeket az erőforrásokat már üzembe kell helyezni az Azure-előfizetésben:

  • Microsoft Purview-fiók. A fiók az adatkezelési célzóna üzembe helyezésének részeként jön létre.

  • Saját üzemeltetésű integrációs modul. A futtatókörnyezet az adat-kezdőzóna üzembe helyezésének részeként jön létre.

Feljegyzés

Ebben az oktatóanyagban a helyőrzők az oktatóanyag megkezdése előtt üzembe helyezett előfeltétel-erőforrásokra vonatkoznak:

  • <DMLZ-prefix>az adatkezelési célzóna üzembe helyezésekor megadott előtagra hivatkozik.
  • <DLZ-prefix> az adat-kezdőzóna üzembe helyezésekor megadott előtagra hivatkozik .
  • <DP-prefix>az adattermék kötegtelepítésének létrehozásakor megadott előtagra hivatkozik.

Azure SQL Database-példányok létrehozása

Az oktatóanyag megkezdéséhez hozzon létre két minta SQL Database-példányt. Az adatbázisokkal a későbbi szakaszokban crm- és ERP-adatforrásokat szimulálhat.

  1. Az Azure Portal globális vezérlői között válassza a Cloud Shell ikont egy Azure Cloud Shell-terminál megnyitásához. Válassza a Bash lehetőséget a termináltípushoz.

    Képernyőkép az Azure Portal Cloud Shell ikonjáról.

  2. A Cloud Shellben futtassa a következő szkriptet. A szkript megkeresi az <DLZ-prefix>-dev-dp001 erőforráscsoportot és az <DP-prefix>-dev-sqlserver001 azure SQL-kiszolgálót, amely az erőforráscsoportban található. Ezután a szkript létrehozza a két SQL Database-példányt a <DP-prefix>-dev-sqlserver001 kiszolgálón. Az adatbázisok előre feltöltve vannak az AdventureWorks-mintaadatokkal. Az adatok tartalmazzák az oktatóanyagban használt táblákat.

    Győződjön meg arról, hogy a subscription paraméter helyőrző értékét a saját Azure-előfizetés-azonosítójára cseréli.

    # Azure SQL Database instances setup
# Create the AdatumCRM and AdatumERP databases to simulate customer and sales data.

# Use the ID for the Azure subscription you used to deployed the data product.
az account set --subscription "<your-subscription-ID>"

# Get the resource group for the data product.
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, 'dp001')==\`true\`].name")

# Get the existing Azure SQL Database server name.
sqlServerName=$(az sql server list -g $resourceGroupName -o tsv  --query "[?contains(@.name, 'sqlserver001')==\`true\`].name")

# Create the first SQL Database instance, AdatumCRM, to create the customer's data source.
az sql db create --resource-group $resourceGroupName --server $sqlServerName --name AdatumCRM --service-objective Basic --sample-name AdventureWorksLT

# Create the second SQL Database instance, AdatumERP, to create the sales data source.
az sql db create --resource-group $resourceGroupName --server $sqlServerName --name AdatumERP --service-objective Basic --sample-name AdventureWorksLT

A szkript futtatása után az <DP-prefix>-dev-sqlserver001 Azure SQL Serveren két új SQL Database-példány AdatumCRM és AdatumERP. Mindkét adatbázis az alapszintű számítási szinten található. Az adatbázisok ugyanabban <DLZ-prefix>-dev-dp001 az erőforráscsoportban találhatók, amelyet az adattermék-köteg üzembe helyezéséhez használt.

A Purview beállítása az adattermék-köteg katalógusához

Ezután hajtsa végre a Purview beállításának lépéseit az adattermék-köteg katalógusához. Először hozzon létre egy szolgáltatásnevet. Ezután beállítja a szükséges erőforrásokat, és szerepköröket és hozzáférési engedélyeket rendel hozzá.

Egyszerű szolgáltatás létrehozása

  1. Az Azure Portal globális vezérlői között válassza a Cloud Shell ikont egy Azure Cloud Shell-terminál megnyitásához. Válassza a Bash lehetőséget a termináltípushoz.

  2. Módosítsa a következő szkriptet:

    • Cserélje le a subscriptionId paraméter helyőrző értékét a saját Azure-előfizetés-azonosítójára.
    • Cserélje le a spname paraméter helyőrző értékét a szolgáltatásnévhez használni kívánt névre. A szolgáltatásnév nevének egyedinek kell lennie az előfizetésben.

    A paraméterértékek frissítése után futtassa a szkriptet a Cloud Shellben.

    # Replace the parameter values with the name you want to use for your service principal name and your Azure subscription ID.
spname="<your-service-principal-name>"
subscriptionId="<your-subscription-id>"

# Set the scope to the subscription.
scope="/subscriptions/$subscriptionId"

# Create the service principal.
az ad sp create-for-rbac \
  --name $spname \
  --role "Contributor" \
  --scope $scope

  3. Ellenőrizze a JSON-kimenetben az alábbi példához hasonló eredményt. Jegyezze fel vagy másolja ki a kimenetben lévő értékeket a későbbi lépésekben való használathoz.

    {
  "appId": "<your-app-id>",
  "displayName": "<service-principal-display-name>",
  "name": "<your-service-principal-name>",
  "password": "<your-service-principal-password>",
  "tenant": "<your-tenant>"
}

Egyszerű szolgáltatáshozzáférés és -engedélyek beállítása

Az előző lépésben létrehozott JSON-kimenetből kérje le a következő visszaadott értékeket:

  • Szolgáltatásnév azonosítója (appId)
  • Egyszerű szolgáltatáskulcs (password)

A szolgáltatásnévnek a következő engedélyekkel kell rendelkeznie:

  • Storage Blob Data Reader szerepkör a tárfiókokon.
  • Adatolvasói engedélyek az SQL Database-példányokon.

Ha a szolgáltatásnevet a szükséges szerepkörrel és engedélyekkel szeretné beállítani, hajtsa végre az alábbi lépéseket.

Azure Storage-fiókengedélyek

  1. Az Azure Portalon nyissa meg az <DLZ-prefix>devraw Azure Storage-fiókot. Az erőforrás menüjében válassza a Hozzáférés-vezérlés (IAM) lehetőséget.

    Képernyőkép a tárfiók szolgáltatásnév-engedélypaneljéhez, kiemelt Hozzáférés-vezérléssel.

  2. Válassza a Hozzáadás>Szerepkör-hozzárendelés hozzáadása lehetőséget.

    Képernyőkép a tárfiók szolgáltatásnév hozzáférés-vezérlés paneljéről, amely bemutatja, hogyan adhat hozzá szerepkör-hozzárendelést.

  3. A Szerepkör-hozzárendelés hozzáadása lapon keresse meg és válassza a Storage Blob Data Reader lehetőséget. Ezután válassza a Tovább gombot.

    Képernyőkép a Storage Blob-adatolvasó keresésről a Szerepkör-hozzárendelés hozzáadása csoportban.

  4. A Tagok területen válassza a Tagok kiválasztása lehetőséget.

    Képernyőkép a Tagok kijelölése panelről a Szerepkör-hozzárendelés hozzáadása csoportban.

  5. A Tagok kiválasztása területen keresse meg a létrehozott szolgáltatásnév nevét.

    Képernyőkép a szolgáltatásnév kereséséről.

  6. A keresési eredmények között válassza ki a szolgáltatásnevet, majd válassza a Kiválasztás lehetőséget.

    A szolgáltatásnév keresése után megjelenő eredménypanel képernyőképe.

  7. A szerepkör-hozzárendelés végrehajtásához válassza kétszer a Véleményezés + hozzárendelés lehetőséget .

Ismételje meg az ebben a szakaszban leírt lépéseket a fennmaradó tárfiókok esetében:

  • <DLZ-prefix>devencur
  • <DLZ-prefix>devwork

SQL Database-engedélyek

Az SQL Database-engedélyek beállításához a lekérdezésszerkesztővel csatlakozhat az Azure SQL virtuális géphez. Mivel az összes erőforrás egy privát végpont mögött található, először be kell jelentkeznie az Azure Portalra egy Azure Bastion-gazdagép virtuális gépével.

Az Azure Portalon csatlakozzon az erőforráscsoportban <DMLZ-prefix>-dev-bastion üzembe helyezett virtuális géphez. Ha nem tudja biztosan, hogyan csatlakozhat a virtuális géphez a Bastion gazdagépszolgáltatás használatával, tekintse meg a Csatlakozás egy virtuális géphez.

Ha felhasználóként szeretné hozzáadni a szolgáltatásnevet az adatbázishoz, előfordulhat, hogy először fel kell vennie magát a Microsoft Entra rendszergazdájaként. Az 1. és a 2. lépésben a Microsoft Entra rendszergazdájaként veheti fel magát. A 3–5. lépésben a szolgáltatásnév-engedélyeket egy adatbázisnak adja. Amikor bejelentkezett a portálra a Bastion gazdagép virtuális gépéről, keressen Azure SQL virtuális gépeket az Azure Portalon.

  1. Lépjen az <DP-prefix>-dev-sqlserver001 Azure SQL virtuális gépre. A Gépház alatti erőforrásmenüben válassza a Microsoft Entra-azonosítót.

    Az Azure SQL Database Server Microsoft Entra paneljének képernyőképe.

  2. A parancssávon válassza a Rendszergazda beállítása lehetőséget. Keresse meg és válassza ki a saját fiókját. Válassza a Kiválasztás lehetőséget

    Képernyőkép arról, hogyan kereshet egy fiókot, hogy a felhasználó rendszergazda legyen.

  3. Az erőforrásmenüben válassza ki az SQL-adatbázisokat, majd válassza ki az adatbázist AdatumCRM .

    Képernyőkép a megfelelő adatbázisra való keresésről, kiemelve az AdatumCRM-et.

  4. Az AdatumCRM erőforrásmenüjében válassza a Lekérdezésszerkesztő (előzetes verzió) lehetőséget. Az Active Directory-hitelesítés alatt válassza a Folytatás másként gombot a bejelentkezéshez.

    Képernyőkép arról, hogyan jelentkezhet be a lekérdezésszerkesztőbe Active Directory-hitelesítéssel.

  5. A lekérdezésszerkesztőben módosítsa a következő utasításokat <service principal name> a létrehozott szolgáltatásnév nevére (például purview-service-principal). Ezután futtassa az utasításokat.

    
CREATE USER [<service principal name>] FROM EXTERNAL PROVIDER
GO

EXEC sp_addrolemember 'db_datareader', [<service principal name>]
GO

    Képernyőkép, amely bemutatja, hogyan hajthat végre utasításokat a lekérdezésszerkesztőben.

Ismételje meg a 3–5. lépést az AdatumERP adatbázis esetében.

A kulcstartó beállítása

A Purview beolvassa a szolgáltatásnévkulcsot az Azure Key Vault egy példányából. A kulcstartó az adatkezelési célzóna üzembe helyezésében jön létre. A kulcstartó beállításához a következő lépések szükségesek:

  1. Adja hozzá a szolgáltatásnévkulcsot a kulcstartóhoz titkos kulcsként.

  2. Adjon engedélyeket a Purview MSI titkos kulcsolvasójának a kulcstartóban.

  3. Adja hozzá a kulcstartót a Purview-hoz kulcstartó-kapcsolatként.

  4. Hozzon létre egy hitelesítő adatot a Purview-ban, amely a kulcstartó titkos kulcsára mutat.

Titkos kulcsok kulcstartóhoz való hozzáadásához szükséges engedélyek hozzáadása

  1. Az Azure Portalon nyissa meg az Azure Key Vault szolgáltatást. Keresse meg a kulcstartót <DMLZ-prefix>-dev-vault001 .

    Képernyőkép a Hozzáférés-vezérlési kulcstartó panelről.

  2. Az erőforrás menüjében válassza a Hozzáférés-vezérlés (IAM) lehetőséget. A parancssávon válassza a Hozzáadás, majd a Szerepkör-hozzárendelés hozzáadása lehetőséget.

    Képernyőkép egy szerepkör-hozzárendelés Purview-ban való hozzáadásáról.

  3. A Szerepkör lapon keresse meg, majd válassza a Key Vault Rendszergazda istrator lehetőséget. Válassza a Tovább lehetőséget.

    Képernyőkép a Key Vault Rendszergazda istrator szerepkör kereséséről.

  4. A Tagok területen válassza a Tagok kiválasztása lehetőséget az aktuálisan bejelentkezett fiók hozzáadásához.

    A Tagok kijelölése gomb kiemelését ábrázoló képernyőkép.

  5. A Tagok kiválasztása területen keresse meg az aktuálisan bejelentkezett fiókot. Jelölje ki a fiókot, majd válassza a Kiválasztás lehetőséget.

    Képernyőkép a tag kiválasztása keresőmezőről.

  6. A szerepkör-hozzárendelési folyamat befejezéséhez válassza a Véleményezés + hozzárendelés kétszer lehetőséget.

Titkos kulcs hozzáadása a kulcstartóhoz

Az alábbi lépéseket követve jelentkezzen be az Azure Portalra a Bastion gazdagép virtuális gépéről.

  1. A Key Vault erőforrásmenüjében válassza a <DMLZ-prefix>-dev-vault001Titkos kulcsok lehetőséget. A parancssávon válassza a Létrehozás/Importálás lehetőséget egy új titkos kód létrehozásához.

    Képernyőkép a key vault Generálás/Importálás gombjáról.

  2. Titkos kód létrehozásakor válassza ki vagy írja be a következő értékeket:

    Beállítás Művelet
    Feltöltési beállítások Válassza a Manuális lehetőséget.
    Név Adja meg a service-principal-secret értéket.
    Érték Adja meg a korábban létrehozott egyszerű szolgáltatásjelszót.

    Képernyőkép a Key Vault Titkos kulcs létrehozása panelről.

    Feljegyzés

    Ez a lépés létrehoz egy titkos kulcsot service-principal-secret a kulcstartóban a szolgáltatásnév jelszókulcsával. A Purview a titkos kóddal csatlakozik az adatforrásokhoz, és beolvassa azokat. Ha helytelen jelszót ad meg, nem tudja elvégezni a következő szakaszokat.

  3. Válassza a Létrehozás lehetőséget.

Purview-engedélyek beállítása a kulcstartóban

Ahhoz, hogy a Purview-példány beolvassa a kulcstartóban tárolt titkos kulcsokat, a Purview-nak hozzá kell rendelnie a kulcstartó megfelelő engedélyeit. Az engedélyek beállításához adja hozzá a Purview felügyelt identitást a Key Vault Titkos kulcsolvasó szerepköréhez.

  1. A Key Vault erőforrásmenüjében válassza a <DMLZ-prefix>-dev-vault001 Hozzáférés-vezérlés (IAM) lehetőséget.

  2. A parancssávon válassza a Hozzáadás, majd a Szerepkör-hozzárendelés hozzáadása lehetőséget.

    Képernyőkép a Hozzáférés-vezérlés panelről, amelyen a szerepkör-hozzárendelés hozzáadása gomb van kiemelve.

  3. A Szerepkörben keresse meg és válassza ki a Key Vault titkos kulcsainak felhasználója lehetőséget. Válassza a Tovább lehetőséget.

    A Key Vault titkos kulcsfelhasználói paneljének keresését bemutató képernyőkép.

  4. A Tagok területen válassza a Tagok kiválasztása lehetőséget.

    Képernyőkép a szerepkör-hozzárendelés hozzáadása panelről, kiemelve a tag kijelölése gombbal.

  5. Keresse meg a <DMLZ-prefix>-dev-purview001 Purview-példányt. Válassza ki a példányt a megfelelő fiók hozzáadásához. Ezután válassza a Kiválasztás lehetőséget.

    A Purview-példány nevének keresőmezője képernyőképe.

  6. A szerepkör-hozzárendelési folyamat befejezéséhez válassza a Véleményezés + hozzárendelés kétszer lehetőséget.

    A szerepkör-hozzárendelés elvégzését bemutató képernyőkép.

Key Vault-kapcsolat beállítása a Purview-ban

A Key Vault purview-beli kapcsolatának beállításához be kell jelentkeznie az Azure Portalra egy Azure Bastion-gazdagép virtuális gépével.

  1. Az Azure Portalon nyissa meg a <DMLZ-prefix>-dev-purview001 Purview-fiókot. Az Első lépések csoportban a Microsoft Purview szabályozási portál megnyitása területen válassza a Megnyitás lehetőséget.

    Képernyőkép a Microsoft Purview-fiók áttekintéséről.

  2. A Purview Studióban válassza a Felügyeleti>hitelesítő adatok lehetőséget. A Hitelesítő adatok parancssávon válassza a Key Vault-kapcsolatok kezelése, majd az Új lehetőséget.

    Képernyőkép a Key Vault-kapcsolatok kezelése gombról.

  3. Az Új kulcstartó kapcsolaton belül válassza ki vagy adja meg a következő információkat:

    Beállítás Művelet
    Név Adja meg <a DMLZ-prefix-dev-vault001> értéket.
    Azure előfizetés Válassza ki a kulcstartót üzemeltető előfizetést.
    Key Vault neve Válassza ki a <DMLZ-prefix-dev-vault001> kulcstartót.

    Képernyőkép az új Key Vault-kapcsolatok panelről.

  4. Válassza a Létrehozás lehetőséget.

  5. A Hozzáférés engedélyezésének megerősítése területen válassza a Megerősítés lehetőséget.

Hitelesítő adatok létrehozása a Purview-ban

A key vault beállításának utolsó lépése egy hitelesítő adat létrehozása a Purview-ban, amely a szolgáltatásnév kulcstartójában létrehozott titkos kódra mutat.

  1. A Purview Studióban válassza a Felügyeleti>hitelesítő adatok lehetőséget. A Hitelesítő adatok parancssávon válassza az Új lehetőséget.

    Képernyőkép az új Purview hitelesítő adatok panelről.

  2. Az Új hitelesítő adatok mezőben válassza ki vagy adja meg a következő adatokat:

    Beállítás Művelet
    Név Adja meg a purviewServicePrincipal értéket.
    Hitelesítési módszer Válassza a Szolgáltatásnév lehetőséget.
    Bérlőazonosító Az érték automatikusan fel lesz töltve.
    Szolgáltatásnév azonosítója Adja meg a szolgáltatásnév alkalmazásazonosítóját vagy ügyfél-azonosítóját.
    Key Vault-kapcsolat Válassza ki az előző szakaszban létrehozott kulcstartó-kapcsolatot.
    Titkos kód neve Adja meg a titkos kulcs nevét a kulcstartóban (service-principal-secret).

    Képernyőkép az új hitelesítő adatok űrlapról, kiemelt értékekkel.

  3. Válassza a Létrehozás lehetőséget.

Adatforrások regisztrálása

Ezen a ponton a Purview csatlakozhat a szolgáltatásnévhez. Most már regisztrálhatja és beállíthatja az adatforrásokat.

Azure Data Lake Storage Gen2-fiókok regisztrálása

Az alábbi lépések egy Azure Data Lake Storage Gen2-tárfiók regisztrálásának folyamatát ismertetik.

  1. A Purview Studióban válassza az adattérkép ikont, válassza a Források lehetőséget, majd a Regisztráció lehetőséget.

    Képernyőkép a Purview-ban kiemelt adattérkép gombról.

  2. A Források regisztrálása területen válassza az Azure Data Lake Storage Gen2 lehetőséget, majd a Folytatás lehetőséget.

    Képernyőkép az Azure Data Lake Storage Gen2 regisztrációs forrásról.

  3. A Források regisztrálása (Azure Data Lake Storage Gen2) területen válassza ki vagy adja meg a következő információkat:

    Beállítás Művelet
    Név Adja meg <a dldevraw DLZ-előtagot>.
    Azure-előfizetés Válassza ki a tárfiókot üzemeltető előfizetést.
    Tárfiók neve Válassza ki a megfelelő tárfiókot.
    Végpont Az érték automatikusan fel lesz töltve a kiválasztott tárfiók alapján.
    Gyűjtemény kiválasztása Válassza ki a gyökérgyűjteményt.

    Képernyőkép az Azure Data Lake Storage Gen2 regisztrálása panelről, kiemelt értékekkel.

  4. Az adatforrás létrehozásához válassza a Regisztráció lehetőséget.

Ismételje meg az alábbi lépéseket a következő tárfiókok esetében:

  • <DMLZ-prefix>devencur
  • <DMLZ-prefix>devwork

Az SQL Database-példány regisztrálása adatforrásként

  1. A Purview Studióban válassza az Adattérkép ikont, válassza a Források lehetőséget, majd a Regisztráció lehetőséget.

    Képernyőkép a Purview felületen kiemelt adattérkép gombról.

  2. A Források regisztrálása területen válassza az Azure SQL Database lehetőséget, majd a Folytatás lehetőséget.

    Az Azure SQL Database regisztrációs forrását bemutató képernyőkép.

  3. A Források regisztrálása (Azure SQL Database) területen válassza ki vagy adja meg a következő információkat:

    Beállítás Művelet
    Név Adja meg az SQLDatabase nevet (az Azure SQL Database-példányok létrehozásakor létrehozott adatbázis nevét).
    Előfizetés Válassza ki az adatbázist üzemeltető előfizetést.
    Kiszolgáló neve Adja meg <a DP-prefix-dev-sqlserver001> értéket.

    Képernyőkép az SQL Database regisztrálása űrlapról, kiemelt értékekkel.

  4. Válassza ki a pénztárgépet.

Vizsgálat beállítása

Ezután állítsa be az adatforrások vizsgálatát.

A Data Lake Storage Gen2 adatforrásának vizsgálata

  1. A Purview Studióban nyissa meg az adattérképet. Az adatforráson válassza az Új vizsgálat ikont.

    Képernyőkép az új Data Lake Storage Gen2-vizsgálat beállításáról.

  2. Az új vizsgálati panelen válassza ki vagy adja meg a következő adatokat:

    Beállítás Művelet
    Név Adja meg Scan_<DLZ-előtag>devraw.
    Csatlakozás integrációs modulon keresztül Válassza ki az adat-kezdőzónával üzembe helyezett saját üzemeltetésű integrációs modult.
    Megbízólevél Válassza ki a Purview-hoz beállított szolgáltatásnevet.

    A Data Lake Storage Gen2 hitelesítőadat-űrlapjának beolvasását ábrázoló képernyőkép a megadott értékekkel.

  3. Válassza a Kapcsolat tesztelése lehetőséget a kapcsolat és az engedélyek helyének ellenőrzéséhez. Válassza a Folytatás lehetőséget.

  4. A vizsgálat hatókörében jelölje ki a teljes tárfiókot a vizsgálat hatóköreként, majd válassza a Folytatás lehetőséget.

    Képernyőkép a Vizsgálat hatóköre panelről, amelyen a tárfiókok ki van választva.

  5. A Vizsgálati szabálykészlet kiválasztása területen válassza az AdlsGen2 lehetőséget, majd a Folytatás lehetőséget.

    Képernyőkép a Data Lake Storage Gen2 vizsgálati szabálykészletének kiválasztásáról.

  6. A Beolvasási eseményindító beállítása területen válassza az Egyszer, majd a Folytatás lehetőséget.

    Képernyőkép a beolvasási eseményindító beállítását ábrázoló panelről, a Kiválasztás után beállítással.

  7. A vizsgálat áttekintésében tekintse át a vizsgálati beállításokat. A vizsgálat elindításához válassza a Mentés és futtatás lehetőséget.

    A mentés és futtatás előtt a vizsgálat áttekintését bemutató képernyőkép.

Ismételje meg az alábbi lépéseket a következő tárfiókok esetében:

  • <DMLZ-prefix>devencur
  • <DMLZ-prefix>devwork

Az SQL Database adatforrásának vizsgálata

  1. Az Azure SQL Database adatforrásában válassza az Új vizsgálat lehetőséget.

    Képernyőkép egy új SQL Database-vizsgálat létrehozásáról.

  2. Az új vizsgálati panelen válassza ki vagy adja meg a következő adatokat:

    Beállítás Művelet
    Név Adja meg a Scan_Database001.
    Csatlakozás integrációs modulon keresztül Válassza a Purview-SHIR lehetőséget.
    Adatbázis neve Válassza ki az adatbázis nevét.
    Megbízólevél Válassza ki a Purview-ban létrehozott kulcstartó hitelesítő adatait.
    Életút-kinyerés (előzetes verzió) Válassza a Ki lehetőséget.

    Képernyőkép a beolvasási hitelesítő űrlapról, beírt értékekkel.

  3. Válassza a Kapcsolat tesztelése lehetőséget a kapcsolat és az engedélyek helyének ellenőrzéséhez. Válassza a Folytatás lehetőséget.

  4. Válassza ki a vizsgálat hatókörét. A teljes adatbázis vizsgálatához használja az alapértelmezett értéket.

    Képernyőkép arról, hogyan állíthatja be a vizsgálat hatókörét a teljes adatbázisra.

  5. A Vizsgálat szabálykészlet kiválasztása területen válassza az AzureSqlDatabase lehetőséget, majd válassza a Folytatás lehetőséget.

    Képernyőkép az SQL Database vizsgálati szabálykészletének kiválasztásáról.

  6. A Beolvasási eseményindító beállítása területen válassza az Egyszer, majd a Folytatás lehetőséget.

    Képernyőkép, amely a beolvasás beállítását jeleníti meg a kijelölt panel futtatásához.

  7. A vizsgálat áttekintésében tekintse át a vizsgálati beállításokat. A vizsgálat elindításához válassza a Mentés és futtatás lehetőséget.

Ismételje meg ezeket a lépéseket az AdatumERP adatbázis esetében.

A Purview most már be van állítva a regisztrált adatforrások adatszabályozásához.

SQL Database-adatok másolása a Data Lake Storage Gen2-be

Az alábbi lépésekben a Data Factory Adatmásoló eszközével hoz létre egy folyamatot, amellyel a táblákat az SQL Database-példányokból AdatumCRM és AdatumERP a <DLZ-prefix>devraw Data Lake Storage Gen2-fiók CSV-fájljaiba másolja.

A környezet nyilvános hozzáféréshez van zárolva, ezért először be kell állítania a privát végpontokat. A privát végpontok használatához jelentkezzen be az Azure Portalra a helyi böngészőben, majd csatlakozzon a Bastion gazdagép virtuális gépéhez a szükséges Azure-szolgáltatások eléréséhez.

Privát végpontok létrehozása

Privát végpontok beállítása a szükséges erőforrásokhoz:

  1. Az erőforráscsoportban válassza a <DMLZ-prefix>-dev-bastion lehetőséget <DMLZ-prefix>-dev-vm001.

    Képernyőkép a megerősített gazdagép virtuális gépéhez való csatlakozás erőforráscsoportjairól.

  2. A parancssávon válassza a Csatlakozás, majd a Bastion lehetőséget.

    Képernyőkép a bastion kijelölési paneljéhez való csatlakozásról.

  3. Adja meg a virtuális gép felhasználónevét és jelszavát, majd válassza a Csatlakozás.

    A felhasználónév és a jelszó beviteli paneljének képernyőképe.

  4. A virtuális gép webböngészőjében nyissa meg az Azure Portalt. Nyissa meg az <DLZ-prefix>-dev-shared-integration erőforráscsoportot, és nyissa meg a data factoryt <DLZ-prefix>-dev-integration-datafactory001 .

    Képernyőkép arról, hogyan nyithatja meg az Azure Data Factoryt egy másik erőforráscsoportban.

  5. Az Első lépések csoportban az Open Azure Data Factory Studióban válassza a Megnyitás lehetőséget.

    Képernyőkép az Azure Data Factory Studio megnyitásáról.

  6. A Data Factory Studio menüjében válassza a Kezelés ikont (az ikon úgy néz ki, mint egy négyzetes eszközkészlet, rajta egy csavarkulcsgal). Az erőforrásmenüben válassza a Felügyelt privát végpontok lehetőséget a Data Factory más biztonságos Azure-szolgáltatásokhoz való csatlakoztatásához szükséges privát végpontok létrehozásához.

    A privát végpontokra vonatkozó hozzáférési kérelmek jóváhagyását egy későbbi szakaszban tárgyaljuk. A privát végpontok hozzáférési kérelmeinek jóváhagyása után a jóváhagyási állapot jóváhagyva lesz, ahogyan a <DLZ-prefix>devencur tárfiók alábbi példájában is látható.

    Képernyőkép a Privát végpontok kezelése panelről.

  7. A privát végpontkapcsolatok jóváhagyása előtt válassza az Új lehetőséget. Írja be az Azure SQL-t, hogy megtalálja az Azure SQL Database-összekötőt, amellyel új felügyelt privát végpontot hoz létre az <DP-prefix>-dev-sqlserver001 Azure SQL virtuális géphez. A virtuális gép tartalmazza a AdatumCRM korábban létrehozott és AdatumERP létrehozott adatbázisokat.

  8. Az Új felügyelt privát végpontban (Azure SQL Database), a Név mezőben adja meg a data-product-dev-sqlserver001 értéket. Adja meg az erőforrások létrehozásához használt Azure-előfizetést. A Kiszolgáló neve mezőben válassza ki <DP-prefix>-dev-sqlserver001 , hogy a következő szakaszokban kapcsolódni tud az adat-előállítóból.

    Képernyőkép az új privát végpont elnevezéséről.

Privát végpont hozzáférési kérelmeinek jóváhagyása

Ha hozzáférést szeretne adni a Data Factory számára a szükséges szolgáltatások privát végpontjaihoz, néhány lehetőség közül választhat:

  • 1. lehetőség: Az Azure Portalon minden olyan szolgáltatásban, amelyhez hozzáférést kér, lépjen a szolgáltatás hálózati vagy privát végpontkapcsolati lehetőségére, és hagyja jóvá a privát végpontra irányuló hozzáférési kérelmeket.

  • 2. lehetőség: Futtassa a következő szkripteket az Azure Cloud Shellben Bash módban a szükséges privát végpontokra irányuló összes hozzáférési kérés egyidejű jóváhagyásához.

    
# Storage managed private endpoint approval

# devencur
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, '-dev-storage')==\`true\`].name")
storageAcctName=$(az storage account list -g $resourceGroupName -o tsv  --query "[?contains(@.name, 'devencur')==\`true\`].name")
endPointConnectionName=$(az network private-endpoint-connection list -g $resourceGroupName -n $storageAcctName --type Microsoft.Storage/storageAccounts -o tsv --query "[?contains(@.properties.privateLinkServiceConnectionState.status, 'Pending')==\`true\`].name")

az network private-endpoint-connection approve -g $resourceGroupName -n $endPointConnectionName --resource-name $storageAcctName --type Microsoft.Storage/storageAccounts --description "Approved"

# devraw
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, '-dev-storage')==\`true\`].name")
storageAcctName=$(az storage account list -g $resourceGroupName -o tsv  --query "[?contains(@.name, 'devraw')==\`true\`].name")
endPointConnectionName=$(az network private-endpoint-connection list -g $resourceGroupName -n $storageAcctName --type Microsoft.Storage/storageAccounts -o tsv --query "[?contains(@.properties.privateLinkServiceConnectionState.status, 'Pending')==\`true\`].name")
az network private-endpoint-connection approve -g $resourceGroupName -n $endPointConnectionName --resource-name $storageAcctName --type Microsoft.Storage/storageAccounts --description "Approved"

# SQL Database managed private endpoint approval
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, '-dev-dp001')==\`true\`].name")
sqlServerName=$(az sql server list -g $resourceGroupName -o tsv  --query "[?contains(@.name, 'sqlserver001')==\`true\`].name")
endPointConnectionName=$(az network private-endpoint-connection list -g $resourceGroupName -n $sqlServerName --type Microsoft.Sql/servers -o tsv --query "[?contains(@.properties.privateLinkServiceConnectionState.status, 'Pending')==\`true\`].name")
az network private-endpoint-connection approve -g $resourceGroupName -n $endPointConnectionName --resource-name $sqlServerName --type Microsoft.Sql/servers --description "Approved"

# Key Vault private endpoint approval
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, '-dev-metadata')==\`true\`].name")
keyVaultName=$(az keyvault list -g $resourceGroupName -o tsv  --query "[?contains(@.name, 'dev-vault001')==\`true\`].name")
endPointConnectionID=$(az network private-endpoint-connection list -g $resourceGroupName -n $keyVaultName --type Microsoft.Keyvault/vaults -o tsv --query "[?contains(@.properties.privateLinkServiceConnectionState.status, 'Pending')==\`true\`].id")
az network private-endpoint-connection approve -g $resourceGroupName --id $endPointConnectionID --resource-name $keyVaultName --type Microsoft.Keyvault/vaults --description "Approved"

# Purview private endpoint approval
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, 'dev-governance')==\`true\`].name")
purviewAcctName=$(az purview account list -g $resourceGroupName -o tsv  --query "[?contains(@.name, '-dev-purview001')==\`true\`].name")
for epn in $(az network private-endpoint-connection list -g $resourceGroupName -n $purviewAcctName --type Microsoft.Purview/accounts -o tsv --query "[?contains(@.properties.privateLinkServiceConnectionState.status, 'Pending')==\`true\`].name")
do
    az network private-endpoint-connection approve -g $resourceGroupName -n $epn --resource-name $purviewAcctName --type Microsoft.Purview/accounts --description "Approved"
done

Az alábbi példa bemutatja, hogyan kezeli a tárfiók a <DLZ-prefix>devraw privát végpont hozzáférési kéréseit. A tárfiók erőforrásmenüjében válassza a Hálózatkezelés lehetőséget. A parancssávon válassza a Privát végpontkapcsolatok lehetőséget.

Képernyőkép a Privát végpont kapcsolatai panelre való ugrásról.

Egyes Azure-erőforrások esetében a privát végpontkapcsolatokat az erőforrás menüjében választhatja ki. Az Azure SQL Serverre vonatkozó példa az alábbi képernyőképen látható.

Privát végpont hozzáférési kérésének jóváhagyásához a privát végpont kapcsolataiban válassza ki a függőben lévő hozzáférési kérést, majd válassza a Jóváhagyás elemet:

Képernyőkép egy privát végpont hozzáférési kérésének jóváhagyásáról.

Miután jóváhagyta a hozzáférési kérést minden szükséges szolgáltatásban, eltarthat néhány percig, amíg a kérés jóváhagyottként jelenik meg a Data Factory Studióban felügyelt privát végpontokon. Még ha a parancssávon a Frissítés lehetőséget is választja, a jóváhagyási állapot néhány percig elavult lehet.

Ha befejezte a szükséges szolgáltatásokhoz tartozó összes hozzáférési kérés jóváhagyását, felügyelt privát végpontokon az összes szolgáltatás jóváhagyási állapotának értéke jóváhagyva van:

Képernyőkép a privát végpont SQL-kapcsolatairól jóváhagyottként.

Szerepkör-hozzárendelések

Amikor befejezi a privát végpontok hozzáférési kérelmeinek jóváhagyását, adja hozzá a Data Factory megfelelő szerepkör-engedélyeit az erőforrások eléréséhez:

  • SQL Database-példányok AdatumCRM és AdatumERP az <DP-prefix>-dev-sqlserver001 Azure SQL Server
  • Tárfiókok <DLZ-prefix>devraw, <DLZ-prefix>devencurés <DLZ-prefix>devwork
  • Purview-fiók <DMLZ-prefix>-dev-purview001

Azure SQL virtuális gép

  1. Szerepkör-hozzárendelések hozzáadásához kezdje az Azure SQL virtuális géppel. <DMLZ-prefix>-dev-dp001 Az erőforráscsoportban lépjen a következőre<DP-prefix>-dev-sqlserver001: .

  2. Az erőforrás menüjében válassza a Hozzáférés-vezérlés (IAM) lehetőséget. A parancssávon válassza a Szerepkör-hozzárendelés hozzáadása lehetőséget>.

  3. A Szerepkör lapon válassza a Közreműködő, majd a Tovább gombot.

    Képernyőkép a Közreműködői szerepkör kiválasztásának panelről.

  4. A Tagok területen a Hozzáférés hozzárendelése területen válassza a Felügyelt identitás lehetőséget. Tagok esetén válassza a Tagok kiválasztása lehetőséget.

    Képernyőkép a Felügyelt identitástagok kiválasztása panelről.

  5. A Felügyelt identitások kiválasztása területen válassza ki az Azure-előfizetését. Felügyelt identitás esetén válassza a Data Factory (V2) lehetőséget az elérhető adat-előállítók megtekintéséhez. Az adat-előállítók listájában válassza az Azure Data Factory <DLZ-prefix-dev-integration-datafactory001> lehetőséget. Válassza a Kiválasztás lehetőséget

    Képernyőkép a szerepkör-hozzárendelés befejezési paneljéhez.

  6. A folyamat befejezéséhez válassza a Véleményezés + Hozzárendelés kétszer lehetőséget.

Storage fiókok

Ezután rendelje hozzá a szükséges szerepköröket a , <DLZ-prefix>devencurés <DLZ-prefix>devwork a <DLZ-prefix>devrawtárfiókokhoz.

A szerepkörök hozzárendeléséhez hajtsa végre ugyanazokat a lépéseket, amelyeket az Azure SQL Server szerepkör-hozzárendelésének létrehozásához használt. A szerepkör esetében azonban a Közreműködő helyett válassza a Storage Blob Data Contributor lehetőséget.

Miután mindhárom tárfiókhoz szerepköröket rendelt, a Data Factory csatlakozhat a tárfiókokhoz, és hozzáférhet hozzájuk.

Microsoft Purview

A szerepkör-hozzárendelések hozzáadásának utolsó lépése a Purview Data Curator szerepkör hozzáadása a Microsoft Purview-ban a <DLZ-prefix>-dev-integration-datafactory001 data factory felügyelt identitásfiókjához. Hajtsa végre az alábbi lépéseket, hogy a Data Factory több adatforrásból is elküldhesse az adatkatalógus eszközadatait a Purview-fióknak.

  1. Az erőforráscsoportban <DMLZ-prefix>-dev-governancelépjen a <DMLZ-prefix>-dev-purview001 Purview-fiókra.

  2. A Purview Studióban válassza az Adattérkép ikont, majd a Gyűjtemények lehetőséget.

  3. Válassza a gyűjtemény Szerepkör-hozzárendelések lapját. Az Adatkurátorok csoportban adja hozzá a felügyelt identitást a következőhöz<DLZ-prefix>-dev-integration-datafactory001:

    Képernyőkép arról, hogyan adhat hozzá adatkurátorokat a Purview-szerepkör-hozzárendeléshez.

A Data Factory Csatlakozás Purview-ba

Az engedélyek be vannak állítva, és a Purview most már láthatja az adat-előállítót. A következő lépés a <DMLZ-prefix>-dev-purview001 csatlakozás <DLZ-prefix>-dev-integration-datafactory001.

  1. A Purview Studióban válassza a Felügyelet ikont, majd a Data Factoryt. Data Factory-kapcsolat létrehozásához válassza az Új lehetőséget.

  2. A New Data Factory kapcsolatok paneljén adja meg az Azure-előfizetését, és válassza ki a data factoryt<DLZ-prefix>-dev-integration-datafactory001. Kattintson az OK gombra.

    Képernyőkép arról, hogyan néz ki a Purview Studio panel egy új kapcsolat kiválasztásakor.

  3. <DLZ-prefix>-dev-integration-datafactory001 A Data Factory Studio-példányBan az Azure Purview kezelése>területen frissítse az Azure Purview-fiókot.

    Az Data Lineage - Pipeline integráció ekkor megjelenik a zöld Csatlakozás ikonnal.

    Az Azure Data Factory Purview-fiók paneljének képernyőképe, amelyen az adatsor-folyamat csatlakoztatva van.

ETL-folyamat létrehozása

Most, hogy rendelkezik a <DLZ-prefix>-dev-integration-datafactory001 szükséges hozzáférési engedélyekkel, hozzon létre egy másolási tevékenységet a Data Factoryben az SQL Database-példányok adatainak a <DLZ-prefix>devraw nyers tárfiókba való áthelyezéséhez.

Az Adatok másolása eszköz használata az AdatumCRM használatával

Ez a folyamat kinyeri az ügyféladatokat az AdatumCRM SQL Database-példányból, és átmásolja azokat a Data Lake Storage Gen2 storage-ba.

  1. A Data Factory Studióban válassza a Szerző ikont, majd a Gyári erőforrások lehetőséget. Jelölje ki a pluszjelet (+), és válassza az Adatok másolása eszközt.

    Képernyőkép az Adatok másolása eszközről a gyári erőforrások alatt.

    Végezze el az Adatok másolása varázsló minden lépését:

    1. Ha 24 óránként szeretne eseményindítót létrehozni a folyamat futtatásához, válassza az Ütemezés lehetőséget.

      Képernyőkép arról, hogyan ütemezhet eseményindítót rendszeres futtatásra a CRM-ben.

    2. Ha társított szolgáltatást szeretne létrehozni a data factory és a AdatumCRM kiszolgáló (forrás) SQL Database-példányához való csatlakoztatásához, válassza az <DP-prefix>-dev-sqlserver001 Új Csatlakozás ion lehetőséget.

      Képernyőkép az AdatumCRM-adatbázishoz való csatlakozásról.

      Feljegyzés

      Ha az SQL Database-példányokban vagy a tárfiókokban lévő adatokhoz való csatlakozáskor vagy az azokhoz való hozzáférés során hibaüzenet jelenik meg, tekintse át az Azure-előfizetés engedélyeit. Győződjön meg arról, hogy az adat-előállító rendelkezik a szükséges hitelesítő adatokkal és hozzáférési engedélyekkel a problémás erőforrásokhoz.

    3. Válassza ki ezt a három táblát:

      • SalesLT.Address
      • SalesLT.Customer
      • SalesLT.CustomerAddress

      Képernyőkép a Táblák kijelölése panelről, kiemelt táblákkal.

    4. Hozzon létre egy új társított szolgáltatást az <DLZ-prefix>devraw Azure Data Lake Storage Gen2 storage (cél) eléréséhez.

      Képernyőkép a nyers tárkapcsolatról.

    5. Tallózással keresse meg a <DLZ-prefix>devraw tárban lévő mappákat, és válassza az Adatok lehetőséget célként.

      Képernyőkép a célhelyről nyers adatként.

    6. Módosítsa a fájlnév utótagját .csv, és használja a többi alapértelmezett beállítást.

      Képernyőkép a fájlnév utótag mezőjéről, amelyen a CSV be van írva.

    7. Lépjen a következő panelre, és válassza a Fejléc hozzáadása fájlhoz lehetőséget.

      Képernyőkép, amely bemutatja, hogyan adhat hozzá fejlécet egy fájlhoz.

    8. A varázsló befejezésekor a Teljes üzembe helyezés panel az alábbi példához hasonlóan néz ki:

      Képernyőkép az Adatok másolása eszköz üzembe helyezéséről.

Az új folyamat szerepel a Folyamatok listában.

A folyamat futtatása

Ez a folyamat három .csv fájlt hoz létre a Data\CRM mappában, egyet az AdatumCRM adatbázis kijelölt tábláihoz.

  1. Nevezze át a folyamatot CopyPipeline_CRM_to_Raw.

  2. Nevezze át az adathalmazokat CRM_Raw_Storage és CRM_DBa .

  3. A Factory Resources parancssávon válassza az Összes közzététele lehetőséget.

  4. Jelölje ki a CopyPipeline_CRM_to_Raw folyamatot, és a folyamat parancssávjában válassza az Eseményindító lehetőséget a három tábla SQL Database-ből a Data Lake Storage Gen2-be való másolásához.

    Képernyőkép arról, hogyan másolhat adatokat az SQL Database-ből a Data Lake Storage Gen2-be az eseményindító eszközzel.

Az Adatok másolása eszköz használata az AdatumERP-vel

Ezután nyerje ki az adatokat az AdatumERP adatbázisból. Az adatok az ERP rendszerből származó értékesítési adatokat jelölik.

  1. Még mindig a Data Factory Studióban hozzon létre egy új folyamatot az Adatok másolása eszközzel. Ezúttal az értékesítési adatokat AdatumERP a <DLZ-prefix>devraw tárfiók adatmappájába küldi, ugyanúgy, mint a CRM-adatokkal. Hajtsa végre ugyanazokat a lépéseket, de használja az adatbázist AdatumERP a forrásként.

    1. Hozza létre az ütemezést, amely óránként aktiválódik.

    2. Társított szolgáltatás létrehozása az AdatumERP SQL Database-példányhoz.

      Képernyőkép az Adatum ERP kapcsolatpaneljének befejezéséről.

    3. Válassza ki ezt a hét táblát:

      • SalesLT.Product
      • SalesLT.ProductCategory
      • SalesLT.ProductDescription
      • SalesLT.ProductModel
      • SalesLT.ProductModelProductDescription
      • SalesLT.SalesOrderDetail
      • SalesLT.SalesOrderHeader

      Képernyőkép az Adatum ERP-táblázat beállításairól.

    4. Használja a meglévő társított szolgáltatást a <DLZ-prefix>devraw tárfiókhoz, és állítsa a fájlkiterjesztést .csv.

      Képernyőkép egy nyers tárfiókról, amelynek fájlkiterjesztése CSV-re van állítva.

    5. Válassza a Fejléc hozzáadása fájlhoz lehetőséget.

      Képernyőkép egy fájl fejlécének fájlformátum-beállítások alatt történő hozzáadásáról.

    6. Fejezze be ismét a varázslót, és nevezze át a folyamatot CopyPipeline_ERP_to_DevRaw. Ezután a parancssávon válassza az Összes közzététele lehetőséget. Végül futtassa az eseményindítót ezen az újonnan létrehozott folyamaton a hét kijelölt tábla SQL Database-ből a Data Lake Storage Gen2-be való másolásához.

A lépések elvégzése után 10 CSV-fájl található a <DLZ-prefix>devraw Data Lake Storage Gen2-tárolóban. A következő szakaszban a Data Lake Storage Gen2-tárolóban lévő <DLZ-prefix>devencur fájlokat leszűkíti.

Curate data in Data Lake Storage Gen2

Amikor befejezte a 10 CSV-fájl létrehozását a nyers <DLZ-prefix>devraw Data Lake Storage Gen2-tárolóban, szükség szerint alakítsa át ezeket a fájlokat, amikor a válogatott <DLZ-prefix>devencur Data Lake Storage Gen2-tárolóba másolja őket.

Folytassa az Azure Data Factory használatával ezeket az új folyamatokat az adatáthelyezés vezényléséhez.

CRM-nek az ügyféladatokra való átkontálása

Hozzon létre egy adatfolyamot, amely beolvasja a CSV-fájlokat a Data\CRM mappába.<DLZ-prefix>devraw Alakítsa át a fájlokat, és másolja az átalakított fájlokat .parquet fájlformátumban a Data\Customer mappába<DLZ-prefix>devencur.

  1. Az Azure Data Factoryben nyissa meg a data factoryt, és válassza az Orchestrate lehetőséget.

    Képernyőkép az Azure Data Factory Vezénylés gombjáról.

  2. Általában nevezze el a folyamatotPipeline_transform_CRM.

  3. A Tevékenységek panelen bontsa ki az Áthelyezés és átalakítás elemet. Húzza az adatfolyam-tevékenységet, és húzza a folyamatvászonba.

    Képernyőkép a Tevékenységek panelről, valamint az Áthelyezés és átalakítás kiemelésével.

  4. A Adatfolyam hozzáadása területen válassza az Új adatfolyam létrehozása lehetőséget, és nevezze el az adatfolyamotCRM_to_Customer. Válassza a Befejezéslehetőséget.

    Feljegyzés

    A folyamatvászon parancssávján kapcsolja be az adatfolyam hibakeresését. Hibakeresési módban interaktívan tesztelheti az átalakítási logikát egy élő Apache Spark-fürtön. Az adatfolyam-fürtök bemelegedéséhez 5–7 perc kell. Javasoljuk, hogy az adatfolyam-fejlesztés megkezdése előtt kapcsolja be a hibakeresést.

    Képernyőkép a Adatfolyam megnyitása gombról.

    Ha befejezte az adatfolyam beállításainak CRM_to_Customer kiválasztását, a folyamat az Pipeline_transform_CRM alábbi példához hasonlóan néz ki:

    Képernyőkép a folyamatátalakítás CRM-ről.

    Az adatfolyam a következő példához hasonlóan néz ki:

    Képernyőkép a CRM ügyfél-adatfolyamról.

  5. Ezután módosítsa ezeket a beállításokat a forrás adatfolyamában CRMAddress :

    1. Hozzon létre egy új adatkészletet a Data Lake Storage Gen2-ből. Használja a DelimitedText formátumot. Nevezze el az adathalmazt DevRaw_CRM_Address.

    2. Csatlakozás a társított szolgáltatást a következőhöz<DLZ-prefix>devraw: .

    3. Válassza ki a Data\CRM\SalesLTAddress.csv fájlt forrásként.

  6. Módosítsa ezeket a beállításokat a párosított CustAddress fogadó adatfolyamában:

    1. Hozzon létre egy új, névvel ellátott DevEncur_Cust_Addressadatkészletet.

    2. Válassza ki a Data\Customer mappát <DLZ-prefix>devencur fogadóként.

    3. A Gépház\Output to single file(Kimenet) területen konvertálja a fájlt Address.parquet fájllá.

Az adatfolyam-konfiguráció hátralévő részében használja az egyes összetevőkre vonatkozó alábbi táblázatokban szereplő információkat. Vegye figyelembe, hogy CRMAddressCustAddress ez az első két sor. Használja őket példaként a többi objektumhoz.

Az alábbi táblázatok egyikében sem szereplő elem a RemovePasswords sémamódosító. Az előző képernyőképen látható, hogy ez az elem a között és CustCustomerközött CRMCustomer van. A sémamódosító hozzáadásához lépjen a Beállítások kiválasztása elemre, és távolítsa el a PasswordHash és a PasswordSalt parancsot.

CRMCustomer 15 oszlopos sémát ad vissza a .crv fájlból. CustCustomer Csak 13 oszlopot ír, miután a sémamódosító eltávolította a két jelszóoszlopot.

A teljes táblázat

Név Objektumtípus Adatkészlet neve Adattár Formátum típusa Társított szolgáltatások Fájl vagy mappa
CRMAddress forrás DevRaw_CRM_Address Azure Data Lake Storage Gen2 Tagolt szöveg devraw Data\CRM\SalesLTAddress.csv
CustAddress Mosogató DevEncur_Cust_Address Azure Data Lake Storage Gen2 Parketta devencur Data\Customer\Address.parquet
CRMCustomer forrás DevRaw_CRM_Customer Azure Data Lake Storage Gen2 Tagolt szöveg devraw Data\CRM\SalesLTCustomer.csv
CustCustomer Mosogató DevEncur_Cust_Customer Azure Data Lake Storage Gen2 Parketta devencur Data\Customer\Customer.parquet
CRMCustomerAddress forrás DevRaw_CRM_CustomerAddress Azure Data Lake Storage Gen2 Tagolt szöveg devraw Data\CRM\SalesLTCustomerAddress.csv
CustCustomerAddress Mosogató DevEncur_Cust_CustomerAddress Azure Data Lake Storage Gen2 Parketta devencur Data\Customer\CustomerAddress.parquet

Az ERP to Sales tábla

Most ismételje meg a hasonló lépéseket egy Pipeline_transform_ERP folyamat létrehozásához, hozzon létre egy adatfolyamot ERP_to_Sales a Data\ERP mappában <DLZ-prefix>devrawlévő .csv fájlok átalakításához, és másolja az átalakított fájlokat a Data\Sales mappába<DLZ-prefix>devencur.

Az alábbi táblázatban megtalálja az adatfolyamban ERP_to_Sales létrehozandó objektumokat, valamint az egyes objektumokhoz módosítani kívánt beállításokat. Minden .csv fájl egy .parquet fogadóhoz van leképezve.

Név Objektumtípus Adatkészlet neve Adattár Formátum típusa Társított szolgáltatások Fájl vagy mappa
ERPProduct forrás DevRaw_ERP_Product Azure Data Lake Storage Gen2 Tagolt szöveg devraw Data\ERP\SalesLTProduct.csv
SalesProduct Mosogató DevEncur_Sales_Product Azure Data Lake Storage Gen2 Parketta devencur Data\Sales\Product.parquet
ERPProductCategory forrás DevRaw_ERP_ProductCategory Azure Data Lake Storage Gen2 Tagolt szöveg devraw Data\ERP\SalesLTProductCategory.csv
SalesProductCategory Mosogató DevEncur_Sales_ProductCategory Azure Data Lake Storage Gen2 Parketta devencur Data\Sales\ProductCategory.parquet
ERPProductDescription forrás DevRaw_ERP_ProductDescription Azure Data Lake Storage Gen2 Tagolt szöveg devraw Data\ERP\SalesLTProductDescription.csv
SalesProductDescription Mosogató DevEncur_Sales_ProductDescription Azure Data Lake Storage Gen2 Parketta devencur Data\Sales\ProductDescription.parquet
ERPProductModel forrás DevRaw_ERP_ProductModel Azure Data Lake Storage Gen2 Tagolt szöveg devraw Data\ERP\SalesLTProductModel.csv
SalesProductModel Mosogató DevEncur_Sales_ProductModel Azure Data Lake Storage Gen2 Parketta devencur Data\Sales\ProductModel.parquet
ERPProductModelProductDescription forrás DevRaw_ERP_ProductModelProductDescription Azure Data Lake Storage Gen2 Tagolt szöveg devraw Data\ERP\SalesLTProductModelProductDescription.csv
SalesProductModelProductDescription Mosogató DevEncur_Sales_ProductModelProductDescription Azure Data Lake Storage Gen2 Parketta devencur Data\Sales\ProductModelProductDescription.parquet
ERPProductSalesOrderDetail forrás DevRaw_ERP_ProductSalesOrderDetail Azure Data Lake Storage Gen2 Tagolt szöveg devraw Data\ERP\SalesLTProductSalesOrderDetail.csv
SalesProductSalesOrderDetail Mosogató DevEncur_Sales_ProductSalesOrderDetail Azure Data Lake Storage Gen2 Parketta devencur Data\Sales\ProductSalesOrderDetail.parquet
ERPProductSalesOrderHeader forrás DevRaw_ERP_ProductSalesOrderHeader Azure Data Lake Storage Gen2 Tagolt szöveg devraw Data\ERP\SalesLTProductSalesOrderHeader.csv
SalesProductSalesOrderHeader Mosogató DevEncur_Sales_ProductSalesOrderHeader Azure Data Lake Storage Gen2 Parketta devencur Data\Sales\ProductSalesOrderHeader.parquet

Következő lépések

Erőforrások eltávolítása