Adatok betöltése a Fabricbe az Azure Data Factory másolási tevékenységével
Az Azure Data Factory (ADF) és az Azure Synapse Analytics Microsoft Fabric Lakehouse-összekötője olvasási és írási műveleteket is lehetővé tesz a Microsoft Fabric Lakehouse-ba (táblákhoz és fájlokhoz egyaránt). Ez az összekötő lehetővé teszi a meglévő ADF- és Synapse-pipeline-ok és leképezési adatfolyamok használatát, hogy kapcsolatba lépjen a Fabric Lakehouses rendszerekkel. Ez a cikk segít konfigurálni a Microsoft Fabricet a szolgáltatásnévvel történő hitelesítés engedélyezéséhez, majd bemutatja a Lakehouse-összekötőt a Fabric Lakehouse-ból való olvasáshoz és a Lakehouse-ba való íráshoz.
További információ a Microsoft Fabric Lakehouse-ról: Mi az a tóház?
Azure Data Factory Lakehouse-összekötő
Mostantól elérhető egy új Lakehouse társított szolgáltatás-összekötő és két új adatkészlet azoknak az ügyfeleknek, akik a Microsoft Fabric Lakehouse-ból szeretnének olvasni és írni. A Lakehouse Connector teljes útmutatóját Adatok másolása és átalakítása a Microsoft Fabric Lakehouse Files (előzetes verzió)című témakörben találja.
Hitelesítés
Azure Data Factory társított szolgáltatás
A Microsoft Fabric Lakehouse-összekötőhöz szolgáltatásnévre (SPN)/alkalmazásregisztrációra van szükség a hitelesítéshez. Első lépésként létre kell hoznia egy új Szolgáltatási Főnevet (SPN), vagy egy meglévőt kell használnia. A Microsoft Fabric lehetővé teszi a Szolgáltatás-nevű főnév (SPN) elérését adott biztonsági csoportokhoz vagy a teljes szervezethez. Ha egy adott biztonsági csoport az a beállítás, amelyet a szervezet használ, akkor a Lakehouse-összekötőben használt egyszerű szolgáltatásnévnek egy olyan biztonsági csoporthoz kell tartoznia, amely hozzá van adva az engedélyezési listához.
Jegyzet
Nincs szükség Power BI API-engedélyekre (delegált)
Hozzáférés a Power BI API-khoz
A Power BI felügyeleti portálján a Power BI-bérlő rendszergazdájának engedélyeznie kell A szolgáltatásneveknek engedélyeznie kell a Power BI API-khasználatát. A biztonsági csoportot meg kell adni a szolgáltatásfelelősök Power BI API-k használatának engedélyezése beállítás alatt, vagy a teljes szervezet számára engedélyezheti.
A teljes útmutatót a Power BI-tartalom beágyazása beágyazott elemző alkalmazásba szolgáltatásfőhellyel és alkalmazás titokkalcím alatt találja.
Jegyzet
Ha a biztonsági csoportot a munkaterülethez rendeli, előfordulhat, hogy az engedélyek gyorsítótárazása miatt az Azure-ban késleltetés történik a szolgáltatási fióknév hozzáférési jogának megadásában a munkaterülethez. Ha azonnali hozzáférésre van szüksége, a PowerShell használatával kényszerítheti a felhasználó engedélyeinek frissítését. Ehhez nyissa meg a PowerShellt rendszergazdaként, majd futtassa a következő parancsokat:
Install-Module -Name MicrosoftPowerBIMgmt
Connect-PowerBIServiceAccount -Tenant '<TENANT ID>' -ServicePrincipal -Credential (Get-Credential)
Get-PowerBIWorkspace
Invoke-PowerBIRestMethod -URL 'https://api.powerbi.com/v1.0/myorg/RefreshUserPermissions' -Method Post -Body ''
Get-PowerBIWorkspace
Munkaterület-hozzáférés
A biztonsági csoport hozzáadása után a biztonsági csoportot vagy a szolgáltatás főnevet is hozzá kell adni minden munkaterülethez tagként, közreműködőként vagy rendszergazdaként. További részletekért tekintse meg a Felhasználók hozzáférése a munkaterületekhez dokumentumot.
Bemutató: Hitelesítés beállítása
Alkalmazásregisztrációs szolgáltatásnév
Meglévő alkalmazásregisztrációs szolgáltatási fiók (SPN) létrehozása vagy használata. Kövesse Alkalmazás regisztrálása a Microsoft Entra-azonosítóval és szolgáltatásnév létrehozásacímű témakörben leírt lépéseket.
Jegyzet
Nem kell átirányítási URI-t hozzárendelnie.
Biztonsági csoport
Hozzon létre egy új Microsoft Entra biztonsági csoportot, vagy használjon egy meglévőt, majd adja hozzá a szolgáltatói főnevet. Kövesse Alapszintű csoport létrehozása és tagok hozzáadása a Microsoft Entra biztonsági csoport létrehozásához című témakörben leírt lépéseket.
Power BI felügyeleti portál
A Power BI felügyeleti portáljánlépjen a Fejlesztői beállítások elemre, majd válassza a Szolgáltatásfőbb számára a Power BI API-k használatának engedélyezéselehetőséget, és engedélyezze azt. Ezután adja hozzá a biztonsági csoportot az előző lépésből. További információ a Power BI felügyeleti portál bérlői beállításairól: Bérlői beállítások.
Jegyzet
Győződjön meg arról, hogy engedélyezve van az a beállítás, a felhasználók hozzáférhetnek a OneLake-ben tárolt adatokhoz a Fabric kívüli alkalmazásokkal. Tekintse meg A Fabricen kívül futó alkalmazások számára az adatok OneLakekeresztüli elérésének engedélyezése című témakört.
Munkaterület
Adja hozzá az SPN-t vagy a szolgáltatáscsoportot a munkaterülethez Tag, Közreműködővagy Rendszergazda hozzáféréssel.
Azure Data Factory: Társított szolgáltatás
Az Azure Data Factory hozzon létre egy új Microsoft Fabric Lakehouse társított szolgáltatást.
Jegyzet
A munkaterület és a Lakehouse-azonosítók megkereséséhez keresse meg a Fabric Lakehouse-t, és azonosítsa azt az URL-címről. Például: https://.../groups/<Munkaterület-azonosító>>/lakehouses/<Lakehouse-azonosító>
Azure Data Factory: Adatkészlet
Hozzon létre egy Adatkészletet, amely a Microsoft Fabric Lakehouse társított szolgáltatására hivatkozik.
Jegyzet
Válassza a Nincs lehetőséget a Séma importálása lehetőségnél, ha a tábla még nem létezik, és manuálisan új táblanevet ad meg.
Bemutató: Írj egy Fabric Lakehouse-táblába egy ADF folyamattal
Forrás
Hozzon létre egy új folyamatot, és adjon hozzá egy másolási tevékenységet a folyamatvászonhoz. A másolási tevékenység Forrás lapján válassza ki azt a forrásadatkészletet, amelyet át szeretne helyezni egy Lakehouse-táblába. Ebben a példában egy .csv-fájlra hivatkozunk egy Azure Data Lake Storage (ADLS) Gen2-fiókból.
Elsüllyed
Lépjen a Másolási tevékenység Sink fülre, és válassza ki a korábban létrehozott Fabric Lakehouse adatkészletet.
A csővezeték futtatása
A pipeline futtatásával áthelyezze a .csv adatokat a Fabric Lakehouse táblába.
Bemutató: Adatlekérés egy Fabric Lakehouse adatbázis-táblából egy ADF adatfolyamon keresztül
A fenti szakaszban bemutattuk, hogyan használhatja az ADF-t egy Fabric Lakehouse-táblába való íráshoz. Most olvassunk egy Fabric Lakehouse táblázatból, és írjunk egy Parquet-fájlba az Azure Data Lake Storage (ADLS) Gen2-ben egy hasonló adatfolyammal.
Forrás
Hozzon létre egy új folyamatot, és adjon hozzá egy másolási tevékenységet a folyamatvászonhoz. A másolási tevékenység Forrás lapján válassza ki a korábban létrehozott Fabric Lakehouse-adatkészletet.
Elsüllyed
Lépjen a Másolási tevékenység Cél lapjára, és válassza ki a céladatkészletet. Ebben a példában a cél az Azure Data Lake Storage (Gen2), Parquet-fájlként.
A folyamat futtatása
Futtassa a pipeline-t, hogy az adatokat a Fabric Lakehouse táblából áthelyezze az ADLS Gen2 Parquet fájlba.
A Parquet-fájl vizsgálata az ADLS Gen2-ben
A Fabric Lakehouse tábla adatai most már Parquet-fájlként érhetők el az ADLS Gen2-ben.
Összefoglalás
Ebben a szakaszban áttekintettük a Lakehouse-összekötő követelményeit a Microsoft Fabric Lakehouse szolgáltatásnév-hitelesítésével, majd egy Azure Data Factory-folyamatból való olvasásra és a Lakehouse-ba való írásra vonatkozó példát mutattunk be. Ez az összekötő és képességek az Azure Data Factory-leképezési adatfolyamokban, az Azure Synapse Analyticsben és az Azure Synapse Analytics-leképezési adatfolyamokban is elérhetők.