Adatok betöltése az Azure Data Lake Storage Gen1-be az Azure Data Factory használatával

Cikk
05/15/2024

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Az Azure Data Lake Storage Gen1 (korábbi nevén Azure Data Lake Store) egy nagyvállalati szintű, nagyvállalati szintű, nagy adatelemzési számítási feladatokhoz használható hiperméretű adattár. A Data Lake Storage Gen1 segítségével bármilyen méretű, típusú és betöltési sebességű adatokat rögzíthet. Az adatok egyetlen helyen rögzítve lesznek a működési és feltáró elemzésekhez.

Az Azure Data Factory egy teljes mértékben felügyelt felhőalapú adatintegrációs szolgáltatás. A szolgáltatással feltöltheti a tavat a meglévő rendszer adataival, és időt takaríthat meg az elemzési megoldások létrehozásakor.

Az Azure Data Factory az alábbi előnyöket kínálja az adatok Data Lake Storage Gen1-be való betöltéséhez:

Egyszerűen beállítható: Intuitív, 5 lépésből áll, és nincs szükség szkriptelésre.
Gazdag adattár-támogatás: Beépített támogatás számos helyszíni és felhőalapú adattárhoz. Részletes listát a támogatott adattárak táblázatában talál.
Biztonságos és megfelelő: Az adatok HTTPS-en vagy ExpressRoute-on keresztül kerülnek átvitelre. A globális szolgáltatás jelenléte biztosítja, hogy az adatok soha ne hagyják el a földrajzi határt.
Nagy teljesítmény: Akár 1 GB/s adatbetöltési sebesség a Data Lake Storage Gen1-be. További információ: Copy tevékenység teljesítmény.

Ez a cikk bemutatja, hogyan tölthet be adatokat az Amazon S3-ból az 1. generációs Data Lake Storage-ba a Data Factory Adatmásolási eszközével. Hasonló lépéseket követve más típusú adattárakból másolhat adatokat.

Feljegyzés

További információ: Adatok másolása a Data Lake Storage Gen1-be vagy onnan az Azure Data Factory használatával.

Előfeltételek

Azure-előfizetés: Ha nem rendelkezik Azure-előfizetéssel, a kezdés előtt hozzon létre egy ingyenes fiókot .
Data Lake Storage Gen1-fiók: Ha nem rendelkezik Data Lake Storage Gen1-fiókkal, tekintse meg a Data Lake Storage Gen1-fiók létrehozása című témakör utasításait.
Amazon S3: Ez a cikk bemutatja, hogyan másolhat adatokat az Amazon S3-ból. Más adattárakat is használhat hasonló lépések végrehajtásával.

Adat-előállító létrehozása

Ha még nem hozta létre a data factoryt, kövesse a gyorsútmutató lépéseit : Adat-előállító létrehozása az Azure Portal és az Azure Data Factory Studio használatával. A létrehozás után keresse meg a data factoryt az Azure Portalon.
Válassza a Megnyitás az Azure Data Factory Studio megnyitása csempén a adatintegráció alkalmazás külön lapon való elindításához.

Adatok betöltése a Data Lake Storage Gen1-be

A kezdőlapon válassza a Betöltési csempét az Adatok másolása eszköz elindításához:
A Tulajdonságok lapon adja meg a CopyFromAmazonS3ToADLS értéket a Tevékenységnév mezőhöz, és válassza a Tovább elemet:
A Forrásadattár lapon válassza a + Új kapcsolat létrehozása lehetőséget:

Válassza az Amazon S3 lehetőséget, és válassza a Folytatás lehetőséget
Az Amazon S3-kapcsolat megadása lapon hajtsa végre a következő lépéseket:
1. Adja meg az Access-kulcs azonosítójának értékét.
2. Adja meg a titkos hozzáférési kulcs értékét.
3. Válassza a Befejezés lehetőséget.
4. Új kapcsolat jelenik meg. Válassza a Tovább lehetőséget.
A bemeneti fájl vagy mappa kiválasztása lapon tallózzon az átmásolni kívánt mappához és fájlhoz. Válassza ki a mappát/fájlt, válassza a Kiválasztás, majd a Tovább elemet:
Válassza ki a másolási viselkedést a fájlok rekurzív másolása és a bináris másolás (fájlok másolása másként) lehetőség kiválasztásával. Kattintson a Tovább gombra:
A Céladattár lapon válassza a + Új kapcsolat létrehozása, majd az Azure Data Lake Storage Gen1 lehetőséget, majd a Folytatás lehetőséget:
Az Új társított szolgáltatás (Azure Data Lake Storage Gen1) lapon hajtsa végre a következő lépéseket:
1. Válassza ki a Data Lake Storage Gen1-fiókját a Data Lake Store-fióknévhez.
2. Adja meg a bérlőt, és válassza a Befejezés lehetőséget.
3. Válassza a Tovább lehetőséget.
Fontos

Ebben az útmutatóban felügyelt identitást használ az Azure-erőforrásokhoz a Data Lake Storage Gen1-fiók hitelesítéséhez. Ezeket az utasításokat követve mindenképpen adja meg az MSI-nek a megfelelő engedélyeket a Data Lake Storage Gen1-ben.
A Kimeneti fájl vagy mappa kiválasztása lapon adja meg a copyfroms3 nevet a kimeneti mappa neveként, majd válassza a Tovább elemet:
A Beállítások lapon válassza a Tovább elemet:
Az Összefoglalás lapon tekintse át a beállításokat, és válassza a Tovább elemet:
Az Üzembe helyezés lapon válassza a Figyelés lehetőséget a folyamat (feladat) figyeléséhez:
Figyelje meg, hogy a bal oldalon található Figyelés lap automatikusan ki lesz választva. A Műveletek oszlop hivatkozásokat tartalmaz a tevékenységfuttatás részleteinek megtekintéséhez és a folyamat újrafuttatásához:
A folyamatfuttatáshoz társított tevékenységfuttatások megtekintéséhez válassza a Tevékenységfuttatások megtekintése hivatkozást a Műveletek oszlopban. Csak egy (másolási) tevékenység található a folyamatban, ezért csak egy bejegyzést lát. Ha vissza szeretne térni a folyamatfuttatási nézetre, válassza a folyamathivatkozást a tetején. A lista frissítéséhez kattintson a Frissítés gombra.
Az egyes másolási tevékenységek végrehajtási adatainak figyeléséhez válassza a Műveletek területen a Tevékenységfigyelési nézetben a Részletek hivatkozást. Monitorozhat olyan részleteket, mint a forrásból a fogadóba másolt adatok mennyisége, az adatátfutási sebesség, a megfelelő időtartamú végrehajtási lépések és a használt konfigurációk:
Ellenőrizze, hogy az adatok át vannak-e másolva a Data Lake Storage Gen1-fiókjába: