Oktatóanyag: Helyszíni adatok migrálása felhőbeli tárolóba az AzCopy használatával
Az AzCopy egy olyan parancssori eszköz, amely lehetővé teszi, hogy egyszerű parancsokkal másoljon adatokat az Azure Blob Storage-ba, az Azure Files-ba és az Azure Table Storage-ba, illetve ezekből a tárolókból máshová. A parancsok úgy lettek kialakítva, hogy optimális teljesítményt nyújtsanak. Az AzCopyval az adatokat egy fájlrendszer és egy tárfiók, illetve több tárfiók között is másolhatja. Az AzCopyval helyi (helyszíni) adattárolóból tárfiókba másolhat adatokat.
Ebben az oktatóanyagban az alábbiakkal fog megismerkedni:
- Tárfiók létrehozása.
- Minden adat feltöltése az AzCopy segítségével.
- Az adatok módosítása tesztelési célból.
- Ütemezett vagy cron feladat létrehozása az új feltölthető fájlok azonosításához.
Ha még nincs Azure-előfizetése, kezdés előtt hozzon létre egy ingyenes fiókot.
Előfeltételek
Az oktatóanyag elvégzéséhez töltse le az AzCopy legújabb verzióját. Tekintse meg az AzCopy használatának első lépéseit.
Ha Windows rendszert használ, szüksége lesz a Schtasks programra, mert az oktatóanyag azt használja a feladatok ütemezéséhez. A Linux-felhasználók e célra a crontab parancsot használják.
Kövesse az alábbi lépéseket egy általános célú v2-tárfiók létrehozásához az Azure Portalon:
- Az Azure-szolgáltatások alatt válassza a Storage-fiókok lehetőséget.
- A Tárfiókok lapon válassza a + Létrehozás lehetőséget.
- Az Alapszintű beállítások panelen válassza ki azt az előfizetést, amelyben létre szeretné hozni a tárfiókot.
- Az Erőforráscsoport mezőben válassza ki a kívánt erőforráscsoportot, vagy hozzon létre egy új erőforráscsoportot. Az Azure-erőforráscsoportokról további információt az Azure Resource Manager áttekintésében talál.
- Ezután adja meg a tárfiók nevét. A választott névnek az Azure-on belül egyedinek kell lennie. A névnek 3 és 24 karakter közötti hosszúságúnak kell lennie, és csak számokat és kisbetűket tartalmazhat.
- Válasszon egy régiót a tárfiókhoz, vagy használja az alapértelmezett régiót.
- Válasszon ki egy teljesítményszintet. Az alapértelmezett szint a Standard.
- Adja meg, hogyan replikálja a tárfiókot. Az alapértelmezett redundancia beállítás a georedundáns tárolás (GRS). Az elérhető replikációs lehetőségekről további információt az Azure Storage redundanciáját ismertető cikkben talál.
- A Speciális, a Hálózatkezelés, az Adatvédelem és a Címkék panelen további lehetőségek érhetők el. Az Azure Data Lake Storage használatához válassza a Speciális panelt, majd állítsa a hierarchikus névteret Engedélyezve értékre. További információ: Azure Data Lake Storage Gen2 – Bevezetés.
- A tárfiók beállításainak áttekintéséhez és a fiók létrehozásához válassza a Felülvizsgálat + létrehozás elemet.
- Select Create.
Az alábbi képen egy új tárfiók Alapszintű beállítások paneljének beállításai láthatók:
Tároló létrehozása
Az első lépés a tároló létrehozása, mert a blobokat mindig egy tárolóba kell feltölteni. A tárolók segítségével úgy történik a blobcsoportok rendszerezése, ahogy a fájljait rendezi mappákba a számítógépén.
Kövesse az alábbi lépéseket a tároló létrehozásához:
A főoldalon kattintson a Tárfiókok gombra, majd válassza ki a létrehozott tárfiókot.
A Szolgáltatások területen kattintson a Blobok elemre, majd válassza a Tároló lehetőséget.
A tárolók nevének betűvel vagy számmal kell kezdődnie. A név csak betűkből, számokból és kötőjel (-) karakterből állhat. A blobok és tárolók elnevezésével kapcsolatos szabályok teljes listáját lásd a tárolók, blobok és metaadatok elnevezésével és hivatkozásával foglalkozó cikket.
Az AzCopy letöltése
Töltse le az AzCopy V10 végrehajtható fájlt.
Helyezze az AzCopy-fájlt bárhol a számítógépen. Adja hozzá a fájl helyét a rendszerelérési útvonal változójához, hogy a végrehajtható fájlra a számítógép bármely mappájából hivatkozzon.
Hitelesítés Microsoft Entra ID-vel
Először rendelje hozzá a Storage Blob Data Közreműködő szerepkört az identitásához. Lásd: Azure-szerepkör hozzárendelése a blobadatokhoz való hozzáféréshez.
Ezután nyisson meg egy parancssort, írja be a következő parancsot, és nyomja le az ENTER billentyűt.
azcopy login
Ez a parancs egy hitelesítési kódot és egy webhely URL-címét adja vissza. Nyissa meg a webhelyet, adja meg a kódot, majd kattintson a Tovább gombra.
Megjelenik egy bejelentkezési ablak. Ebben az ablakban jelentkezzen be az Azure-fiókjába az Azure-fiók hitelesítő adataival. Miután sikeresen bejelentkezett, bezárhatja a böngészőablakot, és megkezdheti az AzCopy használatát.
Egy mappa tartalmának feltöltése a Blob Storage-ba
Az AzCopyval feltöltheti egy mappa összes fájlját a Blob Storage-ba Windows vagy Linux rendszeren. Egy mappa összes blobjának feltöltéséhez írja be a következő AzCopy-parancsot:
azcopy copy "<local-folder-path>" "https://<storage-account-name>.<blob or dfs>.core.windows.net/<container-name>" --recursive=true
Cserélje le a
<local-folder-path>helyőrzőt egy fájlokat tartalmazó mappa elérési útjára (például:C:\myFoldervagy/mnt/myFolder).Cserélje le a
<storage-account-name>helyőrzőt a tárfiók nevére.Cserélje le a
<container-name>helyőrzőt a létrehozott tároló nevére.
Ha a megadott könyvtár tartalmát rekurzív módon szeretné feltölteni a Blob Storage-ba, adja meg a --recursive lehetőséget. Ha ezzel a beállítással futtatja az AzCopyt, a rendszer az összes almappát és azok fájljait is feltölti.
Módosított fájlok feltöltése a Blob Storage-ba
Az AzCopyval a legutóbbi módosításuk ideje alapján is feltölthet fájlokat.
Ha szeretné kipróbálni ezt a funkciót, tesztelési céllal módosítson vagy hozzon létre fájlokat a forráskönyvtárban. Ezután használja az AzCopy sync parancsot.
azcopy sync "<local-folder-path>" "https://<storage-account-name>.blob.core.windows.net/<container-name>" --recursive=true
Cserélje le a
<local-folder-path>helyőrzőt egy fájlokat tartalmazó mappa elérési útjára (például:C:\myFoldervagy/mnt/myFolder.Cserélje le a
<storage-account-name>helyőrzőt a tárfiók nevére.Cserélje le a
<container-name>helyőrzőt a létrehozott tároló nevére.
A parancsról további információt a sync Fájlok szinkronizálása című témakörben talál.
Ütemezett feladat létrehozása
Létrehozhat olyan ütemezett vagy cron feladatot, amely egy AzCopy parancssori szkriptet futtat. A szkript adott időközönként azonosítja és feltölti az új helyszíni adatokat a felhőtárolóba.
Másolja az AzCopy-parancsot egy szövegszerkesztőbe. Frissítse az AzCopy-parancs paraméterértékeit a megfelelő értékekre. Mentse a fájlt script.sh (Linux) vagy script.bat (Windows) néven az AzCopyhoz.
Ezek a példák feltételezik, hogy a mappa neve myFolder, a tárfiók neve mystorageaccount és a tároló neve mycontainer.
Megjegyzés:
A Linux-példa hozzáfűz egy SAS-jogkivonatot. Meg kell adnia egyet a parancsban. Az AzCopy V10 jelenlegi verziója nem támogatja a Microsoft Entra engedélyezését a cron-feladatokban.
azcopy sync "/mnt/myfiles" "https://mystorageaccount.blob.core.windows.net/mycontainer?sv=2018-03-28&ss=bfqt&srt=sco&sp=rwdlacup&se=2019-05-30T06:57:40Z&st=2019-05-29T22:57:40Z&spr=https&sig=BXHippZxxx54hQn/4tBY%2BE2JHGCTRv52445rtoyqgFBUo%3D" --recursive=true
Ebben az oktatóanyagban a Schtasks eszközt használjuk egy ütemezett feladat létrehozásához Windows rendszeren, és a Crontab parancsot egy cron feladat létrehozásához Linux rendszeren.
A Schtasks lehetővé teszi a rendszergazdák számára ütemezett feladatok létrehozását, törlését, lekérdezését, módosítását, futtatását és befejezését helyi vagy távoli számítógépeken. A Cron lehetővé teszi a Linux- és Unix-felhasználók számára parancsok vagy szkriptek futtatását adott dátumon és időpontban cron-kifejezések használatával.
Cron feladat létrehozásához Linux rendszeren írja be az alábbi parancsot egy terminálon:
crontab -e
*/5 * * * * sh /path/to/script.sh
Ha a parancsban megadja az */5 * * * * cron-kifejezést, az azt jelenti, hogy a script.sh héjszkriptnek öt percenként kell futnia. A szkriptet ütemezheti úgy, hogy adott időben fusson naponta, havonta vagy évente. Ha többet szeretne megtudni a feladatok végrehajtási dátumának és idejének megadásáról, tekintse át a cron-kifejezéseket.
Ha ellenőrizni szeretné, hogy az ütemezett/cron feladat megfelelően fut-e, hozzon létre új fájlokat a myFolder könyvtárban. Várjon öt percet, és győződjön meg arról, hogy az új fájlok feltöltődtek a tárfiókjába. Navigáljon a naplókönyvtárhoz, és tekintse meg az ütemezett vagy a cron feladat kimeneti naplóit.
Következő lépések
A helyszíni adatok Azure Storage-ba, vagy a Storage-adatok helyszíni tárolóba történő áthelyezésével kapcsolatos további információkért kövesse az alábbi hivatkozást:
Az AzCopyról az alábbi cikkekben talál további információt: