Kurz: Migrace místních dat do cloudového úložiště pomocí AzCopy
AzCopy je nástroj příkazového řádku určený ke kopírování dat do nebo z úložiště objektů blob v Azure, služby Soubory Azure a úložiště tabulek v Azure pomocí jednoduchých příkazů. Příkazy jsou navržené pro zajištění optimálního výkonu. Pomocí AzCopy můžete kopírovat data mezi systémem souborů a účtem úložiště nebo mezi účty úložiště. AzCopy je možné použít ke kopírování místních dat (v místním prostředí) do účtu úložiště.
V tomto kurzu se naučíte:
- Vytvořte si účet úložiště.
- Použití AzCopy k nahrání veškerých dat
- Úprava dat pro účely testování
- Vytvoření plánované úlohy nebo úlohy Cron pro identifikaci nových souborů k nahrání
Pokud ještě nemáte předplatné Azure, vytvořte si napřed bezplatný účet.
Požadavky
K dokončení tohoto kurzu si stáhněte nejnovější verzi AzCopy. Viz Začínáme s nástrojem AzCopy.
Pokud používáte Windows, budete potřebovat nástroj Schtasks, který se v tomto kurzu používá k naplánování úlohy. Uživatelé Linuxu místo toho použijí příkaz crontab.
Pokud chcete vytvořit účet úložiště pro obecné účely verze 2 na webu Azure Portal, postupujte takto:
- V části Služby Azure vyberte Účty úložiště.
- Na stránce Účty úložiště zvolte + Vytvořit.
- V okně Základy vyberte předplatné, ve kterém chcete vytvořit účet úložiště.
- V poli Skupina prostředků vyberte požadovanou skupinu prostředků nebo vytvořte novou skupinu prostředků. Další informace o skupinách prostředků Azure najdete v přehledu Azure Resource Manageru.
- Dále zadejte název účtu úložiště. Zvolený název musí být jedinečný v rámci Azure. Název musí mít délku 3 až 24 znaků a může obsahovat pouze číslice a malá písmena.
- Vyberte oblast pro svůj účet úložiště nebo použijte výchozí oblast.
- Vyberte úroveň výkonu. Výchozí úroveň je Standard.
- Zadejte způsob replikace účtu úložiště. Výchozí možností redundance je geograficky redundantní úložiště (GRS). Další informace o dostupných možnostech replikace najdete v tématu Redundance služby Azure Storage.
- Další možnosti jsou k dispozici v ostřích Upřesnit, Sítě, Ochrana dat a Značky . Pokud chcete použít Azure Data Lake Storage, zvolte okno Upřesnit a pak nastavte Hierarchický obor názvů na Povoleno. Další informace najdete v úvodu k Azure Data Lake Storage Gen2.
- Vyberte Zkontrolovat a vytvořit, zkontrolujte nastavení účtu úložiště a vytvořte účet.
- Vyberte Vytvořit.
Následující obrázek ukazuje nastavení v okně Základy pro nový účet úložiště:
Vytvoření kontejneru
Prvním krokem je vytvoření kontejneru, protože objekty blob se musí vždy nahrávat do kontejneru. Kontejnery slouží jako metoda uspořádání skupin objektů blob podobně jako složky slouží k uspořádání souborů na počítači.
Podle těchto pokynů vytvořte kontejner:
Na hlavní stránce vyberte tlačítko Účty úložiště a pak vyberte účet úložiště, který jste vytvořili.
V části Služby vyberte Objekty blob a pak vyberte Kontejner.
Názvy kontejnerů musí začínat písmenem nebo číslicí. Můžou obsahovat pouze písmena, číslice a znak spojovníku (-). Další informace o pojmenování kontejnerů a objektů blob najdete v tématu Názvy kontejnerů, objektů blob a metadat a odkazování na ně.
Stažení nástroje AzCopy
Stáhněte spustitelný soubor AzCopy V10.
Umístěte soubor AzCopy kamkoli do počítače. Přidejte umístění souboru do proměnné systémové cesty, abyste mohli odkazovat na tento spustitelný soubor z libovolné složky v počítači.
Ověřování pomocí Microsoft Entra ID
Nejprve přiřaďte k vaší identitě roli Přispěvatel dat objektů blob služby Storage. Viz Přiřazení role Azure pro přístup k datům objektů blob.
Pak otevřete příkazový řádek, zadejte následující příkaz a stiskněte klávesu ENTER.
azcopy login
Tento příkaz vrátí ověřovací kód a adresu URL webu. Otevřete web, zadejte kód a pak zvolte tlačítko Další .
Zobrazí se přihlašovací okno. V takovém okně se přihlaste ke svému účtu Azure pomocí svých přihlašovacích údajů k účtu Azure. Po úspěšném přihlášení můžete okno prohlížeče zavřít a začít používat AzCopy.
Nahrání obsahu složky do úložiště objektů blob
Pomocí AzCopy můžete nahrát všechny soubory ve složce do úložiště objektů blob ve Windows nebo v Linuxu. Pokud chcete nahrát všechny objekty blob ve složce, zadejte následující příkaz AzCopy:
azcopy copy "<local-folder-path>" "https://<storage-account-name>.<blob or dfs>.core.windows.net/<container-name>" --recursive=true
<local-folder-path>Zástupný symbol nahraďte cestou ke složce, která obsahuje soubory (například:C:\myFoldernebo/mnt/myFolder).<storage-account-name>Zástupný symbol nahraďte názvem vašeho účtu úložiště.<container-name>Zástupný symbol nahraďte názvem kontejneru, který jste vytvořili.
Pokud chcete nahrát obsah zadaného adresáře do úložiště objektů blob rekurzivně, zadejte --recursive možnost. Když spustíte AzCopy s touto možností, nahrají se i všechny podsložky a jejich soubory.
Nahrání upravených souborů do úložiště objektů blob
Pomocí AzCopy můžete nahrávat soubory na základě času jejich poslední úpravy.
Pokud to chcete vyzkoušet, upravte nebo vytvořte nové soubory ve zdrojovém adresáři pro účely testování. Pak použijte příkaz AzCopy sync .
azcopy sync "<local-folder-path>" "https://<storage-account-name>.blob.core.windows.net/<container-name>" --recursive=true
<local-folder-path>Zástupný symbol nahraďte cestou ke složce, která obsahuje soubory (například:C:\myFoldernebo/mnt/myFolder.<storage-account-name>Zástupný symbol nahraďte názvem vašeho účtu úložiště.<container-name>Zástupný symbol nahraďte názvem kontejneru, který jste vytvořili.
Další informace o sync příkazu najdete v tématu Synchronizace souborů.
Vytvoření plánované úlohy
Můžete vytvořit plánovanou úlohu nebo úlohu Cron, která spouští skript příkazů AzCopy. Skript v zadaném časovém intervalu identifikuje nová místní data a nahrává je do cloudového úložiště.
Zkopírujte následující příkaz AzCopy do textového editoru. Aktualizujte hodnoty parametrů příkazu AzCopy na odpovídající hodnoty. Uložte soubor jako script.sh (Linux) nebo script.bat (Windows) pro AzCopy.
Tyto příklady předpokládají, že vaše složka má název myFolder, název vašeho účtu úložiště je mystorageaccount a název kontejneru je mycontainer.
Poznámka:
Příklad Linuxu připojí token SAS. V příkazu ho budete muset zadat. Pokud chcete využít ověřování Microsoft Entra v úlohách cron, ujistěte se, že nakonfigurujete proměnnou prostředí AZCOPY_AUTO_LOGIN_TYPE odpovídajícím způsobem.
azcopy sync "/mnt/myfiles" "https://mystorageaccount.blob.core.windows.net/mycontainer?sv=2018-03-28&ss=bfqt&srt=sco&sp=rwdlacup&se=2019-05-30T06:57:40Z&st=2019-05-29T22:57:40Z&spr=https&sig=BXHippZxxx54hQn/4tBY%2BE2JHGCTRv52445rtoyqgFBUo%3D" --recursive=true
V tomto kurzu se k vytvoření plánované úlohy ve Windows používá Schtasks. Příkaz Crontab slouží k vytvoření úlohy Cron v Linuxu.
Schtasks umožňuje správci vytvářet, odstraňovat, dotazovat, měnit, spouštět a ukončovat plánované úlohy na místním nebo vzdáleném počítači. Cron umožňuje uživatelům Linuxu a Unixu spouštět příkazy nebo skripty v zadaném datu a čase pomocí výrazů Cron.
Pokud chcete vytvořit úlohu Cron v Linuxu, zadejte v terminálu následující příkaz:
crontab -e
*/5 * * * * sh /path/to/script.sh
Zadání výrazu Cron */5 * * * * v příkazu značí, že se má skript prostředí script.sh spouštět každých pět minut. Spouštění skriptu můžete naplánovat na určitý čas každý den, měsíc nebo rok. Další informace o nastavení data a času provádění úlohy najdete v článku o výrazech Cron.
Pokud chcete ověřit správné spouštění plánované úlohy nebo úlohy Cron, vytvořte v adresáři myFolder nové soubory. Počkejte pět minut a ověřte, že se nové soubory nahrály do účtu úložiště. Přejděte do svého adresáře protokolů a zobrazte protokoly výstupu plánované úlohy nebo úlohy Cron.
Další kroky
Další informace o způsobech přesunu místních dat do služby Azure Storage a naopak najdete na následujícím odkazu:
Další informace o nástroji AzCopy najdete v některém z těchto článků: