Kdy použít řadu produktů Azure Data Box
Zařízení řady produktů Azure Data Box nepředstavují jediný způsob, jak přenést data do Azure. Pro data autonomního vozidla chcete před vytvořením objednávky zajistit, aby byl Data Box Disk vaší nejlepší volbou.
V této lekci se naučíte, kdy použít zařízení Data Box a kdy použít jiné řešení.
Případy použití zařízení Data Box
Data Box je ideální pro přenos terabajtů dat ve scénářích s omezeným nebo žádným síťovým připojením. Přesun dat může být jednorázový, pravidelný nebo počáteční hromadný přenos dat následovaný pravidelnými přenosy.
Tady jsou různé scénáře, ve kterých můžete data do Azure importovat pomocí zařízení Data Box.
Jednorázová migrace – Když se do Azure přesune velké množství místních dat.
- Přesun knihovny médií z offline pásek do Azure za účelem vytvoření online knihovny médií
- Migrace farmy virtuálních počítačů, SQL serveru a aplikací do Azure
- Přesun historických dat do Azure pro hloubkovou analýzu a vytváření sestav pomocí SLUŽBY HDInsight
Počáteční hromadný přenos – Když se počáteční hromadný přenos provádí pomocí Data Boxu (počáteční) následované přírůstkovými přenosy přes síť.
Pravidelné nahrávání – Když se pravidelně generuje velké množství dat a je potřeba je přesunout do Azure. Například: při průzkumu energie, kde se obsah videa generuje na olejových plošinách a větrných farmách.
Tady jsou různé scénáře, ve kterých můžete data z Azure exportovat pomocí Data Boxu. Data Box Disk a Data Box Heavy nepodporují export dat z Azure.
Zotavení po havárii – Při obnovení kopie dat z Azure do místní sítě V typickém scénáři zotavení po havárii se do Data Boxu exportuje velké množství dat Azure. Microsoft pak tento Data Box dodává a data se obnoví v místním prostředí za krátkou dobu.
Požadavky na zabezpečení – Pokud potřebujete kvůli požadavkům státní správy nebo zabezpečení exportovat data z Azure. Například: Azure Storage je k dispozici v cloudech tajných kódů USA a nejvyšších tajných kódů a Data Box můžete použít k exportu dat z Azure.
Migrace zpět do místního prostředí nebo na jiného poskytovatele cloudových služeb – Pokud chcete přesunout všechna data zpět do místního prostředí nebo na jiného poskytovatele cloudových služeb, můžete data exportovat přes Data Box a migrovat úlohy.
Možnosti offline přenosu
Mezi offline možnosti přesunu dat do Azure patří zařízení Data Box a Azure Import/Export.
Zařízení Data Box
Pokud chcete přenést data do Azure, můžete tato data načíst na fyzická zařízení a odeslat je do datacentra Azure. Tam se data zkopírují do vašeho předplatného Azure. Jak jste viděli v lekci 2, existují tři produkty Data Box, které tímto způsobem fungují:
- Data Box
- Data Box Disk
- Data Box Heavy
Pokud se nenacházíte v oblasti, kterou podporuje řada produktů Azure Data Box, zvažte možnost použití služby Azure Import/Export k importu dat do Azure.
Azure Import/Export
Druhou službou, která pro přenos dat do Azure používá fyzická zařízení, je Azure Import/Export. Azure Import/Export umožňuje používat vlastní disky. Přenosy dat z úložiště objektů blob na disky lze provádět offline. Azure Import/Export také exportuje data z Azure zpět do vlastních datacenter a umožňuje data překračovat mezinárodní hranice.
Postup pro nastavení importu dat pomocí služby Azure Import/Export je obtížnější než u řady produktů Azure Data Box. Je nutné zpracovat všechny podrobnosti o přepravě a provést přípravu zařízení. Doporučujeme vám používat Azure Data Box, tedy předem připravenou službu, která levně, bezpečně a s minimálním vynaloženým úsilím zajistí přesouvání velkých objemů dat do Azure.
Možnosti přenosu sítě
Dalším způsobem, jak získat data do Azure, je odeslat je přes internet. Existuje několik nástrojů, které můžete použít k přenosu dat přes síť.
Data Box Gateway
Jak je popsáno v lekci 2, Data Box Gateway je virtuální zařízení. Je založeno na virtuálním počítači, který zřídíte ve svém místním prostředí. Data do virtuálního zařízení zapisujete pomocí protokolů NFS a SMB. Zařízení potom přenese data do objektu blob bloku nebo objektu blob stránky Azure, případně do souborů Azure.
Azure Storage Explorer
Průzkumník služby Azure Storage je bezplatná aplikace ke stažení, kterou lze používat v systémech Windows, Mac a Linux. Poskytuje grafické uživatelské rozhraní (GUI), které můžete použít k prozkoumávání objektů blob, souborů, front a tabulek v účtech úložiště Azure. Pokud přenášíte jenom několik souborů najednou a nepotřebujete provádět automatizaci přenosu, je Průzkumník služby Storage ideálním řešením.
Pokud nechcete instalovat aplikaci, ale máte prohlížeč, můžete k přenosu souborů použít stránku Průzkumník služby Storage na webu Azure Portal.
Azure Stack Edge
Azure Stack Edge také používá fyzická zařízení k přenosu dat do Azure. Na rozdíl od zařízení Data Box poskytují zařízení Azure Stack Edge funkce Azure, jako jsou výpočetní prostředky, úložiště, sítě a hardwarově akcelerované strojové učení, do libovolného hraničního umístění. Pro následující scénáře použijte zařízení Azure Stack Edge:
Odvozování pomocí služby Azure Machine Učení – Spuštěním modelů ML získáte rychlé výsledky, se kterými můžete pracovat před odesláním dat do cloudu. Volitelně můžete přenést úplnou sadu dat, abyste mohli pokračovat v přetrénování a vylepšování modelů ML.
Předběžné zpracování dat – Transformujte data prostřednictvím výpočetních možností, jako jsou kontejnery nebo virtuální počítače, a teprve potom je odešlete do Azure, abyste vytvořili datovou sadu s větší akcí. Předzpracování můžete použít k:
- Agregace dat
- Úprava dat; Například k odebrání osobních údajů.
- Podmnožina dat pro optimalizaci úložiště a šířky pásma nebo pro další analýzu
- Analýza a reakce na události IoT
Přenos dat přes síť do Azure – Snadno a rychle přenášet data do Azure, abyste mohli provádět další výpočty a analýzy nebo pro účely archivace.
Azure Data Factory
Azure Data Factory je služba, která umožňuje organizovat, přesouvat a transformovat velké množství dat z mnoha různých zdrojů. Ve službě Data Factory můžete vytvořit datové kanály, které ingestují data z relačních databází, databází NoSQL a dalších systémů. Pro zpracování a transformaci těchto dat můžete použít Azure Machine Learning, Hadoop, Spark a další služby. Na konci kanálu pak můžete transformovaná data publikovat do Azure SQL Data Warehouse, Azure SQL Database, Azure CosmosDB a Azure Storage.
Tuto službu můžete použít, pokud potřebujete složitou transformaci dat, ale nechcete psát skripty ani kompilovat kód.
Přenos pomocí skriptu nebo programu
Microsoft nabízí řadu optimalizovaných nástrojů pro příkazový řádek, které lze volat pomocí jednotlivých příkazů nebo sestavovat do skriptů a které můžou přesouvat data do Azure. Mezi tyto nástroje patří:
- AzCopy: Tento nástroj pro příkazový řádek lze volat z libovolného skriptu za účelem přenosu objektů blob nebo souborů do účtu Azure Storage.
- Azure PowerShell: PowerShell je skriptovací rozhraní a jazyk navržený tak, aby usnadnil správcům automatizaci složitých úloh spouštěním příkazů nazývaných rutiny. Modul Azure PowerShell poskytuje řadu rutin pro práci s Azure. Patří mezi ně rutiny, které lze použít k nahrání dat do účtů Azure Storage, Azure SQL Database, Azure CosmosDB a dalších cílů. Například k nahrání souboru do objektu blob služby Azure Storage byste použili rutinu
Set-AzStorageBlobContent. - Rozhraní příkazového řádku Azure. Azure CLI je nástroj pro příkazový řádek, který lze volat ze skriptů PowerShellu a Bash pro práci s Azure. Obsahuje možnosti, pomocí kterých lze přesouvat data do umístění Azure. K nahrání souboru do objektu
az storage blob uploadblob služby Azure Storage byste například použili příkaz.
Skriptovací nástroje jsou snadno použitelné pro správce a nedevelopery. Pokud máte lidi s vývojářskými dovednostmi, kteří umí zapisovat kompilovaný kód, můžete zvážit použití programovacích jazyků k orchestraci přenosu dat do Azure. Váš kód musí volat rozhraní REST (Representational State Transfer) API pro Azure Storage. Rozhraní REST API představují sadu webových služeb, které lze volat z mnoha různých programovacích jazyků. Vývojáři můžou k volání těchto rozhraní API používat jazyky .NET, Javu, Python, Node.js, C++ a PHP. Vývojáři můžou zvolit jazyk, se kterým jsou nejvědomější.
Volba metody přenosu dat
Při volbě metody přenosu z těchto systémů zvažte tyto otázky:
- Jaká je velikost dat?
- Jak často se data mají přenášet?
- Jaká šířka pásma sítě je k dispozici?
Pokud chcete občas přenést několik souborů, můžete zvolit Průzkumník služby Azure Storage nebo použít Azure Portal.
Pokud je šířka pásma sítě nízká nebo nákladná a máte velký objem dat, můžete k přenosu dat použít fyzické zařízení. Pokud chcete používat vlastní disky, zvolte službu Azure Import/Export. Pokud dáváte přednost výhodám praktičnosti používání hardwaru od Microsoftu, zvolte některý produkt Azure Data Box. Podle maximálního objemu dat si můžete vybrat data Box, Data Box Disk a Data Box Heavy.
Pokud máte dostatek dostupné šířky pásma sítě a chcete data pravidelně nebo nepřetržitě přenášet, můžete zvolit metodu síťového přenosu. Pokud chcete transformovat data při přenosu bez použití kódu, zvažte použití služby Azure Data Factory. Pokud můžete investovat čas a mít dovednosti k psaní kódu, můžete použít skriptovací nástroje nebo vyvíjet zkompilovaný kód pro rozhraní REST API. Pokud chcete přenášet velké datové sady přes síť a máte velkou dostupnou šířku pásma, můžete zvolit Data Box Gateway nebo zařízení Azure Stack Edge.
Přenos dat pro autonomní vozidla
Ve vaší organizaci chcete nahrát telemetrická data autonomních vozidel do Azure rychlým, relativně levným a bezpečným způsobem, aniž byste museli síť zatěžovat. Tento scénář je klíčovým případem použití pro Azure Data Box Disk.
Azure Data Box Disk lze použít pro různé typy scénářů přenosu dat. Azure Data Box Disk je vhodný pro jednorázové migrace, jako je přesunutí až 35 TB dat z offline pásek do studeného úložiště Azure. Pokud potřebujete nahrát více než 35 TB, můžete vytvořit další objednávky. Je vhodné rovněž posoudit možnosti dalších produktů řady Data Box, kterými jste se zabývali v první lekci, protože mezi nimi možná najdete vhodnější produkt. Je možné provádět také přírůstkové přenosy. Data Box Disk se používá k provedení počátečního velkého přesunu, po němž se další přírůstky dat kopírují pomocí standardních postupů síťového přenosu.