Přenos dat rozsáhlých datových sad se střední až velkou šířkou pásma sítě
Tento článek obsahuje přehled řešení pro přenos dat v případě, že máte ve svém prostředí střední až velkou šířku pásma sítě a plánujete přenos velkých datových sad. Článek také popisuje doporučené možnosti přenosu dat a příslušnou matici klíčových funkcí pro tento scénář.
Pokud chcete získat přehled všech dostupných možností přenosu dat, přejděte do části Volba řešení přenosu dat Azure.
Popis scénáře
Velké datové sady odkazují na velikosti dat v pořadí od TB do DATABÁZÍ. Střední až velká šířka pásma sítě označuje 100 Mb/s až 10 Gb/s.
Doporučené možnosti
Doporučené možnosti v tomto scénáři závisí na tom, jestli máte střední nebo velkou šířku pásma sítě.
Střední šířka pásma sítě (100 Mb/s až 1 Gb/s)
Se střední šířkou pásma sítě potřebujete promítnout čas pro přenos dat přes síť.
Pomocí následující tabulky můžete odhadnout čas a na základě toho zvolit mezi offline přenosem nebo přes síťový přenos. Tabulka ukazuje předpokládaný čas přenosu dat sítě pro různé dostupné šířky pásma sítě (za předpokladu 90% využití).
Pokud je síťový přenos příliš pomalý, měli byste použít fyzické zařízení. Doporučené možnosti v tomto případě jsou zařízení pro offline přenos z řady Služeb Azure Data Box nebo Azure Import/Export s použitím vlastních disků.
- Řada produktů Azure Data Box pro offline přenosy – Zařízení Data Box od Microsoftu můžete používat k přesunu velkých objemů dat do Azure, když vás omezuje čas, dostupnost sítě nebo náklady. Ke kopírování místních dat můžete použít nástroje, jako je například Robocopy. V závislosti na velikosti dat, která chcete přenést, si můžete vybrat Data Box Disk, Data Box nebo Data Box Heavy.
- Azure Import/Export – použijte službu Azure Import/Export odesláním vlastních diskových jednotek k bezpečnému importu velkých objemů dat do úložiště objektů blob v Azure a Azure Files. Pomocí této služby je také možné přenést data ze služby Azure Blob Storage na diskové jednotky a odeslat je do místních lokalit.
Pokud je síťový přenos podle předpokladu rozumný, můžete použít některý z následujících nástrojů podrobně popsaných v tématu Vysoká šířka pásma sítě.
Velká šířka pásma sítě (1 Gb/s až 100 Gb/s)
Pokud je dostupná šířka pásma sítě vysoká, použijte jeden z následujících nástrojů.
- AzCopy – Pomocí tohoto nástroje příkazového řádku můžete snadno kopírovat data do a z úložiště objektů blob, souborů a tabulek Azure s optimálním výkonem. AzCopy podporuje souběžnost a paralelismus a možnost obnovení operací kopírování v případě přerušení.
- Rozhraní REST API a sady SDK služby Azure Storage – Při vytváření aplikace můžete aplikaci vyvíjet s využitím rozhraní REST API služby Azure Storage a používat sady Azure SDK nabízené v několika jazycích.
- Řada služeb Azure Data Box pro online přenosy – Azure Stack Edge a Data Box Gateway jsou online síťová zařízení, která můžou přesouvat data do a z Azure. Fyzické zařízení Azure Stack Edge použijte v případě, že před nahráním současně potřebujete nepřetržitý příjem a předběžné zpracování dat. Data Box Gateway je virtuální verze tohoto zařízení, ale se stejnými funkcemi pro přenos dat. Správu přenosu dat v každém případě zajišťuje zařízení.
- Azure Data Factory – Data Factory by se měla použít k horizontálnímu navýšení kapacity operace přenosu a v případě potřeby orchestrace a monitorování na podnikové úrovni. Data Factory umožňuje pravidelný přenos souborů mezi několika službami Azure, místními prostředími nebo jejich kombinací. Pomocí služby Data Factory můžete vytvářet a plánovat pracovní postupy řízené daty (označované jako kanály), které ingestují data z různorodých úložišť dat a automatizují přesun a transformaci dat.
Porovnání klíčových funkcí
Následující tabulky shrnují rozdíly v klíčových funkcích doporučených možností.
Střední šířka pásma sítě
Pokud používáte offline přenos dat, použijte k pochopení rozdílů v klíčových funkcích následující tabulku.
| Data Box Disk | Data Box | Data Box Heavy | Import/export | |
|---|---|---|---|---|
| Velikost dat | Až 35 TB | Až 80 TB na zařízení | Až 800 TB na zařízení | Proměnná |
| Datový typ | Objekty blob Azure Azure Files* |
Objekty blob Azure Azure Files |
Objekty blob Azure Azure Files |
Objekty blob Azure Azure Files |
| Provedení | 5 disků SSD na objednávku | 1 x 50 lb. zařízení o velikosti počítače na objednávku | 1 × přibližně 500 lb. velké zařízení na objednávku | Až 10 disků HDD/SSD na objednávku |
| Čas počátečního nastavení | Nízká (15 minut) |
Nízká až střední (<30 minut) |
Pokročilé (1–2 hodiny) |
Střední až obtížné (proměnná) |
| Odeslání dat do Azure | Yes | Yes | Yes | Yes |
| Export dat z Azure | No | No | No | Yes |
| Šifrování | AES (128bitová verze) | 256bitová verze AES | 256bitová verze AES | AES (128bitová verze) |
| Hardware | Společnost Microsoft dodala | Společnost Microsoft dodala | Společnost Microsoft dodala | Dodáno zákazníkem |
| Síťové rozhraní | USB 3.1/SATA | RJ 45, SFP+ | RJ45, QSFP+ | SATA II/SATA III |
| Integrace partnerských řešení | Některé | Vysoká | Vysoká | Některé |
| Expedice | Spravované Microsoftem | Spravované Microsoftem | Spravované Microsoftem | Spravované zákazníkem |
| Použít při přesunu dat | V rámci obchodní hranice | V rámci obchodní hranice | V rámci obchodní hranice | Napříč geografickými hranicemi, např. z USA do EU |
| Ceny | Ceny | Ceny | Ceny | Ceny |
* Data Box Disk nepodporuje velké sdílené složky a neuchovávají metadata souborů.
Pokud používáte online přenos dat, použijte pro velkou šířku pásma sítě tabulku v následující části.
Velká šířka pásma sítě
| Nástroje AzCopy Azure PowerShell, Azure CLI |
Rozhraní REST API služby Azure Storage, sady SDK | Data Box Gateway nebo Azure Stack Edge | Azure Data Factory | |
|---|---|---|---|---|
| Datový typ | Objekty blob Azure, Azure Files, tabulky Azure | Objekty blob Azure, Azure Files, tabulky Azure | Objekty blob Azure, Azure Files | Podporuje více než 70 datových konektorů pro úložiště dat a formáty. |
| Provedení | Nástroje příkazového řádku | Programové rozhraní | Microsoft dodává virtuální nebo fyzické zařízení |
Služba v Azure Portal |
| Počáteční jednorázové nastavení | Snadné | Pokročilé | Snadné (<30 minut) až střední (1–2 hodiny) | Rozsáhlé |
| Předběžné zpracování dat | No | No | Ano (s výpočetními prostředky Edge) | Yes |
| Přenos z jiných cloudů | No | No | No | Yes |
| Typ uživatele | IT specialista nebo vývojář | Vývoj | IT profesionál | IT profesionál |
| Ceny | Bezplatné poplatky za výchozí přenos dat | Bezplatné poplatky za výchozí přenos dat |
Ceny služby Azure Stack Edge Ceny služby Data Box Gateway |
Ceny |
Další kroky
Přečtěte si, jak:
K přenosu dat použijte rozhraní REST API: