この記事では、環境内に中程度から高いネットワーク帯域幅があり、大規模なデータセットの転送を計画している場合のデータ転送ソリューションの概要について説明します。 この記事では、推奨されるデータ転送オプションと、このシナリオのそれぞれの主要な機能マトリックスについても説明します。
使用可能なすべてのデータ転送オプションの概要については、「 Azure データ転送ソリューションの選択」を参照してください。
シナリオの説明
大規模なデータセットでは、TB から PB の順にデータ サイズを参照します。 中程度から高いネットワーク帯域幅は、100 Mbps から 10 Gbps を指します。
推奨されるオプション
このシナリオで推奨されるオプションは、中速ネットワーク帯域幅であるか、高速ネットワーク帯域幅であるかによって異なります。
ネットワーク帯域幅 - 中 (100 Mbps から 1 Gbps)
中程度のネットワーク帯域幅では、ネットワーク経由でのデータ転送の時間を予測する必要があります。
次の表を使用して時間を見積もり、その時間に基づいて、オフライン転送またはネットワーク転送を選択します。 次の表は、さまざまな使用可能なネットワーク帯域幅 (90% 使用率を想定) のネットワーク データ転送の予測時間を示しています。
ネットワーク転送が遅すぎると予測される場合は、物理デバイスを使用する必要があります。 この場合の推奨されるオプションは、Azure Data Box ファミリからのオフライン転送デバイスか、独自のディスクを使用した Azure Import/Export です。
- オフライン転送用の Azure Data Box ファミリ – 時間、ネットワークの可用性、またはコストによって制限されている場合は、Microsoft が提供する Data Box デバイスからデバイスを使用して大量のデータを Azure に移動します。 Robocopy などのツールを使って、オンプレミスのデータをコピーします。 転送対象のデータのサイズに応じて、Data Box Disk、Data Box、Data Box Heavy から選択できます。
- Azure Import/Export – 独自のディスク ドライブを配布して Azure Import/Export サービスを使用して、大量のデータを Azure Blob Storage と Azure Files に安全にインポートします。 また、このサービスでは、Azure Blob Storage からディスク ドライブにデータを転送し、オンプレミスのサイトに送付できます。
ネットワーク転送が妥当であると予測される場合は、「 高ネットワーク帯域幅」で詳しく説明されている次のツールのいずれかを使用できます。
ネットワーク帯域幅 - 高 (1 Gbps から 100 Gbps)
使用可能なネットワーク帯域幅が高い場合は、次のいずれかのツールを使用します。
- AzCopy - このコマンドライン ツールを使用すると、最適なパフォーマンスで Azure Blob、Files、Table Storage との間でデータを簡単にコピーできます。 AzCopy はコンカレンシーと並列処理をサポートし、中断された場合にコピー操作を再開することができます。
- Azure Storage REST API/SDK – アプリケーションをビルドするときに、Azure Storage REST API に対してアプリケーションを開発し、複数の言語で提供される Azure SDK を使用できます。
- オンライン転送用の Azure Data Box ファミリ - Azure Stack Edge と Data Box Gateway は、Azure との間でデータを移動できるオンライン ネットワーク デバイスです。 アップロード前にデータの継続的な取り込みと前処理が同時に必要な場合は、Azure Stack Edge 物理デバイスを使用します。 Data Box Gateway は、同じデータ転送機能を備えた、デバイスの仮想バージョンです。 いずれの場合も、データ転送はデバイスによって管理されます。
- Azure Data Factory – Data Factory を使用して転送操作をスケールアウトし、オーケストレーションとエンタープライズ グレードの監視機能が必要な場合。 Data Factory を使用し、複数の Azure サービス間またはオンプレミスで、あるいは 2 つを組み合わせて、ファイルを定期的に転送します。 Data Factory では、さまざまなデータ ストアからデータを取り込み、データ移動とデータ転送を自動化するデータ駆動型ワークフロー (パイプラインと呼ばれる) を作成し、スケジュールを設定できます。
主要機能の比較
次の表は、推奨されるオプションの主な機能の違いをまとめたものです。
中程度のネットワーク帯域幅
オフライン データ転送を使用する場合は、次の表を使用して、主な機能の違いを理解してください。
| データボックスディスク | データボックス | Data Box Heavy | インポート/エクスポート | |
|---|---|---|---|---|
| データ サイズ | 最大 35 TB | デバイスあたり最大 80 TB | デバイスあたり最大 800 TB | 変数 |
| データ型 | Azure BLOB Azure Files* |
Azure BLOB Azure Files |
Azure BLOB Azure Files |
Azure BLOB Azure Files |
| フォームファクター | 注文あたり 5 SSD | 1 x 50 lbs。 注文ごとにこのデスクトップサイズのデバイス | 1 X 最大 500-lbs。 注文ごとにこの大きさのデバイス | 1 注文あたり最大 10 個の HDD/SSD |
| 初期セットアップ時間 | 低い (15 分) |
低から中 (<30 分) |
適度 (1~ 2 時間) |
中程度から難しい (変数) |
| Azure にデータを送信する | イエス | イエス | イエス | イエス |
| Azure からデータをエクスポートする | いいえ | いいえ | いいえ | イエス |
| 暗号化 | AES 128 ビット | AES 256 ビット | AES 256 ビット | AES 128 ビット |
| ハードウェア | Microsoft が提供 | Microsoft が提供 | Microsoft が提供 | 顧客指定 |
| ネットワーク インターフェイス | USB 3.1/SATA | RJ 45、SFP+ | RJ45、QSFP+ | SATA II/SATA III |
| パートナー統合 | 一部 | 高い | 高い | 一部 |
| 出荷 | Microsoft マネージド | Microsoft マネージド | Microsoft マネージド | お客様による管理 |
| データ移動時に使用する | コマース境界内 | コマース境界内 | コマース境界内 | 地理的境界を越えて (例: 米国から EU) |
| 料金 | 料金 | 料金 | 料金 | 料金 |
* Data Box Disk は大きなファイル共有をサポートせず、ファイル メタデータを保持しません
オンライン データ転送を使用する場合は、次のセクションの表を使用して、高いネットワーク帯域幅を実現します。
高いネットワーク帯域幅
| ツール AzCopy、 Azure PowerShell、 Azure CLI（Azure コマンドライン インターフェイス） |
Azure Storage REST API、SDK | Data Box Gateway または Azure Stack Edge | Azure Data Factory | |
|---|---|---|---|---|
| データ型 | Azure BLOB、Azure Files、Azure テーブル | Azure BLOB、Azure Files、Azure テーブル | Azure BLOB、Azure Files | データ ストアと形式用の 70 以上のデータ コネクタをサポート |
| フォームファクター | コマンド ライン ツール | プログラムインターフェイス | Microsoft は仮想マシンを提供します または物理デバイス |
Azure portal のサービス |
| 最初の 1 回限りセットアップ | 簡単 | 適度 | 簡単 (<30 分) から中 (1 ~ 2 時間) | 広範 |
| データの前処理 | いいえ | いいえ | はい (Edge コンピューティングを使用) | イエス |
| 他のクラウドからの転送 | いいえ | いいえ | いいえ | イエス |
| ユーザーの種類 | IT プロまたはデベロッパー | Dev | IT プロフェッショナル | IT プロフェッショナル |
| 料金 | 無料、データ エグレス料金を適用 | 無料、データ エグレス料金を適用 |
Azure Stack Edge の価格 Data Box Gateway の価格 |
料金 |