チュートリアル:Azure Data Box に NFS 経由でデータをコピーする

[アーティクル]
04/11/2024

重要

Azure Data Box では、BLOB レベルでのアクセス層の割り当てがサポートされるようになりました。このチュートリアルで扱うステップは、更新されたデータコピープロセスを反映したもので、ブロック BLOB に特化したものとなっています。

ブロック BLOB データの適切なアクセス層を決定する方法については、「ブロック BLOB の適切なアクセス層を決定する」セクションを参照してください。適切なアクセス層へのデータのコピーについては、「データを Data Box にコピーする」セクションで説明されている手順のようにしてください。

このセクションに含まれる情報は、2024 年 4 月 1 日以降に発注された注文に適用されます。

このチュートリアルでは、ローカル Web UI を使用してホストコンピューターに接続し、そこからデータをコピーする方法について説明します。

このチュートリアルでは、以下の内容を学習します。

前提条件
Data Box に接続する
Data Box にデータをコピーする

前提条件

開始する前に次の点を確認します。

Azure Data Box の設定に関するチュートリアルを完了していること。
Data Box を受け取っていて、ポータルでの注文の状態が [配送完了] であること。
Data Box にコピーするデータが格納されているホストコンピューターがあること。このホストコンピューターは次の条件を満たしている必要があります。
- サポート対象のオペレーティングシステムが実行されていること。
- 高速ネットワークに接続していること。 10 GbE 接続を少なくとも 1 つ利用することを強くお勧めします。 10 GbE 接続を利用できない場合は、1 GbE データリンクを使用できますが、コピーの速度が影響を受けます。

Data Box に接続する

選択したストレージアカウントに基づいて、Data Box では最大で次のものが作成されます。

GPv1 および GPv2 に対して関連付けられているストレージアカウントごとに 3 つの共有。
Premium ストレージに対して 1 つの共有。
BLOB ストレージアカウント用の 1 つの共有 (4 つのアクセス層ごとに 1 つのフォルダーが含まれます)。

次の表は、接続先となる Data Box 共有の名前と、ターゲットストレージアカウントにアップロードするデータの種類を示しています。また、ソースデータのコピー先である共有とディレクトリの階層も示しています。

ストレージの種類	共有名	第 1 レベルエンティティ	第 2 レベルエンティティ	第 3 レベルエンティティ
ブロック BLOB	<storageAccountName>_BlockBlob	<\accessTier>	<\containerName>	<\blockBlob>
ページ BLOB	<\storageAccountName>_PageBlob	<\containerName>	<\pageBlob>
File Storage	<\storageAccountName>_AzFile	<\fileShareName>	<\file>

ファイルを Data Box 共有の "ルート" フォルダーに直接コピーすることはできません。代わりに、ユースケースに応じて Data Box 共有内にフォルダーを作成します。

ブロック BLOB では、ファイルレベルでのアクセス層の割り当てをサポートしています。ブロック BLOB 共有にファイルをコピーする前のベストプラクティスとして、適切なアクセス層内に新しいサブフォルダーを追加することをお勧めします。新しいサブフォルダーを作成した後、必要に応じて各サブフォルダーへのファイルの追加を続けます。

ブロック BLOB 共有のルートにあるどのフォルダーにも、新しいコンテナーが作成されます。そのフォルダー内のすべてのファイルは、ストレージアカウントの既定のアクセス層にブロック BLOB としてコピーされます。

BLOB アクセス層の詳細については、「BLOB データのアクセス層」を参照してください。アクセス層のベストプラクティスについて詳しくは、「BLOB アクセス層を使用するためのベストプラクティス」をご覧ください。

次の表は、Data Box 上の共有への UNC パスと、それに対応するデータのアップロード先である Azure Storage のパスの URL を示しています。 Azure Storage の最終的なパスの URL は、UNC 共有パスから導き出すことができます。

Azure Storage の種類	Data Box 共有
Azure ブロック BLOB	共有への UNC パス: `\\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txt` Azure Storage の URL: `https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt`
Azure ページ BLOB	共有への UNC パス: `\\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhd` Azure Storage の URL: `https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd`
Azure Files	共有への UNC パス: `\\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txt` Azure Storage の URL: `https://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt`

Linux ホストコンピューターを使っている場合は、次の手順のようにして、NFS クライアントへのアクセスを許可するように Data Box を構成します。

共有にアクセスできる許可するクライアントの IP アドレスを指定します。ローカル Web UI で、 [接続とコピー] ページに移動します。 [NFS の設定] で、[NFS のクライアントアクセス] を選択します。
NFS クライアントの IP アドレスを指定して、[追加] を選びます。この手順を繰り返すことにより、複数の NFS クライアントに対するアクセスを構成できます。 [OK] を選択します。
Linux ホストコンピューターにサポートされているバージョンの NFS クライアントがインストールされていることを確認します。お使いの Linux ディストリビューションの特定のバージョンを使用します。
NFS クライアントをインストールした後、次のコマンドを使用して、Data Box デバイスに NFS 共有をマウントします。

sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>

次の例のようにして、NFS を使って Data Box の共有に接続します。この例で、Data Box デバイスの IP は 10.161.23.130 です。共有 Mystoracct_Blob は ubuntuVM にマウントされており、マウントポイントは /home/databoxubuntuhost/databox です。

sudo mount -t nfs 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

Mac クライアントの場合は、次のように、さらにオプションを追加する必要があります。

sudo mount -t nfs -o sec=sys,resvport 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

重要

ストレージアカウントの "ルート" フォルダーにファイルを直接コピーすることはできません。ブロック BLOB ストレージアカウントのルートフォルダー内には、使用可能な各アクセス層に対応するフォルダーがあります。

データを Azure Data Box にコピーするには、最初に、アクセス層のいずれかに対応するフォルダーを選ぶ必要があります。次に、その層のフォルダー内に、データを格納するサブフォルダーを作成します。最後に、データを新しく作成したサブフォルダーにコピーします。新しいサブフォルダーは、インジェストの間にストレージアカウント内に作成されるコンテナーを表します。データはこのコンテナーに BLOB としてアップロードされます。

ブロック BLOB 用の適切なアクセス層を決定する

重要

このセクションに含まれる情報は、2024 年 4 月 1 日以降に発注された注文に適用されます。

Azure Storage では、同じストレージアカウント内の複数のアクセス層にブロック BLOB データを保存できます。この機能を使用すると、データにアクセスする頻度に基づいて、データをより効率的に整理して保存できます。次の表は、Azure Storage のアクセス層に関する情報と推奨事項です。

レベル	推奨事項	ベストプラクティス
ホット	頻繁にアクセスまたは変更されるオンラインデータに適しています。この層はストレージコストが最も高く、アクセスコストは最も安くなります。	この層のデータは、定期的かつアクティブに使う必要があるものです。
クール	頻繁にアクセスまたは変更されないオンラインデータに適しています。この層は、ホットアクセス層よりストレージコストは安く、アクセスコストは高くなります。	この層のデータは、30 日以上保存する必要があるものです。
コールド	アクセスや変更はあまり行われないものの、高速で取得する必要があるオンラインデータに適しています。この層は、クールアクセス層よりストレージコストは安く、アクセスコストは高くなります。	この層のデータは、90 日以上保存する必要があるものです。
アーカイブ	ほとんどアクセスされず、待ち時間の要件が低いオフラインデータに適しています。	この層のデータは、180 日以上保存する必要があるものです。 180 日以内にアーカイブアクセス層から削除されたデータは、早期削除料金の対象になります。

BLOB アクセス層の詳細については、「BLOB データのアクセス層」を参照してください。より詳細なベストプラクティスについては、「BLOB アクセス層を使用するためのベストプラクティス」を参照してください。

Data Box 内の対応するフォルダーにコピーすることで、ブロック BLOB データを適切なアクセス層に転送できます。このプロセスについては、「Azure Data Box にデータをコピーする」セクションで詳しく説明します。

Data Box にデータをコピーする

1 つ以上の Data Box 共有に接続したら、次のステップはデータをコピーすることです。データのコピーを開始する前に、次の制限事項を確認してください。

必ず必要なデータ形式に対応する共有にデータをコピーします。たとえば、ブロック BLOB データは、ブロック BLOB 用の共有にコピーしてください。 VHD はページ BLOB 共有にコピーします。データ形式が適切な共有の種類と一致しない場合は、後続の手順で、Azure へのデータのアップロードに失敗します。
AzFile または PageBlob 共有にデータをコピーする場合は、まず共有のルートにフォルダーを作成してから、そのフォルダーにデータをコピーします。
データを BlockBlob 共有にコピーする場合は、目的のアクセス層内にサブフォルダーを作成してから、新しく作成されたサブフォルダーにデータをコピーします。サブフォルダーは、データが BLOB としてアップロードされるコンテナ―になります。共有の"ルート" フォルダーにファイルを直接コピーすることはできません。
データをコピーするときは、データのサイズが、Azure ストレージアカウントのサイズ制限に関する記事に記載されているサイズ制限に従っていること確認してください。
Data Box と Data Box 以外の別のアプリケーションを同時にアップロードした場合、アップロードジョブの失敗やデータの破損が起きる可能性があります。
データコピーに SMB プロトコルと NFS プロトコルの両方を使用する場合、次をお勧めします。
- SMB と NFS には異なるストレージアカウントを使用します。
- SMB と NFS の両方を使用して Azure の同じエンド宛先に同じデータをコピーすることは避けてください。このようにした場合は、最終的な結果が不確定になります。
- SMB と NFS の両方を使用した並列コピーは可能ですが、人的エラーが発生しやすいのでお勧めしません。 SMB でのデータコピーが完了するまで待ってから、NFS でのデータコピーを開始してください。
データをブロック BLOB 共有にコピーするときは、目的のアクセス層内にサブフォルダーを作成してから、新しく作成したサブフォルダーにデータをコピーします。サブフォルダーは、データが BLOB としてアップロードされるコンテナ―を表します。ストレージアカウント内の root フォルダーに直接ファイルをコピーすることはできません。
大文字と小文字を区別するディレクトリとファイル名を NFS 共有から Data Box 上の NFS に取り込む場合:
- 名前の大文字と小文字の区別は保持されます。
- ファイルの大文字と小文字は区別されません。
  
  たとえば、SampleFile.txt と Samplefile.Txt をコピーする場合、Data Box にコピーされるときは名前の大文字と小文字の区別が保持されます。ただし、同じファイルと見なされるため、アップロードされた最後のファイルによって最初のファイルが上書きされます。

重要

データが Azure Storage にコピーされたことを確認するまでは、ソースデータのコピーを保持するようにしてください。

Linux ホストコンピューターを使用している場合は、Robocopy のようなコピーユーティリティを使用します。 Linux で使用できる代替手段には、rsync、FreeFileSync、Unison、Ultracopier などがあります。

cp コマンドは、ディレクトリをコピーするのに最適なオプションの 1 つです。使用方法について詳しくは、cp の man ページをご覧ください。

マルチスレッドのコピーに rsync オプションを使用する場合は、以下のガイドラインに従ってください。

Linux クライアントで使用されているファイルシステムに応じて、CIFS Utils または NFS Utils パッケージをインストールします。

sudo apt-get install cifs-utils

sudo apt-get install nfs-utils
rsync および Parallel をインストールします (Linux ディストリビューションのバージョンによって異なります)。

sudo apt-get install rsync

sudo apt-get install parallel
マウントポイントを作成します。

sudo mkdir /mnt/databox
ボリュームをマウントします。

sudo mount -t NFS4 //Databox IP Address/share_name /mnt/databox
フォルダーのディレクトリ構造をミラー化します。

rsync -za --include='*/' --exclude='*' /local_path/ /mnt/databox
ファイルをコピーします。

cd /local_path/; find -L . -type f | parallel -j X rsync -za {} /mnt/databox/{}

j は並列化の数を指定し、X は並列コピーの数です

16 並列コピーから始めて、使用可能なリソースに応じてスレッドの数を増やすことをお勧めします。