Tutorial: Copiar dados do Azure Data Box por meio do NFS

2023-06-01

Este tutorial descreve como conectar-se e copiar dados da IU da Web local do Data Box para um servidor de dados local via NFS. Os dados no Data Box são exportados da conta de Armazenamento do Azure.

Neste tutorial, você aprenderá como:

Pré-requisitos
Conectar-se à caixa de dados
Copiar dados do Data Box

Pré-requisitos

Antes de começar, verifique se:

Você realizou o pedido para o Azure Data Box.
- Para uma ordem de importação, confira Tutorial: Solicitar o Azure Data Box.
- Para uma ordem de exportação, confira Tutorial: Solicitar o Azure Data Box.
Você recebeu seu Data Box e o status do pedido no portal está como Entregue.
Você tem um computador host para o qual você deseja copiar os dados do Data Box. O computador host deve
- Executar um Sistema operacional com suporte.
- Estar conectado a uma rede de alta velocidade. É altamente recomendável que você tenha pelo menos uma conexão de 10 GbE. Se não houver uma conexão de 10 GbE disponível, use um link de dados de 1 GbE, mas as velocidades de cópia serão afetadas.

Conectar-se à caixa de dados

Com base na conta de armazenamento selecionada, o Data Box cria até:

Três compartilhamentos para cada conta de armazenamento associada para GPv1 e GPv2.
Um compartilhamento para armazenamento premium.
Um compartilhamento para conta do Armazenamento de Blobs.

Em compartilhamentos de blob de blocos e blob de páginas, as entidades de primeiro nível são contêineres e as entidades de segundo nível são blobs. Em compartilhamentos de Arquivos do Azure, as entidades de primeiro nível são compartilhamentos e entidades de segundo nível são arquivos.

A tabela a seguir mostra o caminho UNC para os compartilhamentos na URL de caminho do Data Box e do Armazenamento do Azure em que os dados são carregados. A URL final de caminho do Armazenamento do Azure pode ser derivada do caminho de compartilhamento UNC.

Blobs e arquivos	Caminhos e URLs
Blobs de blocos do Azure	Caminho UNC para compartilhamentos: `\\<DeviceIPAddress>\<StorageAccountName_BlockBlob>\<ContainerName>\files\a.txt` URL do Armazenamento do Azure: `https://<StorageAccountName>.blob.core.windows.net/<ContainerName>/files/a.txt`
Blobs de páginas do Azure	Caminho UNC para compartilhamentos: `\\<DeviceIPAddress>\<StorageAccountName_PageBlob>\<ContainerName>\files\a.txt` URL do Armazenamento do Azure: `https://<StorageAccountName>.blob.core.windows.net/<ContainerName>/files/a.txt`
Arquivos do Azure	Caminho UNC para compartilhamentos: `\\<DeviceIPAddress>\<StorageAccountName_AzFile>\<ShareName>\files\a.txt` URL do Armazenamento do Azure: `https://<StorageAccountName>.file.core.windows.net/<ShareName>/files/a.txt`

Se você estiver usando um computador host Linux, execute as seguintes etapas para configurar o Data Box para permitir o acesso aos clientes NFS. O Data Box pode conectar até cinco clientes NFS por vez.

Forneça os endereços IP dos clientes permitidos que podem acessar o compartilhamento:
1. Na IU da Web local, acesse a página Conectar e copiar. Sob as configurações de NFS, clique em acesso para cliente NFS.
2. Para adicionar um cliente NFS, forneça o endereço IP do cliente e clique em Adicionar. O Data Box pode conectar até cinco clientes NFS por vez. Quando terminar, clique em OK.
Assegure-se de que o computador host Linux tenha uma versão suportada do cliente NFS instalado. Use a versão específica para sua distribuição do Linux.
Depois que o cliente NFS for instalado, use o seguinte comando para montar o compartilhamento NFS em seu dispositivo Data Box:

sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>

O exemplo a seguir mostra como se conectar via NFS a um compartilhamento Caixa de Dados. O IP do dispositivo Data Box é 10.161.23.130, o compartilhamento Mystoracct_Blob é montado no ubuntuVM, sendo o ponto de montagem/home/databoxubuntuhost/databox.

sudo mount -t nfs 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

Para clientes Mac, você precisará adicionar uma outra opção da seguinte maneira:

sudo mount -t nfs -o sec=sys,resvport 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

Sempre crie uma pasta para os arquivos que você pretende copiar no compartilhamento e, em seguida, copie os arquivos para a pasta. A pasta criada nos compartilhamentos de blob de blocos e de blob de páginas representa um contêiner no qual os dados são carregados como blobs. Não é possível copiar arquivos diretamente para a pasta raiz na conta de armazenamento.

Copiar dados do Data Box

Quando você estiver conectado aos compartilhamentos do Data Box, a próxima etapa será copiar dados.

Antes de você começar a cópia de dados:

Baixe o log de cópia. Na página Conectar e copiar, selecione Log de cópia. Quando solicitado, salve o log no sistema.

Se o tamanho do log de cópia for muito grande, você precisará usar o Gerenciador de Armazenamento do Azure ou AzCopy para baixar o log de cópia e evitar falhas.
- Se você estiver usando o Gerenciador de Armazenamento do Azure para baixar o log de cópias, poderá mapear sua conta de armazenamento do Azure no Gerenciador de Armazenamento do Azure e baixar o arquivo bruto.
- Se você estiver usando o AzCopy para baixar o log de cópia, poderá usar o comando AzCopy copy para copiar o arquivo de log da sua conta de armazenamento para o sistema local.
Repita as etapas para baixar o log detalhado.

Examine o log detalhado. O log detalhado contém uma lista de todos os arquivos que foram exportados com êxito da conta de Armazenamento do Azure. O log também contém o tamanho do arquivo e a computação da soma de verificação.

<File CloudFormat="BlockBlob" Path="validblobdata/test1.2.3.4" Size="1024" crc64="7573843669953104266">
</File><File CloudFormat="BlockBlob" Path="validblobdata/helloEndWithDot..txt" Size="11" crc64="7320094093915972193">
</File><File CloudFormat="BlockBlob" Path="validblobdata/test..txt" Size="12" crc64="17906086011702236012">
</File><File CloudFormat="BlockBlob" Path="validblobdata/test1" Size="1024" crc64="7573843669953104266">
</File><File CloudFormat="BlockBlob" Path="validblobdata/test1.2.3" Size="1024" crc64="7573843669953104266">
</File><File CloudFormat="BlockBlob" Path="validblobdata/.......txt" Size="11" crc64="7320094093915972193">
</File><File CloudFormat="BlockBlob" Path="validblobdata/copylogb08fa3095564421bb550d775fff143ed====..txt" Size="53638" crc64="1147139997367113454">
</File><File CloudFormat="BlockBlob" Path="validblobdata/testmaxChars-123456790-123456790-123456790-123456790-123456790-123456790-123456790-123456790-123456790-123456790-123456790-123456790-123456790-123456790-123456790-123456790-123456790-123456790-123456790-123456790-12345679" Size="1024" crc64="7573843669953104266">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/file0" Size="0" crc64="0">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/file1" Size="0" crc64="0">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/file4096_000001" Size="4096" crc64="16969371397892565512">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/file4096_000000" Size="4096" crc64="16969371397892565512">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/64KB-Seed10.dat" Size="65536" crc64="10746682179555216785">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/LiveSiteReport_Oct.xlsx" Size="7028" crc64="6103506546789189963">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/NE_Oct_GeoReport.xlsx" Size="103197" crc64="13305485882546035852">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/64KB-Seed1.dat" Size="65536" crc64="3140622834011462581">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/1mbfiles-0-0" Size="1048576" crc64="16086591317856295272">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/file524288_000001" Size="524288" crc64="8908547729214703832">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/4mbfiles-0-0" Size="4194304" crc64="1339017920798612765">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/file524288_000000" Size="524288" crc64="8908547729214703832">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/8mbfiles-0-1" Size="8388608" crc64="3963298606737216548">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/1mbfiles-0-1" Size="1048576" crc64="11061759121415905887">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/XLS-10MB.xls" Size="1199104" crc64="2218419493992437463">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/8mbfiles-0-0" Size="8388608" crc64="1072783424245035917">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/4mbfiles-0-1" Size="4194304" crc64="9991307204216370812">
</File><File CloudFormat="BlockBlob" Path="export-ut-container/VL_Piracy_Negtive10_TPNameAndGCS.xlsx" Size="12398699" crc64="13526033021067702820">
</File>

Examine copiar log para todos os erros. Esse log indica os arquivos que não puderam ser copiados devido a erros.

Aqui está um exemplo de saída do log de cópias quando não houve erros e todos os arquivos foram copiados durante a cópia de dados do Azure para o dispositivo Data Box.

<CopyLog Summary="Summary">
  <Status>Succeeded</Status>
  <TotalFiles_Blobs>5521</TotalFiles_Blobs>
  <FilesErrored>0</FilesErrored>
</CopyLog>

Veja um exemplo de saída quando o log de cópia tem erros e a cópia de alguns dos arquivos do Azure falhou.

<ErroredEntity CloudFormat="AppendBlob" Path="export-ut-appendblob/wastorage.v140.3.0.2.nupkg">
  <Category>UploadErrorCloudHttp</Category>
  <ErrorCode>400</ErrorCode>
  <ErrorMessage>UnsupportBlobType</ErrorMessage>
  <Type>File</Type>
</ErroredEntity><ErroredEntity CloudFormat="AppendBlob" Path="export-ut-appendblob/xunit.console.Primary_2020-05-07_03-54-42-PM_27444.hcsml">
  <Category>UploadErrorCloudHttp</Category>
  <ErrorCode>400</ErrorCode>
  <ErrorMessage>UnsupportBlobType</ErrorMessage>
  <Type>File</Type>
</ErroredEntity><ErroredEntity CloudFormat="AppendBlob" Path="export-ut-appendblob/xunit.console.Primary_2020-05-07_03-54-42-PM_27444 (1).hcsml">
  <Category>UploadErrorCloudHttp</Category>
  <ErrorCode>400</ErrorCode>
  <ErrorMessage>UnsupportBlobType</ErrorMessage>
  <Type>File</Type>
</ErroredEntity><CopyLog Summary="Summary">
  <Status>Failed</Status>
  <TotalFiles_Blobs>4</TotalFiles_Blobs>
  <FilesErrored>3</FilesErrored>
</CopyLog>

Você tem as seguintes opções para ajudar a exportar esses arquivos:

É possível transferir os arquivos que não puderam ser copiados pela rede.
Se o tamanho dos dados for maior do que a capacidade utilizável do dispositivo, ocorrerá uma cópia parcial e todos os arquivos que não tiverem sido copiados serão listados nesse log. Você pode usar esse log como um XML de entrada para criar uma ordem de Data Box e copiar esses arquivos.

Agora você pode iniciar a cópia de dados. Se você estiver usando um computador host Linux, use um utilitário de cópia semelhante ao Robocopy. Algumas das alternativas disponíveis no Linux são o rsync, o FreeFileSync, o Unison ou o Ultracopier.

O comando cp é uma das melhores opções para copiar um diretório. Para mais informações sobre o uso, vá para cp man pages.

Se você usar a opção rsync para obter uma cópia com multithread, siga estas diretrizes:

Instale o pacote CIFS Utils ou NFS Utils, dependendo do sistema de arquivos usado pelo seu cliente Linux.

sudo apt-get install cifs-utils

sudo apt-get install nfs-utils
Instale o rsync e o Parallel (varia dependendo da versão distribuída do Linux).

sudo apt-get install rsync

sudo apt-get install parallel
Crie um ponto de montagem.

sudo mkdir /mnt/databox
Monte o volume.

sudo mount -t NFS4 //Databox IP Address/share_name /mnt/databox
Espelhe a estrutura de pastas.

rsync -za --include='*/' --exclude='*' /local_path/ /mnt/databox
Copie arquivos.

cd /local_path/; find -L . -type f | parallel -j X rsync -za {} /mnt/databox/{}

em que j especifica o número de paralelização, X = número de cópias paralelas

Recomendamos que você inicie com 16 cópias paralelas e aumente o número de segmentos, dependendo dos recursos disponíveis.

Importante

Não há suporte para os seguintes tipos de arquivo do Linux: links simbólicos, arquivos de caracteres, arquivos de bloco, soquetes e pipes. Esses tipos de arquivo resultarão em falhas durante a etapa Preparar para o envio.

Quando a cópia estiver concluída, acesse o Painel e verifique o espaço usado e o espaço livre no dispositivo.

Agora você pode continuar a enviar o seu Data Box para a Microsoft.

Próximas etapas

Neste tutorial, você aprendeu sobre tópicos do Azure Data Box como:

Pré-requisitos
Conectar-se à caixa de dados
Copiar dados do Data Box

Avance para o próximo tutorial para saber como enviar o Data Box novamente à Microsoft.

Envie o Azure Data Box para a Microsoft

Compartilhar via

Tutorial: Copiar dados do Azure Data Box por meio do NFS

Pré-requisitos

Conectar-se à caixa de dados

Copiar dados do Data Box

Próximas etapas

Comentários

Recursos adicionais