Limita o Azure Data Box

  • Artigo

Considere estes limites ao implantar e operar o Microsoft Azure Data Box. A tabela a seguir descreve esses limites para o Data Box.

Limites de serviço do Data Box

  • Se você usar várias contas de armazenamento com o serviço Data Box, todas as contas de armazenamento devem pertencer à mesma região do Azure.
  • É recomendado que você não use mais que três contas de armazenamento. Usar mais contas de armazenamento pode afetar potencialmente o desempenho.

Limites do Data Box

  • O Data Box pode armazenar um máximo de 500 milhões de arquivos para importação e exportação.
  • O Data Box dá suporte a um máximo de 512 contêineres ou compartilhamentos na nuvem. Os diretórios de nível superior no compartilhamento do usuário se tornam contêineres ou compartilhamentos de arquivos do Azure na nuvem.
  • A capacidade de uso do Data Box pode ser inferior a 80 TiB devido ao consumo de espaço de metadados reFS.
  • O Data Box dá suporte a no máximo 10 conexões de cliente por vez em um compartilhamento NFS.

Limites de armazenamento do Azure

Esta seção descreve os limites de serviço de Armazenamento do Azure e as convenções de nomenclatura necessárias para Arquivos do Azure, blobs de blocos do Azure e blobs de páginas do Azure, conforme aplicável ao serviço Data Box. Examine os limites de armazenamento com cuidado e siga todas as recomendações.

Para obter as informações mais recentes sobre os limites de serviço de armazenamento do Azure e práticas recomendadas para nomear compartilhamentos, contêineres e arquivos, visite:

Importante

Se há quaisquer arquivos ou diretórios que excedem os limites de serviço de armazenamento do Microsoft Azure ou não estão em conformidade com as convenções de nomenclatura de Blobs/Arquivos do Azure, esses arquivos ou diretórios não são ingeridos no Armazenamento do Microsoft Azure por meio do serviço Data Box.

Advertências de cópia e carregamento de dados

Para ordem de importação

As advertências do Data Box para um pedido de importação incluem:

  • Contêineres, compartilhamentos e pastas:
    • Não copie arquivos diretamente para nenhum dos compartilhamentos pré-criados. Você precisa criar uma pasta no compartilhamento e, em seguida, copiar os arquivos para a pasta.
    • Uma pasta no StorageAccount_BlockBlob e no StorageAccount_PageBlob é um contêiner. Por exemplo, os contêineres são criados como StorageAccount_BlockBlob/container e StorageAccount_PageBlob/container.
    • Cada pasta criada diretamente em StorageAccount_AzFile é convertida em um compartilhamento de arquivos do Azure.
    • O Armazenamento de Blobs do Azure não dá suporte a diretórios. Se você criar uma pasta na pasta StorageAccount_BlockBlob, as pastas virtuais serão criadas no nome do blob. Para os Arquivos do Azure, a estrutura de diretório real é mantida.
  • Mesclando conteúdos de pasta:
    • Todos os arquivos gravados nos compartilhamentos StorageAccount_BlockBlob e StorageAccount_PageBlob são carregados como um blob de blocos e um blob de páginas, respectivamente.
    • Se uma pasta tiver o mesmo nome de um contêiner existente, seus conteúdos serão mesclados. Os arquivos ou blobs que ainda não estão na nuvem são adicionados ao contêiner. Se um arquivo ou blob tiver o mesmo nome de outro que já está no contêiner, aquele que já existe será substituído.
    • Ocorrerá uma falha ao fazer upload em um blob na camada de arquivo morto se o contêiner tiver um blob arquivado existente com o mesmo nome. Um blob não pode ser lido nem modificado enquanto está na camada de Arquivos. Se você precisar substituir um blob, verifique se ele não está definido como arquivo morto. Para saber mais, consulte Camada de acesso aos arquivos.
    • Nenhuma hierarquia de diretórios vazios (sem nenhum arquivo) criada nas pastas StorageAccount_BlockBlob e StorageAccount_PageBlob é criada.
  • A importação de dados para compartilhamentos de arquivos do Azure do NFS não é compatível com o Azure Data Box. Copiar dados do Data Box para um compartilhamento de arquivos existente do Azure do NFS com um nome idêntico à medida que sua pasta de origem cria um conflito. Para resolver esse conflito, o Data Box renomeia o compartilhamento de origem para databox-<GUID> e o carrega na conta de armazenamento de destino como um compartilhamento de arquivos do Azure SMB.
  • Se você usa os protocolos SMB e NFS para cópias de dados, recomendamos que você faça o seguinte:
    • Use contas de armazenamento diferentes para o SMB e o NFS.
    • Não copie os mesmos dados para o mesmo destino final no Azure usando tanto SMB quanto NFS. Nesses casos, o resultado final não poderá ser determinado.
    • Embora a cópia via SMB e NFS em paralelo possa funcionar, isso não é recomendado, pois esse processo é propenso a erros humanos. Aguarde até que a cópia de dados de SMB seja concluída antes de iniciar uma cópia de dados de NFS.
  • Gerenciamento de upload:
    • Para melhorar o desempenho durante uploads de dados, recomendamos habilitar compartilhamentos de arquivos grandes na conta de armazenamento e aumentar a capacidade de compartilhamento para 100 TiB.
    • Se há erros ao carregar dados no Azure, um log de erros é criado na conta de armazenamento de destino. O caminho para esse log de erros estará disponível quando o carregamento for concluído e você poderá examinar o log para tomar uma ação corretiva. Não exclua os dados da origem sem verificar os dados carregados.
    • Os metadados de arquivo e as permissões NTFS podem ser preservados quando os dados são carregados nos Arquivos do Azure usando as diretrizes emPreservar ACLs de arquivo, atributos e carimbos de data/hora com Azure Data Box.
    • A hierarquia de arquivos é mantida durante o carregamento para a nuvem para os blobs e os Arquivos do Azure. Por exemplo, você copiou um arquivo neste caminho: <container folder>\A\B\C.txt. Foi feito o upload deste arquivo no mesmo caminho na nuvem.
    • Se o campo CreateTime ou LastWriteTime de um arquivo ultrapassar o tamanho permitido durante um upload, “Fri, 31 Dec 9999 23:59:59” substituirá a data original na propriedade do arquivo do Azure. O upload do arquivo é bem-sucedido e nenhum erro é gerado.

Para ordem de exportação

As advertências do Data Box para um pedido de exportação incluem:

  • O Data Box é um dispositivo baseado no Windows e não dá suporte a nomes de arquivo que não são sensíveis a minúsculas. Por exemplo, você pode ter dois arquivos diferentes no Azure com nomes que diferem apenas no uso de maiúsculas e minúsculas. Não use o Data Box para exportar esses arquivos, pois os arquivos serão substituídos no dispositivo.
  • Se você tiver marcas duplicadas em arquivos de entrada ou marcas que se referem aos mesmos dados, a exportação do Data Box poderá ignorar ou substituir os arquivos. O número de arquivos e o tamanho dos dados que o portal do Azure exibe podem ser diferentes do tamanho real dos dados no dispositivo.
  • O Data Box exporta dados para o sistema baseado no Windows por SMB e é limitado por limitações de SMB para arquivos e pastas. Arquivos e pastas com nomes sem suporte não são exportados.
  • Há um mapeamento individual do prefixo para o contêiner.
  • O tamanho máximo do nome de arquivo é de 1024 caracteres. Os nomes de arquivo que excedem esse comprimento não são exportados.
  • Prefixos duplicados no arquivo xml (carregados durante a criação do pedido) são exportados. Os prefixos duplicados não são ignorados.
  • Os blobs de páginas e os nomes de contêiner diferenciam maiúsculas de minúsculas. Se o uso de maiúsculas e minúsculas for incompatível, o blob e/ou o contêiner não serão encontrados.

Limites de tamanho da conta de armazenamento do Azure

Veja os limites para o tamanho dos dados que são copiados para uma conta de armazenamento. Confirme se os dados que você carrega estão em conformidade com esses limites. Para obter as informações mais atualizadas sobre esses limites, confira Escalabilidade e metas de desempenho para armazenamento de Blob e Escalabilidade e metas de desempenho de Arquivos do Azure.

Tamanho dos dados copiados para a conta de armazenamento do Azure Limite padrão
Blob de blocos e blob de páginas O limite máximo é igual ao limite de armazenamento definido para a assinatura do Azure e inclui dados de todas as fontes, inclusive Data Box.
Arquivos do Azure
  • O Data Box dá suporte a compartilhamentos de arquivos grandes (100 TiB) se habilitados antes da criação da ordem no Data Box.
  • O Data Box dá suporte a compartilhamentos de arquivos Premium do Azure, que permitem um total de 100 TiB para todos os compartilhamentos na conta de armazenamento.

Limites de tamanho do objeto do Azure

Aqui estão os tamanhos dos objetos do Azure que podem ser gravados. Verifique se todos os arquivos que são carregados estão em conformidade com esses limites.

Tipo de objeto do Azure Limite padrão
Blob de blocos 14 TiB
Blob de páginas 4 TiB
Todos os arquivos carregados no formato de blob de páginas precisarão ser alinhados com 512 bytes (um integral múltiplo), caso contrário o upload falhará.
O VHD e o VHDX são alinhados a 512 bytes.
Arquivos do Azure 4 TiB
Discos gerenciados 4 TiB
Para obter mais informações sobre tamanho e limites, consulte:
  • Metas de escalabilidade do SSDs Padrão
  • Metas de escalabilidade do SSDs Premium
  • Metas de escalabilidade do HDDs Padrão
  • Noções básicas sobre preços e cobrança dos discos gerenciados
    		•

    Convenções de nomenclatura de arquivo, blob de páginas e blob de blocos do Azure

    Entidade Convenções
    Nomes de contêiner de blob de blocos e blob de páginas Precisa ser um nome DNS válido com tamanho de 3 a 63 caracteres.
    Deve começar com uma letra ou número.
    Pode conter apenas letras minúsculas, números e o hífen (-).
    Cada hífen (-) precisa ser imediatamente precedido e seguido por uma letra ou um número.
    Hifens consecutivos não são permitidos em nomes.
    Nomes de compartilhamento de arquivos do Azure O mesmo que o descrito acima
    Nomes de arquivo e diretório para arquivos do Azure
  • Uso de maiúsculas e minúsculas preservado, sem diferenciação. Não deve exceder 255 caracteres.
  • Não pode terminar com barra (/).
  • Se fornecido, será removido automaticamente.
  • Os seguintes caracteres não são permitidos: " \ / : | < > * ?
  • Os caracteres reservados de URL precisam ser escapados corretamente.
  • Caracteres ilegais de caminho de URL não são permitidos. Pontos de código como \uE000 não são caracteres Unicode válidos. Alguns caracteres ASCII ou Unicode, como caracteres de controle (0x00 a 0x1F, \u0081, etc.), também não são permitidos. Para saber quais são as regras que regem as cadeias de caracteres Unicode em HTTP/1.1, confira o RFC 2616, Section 2.2: Basic Rules (RFC 2616, Seção 2.2: regras básicas) e o RFC 3987.
  • Os seguintes nomes de arquivo não são permitidos: LPT1, LPT2, LPT3, LPT4, LPT5, LPT6, LPT7, LPT8, LPT9, COM1, COM2, COM3, COM4, COM5, COM6, COM7, COM8, COM9, PRN, AUX, NUL, CON, CLOCK $, caractere de ponto (.), e dois caracteres de ponto (..).
    		•
    Nomes de blob para blobs de blocos e blobs de página
  • Nomes de blob diferenciam maiúsculas de minúsculas e podem conter qualquer combinação de caracteres.
  • O nome do blob deve ter entre 1 e 1.024 caracteres.
  • Os caracteres reservados de URL precisam ser escapados corretamente.
  • O número de segmentos de caminho que incluem o nome do blob não pode exceder 254. Um segmento de caminho é a cadeia de caracteres entre caracteres delimitadores consecutivos (por exemplo, a barra '/') que correspondem ao nome de um diretório virtual.
    		•