Adicionar destinos de armazenamento

Os destinos de armazenamento são armazenamentos de back-end para arquivos que são acessados por meio do Azure HPC Cache. Você pode adicionar armazenamento NFS (como um sistema de hardware local) ou armazenar dados no blob do Azure.

O cache apresenta todos os destinos de armazenamento em um namespace agregado. Os caminhos de namespace são configurados separadamente depois de adicionar os destinos de armazenamento.

Lembre-se de que as exportações de armazenamento devem poder ser acessadas da rede virtual do seu cache. Para o armazenamento no hardware local, talvez seja necessário configurar um servidor DNS que possa resolver nomes de host para acesso ao armazenamento NFS. Leia mais em Acesso DNS.

Adicione destinos de armazenamento depois de criar o cache. Siga este processo:

1. Criar o cache
2. Definir um destino de armazenamento (informações neste artigo)
3. Criar os caminhos voltados para o cliente (para o namespace agregado)

O procedimento para adicionar um destino de armazenamento é um pouco diferente dependendo do tipo de armazenamento que ele usa. Detalhes sobre cada um deles são fornecidos abaixo.

Escolher o tipo de destino de armazenamento correto

Você pode selecionar entre três tipos de destino de armazenamento: NFS, Blob e ADLS-NFS. Escolha o tipo que corresponde ao tipo de sistema de armazenamento que você usará para armazenar seus arquivos durante este projeto do HPC Cache.

• NFS - Crie um destino de armazenamento de NFS para acessar dados em um sistema NAS (armazenamento de rede anexado). Pode ser um sistema de armazenamento local ou outro tipo de armazenamento acessível com NFS.

  • Requisitos: requisitos de armazenamento NFS
  • Instruções: adicionar um novo destino de armazenamento NFS

• Blob - Use um destino de armazenamento de Blobs para armazenar seus arquivos de trabalho em um novo contêiner de Blobs do Azure. Esse contêiner só pode ser lido ou gravado no Azure HPC Cache.

  • Pré-requisitos: requisitos de armazenamento de blobs
  • Instruções: adicionar um novo destino de armazenamento de blobs do Azure

• ADLS-NFS – o destino de armazenamento ADLS-NFS acessa dados de um contêiner de Blob habilitado para NFS. Você pode pré-carregar o contêiner usando comandos NFS padrão, e os arquivos podem ser lidos posteriormente com o NFS.

  • Pré-requisitos: requisitos de armazenamento ADLS-NFS
  • Instruções: adicionar um novo destino de armazenamento ADLS-NFS

Adicionar um novo destino de armazenamento de blobs do Azure

Um novo destino de armazenamento de blobs precisa de um contêiner de blob vazio ou um contêiner que é preenchido com dados no formato do sistema de arquivos da nuvem do Azure HPC Cache. Leia mais sobre como pré-carregar um contêiner de blob em Mover dados para o armazenamento de blobs do Azure.

A página Adicionar destino de armazenamento no portal do Azure inclui a opção de criar um novo contêiner de blob antes de adicioná-lo.

Observação

• Para o armazenamento de blob montado em NFS, use o tipo de destino de armazenamento ADLS-NFS.
• As configurações de cache de alta taxa de transferência não oferecem suporte a destinos de armazenamento padrão de Blobs do Azure. Em vez disso, use o armazenamento de Blobs habilitado para NFS (ADLS-NFS).

Portal

No portal do Azure, abra sua instância de cache e clique em Destinos de armazenamento na barra lateral esquerda.

A página Destinos de armazenamento lista todos os destinos existentes e fornece um link para adicionar um novo.

Clique no botão Adicionar destino de armazenamento.

Para definir um contêiner de blob do Azure, insira essas informações.

• Nome do destino de armazenamento - Defina um nome que identifique esse destino de armazenamento no Azure HPC Cache.

• Tipo de destino - Escolha Blob.

• Conta de armazenamento - Selecione a conta que deseja usar.

  Você precisará autorizar a instância de cache para acessar a conta de armazenamento, conforme descrito em Adicionar as funções de acesso.

  Para obter informações sobre o tipo de conta de armazenamento que você pode usar, leia Requisitos do armazenamento de blobs.

• Contêiner de armazenamento - Selecione o contêiner de blob para este destino ou clique em Criar novo.

  

Quando terminar, clique em OK para adicionar o destino de armazenamento.

Observação

Se o firewall da sua conta de armazenamento estiver definido para restringir o acesso somente a "redes selecionadas", use a solução alternativa temporária documentada em Ajustar as configurações de firewall da conta de armazenamento de blobs.

Adicionar as funções de controle de acesso à sua conta

O Azure HPC Cache usa o controle de acesso baseado em função do Azure (Azure RBAC) para autorizar o serviço de cache a acessar sua conta de armazenamento para destinos do armazenamento de blobs do Azure.

O proprietário da conta de armazenamento deve adicionar explicitamente as funções Colaborador da conta de armazenamento e Colaborador de dados do blob de armazenamento para o usuário "Provedor de Recursos do HPC Cache".

Você pode fazer isso antecipadamente ou clicando em um link na página do portal em que você adiciona destinos de armazenamento de blobs. Tenha em mente que pode levar até cinco minutos para que as configurações de função se propaguem por meio do ambiente do Azure. Aguarde alguns minutos depois de adicionar as funções antes de criar um destino de armazenamento.

1. Abra um Controle de acesso (IAM) para sua conta de armazenamento.

2. Selecione Adicionar>Adicionar atribuição de função para abrir a página Adicionar atribuição de função.

3. Atribua as funções a seguir, uma de cada vez. Para ver as etapas detalhadas, confira Atribuir funções do Azure usando o portal do Azure.

   Configuração	Valor
   Funções	Colaborador da Conta de Armazenamento Colaborador de dados de blob de armazenamento
   Atribuir acesso a	"Provedor de Recursos do Cache HPC" ou "Provedor de Recursos do StorageCache"

   

CLI do Azure

Pré-requisito: acesso à conta de armazenamento

Configurar a CLI do Azure para o Azure HPC Cache.

Antes de adicionar um destino de armazenamento de blobs, verifique se o cache tem as funções corretas para acessar a conta de armazenamento e se as configurações de firewall permitem criar o destino de armazenamento.

O Azure HPC Cache usa o controle de acesso baseado em função do Azure (Azure RBAC) para autorizar o serviço de cache a acessar sua conta de armazenamento para destinos do armazenamento de blobs do Azure.

O proprietário da conta de armazenamento deve adicionar explicitamente as funções Colaborador da conta de armazenamento e Colaborador de dados do blob de armazenamento para o usuário "Provedor de Recursos do HPC Cache".

A criação do destino de armazenamento falhará se o cache não tiver essas funções.

Pode levar até cinco minutos para que as configurações de função se propaguem pelo ambiente do Azure; portanto, você deve aguardar alguns minutos depois de adicionar as funções para criar um destino de armazenamento.

Leia Adicionar ou remover atribuições de função do Azure usando a CLI do Azure para obter instruções detalhadas.

Verifique também as configurações de firewall da sua conta de armazenamento. Se o firewall estiver definido para restringir o acesso às "redes selecionadas", a criação do destino de armazenamento poderá falhar. Use a solução alternativa documentada em Ajustar as configurações de firewall da conta de armazenamento de blobs.

Adicionar um destino de armazenamento de blobs com a CLI do Azure

Use a interface az hpc-cache blob-storage-target add para definir um destino de armazenamento de blobs do Azure.

Observação

Os comandos da CLI do Azure exigem que você crie um caminho de namespace ao adicionar um destino de armazenamento. Isso é diferente do processo usado com a interface do portal do Azure.

Além dos parâmetros do grupo de recursos padrão e do nome do cache, você deve fornecer as seguintes opções para o destino de armazenamento:

• --name- Defina um nome que identifique esse destino de armazenamento no Azure HPC Cache.

• --storage-account - O identificador da conta neste formato: /subscriptions/<id_da_assinatura>/resourceGroups/<grupo_de_recursos_de_armazenamento>/providers/Microsoft.Storage/storageAccounts/<nome_da_conta>

  Para obter informações sobre o tipo de conta de armazenamento que você pode usar, leia Requisitos do armazenamento de blobs.

• --container-name - Especifique o nome do contêiner a ser usado para este destino de armazenamento.

• --virtual-namespace-path - Defina o caminho de arquivo voltado para o cliente para este destino de armazenamento. Coloque os caminhos entre aspas. Leia Planejar o namespace agregado para saber mais sobre o recurso de namespace virtual.

Exemplo de comando :

az hpc-cache blob-storage-target add --resource-group "hpc-cache-group" \
    --cache-name "cache1" --name "blob-target1" \
    --storage-account "/subscriptions/<subscriptionID>/resourceGroups/myrgname/providers/Microsoft.Storage/storageAccounts/myaccountname" \
    --container-name "container1" --virtual-namespace-path "/blob1"

Adicionar um novo destino de armazenamento NFS

Um destino de armazenamento NFS tem configurações diferentes de um destino de armazenamento de Blobs, incluindo uma configuração de modelo de uso que informa ao cache como armazenar dados desse sistema de armazenamento.

Observação

Antes de criar um destino de armazenamento NFS, verifique se o sistema de armazenamento pode ser acessado no Azure HPC Cache e cumpre os requisitos de permissão. A criação do destino de armazenamento falhará se o cache não puder acessar o sistema de armazenamento. Leia Requisitos de armazenamento NFS e Solucionar problemas de configuração do NAS e problemas de destino de armazenamento NFS para obter detalhes.

Selecionar um modelo de uso

Ao criar um destino de armazenamento que usa NFS para acessar seu sistema de armazenamento, você precisa selecionar um modelo de uso para esse destino. Esse modelo determina como os dados são armazenados em cache.

Leia Compreender os modelos de uso para obter mais detalhes sobre todas essas configurações.

Os modelos de uso internos do HPC Cache permitem escolher como equilibrar a resposta rápida com o risco de obter dados obsoletos. Se você quiser otimizar a velocidade de leitura de arquivos, talvez possa abrir mão da verificação dos arquivos no cache em relação aos arquivos de back-end. Alternativamente, se quiser ter certeza de que os arquivos estejam sempre atualizados em relação ao armazenamento remoto, escolha um modelo que verifique com frequência.

Observação

Os caches de alta taxa de transferência dão suporte somente ao cache de leitura.

Essas três opções abrangem a maioria das situações:

• Leitura intensiva, gravações pouco frequentes - Acelera o acesso de leitura para arquivos estáticos ou raramente alterados.

  Essa opção armazena em cache os arquivos das leituras de cliente, mas transfere imediatamente as gravações do cliente para o armazenamento de back-end. Os arquivos armazenados no cache não são automaticamente comparados aos arquivos no volume de armazenamento NFS.

  Não use essa opção se houver um risco de modificação de um arquivo diretamente no sistema de armazenamento sem que antes ele seja gravado no cache. Se isso ocorrer, a versão em cache do arquivo não estará sincronizada com o arquivo de back-end.

• Gravações com mais de 15% - Essa opção acelera o desempenho de leitura e gravação.

  Leituras e gravações de cliente são armazenadas em cache. Os arquivos no cache são considerados mais recentes que os arquivos no sistema de armazenamento de back-end. Os arquivos armazenados em cache são automaticamente verificados em relação aos arquivos no armazenamento de back-end a cada oito horas. Os arquivos modificados no cache serão gravados no sistema de armazenamento de back-end após permanecerem no cache por uma hora sem outras alterações.

  Não use essa opção se os clientes montarem diretamente o volume de armazenamento de back-end, pois ele poderá ter arquivos desatualizados.

• Os clientes gravam no destino NFS, ignorando o cache - Selecione essa opção se algum cliente em seu fluxo de trabalho gravar dados diretamente no sistema de armazenamento, sem antes gravar no cache, ou se você quiser otimizar a consistência dos dados.

  Os arquivos solicitados pelos clientes são armazenados em cache, mas as alterações nesses arquivos de cliente são transferidas imediatamente para o sistema de armazenamento de back-end. Os arquivos no cache são verificados frequentemente em relação às versões de back-end quanto a atualizações. Essa verificação mantém a consistência dos dados quando os arquivos são alterados diretamente no sistema de armazenamento, e não por meio do cache.

Para obter detalhes sobre as outras opções, leia Compreender os modelos de uso.

Esta tabela resume as diferenças entre todos os modelos de uso:

Modelo de uso	Modo de cache	Temporizador de verificação	Temporizador de write-back
Cache somente leitura	Ler	30 segundos	Nenhum
Cache de leitura/gravação	Leitura/gravação	8 horas	1 hora

Observação

O valor Verificação de back-end mostra quando o cache compara automaticamente seus arquivos com os arquivos de origem no armazenamento remoto. No entanto, você pode disparar uma comparação enviando uma solicitação de cliente que inclua uma operação readdirplus no sistema de armazenamento de back-end. Readdirplus é uma API NFS padrão (também chamada de leitura estendida) que retorna metadados do diretório, o que faz com que o cache compare e atualize arquivos.

Criar um destino de armazenamento NFS

Portal

No portal do Azure, abra sua instância de cache e clique em Destinos de armazenamento na barra lateral esquerda.

A página Destinos de armazenamento lista todos os destinos existentes e fornece um link para adicionar um novo.

Clique no botão Adicionar destino de armazenamento.

Forneça essas informações para um destino de armazenamento com backup em NFS:

• Nome do destino de armazenamento - Defina um nome que identifique esse destino de armazenamento no Azure HPC Cache.

• Tipo de destino - Escolha NFS.

• Nome do host - Insira o endereço IP ou o nome de domínio totalmente qualificado para o sistema de armazenamento NFS. (Use um nome de domínio somente se o cache tiver acesso a um servidor DNS que possa resolver o nome.) Você pode inserir vários endereços IP se o sistema de armazenamento for referenciado por vários IPs.

• Modelo de uso - Selecione um dos perfis de cache de dados com base em seu fluxo de trabalho, descrito acima em Selecionar um modelo de uso.

Quando terminar, clique em OK para adicionar o destino de armazenamento.

CLI do Azure

Configurar a CLI do Azure para o Azure HPC Cache.

Use o comando az hpc-cache nfs-storage-target add da CLI do Azure para criar o destino de armazenamento.

Observação

Os comandos da CLI do Azure exigem que você crie um caminho de namespace ao adicionar um destino de armazenamento. Isso é diferente do processo usado com a interface do portal do Azure.

Forneça esses valores além do nome do cache e do grupo de recursos de cache:

• --name- Defina um nome que identifique esse destino de armazenamento no Azure HPC Cache.

• --nfs3-target - O endereço IP do seu sistema de armazenamento NFS. (Você pode usar um nome de domínio totalmente qualificado aqui se o cache tiver acesso a um servidor DNS que possa resolver o nome.)

• --nfs3-usage-model - Um dos perfis de cache de dados, descrito em Selecionar um modelo de uso, acima.

  Verifique os nomes dos modelos de uso com o comando az hpc-cache usage-model list.

• --junction - O parâmetro de junção vincula o caminho do arquivo virtual voltado ao cliente com um caminho de exportação no sistema de armazenamento.

  Um destino de armazenamento NFS pode ter vários caminhos virtuais, desde que cada um deles represente uma exportação ou subdiretório diferente no mesmo sistema de armazenamento. Crie todos os caminhos para um sistema de armazenamento em um destino de armazenamento.

  Você pode adicionar e editar caminhos de namespace em um destino de armazenamento a qualquer momento.

  O parâmetro --junction usa os seguintes valores:

  • namespace-path - O caminho do arquivo virtual voltado para o cliente
  • nfs-export - A exportação do sistema de armazenamento para associar ao caminho voltado para o cliente
  • target-path (opcional) - Um subdiretório da exportação, se necessário

  Exemplo: --junction namespace-path="/nas-1" nfs-export="/datadisk1" target-path="/test"

  Leia Configurar o namespace agregado para saber mais sobre o recurso de namespace virtual.

Exemplo de comando :

az hpc-cache nfs-storage-target add --resource-group "hpc-cache-group" --cache-name "doc-cache0629" \
    --name nfsd1 --nfs3-target 10.0.0.4 --nfs3-usage-model WRITE_WORKLOAD_15 \
    --junction namespace-path="/nfs1/data1" nfs-export="/datadisk1" target-path=""

Saída:

{- Finished ..
  "clfs": null,
  "id": "/subscriptions/<subscriptionID>/resourceGroups/hpc-cache-group/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "hpc-cache-group",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}

Adicionar um novo destino de armazenamento ADLS-NFS

Destinos de armazenamento ADLS-NFS usam contêineres de blob do Azure com suporte ao protocolo NFS (Sistema de Arquivos de Rede) 3.0.

Leia suporte de protocolo NFS 3.0 para saber mais sobre esse recurso.

Os destinos de armazenamento ADLS-NFS têm algumas semelhanças com os destinos de armazenamento de blobs e com os destinos de armazenamento NFS. Por exemplo:

• Como um destino de armazenamento de blobs, você precisa conceder permissão ao Azure HPC Cache para acessar sua conta de armazenamento.

• Assim como um destino de armazenamento NFS, você precisa definir um modelo de uso de cache.

• Como os contêineres de blob habilitados para NFS têm uma estrutura hierárquica compatível com NFS, você não precisa usar o cache para ingerir dados, e os contêineres podem ser lidos por outros sistemas NFS.

  Você pode pré-carregar os dados em um contêiner ADLS-NFS, adicioná-los a um HPC Cache como um destino de armazenamento e acessar os dados posteriormente de fora de um HPC Cache. Quando você usa um contêiner de blob padrão como um destino de armazenamento do HPC Cache, os dados são gravados em um formato proprietário e podem ser acessados somente de outros produtos compatíveis com o Azure HPC Cache.

Para poder criar um destino de armazenamento ADLS-NFS, você deve criar uma conta de armazenamento habilitada para NFS. Siga as etapas em Pré-requisitos do Azure HPC Cache e as instruções em Montar o armazenamento de blobs usando NFS. Se você não usar a mesma rede virtual para o cache e a conta de armazenamento, certifique-se de que a VNet do cache possa acessar a VNet da conta de armazenamento.

Depois de configurar a conta de armazenamento, você poderá criar um novo contêiner ao criar o destino de armazenamento.

Leia usar o armazenamento de blobs montado em NFS com o Azure HPC Cache para saber mais sobre essa configuração.

Para criar um destino de armazenamento ADLS-NFS, abra a página Adicionar destino de armazenamento no portal do Azure. (Outros métodos estão em desenvolvimento.)

Insira as informações.

• Nome do destino de armazenamento - Defina um nome que identifique esse destino de armazenamento no Azure HPC Cache.

• Tipo de destino - Escolha ADLS-NFS.

• Conta de armazenamento - Selecione a conta que deseja usar. Se a sua conta de armazenamento habilitada para NFS não aparecer na lista, verifique se ela está em conformidade com os pré-requisitos e se o cache pode acessá-la.

  Você precisará autorizar a instância de cache para acessar a conta de armazenamento, conforme descrito em Adicionar as funções de acesso.

• Contêiner de armazenamento - Selecione o contêiner de blob habilitado para NFS para esse destino ou clique em Criar novo.

• Modelo de uso - Selecione um dos perfis de cache de dados com base em seu fluxo de trabalho, descrito acima em Selecionar um modelo de uso.

Quando terminar, clique em OK para adicionar o destino de armazenamento.

Exibir destinos de armazenamento

Você pode usar o portal do Azure ou a CLI do Azure para mostrar os destinos de armazenamento já definidos para o cache.

Portal

No portal do Azure, abra a instância de cache e clique em Destinos de armazenamento, localizado sob o cabeçalho Configurações na barra lateral esquerda. A página Destinos de armazenamento lista todos os destinos e controles existentes para adicioná-los ou excluí-los.

Clique no nome de um destino de armazenamento para abrir sua página de detalhes.

Leia Exibir e gerenciar destinos de armazenamento e Editar destinos de armazenamento para saber mais.

CLI do Azure

Configurar a CLI do Azure para o Azure HPC Cache.

Use a opção az hpc-cache storage-target list para mostrar os destinos de armazenamento existentes para um cache. Forneça o nome do cache e o grupo de recursos (a menos que você o tenha definido globalmente).

az hpc-cache storage-target list --resource-group "scgroup" --cache-name "sc1"

Use az hpc-cache storage-target show para ver detalhes sobre um determinado destino de armazenamento. (Especifique o destino de armazenamento pelo nome.)

Exemplo:

$ az hpc-cache storage-target show --cache-name doc-cache0629 --name nfsd1

{
  "clfs": null,
  "id": "/subscriptions/<subscription_ID>/resourceGroups/scgroup/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "scgroup",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}
$

Próximas etapas

Depois de criar destinos de armazenamento, continue com essas tarefas para que seu cache fique pronto para uso:

• Configurar o namespace agregado
• Montar o Azure HPC Cache
• Migrar dados para o armazenamento de blob do Azure

Se precisar atualizar as configurações, você poderá editar um destino de armazenamento.