Pré-requisitos para o HPC Cache do Azure

Antes de criar um novo Azure HPC Cache, verifique se seu ambiente atende a esses requisitos.

Assinatura do Azure

Uma assinatura paga é recomendada.

Infraestrutura de rede

Esses pré-requisitos relacionados à rede precisam ser configurados para que você possa usar o cache:

• Uma sub-rede dedicada para a instância do Azure HPC Cache
• Suporte a DNS para que o cache possa acessar o armazenamento e outros recursos
• Acesso da sub-rede a serviços de infraestrutura adicionais do Microsoft Azure, incluindo servidores NTP e o serviço de Armazenamento de Filas do Azure.

Sub-rede de cache

O HPC Cache do Azure precisa de uma sub-rede dedicada com estas qualidades:

• A sub-rede deve ter pelo menos 64 endereços IP disponíveis.
• A comunicação dentro da sub-rede deve ser irrestrita. Se você usar um grupo de segurança de rede para a sub-rede de cache, verifique se ele permite todos os serviços entre endereços IP internos.
• A sub-rede não pode hospedar nenhuma outra VM, mesmo para serviços relacionados, como computadores cliente.
• Se você usar várias instâncias do Azure HPC Cache, cada uma precisará de sua própria sub-rede.

A melhor prática é criar uma nova sub-rede para cada cache. Você pode criar uma nova rede virtual e uma sub-rede como parte da criação do cache.

Ao criar essa sub-rede, tenha cuidado para que suas configurações de segurança permitam o acesso aos serviços de infraestrutura necessários mencionados posteriormente nesta seção. Você pode restringir a conectividade com a Internet de saída, mas verifique se há exceções para os itens documentados aqui.

Acesso DNS

O cache precisa de DNS para acessar recursos fora de sua rede virtual. Dependendo de quais recursos você está usando, talvez seja necessário configurar um servidor DNS personalizado e configurar o encaminhamento entre esse servidor e servidores DNS do Azure:

• Para acessar endpoints de armazenamento Blob do Azure e outros recursos internos, você precisa do servidor DNS do Azure.
• Para acessar o armazenamento local, você precisa configurar um servidor DNS personalizado que possa resolver seus nomes de host de armazenamento. Você deve fazer isso antes de criar o cache.

Se você usar apenas o Armazenamento de Blobs, poderá usar o servidor DNS fornecido pelo Azure padrão para seu cache. No entanto, se você precisar de acesso ao armazenamento ou a outros recursos fora do Azure, deverá criar um servidor DNS personalizado e configurá-lo para encaminhar solicitações de resolução específicas do Azure para o servidor DNS do Azure.

Para usar um servidor DNS personalizado, você precisa executar estas etapas de instalação antes de criar seu cache:

• Crie a rede virtual que hospedará o HPC Cache do Azure.

• Crie o servidor DNS.

• Adicione o servidor DNS à rede virtual do cache.

  Siga estas etapas para adicionar o servidor DNS à rede virtual no portal do Azure:

  1. Abra a rede virtual no portal do Azure.
  2. Escolha servidores DNS no menu Configurações na barra lateral.
  3. Selecionar Personalizado
  4. Insira o endereço IP do servidor DNS no campo.

Um servidor DNS simples também pode ser usado para balancear a carga de conexões do cliente entre todos os pontos de montagem de cache disponíveis.

Saiba mais sobre as redes virtuais do Azure e as configurações do servidor DNS na resolução de nomes para recursos em redes virtuais do Azure.

Acesso NTP

O HPC Cache precisa de acesso a um servidor NTP para uma operação regular. Se você restringir o tráfego de saída de suas redes virtuais, certifique-se de permitir o tráfego para pelo menos um servidor NTP. O servidor padrão é time.windows.com e o cache entra em contato com esse servidor na porta UDP 123.

Crie uma regra no grupo de segurança de rede da rede de cache que permita o tráfego de saída para o servidor NTP. A regra pode simplesmente permitir todo o tráfego de saída na porta UDP 123 ou ter mais restrições.

Este exemplo abre explicitamente o tráfego de saída para o endereço IP 168.61.215.74, que é o endereço usado por time.windows.com.

Prioridade	Nome	Porto	Protocolo	Fonte	Destination	Ação
200	NTP	Qualquer	UDP	Qualquer	168.61.215.74	Permitir

Verifique se a regra NTP tem uma prioridade maior do que qualquer regra que negue amplamente o acesso de saída.

Mais dicas para acesso NTP:

• Se você tiver firewalls entre o HPC Cache e o servidor NTP, verifique se esses firewalls também permitem o acesso NTP.

• Você pode configurar qual servidor NTP seu HPC Cache usa na página Rede . Leia Definir configurações adicionais para obter mais informações.

Acesso ao Armazenamento de Filas do Azure

O cache deve ser capaz de acessar com segurança o serviço de Armazenamento de Filas do Azure de dentro de sua sub-rede dedicada. O HPC Cache do Azure usa o serviço de filas ao comunicar informações de configuração e de estado.

Se o cache não puder acessar o serviço de fila, você poderá ver uma mensagem CacheConnectivityError ao criar o cache.

Há duas maneiras de fornecer acesso:

• Crie um ponto de extremidade do serviço de Armazenamento do Azure em sua sub-rede de cache. Leia Adicionar uma sub-rede de rede virtual para obter instruções para adicionar o ponto de extremidade do serviço Microsoft.Storage .

• Configure individualmente o acesso ao domínio de serviço de fila de armazenamento do Azure em seu grupo de segurança de rede ou em outros firewalls.

  Adicione regras para permitir o acesso nessas portas:

  • Porta TCP 443 para tráfego seguro para qualquer host no domínio queue.core.windows.net (*.queue.core.windows.net).

  • Porta TCP 80 – usada para verificação do certificado do lado do servidor. Às vezes, isso é chamado de verificação da lista de revogação de certificados (CRL) e comunicações do protocolo de status de certificado online (OCSP). Todos os *.queue.core.windows.net usam o mesmo certificado e, portanto, os mesmos servidores CRL/OCSP. O nome do host é armazenado no certificado SSL do lado do servidor.

  Consulte as dicas de regra de segurança no acesso NTP para obter mais informações.

  Esse comando lista os servidores CRL e OCSP que precisam ter acesso permitido. Esses servidores devem ser resolvidos pelo DNS e acessíveis na porta 80 da sub-rede de cache.

  
  openssl s_client -connect azure.queue.core.windows.net:443 2>&1 < /dev/null | sed -n '/-----BEGIN/,/-----END/p' | openssl x509 -noout -text -in /dev/stdin |egrep -i crl\|ocsp|grep URI
  
  

  A saída tem esta aparência e pode ser alterada se o certificado SSL for atualizado:

  OCSP - URI:http://ocsp.msocsp.com
  CRL - URI:http://mscrl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
  CRL - URI:http://crl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
  

Você pode verificar a conectividade da sub-rede usando este comando em uma VM de teste dentro da sub-rede:

openssl s_client -connect azure.queue.core.windows.net:443 -status 2>&1 < /dev/null |grep "OCSP Response Status"

Uma conexão bem-sucedida fornece esta resposta:

OCSP Response Status: successful (0x0)

Acesso ao servidor de eventos

O HPC Cache do Azure usa pontos de extremidade do servidor de eventos do Azure para monitorar a integridade do cache e enviar informações de diagnóstico.

Verifique se o cache pode acessar os hosts com segurança no domínio events.data.microsoft.com, ou seja, abra a porta TCP 443 para o tráfego.*.events.data.microsoft.com

Permissões

Verifique esses pré-requisitos relacionados à permissão antes de começar a criar seu cache.

• A instância de cache precisa ser capaz de criar NICs (interfaces de rede virtual). O usuário que cria o cache deve ter privilégios suficientes na assinatura para criar NICs.

• Se estiver usando o Armazenamento de Blobs, o HPC Cache do Azure precisará de autorização para acessar sua conta de armazenamento. Use o controle de acesso baseado em função (RBAC) do Azure para conceder ao cache acesso ao armazenamento de Blobs. Duas funções são necessárias: Colaborador da Conta de Armazenamento e Colaborador de Dados de Blob de Armazenamento.

  Siga as instruções em Adicionar destinos de armazenamento para adicionar as funções.

Infraestrutura de armazenamento

O cache dá suporte a contêineres de Blob do Azure, exportações de armazenamento de hardware NFS e contêineres de blob do ADLS montados em NFS. Adicione destinos de armazenamento depois de criar o cache.

Cada tipo de armazenamento tem pré-requisitos específicos.

Requisitos de armazenamento de blobs

Se você quiser usar o Armazenamento de Blobs do Azure com seu cache, precisará de uma conta de armazenamento compatível e um contêiner de Blob vazio ou um contêiner preenchido com dados formatados do Azure HPC Cache, conforme descrito em Mover dados para o Armazenamento de Blobs do Azure.

Note

Requisitos diferentes se aplicam ao armazenamento de blobs montado em NFS. Leia ADLS-NFS requisitos de armazenamento para obter detalhes.

Crie a conta antes de tentar adicionar um destino de armazenamento. Você pode criar um novo contêiner ao adicionar o destino.

Para criar uma conta de armazenamento compatível, use uma destas combinações:

Performance	Tipo	Replication	Camada de acesso
Standard	StorageV2 (uso geral v2)	Armazenamento com redundância local (LRS) ou ZRS (armazenamento com redundância de zona)	Quente
Premium	Blobs de bloco	LRS (armazenamento com redundância local)	Quente

A conta de armazenamento deve estar acessível na sub-rede privada do cache. Se sua conta usar um ponto de extremidade privado ou um ponto de extremidade público restrito a redes virtuais específicas, certifique-se de habilitar o acesso a partir da sub-rede do cache. (Um ponto de extremidade público aberto não é recomendado.)

Leia Trabalhar com pontos de extremidade privados para obter dicas sobre como usar pontos de extremidade privados com destinos de armazenamento do HPC Cache.

É uma boa prática usar uma conta de armazenamento na mesma região do Azure que o cache.

Você também deve conceder ao aplicativo de cache acesso à sua conta de armazenamento do Azure, conforme mencionado em Permissões, acima. Siga o procedimento em Adicionar destinos de armazenamento para fornecer ao cache as funções de acesso necessárias. Se você não for o proprietário da conta de armazenamento, faça com que o proprietário execute esta etapa.

Requisitos de armazenamento NFS

Se estiver usando um sistema de armazenamento NFS (por exemplo, um sistema NAS de hardware local), verifique se ele atende a esses requisitos. Talvez seja necessário trabalhar com os administradores de rede ou os gerenciadores de firewall do sistema de armazenamento (ou data center) para verificar essas configurações.

Note

A criação do destino de armazenamento falhará se o cache não tiver acesso suficiente ao sistema de armazenamento NFS.

Mais informações estão incluídas em resolver problemas de configuração do NAS e de destino de armazenamento do NFS.

• Conectividade de rede: o HPC Cache do Azure precisa de acesso de rede de alta largura de banda entre a sub-rede de cache e o data center do sistema NFS. O ExpressRoute ou acesso semelhante é recomendado. Se estiver usando uma VPN, talvez seja necessário configurá-la para fixar o MSS TCP em 1350 para garantir que pacotes grandes não sejam bloqueados. Leia as restrições de tamanho do pacote VPN para obter mais ajuda para solucionar problemas de configurações de VPN.

• Acesso à porta: o cache precisa de acesso a portas TCP/UDP específicas em seu sistema de armazenamento. Diferentes tipos de armazenamento têm requisitos de porta diferentes.

  Para verificar as configurações do sistema de armazenamento, siga este procedimento.

  • Emita um rpcinfo comando para o sistema de armazenamento para verificar as portas necessárias. O comando a seguir lista as portas e formata os resultados relevantes em uma tabela. (Use o endereço IP do sistema no lugar do <termo storage_IP> .)

    Você pode emitir esse comando de qualquer cliente Linux que tenha a infraestrutura do NFS instalada. Se você usar um cliente dentro da sub-rede do cluster, ele também poderá ajudar a verificar a conectividade entre a sub-rede e o sistema de armazenamento.

    rpcinfo -p <storage_IP> |egrep "100000\s+4\s+tcp|100005\s+3\s+tcp|100003\s+3\s+tcp|100024\s+1\s+tcp|100021\s+4\s+tcp"| awk '{print $4 "/" $3 " " $5}'|column -t
    

  Verifique se todas as portas rpcinfo retornadas pela consulta permitem tráfego irrestrito da sub-rede do Azure HPC Cache.

  • Se você não puder usar o rpcinfo comando, verifique se essas portas comumente usadas permitem o tráfego de entrada e saída:

    Protocolo	Porto	Service
    TCP/UDP	111	rpcbind
    TCP/UDP	2049	NFS
    TCP/UDP	4045	nlockmgr
    TCP/UDP	4046	montado
    TCP/UDP	4047	status

    Alguns sistemas usam números de porta diferentes para esses serviços – consulte a documentação do sistema de armazenamento para ter certeza.

  • Verifique as configurações de firewall para ter certeza de que elas permitem o tráfego em todas essas portas necessárias. Verifique os firewalls usados no Azure, bem como os firewalls locais em seu data center.

• O armazenamento de back-end NFS deve ser uma plataforma de hardware/software compatível. O armazenamento deve dar suporte ao NFS Versão 3 (NFSv3). Entre em contato com a equipe do Azure HPC Cache para obter detalhes.

Requisitos de armazenamento de blobs montados no NFS (ADLS-NFS)

O HPC Cache do Azure também pode usar um contêiner de blob montado com o protocolo NFS como um destino de armazenamento.

Leia mais sobre esse recurso no suporte ao protocolo NFS 3.0 no Armazenamento de Blobs do Azure.

Os requisitos da conta de armazenamento são diferentes para um destino de armazenamento de blobs ADLS-NFS e para um destino de armazenamento de blobs padrão. Siga as instruções em Montagem do armazenamento de Blobs usando o protocolo NFS 3.0 (Sistema de Arquivos de Rede) para, cuidadosamente, criar e configurar a conta de armazenamento habilitada para NFS.

Esta é uma visão geral das etapas. Essas etapas podem ser alteradas, portanto, sempre consulte as instruções deADLS-NFS para obter detalhes atuais.

1. Verifique se os recursos necessários estão disponíveis nas regiões em que você planeja trabalhar.

2. Habilite o recurso de protocolo NFS para sua assinatura. Faça isso antes de criar a conta de armazenamento.

3. Crie uma VNet (rede virtual) segura para a conta de armazenamento. Você deve usar a mesma rede virtual para sua conta de armazenamento habilitada para NFS e para o Azure HPC Cache. (Não use a mesma sub-rede que o cache.)

4. Crie a conta de armazenamento.

   • Em vez de usar as configurações da conta de armazenamento para uma conta de armazenamento de blobs padrão, siga as instruções no documento de instruções. O tipo de conta de armazenamento com suporte pode variar de acordo com a região do Azure.

   • Na seção Rede, escolha um ponto de extremidade privado na rede virtual segura que você criou (recomendado) ou escolha um ponto de extremidade público com acesso restrito na VNet segura.

     Leia Trabalhar com pontos de extremidade privados para obter dicas sobre como usar pontos de extremidade privados com destinos de armazenamento do HPC Cache.

   • Não se esqueça de concluir a seção Avançado, na qual você habilita o acesso ao NFS.

   • Conceda ao aplicativo de cache acesso à sua conta de armazenamento do Azure, conforme mencionado em Permissões, acima. Você pode fazer isso na primeira vez que criar um destino de armazenamento. Siga o procedimento em Adicionar destinos de armazenamento para fornecer ao cache as funções de acesso necessárias.

     Se você não for o proprietário da conta de armazenamento, faça com que o proprietário execute esta etapa.

Saiba mais sobre o uso de destinos de armazenamento ADLS-NFS com Azure HPC Cache em Armazenamento de blobs montado em NFS com Azure HPC Cache.

Trabalhe com pontos de extremidade privados

O Armazenamento do Azure dá suporte a pontos de extremidade privados para permitir o acesso seguro a dados. Você pode usar pontos de extremidade privados com destinos de armazenamento de blobs montados no Blob do Azure ou NFS.

Saiba mais sobre os pontos de extremidade privados

Um ponto de extremidade privado fornece um endereço IP específico que o HPC Cache usa para se comunicar com seu sistema de armazenamento de back-end. Se esse endereço IP for alterado, o cache não poderá restabelecer automaticamente uma conexão com o armazenamento.

Se você precisar alterar a configuração de um ponto de extremidade privado, siga este procedimento para evitar problemas de comunicação entre o armazenamento e o HPC Cache:

1. Suspenda o destino de armazenamento (ou todos os destinos de armazenamento que usam esse endpoint privado).
2. Faça alterações no ponto de extremidade privado e salve essas alterações.
3. Coloque o destino de armazenamento de volta ao serviço com o comando "continuar".
4. Atualize a configuração DNS do destino de armazenamento.

Leia Exibir e gerenciar destinos de armazenamento para saber como suspender, retomar e atualizar o DNS para destinos de armazenamento.

Configurar o acesso à CLI do Azure (opcional)

Se você quiser criar ou gerenciar o HPC Cache do Azure da CLI do Azure, será necessário instalar a CLI do Azure e a extensão de hpc-cache. Siga as instruções na configuração da CLI do Azure para o HPC Cache do Azure.

Próximas Etapas 

• Criar uma instância do Azure HPC Cache no portal do Azure