Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Antes de criar um novo Azure HPC Cache, certifique-se de que o seu ambiente cumpre estes requisitos.
Subscrição do Azure
Recomenda-se uma subscrição paga.
Infraestrutura de rede
Estes pré-requisitos relacionados à rede precisam ser configurados antes que possa usar a sua cache:
- Uma sub-rede dedicada para a instância de Azure HPC Cache
- Suporte DNS para que a cache possa aceder ao armazenamento e a outros recursos
- Acesso de sub-rede a serviços adicionais de infraestrutura do Microsoft Azure, incluindo servidores NTP e o serviço Azure Queue Storage.
Sub-rede de Cache
O Azure HPC Cache necessita de uma sub-rede dedicada com as seguintes características:
- A sub-rede deve ter pelo menos 64 endereços IP disponíveis.
- A comunicação dentro da sub-rede deve ser irrestrita. Se utilizar um grupo de segurança de rede para a sub-rede de cache, certifique-se de que permite todos os serviços entre endereços IP internos.
- A sub-rede não pode hospedar quaisquer outras VMs, mesmo para serviços relacionados, como máquinas cliente.
- Se utilizar várias instâncias do Azure HPC Cache, cada uma precisa do seu próprio sub-rede.
A melhor prática é criar uma nova sub-rede para cada cache. Pode criar uma nova rede virtual e sub-rede como parte da criação da cache.
Ao criar esta sub-rede, tenha cuidado para que as suas definições de segurança permitam o acesso aos serviços de infraestruturas necessários mencionados posteriormente nesta secção. Pode restringir a conectividade à internet de saída, mas certifique-se de que haja exceções para os itens documentados aqui.
Acesso ao DNS
A cache precisa de DNS para acessar recursos fora da sua rede virtual. Dependendo dos recursos que está a utilizar, poderá ser necessário configurar um servidor DNS personalizado e configurar o encaminhamento entre esse servidor e os servidores DNS do Azure.
- Para aceder aos endpoints de armazenamento Blob do Azure e a outros recursos internos, necessita do servidor DNS baseado no Azure.
- Para aceder ao armazenamento local, precisa configurar um servidor DNS personalizado que possa resolver os nomes de host do seu armazenamento. Deve fazer isto antes de criar a cache.
Se você apenas usar o armazenamento Blob, pode utilizar o servidor DNS padrão fornecido pela Azure para a sua cache. No entanto, se precisar de acesso a armazenamento ou outros recursos fora do Azure, deve criar um servidor DNS personalizado e configurá-lo para encaminhar qualquer pedido de resolução específico do Azure para o servidor DNS do Azure.
Para usar um servidor DNS personalizado, precisa de seguir estes passos de configuração antes de criar a sua cache:
Crie a rede virtual que hospedará o Azure HPC Cache.
Crie o servidor DNS.
Adicione o servidor DNS à rede virtual da cache.
Siga estes passos para adicionar o servidor DNS à rede virtual no portal do Azure:
- Abra a rede virtual no portal do Azure.
- Escolha servidores DNS a partir do menu Configurações na barra lateral.
- Selecionar Personalizado
- Introduza o endereço IP do servidor DNS no campo.
Um servidor DNS simples também pode ser usado para balancear a carga das conexões dos clientes entre todos os pontos de montagem de cache disponíveis.
Saiba mais sobre redes virtuais do Azure e configurações de servidores DNS em Resolução de nomes para recursos nas redes virtuais do Azure.
Acesso NTP
A Cache HPC precisa de acesso a um servidor NTP para funcionamento regular. Se restringir o tráfego de saída das suas redes virtuais, certifique-se de permitir o tráfego para pelo menos um servidor NTP. O servidor padrão é time.windows.com, e a cache contacta este servidor na porta UDP 123.
Crie uma regra no grupo de segurança da rede da sua rede de cache que permita tráfego de saída para o seu servidor NTP. A regra pode simplesmente permitir todo o tráfego de saída na porta UDP 123 ou ter mais restrições.
Este exemplo abre explicitamente tráfego de saída para o endereço IP 168.61.215.74, que é o endereço usado por time.windows.com.
| Prioridade | Nome | Porto | Protocolo | Fonte | Destino | Ação |
|---|---|---|---|---|---|---|
| 200 | PNT | Qualquer | UDP | Qualquer | 168.61.215.74 | Permitir |
Certifique-se de que a regra NTP tenha maior prioridade do que quaisquer regras que neguem amplamente o acesso de saída.
Mais dicas para acesso ao NTP:
Se tiver firewalls entre a sua Cache HPC e o servidor NTP, certifique-se de que estas firewalls também permitem o acesso NTP.
Pode configurar qual servidor NTP o seu HPC Cache utiliza na página de Redes. Leia Configurar as definições adicionais para mais informações.
Acesso ao Armazenamento de Filas do Azure
A cache deve ser capaz de aceder de forma segura ao serviço de Armazenamento em Fila do Azure a partir do seu sub-rede dedicada. O Azure HPC Cache utiliza o serviço de filas ao comunicar informações de configuração e estado.
Se a cache não conseguir aceder ao serviço de fila, poderá ver uma mensagem de erro CacheConnectivityError ao criar a cache.
Existem duas maneiras de fornecer acesso:
Crie um ponto final de serviço do Azure Storage na sua sub-rede de cache. Leia Adicione uma sub-rede de rede virtual para obter instruções de como adicionar o ponto de extremidade do serviço Microsoft.Storage.
Configure individualmente o acesso ao domínio do serviço de filas de armazenamento do Azure no seu grupo de segurança de rede ou noutros firewalls.
Adicione regras para permitir o acesso nestas portas:
Porta TCP 443 para tráfego seguro para qualquer anfitrião no domínio queue.core.windows.net (
*.queue.core.windows.net).Porta TCP 80 - usada para verificação do certificado do lado do servidor. Isto é por vezes referido como verificação da lista de certificados revogados (CRL) e comunicações do protocolo de estado de certificado online (OCSP). Todo o *.queue.core.windows.net utiliza o mesmo certificado e, portanto, os mesmos servidores CRL/OCSP. O nome do host está armazenado no certificado SSL do lado do servidor.
Consulte as dicas sobre regras de segurança em Acesso NTP para mais informações.
Este comando lista os servidores CRL e OCSP que devem ter acesso permitido. Estes servidores devem ser resolvíveis por DNS e alcançáveis na porta 80 a partir da sub-rede de cache.
openssl s_client -connect azure.queue.core.windows.net:443 2>&1 < /dev/null | sed -n '/-----BEGIN/,/-----END/p' | openssl x509 -noout -text -in /dev/stdin |egrep -i crl\|ocsp|grep URIA saída parece algo assim e pode alterar-se se o certificado SSL for atualizado.
OCSP - URI:http://ocsp.msocsp.com CRL - URI:http://mscrl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl CRL - URI:http://crl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
Pode verificar a conectividade da sub-rede usando este comando a partir de uma VM de teste dentro da sub-rede:
openssl s_client -connect azure.queue.core.windows.net:443 -status 2>&1 < /dev/null |grep "OCSP Response Status"
Uma ligação bem-sucedida gera esta resposta:
OCSP Response Status: successful (0x0)
Acesso ao servidor de eventos
O Azure HPC Cache utiliza endpoints do servidor de eventos do Azure para monitorizar o estado do cache e enviar informações de diagnóstico.
Certifique-se de que a cache possa acessar com segurança os hosts no domínio events.data.microsoft.com - ou seja, abra a porta TCP 443 para o tráfego para *.events.data.microsoft.com.
Permissões
Verifique estes pré-requisitos relacionados com permissões antes de começar a criar a sua cache.
A instância de cache precisa ser capaz de criar interfaces de rede virtuais (NICs). O utilizador que cria a cache deve ter privilégios suficientes na subscrição para criar NICs.
Se estiver a usar o armazenamento Blob, o Azure HPC Cache necessita de autorização para aceder à sua conta de armazenamento. Utilize o controlo de acesso baseado em funções do Azure (Azure RBAC) para permitir que a cache aceda ao seu armazenamento Blob. São necessários dois papéis: Colaborador da Conta de Armazenamento e Colaborador de Dados de Blob de Armazenamento.
Siga as instruções em Adicionar alvos de armazenamento para adicionar as funções.
Infraestrutura de armazenamento
A cache suporta contentores de Blob do Azure, exportações de armazenamento de hardware NFS e contentores de Blob do ADLS montados em NFS. Adicione alvos de armazenamento depois de criar a cache.
Cada tipo de armazenamento tem pré-requisitos específicos.
Requisitos de armazenamento Blob
Se deseja utilizar o armazenamento de Blobs do Azure com a sua cache, precisa de uma conta de armazenamento compatível e de um recipiente de Blob vazio ou de um recipiente preenchido com dados formatados para o Azure HPC Cache, conforme descrito em Mover dados para o armazenamento de Blobs do Azure.
Nota
Requisitos diferentes aplicam-se ao armazenamento de blobs montado em NFS. Leia requisitos de armazenamento ADLS-NFS para mais detalhes.
Crie a conta antes de tentar adicionar um alvo de armazenamento. Pode criar um novo contentor quando adicionar o destino.
Para criar uma conta de armazenamento compatível, use uma das seguintes combinações:
| Desempenho | Tipo | Replicação | Nível de acesso |
|---|---|---|---|
| Padrão | StorageV2 (propósito geral v2) | Armazenamento localmente redundante (LRS) ou armazenamento com redundância de zona (ZRS) | Quente |
| De Luxo | Blobs de Blocos | Armazenamento com redundância local (LRS) | Quente |
A conta de armazenamento deve ser acessível a partir da sub-rede privada da sua cache. Se a sua conta utilizar um endpoint privado ou um endpoint público que é restrito a redes virtuais específicas, certifique-se de ativar o acesso a partir da sub-rede da cache. (Não é recomendada uma endpoint público aberto.)
Leia Trabalhar com pontos finais privados para dicas sobre a utilização de pontos finais privados com alvos de armazenamento do HPC Cache.
É uma boa prática usar uma conta de armazenamento na mesma região do Azure que a sua cache.
Também deve conceder à aplicação cache acesso à sua conta de armazenamento Azure, conforme mencionado em Permissões, acima. Siga o procedimento em Add storage targets para dar à cache os papéis de acesso requeridos. Se não for o proprietário da conta de armazenamento, peça ao proprietário para executar este passo.
Requisitos de armazenamento NFS
Se estiver a usar um sistema de armazenamento NFS (por exemplo, um sistema NAS de hardware local), certifique-se de que cumpre estes requisitos. Poderá ser necessário trabalhar com os administradores de rede ou gestores de firewall do seu sistema de armazenamento (ou centro de dados) para verificar estas definições.
Nota
A criação do alvo de armazenamento falhará se a cache não tiver acesso suficiente ao sistema de armazenamento NFS.
Mais informações estão disponíveis em Resolução de problemas de configuração de NAS e questões de armazenamento NFS.
Conectividade de rede: O Azure HPC Cache necessita de acesso à rede de alta largura de banda entre a sub-rede da cache e o centro de dados do sistema NFS. ExpressRoute ou acesso semelhante é recomendado. Se estiver a utilizar uma VPN, poderá precisar de configurá-la para limitar o TCP MSS a 1350 para garantir que pacotes grandes não sejam bloqueados. Leia restrições ao tamanho do pacote VPN para obter mais ajuda na resolução de problemas das configurações de VPN.
Acesso a portas: A cache necessita de acesso a portas TCP/UDP específicas no seu sistema de armazenamento. Diferentes tipos de armazenamento têm diferentes requisitos de porta.
Para verificar as definições do seu sistema de armazenamento, siga este procedimento.
Emita um comando
rpcinfono seu sistema de armazenamento para verificar as portas necessárias. O comando abaixo lista as portas e formata os resultados relevantes numa tabela. (Use o endereço IP do seu sistema no lugar do <termo storage_IP> .)Pode emitir este comando a partir de qualquer cliente Linux que tenha a infraestrutura NFS instalada. Se utilizar um cliente dentro da sub-rede do cluster, isso também pode ajudar a verificar a conectividade entre a sub-rede e o sistema de armazenamento.
rpcinfo -p <storage_IP> |egrep "100000\s+4\s+tcp|100005\s+3\s+tcp|100003\s+3\s+tcp|100024\s+1\s+tcp|100021\s+4\s+tcp"| awk '{print $4 "/" $3 " " $5}'|column -t
Certifique-se de que todas as portas retornadas pela consulta
rpcinfopermitem tráfego irrestrito da sub-rede do Azure HPC Cache.Se não puder usar o comando
rpcinfo, certifique-se de que estas portas frequentemente utilizadas permitam tráfego de entrada e saída.Protocolo Porto Serviço TCP/UDP 111 rpcbind TCP/UDP 2049 Sistema de Arquivos de Rede (NFS) TCP/UDP 4045 Nlockmgr TCP/UDP 4046 montado TCP/UDP 4047 estado Alguns sistemas usam números de porta diferentes para estes serviços - consulte a documentação do seu sistema de armazenamento para ter certeza.
Verifica as definições do firewall para garantires que permitem o tráfego em todas estas portas necessárias. Certifique-se de verificar os firewalls utilizados no Azure, bem como os firewalls locais no seu centro de dados.
O armazenamento de back-end NFS deve ser uma plataforma de hardware/software compatível. O armazenamento deve suportar o NFS Version 3 (NFSv3). Contacte a equipa do Azure HPC Cache para mais informações.
Requisitos de armazenamento de blob montado via NFS (ADLS-NFS)
O Azure HPC Cache também pode usar um contêiner de blobs montado com o protocolo NFS como um alvo de armazenamento.
Leia mais sobre esta funcionalidade em suporte ao protocolo NFS 3.0 no armazenamento Blob do Azure.
Os requisitos da conta de armazenamento são diferentes para um destino de armazenamento em blob ADLS-NFS e para um destino de armazenamento em blob padrão. Siga cuidadosamente as instruções em Montar armazenamento Blob usando o protocolo Network File System (NFS) 3.0 para criar e configurar a conta de armazenamento com suporte para NFS.
Esta é uma visão geral dos passos. Estas etapas podem mudar, por isso consulte sempre as instruções do ADLS-NFS para obter os detalhes mais atualizados.
Certifique-se de que as funcionalidades de que necessita estão disponíveis nas regiões onde planeia trabalhar.
Ative a funcionalidade do protocolo NFS para a sua subscrição. Faça isso antes de criar a conta de armazenamento.
Crie uma rede virtual segura (VNet) para a conta de armazenamento. Deve utilizar a mesma rede virtual para a sua conta de armazenamento com NFS ativado e para o seu Azure HPC Cache. (Não utilize a mesma sub-rede que a cache.)
Crie a conta de armazenamento.
Em vez de usar as configurações da conta de armazenamento para uma conta de armazenamento de blobs padrão, siga as instruções no documento de como fazer. O tipo de conta de armazenamento suportado pode variar conforme a região do Azure.
Na secção de Rede, escolha um endpoint privado na rede virtual segura que criou (recomendado) ou escolha um endpoint público com acesso restrito a partir da VNet segura.
Leia Trabalhar com pontos finais privados para dicas sobre a utilização de pontos finais privados com alvos de armazenamento do HPC Cache.
Não se esqueça de completar a secção Avançada, onde ativa o acesso NFS.
Dê à aplicação de cache acesso à sua conta de armazenamento Azure, conforme mencionado em Permissões, acima. Pode fazer isto na primeira vez que criar um alvo de armazenamento. Siga o procedimento em Add storage targets para dar à cache os papéis de acesso requeridos.
Se não for o proprietário da conta de armazenamento, peça ao proprietário para realizar este passo.
Saiba mais sobre o uso de alvos de armazenamento ADLS-NFS com o Azure HPC Cache em Usar armazenamento em blob montado por NFS com o Azure HPC Cache.
Trabalhar com pontos finais privados
O Azure Storage suporta endpoints privados para permitir acesso seguro aos dados. Pode usar endpoints privados com destinos de armazenamento em blob montados em Azure Blob ou NFS.
Saiba mais sobre os endpoints privados
Um endpoint privado fornece um endereço IP específico que a Cache HPC utiliza para se comunicar com o seu sistema de armazenamento de back-end. Se esse endereço IP mudar, a cache não consegue restabelecer automaticamente a ligação com o armazenamento.
Se precisar alterar a configuração de um ponto de extremidade privado, siga este procedimento para evitar problemas de comunicação entre o armazenamento e a Cache HPC.
- Suspenda o alvo de armazenamento (ou todos os alvos de armazenamento que utilizem este endpoint privado).
- Faça alterações no ponto final privado e guarde essas alterações.
- Coloque novamente o alvo de armazenamento em serviço com o comando "resume".
- Atualize a configuração de DNS do alvo de armazenamento.
Leia Visualizar e gerir alvos de armazenamento para aprender a suspender, retomar e atualizar o DNS para alvos de armazenamento.
Configure o acesso à CLI do Azure (opcional)
Se pretende criar ou gerir o Azure HPC Cache a partir do Azure CLI, precisa de instalar o Azure CLI e a extensão hpc-cache. Siga as instruções em Set up Azure CLI for Azure HPC Cache.
Próximos passos
- Crie uma instância do Azure HPC Cache a partir do portal Azure