Criar e gerir um cluster dedicado nos Registos do Azure Monitor

  • Artigo
  • 19 minutos para ler

Ligar uma área de trabalho do Log Analytics a um cluster dedicado no Azure Monitor fornece capacidades avançadas e uma utilização de consultas mais elevada. Os clusters requerem uma alocação de ingestão mínima de 500 GB por dia. Pode ligar e desassociar áreas de trabalho de um cluster dedicado sem qualquer perda de dados ou interrupção do serviço.

Capacidades avançadas

Capacidades que requerem clusters dedicados:

  • Chaves geridas pelo cliente – encriptar dados de cluster com chaves que fornece e controla.

  • Lockbox – controlar os pedidos de acesso dos engenheiros de suporte da Microsoft aos seus dados.

  • Encriptação dupla – proteja contra um cenário em que um dos algoritmos de encriptação ou chaves possa ser comprometido. Neste caso, a camada adicional de encriptação continua a proteger os seus dados.

  • Otimização entre consultas – as consultas entre áreas de trabalho são executadas mais rapidamente quando as áreas de trabalho estão no mesmo cluster.

  • Otimização de custos – ligue as áreas de trabalho na mesma região ao cluster para obter o desconto de escalão de alocação a todas as áreas de trabalho, mesmo a áreas de trabalho com ingestão baixa elegível para desconto de escalão de alocação.

  • Zonas de disponibilidade – proteja os dados contra falhas do datacenter ao depender de datacenters em diferentes localizações físicas, equipados com energia independente, arrefecimento e rede. A separação física nas zonas e na infraestrutura independente torna um incidente muito menos provável, uma vez que a área de trabalho pode depender dos recursos de qualquer uma das zonas. As zonas de disponibilidade do Azure Monitor abrangem partes mais amplas do serviço e, quando disponíveis na sua região, expandem automaticamente a resiliência do Azure Monitor. O Azure Monitor cria clusters dedicados como compatíveis com a zona de disponibilidade (isAvailabilityZonesEnabled: "true") por predefinição em regiões suportadas. Não pode alterar esta definição depois de criar o cluster.

    As zonas de disponibilidade não são atualmente suportadas em todas as regiões. Os novos clusters que criar em regiões suportadas têm zonas de disponibilidade ativadas por predefinição.

Modelo de preços do cluster

Os Clusters Dedicados do Log Analytics utilizam um modelo de preço de escalão de alocação de, pelo menos, 500 GB/dia. Qualquer utilização acima do nível de escalão implica custos com base na taxa por GB desse escalão de alocação. Veja Detalhes de preços dos Registos do Azure Monitor para obter detalhes de preços para clusters dedicados. Os escalões de alocação têm um período de alocação de 31 dias a partir do momento em que um escalão de alocação é selecionado.

Permissões obrigatórias

Para efetuar ações relacionadas com o cluster, precisa destas permissões:

Ação Permissões ou função necessárias
Criar um cluster dedicado Microsoft.Resources/deployments/*e Microsoft.OperationalInsights/clusters/write
Alterar propriedades do cluster Microsoft.OperationalInsights/clusters/write
Ligar áreas de trabalho a um cluster Microsoft.OperationalInsights/clusters/write e Microsoft.OperationalInsights/workspaces/write
Conceder as permissões necessárias Função de Proprietário ou Contribuidor que tenha */write permissões ou uma função contribuidor do Log Analytics que tenha Microsoft.OperationalInsights/* permissões.

Para obter mais informações sobre as permissões do Log Analytics, veja Gerir o acesso a dados de registo e áreas de trabalho no Azure Monitor.

Criar um cluster dedicado

Forneça as seguintes propriedades ao criar um novo cluster dedicado:

  • ClusterName: tem de ser exclusivo para o grupo de recursos.
  • ResourceGroupName: utilize um grupo de recursos de TI central porque muitas equipas na organização normalmente partilham clusters. Para obter mais considerações de conceção, veja Estruturar uma configuração da área de trabalho do Log Analytics(.). /logs/workspace-design.md).
  • Localização
  • SkuCapacity: pode definir o escalão de alocação (anteriormente denominado reservas de capacidade) para 500, 1000, 2000 ou 5000 GB/dia. Para obter mais informações sobre os custos do cluster, veja Dedicar clusters.
  • Identidade gerida: os clusters suportam dois tipos de identidade gerida:

    • Identidade gerida atribuída pelo sistema – gerada automaticamente com a criação do cluster quando a identidade type está definida como "SystemAssigned". Esta identidade pode ser utilizada mais tarde para conceder acesso de armazenamento ao seu Key Vault para operações de moldagem e desembrulhar.

      Identidade na Chamada REST do Cluster

      {
  "identity": {
    "type": "SystemAssigned"
    }
}

    • Identidade gerida atribuída pelo utilizador – permite-lhe configurar uma chave gerida pelo cliente na criação do cluster, ao conceder-lhe permissões no seu Key Vault antes da criação do cluster.

      Identidade na Chamada REST do Cluster

      {
"identity": {
  "type": "UserAssigned",
    "userAssignedIdentities": {
      "subscriptions/<subscription-id>/resourcegroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/UserAssignedIdentities/<cluster-assigned-managed-identity>"
    }
  }  
}

Depois de criar o recurso do cluster, pode editar propriedades como sku, *keyVaultProperties ou billingType. Veja mais detalhes abaixo.

Os clusters eliminados demoram duas semanas a serem completamente removidos. Pode ter até sete clusters por subscrição e região, cinco ativos e dois eliminados nas últimas duas semanas.

Nota

A criação de clusters aciona a alocação e o aprovisionamento de recursos. Esta operação pode demorar algumas horas a ser concluída. O cluster dedicado é faturado uma vez aprovisionado independentemente da ingestão de dados e recomenda-se preparar a implementação para agilizar a ligação de aprovisionamento e áreas de trabalho ao cluster. Verifique o seguinte:

  • É identificada uma lista da área de trabalho inicial a ser ligada ao cluster
  • Tem permissões para a subscrição destinada ao cluster e a qualquer área de trabalho a ser ligada
az account set --subscription "cluster-subscription-id"

az monitor log-analytics cluster create --no-wait --resource-group "resource-group-name" --name "cluster-name" --location "region-name" --sku-capacity "daily-ingestion-gigabyte"

# Wait for job completion when `--no-wait` was used
$clusterResourceId = az monitor log-analytics cluster list --resource-group "resource-group-name" --query "[?contains(name, 'cluster-name')].[id]" --output tsv
az resource wait --created --ids $clusterResourceId --include-response-body true

Verificar o estado de aprovisionamento do cluster

O aprovisionamento do cluster do Log Analytics demora algum tempo a concluir. Utilize um dos seguintes métodos para verificar a propriedade ProvisioningState . O valor é ProvisioningAccount durante o aprovisionamento e Com êxito quando concluído.

az account set --subscription "cluster-subscription-id"

az monitor log-analytics cluster show --resource-group "resource-group-name" --name "cluster-name"

Quando uma área de trabalho do Log Analytics está ligada a um cluster dedicado, os novos dados ingeridos na área de trabalho são encaminhados para o cluster enquanto os dados existentes permanecem no cluster do Log Analytics existente. Se o cluster dedicado estiver configurado com chaves geridas pelo cliente (CMK), os novos dados ingeridos são encriptados com a sua chave. O sistema abstrai a localização dos dados, pode consultar os dados como habitualmente enquanto o sistema executa consultas entre clusters em segundo plano.

Um cluster pode ser ligado a até 1000 áreas de trabalho. As áreas de trabalho ligadas podem estar localizadas na mesma região que o cluster. Uma área de trabalho não pode ser ligada a um cluster mais de duas vezes por mês, para impedir a fragmentação de dados.

Precisa de permissões de "escrita" para a área de trabalho e o recurso de cluster para a operação de ligação da área de trabalho:

  • Na área de trabalho: Microsoft.OperationalInsights/workspaces/write
  • No recurso do cluster: Microsoft.OperationalInsights/clusters/write

Para além dos aspetos de faturação que são regidos pelo plano de cluster, a configuração da área de trabalho ligada permanece.

A área de trabalho e o cluster podem estar em subscrições diferentes. É possível que a área de trabalho e o cluster estejam em inquilinos diferentes se o Azure Lighthouse for utilizado para mapear ambos para um único inquilino.

Nota

A ligação de uma área de trabalho só pode ser efetuada após a conclusão do aprovisionamento do cluster do Log Analytics. Ligar uma área de trabalho a um cluster envolve sincronizar vários componentes de back-end e hidratação em cache, o que pode demorar até duas horas.

Utilize os seguintes comandos para ligar uma área de trabalho a um cluster:

# Find cluster resource ID
az account set --subscription "cluster-subscription-id"
$clusterResourceId = az monitor log-analytics cluster list --resource-group "resource-group-name" --query "[?contains(name, "cluster-name")].[id]" --output tsv

# Link workspace
az account set --subscription "workspace-subscription-id"
az monitor log-analytics workspace linked-service create --no-wait --name cluster --resource-group "resource-group-name" --workspace-name "workspace-name" --write-access-resource-id $clusterResourceId

# Wait for job completion when `--no-wait` was used
$workspaceResourceId = az monitor log-analytics workspace list --resource-group "resource-group-name" --query "[?contains(name, "workspace-name")].[id]" --output tsv
az resource wait --deleted --ids $workspaceResourceId --include-response-body true

Quando um cluster é configurado com chaves geridas pelo cliente, os dados ingeridos nas áreas de trabalho após a conclusão da operação de ligação são armazenados encriptados com a sua chave gerida. A operação de ligação da área de trabalho pode demorar até 90 minutos a concluir e pode verificar o estado ao enviar o pedido Get para a área de trabalho e observar se a propriedade clusterResourceId está presente na resposta em funcionalidades.

az account set --subscription "workspace-subscription-id"

az monitor log-analytics workspace show --resource-group "resource-group-name" --workspace-name "workspace-name"

Alterar as propriedades do cluster

Depois de criar o recurso do cluster e este estar totalmente aprovisionado, pode editar as propriedades do cluster com a CLI, o PowerShell ou a API REST. As propriedades que pode definir após o aprovisionamento do cluster incluem:

  • keyVaultProperties - Contém a chave no Azure Key Vault com os seguintes parâmetros: KeyVaultUri, KeyName, KeyVersion. Veja Atualizar o cluster com os Detalhes do identificador de chave.
  • Identidade – a identidade utilizada para autenticar no seu Key Vault. Isto pode ser Atribuído pelo sistema ou atribuído pelo utilizador.
  • billingType - Atribuição de faturação para o recurso do cluster e os respetivos dados. Inclui os seguintes valores:
    • Cluster (predefinição) – os custos do cluster são atribuídos ao recurso do cluster.
    • Áreas de trabalho – os custos do cluster são atribuídos proporcionalmente às áreas de trabalho no Cluster, com o recurso do cluster a ser cobrado parte da utilização se o total de dados ingeridos do dia estiver na camada de alocação. Veja Clusters Dedicados do Log Analytics para saber mais sobre o modelo de preços do cluster.

Importante

A atualização do cluster não deve incluir detalhes de identidade e identificador de chave na mesma operação. Se precisar de atualizar ambos, a atualização deverá estar em duas operações consecutivas.

Nota

A propriedade billingType não é suportada na CLI.

Obter todos os clusters no grupo de recursos

az account set --subscription "cluster-subscription-id"

az monitor log-analytics cluster list --resource-group "resource-group-name"

Obter todos os clusters na subscrição

az account set --subscription "cluster-subscription-id"

az monitor log-analytics cluster list

Atualizar o escalão de alocação no cluster

Quando o volume de dados para áreas de trabalho ligadas muda ao longo do tempo, pode atualizar o nível escalão de alocação adequadamente para otimizar os custos. O escalão é especificado em unidades de Gigabytes (GB) e pode ter valores de 500, 1000, 2000 ou 5000 GB por dia. Não tem de fornecer o corpo completo do pedido REST, mas tem de incluir o SKU.

Durante o período de alocação, pode mudar para um escalão de alocação superior, que reinicia o período de alocação de 31 dias. Não pode voltar para pay as you go ou para um escalão de alocação inferior até terminar o período de alocação.

az account set --subscription "cluster-subscription-id"

az monitor log-analytics cluster update --resource-group "resource-group-name" --name "cluster-name"  --sku-capacity 500

Atualizar billingType no cluster

A propriedade billingType determina a atribuição de faturação para o cluster e os respetivos dados:

  • Cluster (predefinição) – a faturação é atribuída ao recurso cluster
  • Áreas de trabalho – a faturação é atribuída proporcionalmente a áreas de trabalho ligadas. Quando o volume de dados de todas as áreas de trabalho ligadas está abaixo do nível do Escalão de Alocação, a fatura do volume restante é atribuída ao cluster

N/D

Pode desassociar uma área de trabalho de um cluster em qualquer altura. O escalão de preço da área de trabalho é alterado para por GB, os dados ingeridos no cluster antes da operação de desassociação permanecer no cluster e os novos dados para a área de trabalho são ingeridos no Log Analytics.

Aviso

Desassociar uma área de trabalho não move os dados da área de trabalho para fora do cluster. Todos os dados recolhidos para a área de trabalho enquanto estão ligados ao cluster permanecem no cluster durante o período de retenção definido na área de trabalho e acessíveis desde que o cluster não seja eliminado.

As consultas não são afetadas quando a área de trabalho está desassociada e o serviço executa consultas entre clusters de forma totalmente integrada. Se o cluster tiver sido configurado com a Chave gerida pelo cliente (CMK), os dados ingeridos na área de trabalho enquanto estiver ligado permanecerão encriptados com a sua chave e acessíveis, enquanto a sua chave e permissões para Key Vault permanecem.

Nota

  • Existe um limite de duas operações de ligação para uma área de trabalho específica dentro de um mês para impedir a distribuição de dados entre clusters. Contacte o suporte se atingir o limite.
  • As áreas de trabalho não associadas são movidas para o escalão de preço Pay As You Go.

Utilize os seguintes comandos para desassociar uma área de trabalho do cluster:

az account set --subscription "workspace-subscription-id"

az monitor log-analytics workspace linked-service delete --resource-group "resource-group-name" --workspace-name "workspace-name" --name cluster

Eliminar o cluster

Tem de ter permissões de escrita no recurso do cluster.

A operação de eliminação do cluster deve ser feita com cuidado, uma vez que a operação não é recuperável. Todos os dados ingeridos no cluster a partir de áreas de trabalho ligadas são eliminados permanentemente.

A faturação do cluster para quando o cluster é eliminado, independentemente do escalão de alocação de 31 dias definido no cluster.

Se eliminar um cluster com áreas de trabalho ligadas, as áreas de trabalho são automaticamente desassociadas do cluster, as áreas de trabalho são movidas para o escalão de preço Pay As You Go e os novos dados para áreas de trabalho são ingeridos em clusters do Log Analytics. Pode consultar a área de trabalho do intervalo de tempo antes de ser ligado ao cluster e, após a desassociação, e o serviço efetua consultas entre clusters de forma totalmente integrada.

Nota

  • Existe um limite de sete clusters por subscrição e região, cinco ativos, mais dois que foram eliminados nas últimas duas semanas.
  • O nome do cluster permanece reservado duas semanas após a eliminação e não pode ser utilizado para criar um novo cluster.

Utilize os seguintes comandos para eliminar um cluster:

az account set --subscription "cluster-subscription-id"

az monitor log-analytics cluster delete --resource-group "resource-group-name" --name $clusterName

Limites e restrições

  • Pode ser criado um máximo de cinco clusters ativos em cada região e subscrição.

  • Um máximo de sete clusters permitidos por subscrição e região, cinco ativos, mais dois que foram eliminados nas últimas 2 semanas.

  • Um máximo de 1000 áreas de trabalho do Log Analytics podem ser ligadas a um cluster.

  • É permitido um máximo de duas operações de ligação de área de trabalho numa área de trabalho específica num período de 30 dias.

  • Atualmente, a movimentação de um cluster para outro grupo de recursos ou subscrição não é suportada.

  • A atualização do cluster não deve incluir detalhes de identidade e identificador de chave na mesma operação. Caso precise de atualizar ambas, a atualização deve estar em duas operações consecutivas.

  • O Sistema de Proteção de Dados não está atualmente disponível na China.

  • A encriptação dupla é configurada automaticamente para clusters criados a partir de outubro de 2020 em regiões suportadas. Pode verificar se o cluster está configurado para encriptação dupla ao enviar um pedido GET no cluster e observar que o isDoubleEncryptionEnabled valor é true para clusters com a Encriptação dupla ativada.

    • Se criar um cluster e receber um erro "nome da região não suporta Encriptação Dupla para clusters", ainda pode criar o cluster sem encriptação Dupla ao adicionar "properties": {"isDoubleEncryptionEnabled": false} no corpo do pedido REST.
    • A definição de encriptação dupla não pode ser alterada após a criação do cluster.

  • A eliminação de uma área de trabalho é permitida enquanto está ligada ao cluster. Se decidir recuperar a área de trabalho durante o período de eliminação recuperável , a área de trabalho regressa ao estado anterior e permanece ligada ao cluster.

  • Durante o período de alocação, pode mudar para um escalão de alocação superior, que reinicia o período de alocação de 31 dias. Não pode voltar para pay as you go ou para um escalão de alocação inferior até terminar o período de alocação.

Resolução de problemas

  • Se receber um erro de conflito ao criar um cluster, este poderá ter sido eliminado nas últimas 2 semanas e ainda no processo de eliminação. O nome do cluster permanece reservado durante o período de eliminação de 2 semanas e não pode criar um novo cluster com esse nome.

  • Se atualizar o cluster enquanto o cluster estiver no estado de aprovisionamento ou atualização, a atualização falhará.

  • Algumas operações são longas e podem demorar algum tempo a concluir. Trata-se da criação de clusters, da atualização da chave de cluster e da eliminação de clusters. Pode verificar o estado da operação ao enviar um pedido GET para o cluster ou área de trabalho e observar a resposta. Por exemplo, a área de trabalho desassociada não terá o clusterResourceId em funcionalidades.

  • Se tentar ligar uma área de trabalho do Log Analytics que já esteja ligada a outro cluster, a operação falhará.

Mensagens de erro

Criação de Clusters

  • 400 - O nome do cluster não é válido. O nome do cluster pode conter carateres a-z, A-Z, 0-9 e comprimento de 3-63.
  • 400 - O corpo do pedido é nulo ou está em mau formato.
  • 400--O nome do SKU é inválido. Defina o nome do SKU como capacityReservation.
  • 400- A capacidade foi fornecida, mas o SKU não é capacityReservation. Defina o nome do SKU como capacityReservation.
  • 400 – Capacidade em Falta no SKU. Defina o Valor da capacidade como 500, 1000, 2000 ou 5000 GB/dia.
  • 400- A capacidade está bloqueada durante 30 dias. A diminuição da capacidade é permitida 30 dias após a atualização.
  • 400 - Não foi definido nenhum SKU. Defina o nome do SKU como capacityReservation e Valor de capacidade como 500, 1000, 2000 ou 5000 GB/dia.
  • 400 --A identidade é nula ou está vazia. Defina a Identidade com o tipo systemAssigned.
  • 400--KeyVaultProperties são definidos na criação. Atualize KeyVaultProperties após a criação do cluster.
  • 400 - A operação não pode ser executada agora. A operação assíncrona está num estado diferente de com êxito. O cluster tem de concluir a operação antes de qualquer operação de atualização ser executada.

Atualização do Cluster

  • 400 -- O cluster está no estado de eliminação. A operação assíncrona está em curso. O cluster tem de concluir a operação antes de qualquer operação de atualização ser executada.
  • 400--KeyVaultProperties não está vazio, mas tem um formato incorreto. Veja atualização do identificador de chave.
  • 400 - Falha ao validar a chave no Key Vault. Pode dever-se à falta de permissões ou quando a chave não existe. Verifique se definiu a política de acesso e chave no Key Vault.
  • 400 – a chave não é recuperável. Key Vault tem de ser definido como Eliminação recuperável e Proteção contra remoção. Veja Key Vault documentação
  • 400 - A operação não pode ser executada agora. Aguarde que a operação Assíncrona seja concluída e tente novamente.
  • 400 -- O cluster está no estado de eliminação. Aguarde que a operação Assíncrona seja concluída e tente novamente.

Obter Cluster

  • 404 --Cluster não encontrado, o cluster pode ter sido eliminado. Se tentar criar um cluster com esse nome e obter conflitos, o cluster está em processo de eliminação.

Eliminação do Cluster

  • 409 - Não é possível eliminar um cluster no estado de aprovisionamento. Aguarde que a operação Assíncrona seja concluída e tente novamente.
  • 404 --Área de trabalho não encontrada. A área de trabalho que especificou não existe ou foi eliminada.
  • 409 - Operação de ligação ou desassociação da área de trabalho em processo.
  • 400 --Cluster não encontrado, o cluster que especificou não existe ou foi eliminado.
  • 404 --Área de trabalho não encontrada. A área de trabalho que especificou não existe ou foi eliminada.
  • 409 - Operação de ligação ou desassociação da área de trabalho em processo.

Passos seguintes