Criar e gerenciar um cluster dedicado nos Logs do Azure Monitor

  • Artigo

Vincular um espaço de trabalho do Log Analytics a um cluster dedicado no Azure Monitor fornece recursos avançados e maior utilização de consultas. Os clusters exigem um compromisso mínimo de ingestão de 100 GB por dia. Você pode vincular e desvincular espaços de trabalho de um cluster dedicado sem qualquer perda de dados ou interrupção do serviço.

Capacidades avançadas

Recursos que exigem clusters dedicados:

  • Chaves gerenciadas pelo cliente - Criptografe dados de cluster usando chaves que você fornece e controla.
  • Lockbox - Controle as solicitações de acesso do engenheiro de suporte da Microsoft aos seus dados.
  • Encriptação dupla - Proteja-se contra um cenário em que um dos algoritmos ou chaves de encriptação possa estar comprometido. Neste caso, a camada extra de encriptação continua a proteger os seus dados.
  • Otimização entre consultas - As consultas entre espaços de trabalho são executadas mais rapidamente quando os espaços de trabalho estão no mesmo cluster.
  • Otimização de custos - Vincule seus espaços de trabalho na mesma região ao cluster para obter desconto de camada de compromisso para todos os espaços de trabalho, mesmo para aqueles com baixa ingestão que se qualificam para desconto de camada de compromisso.
  • Zonas de disponibilidade - Proteja seus dados contra falhas de datacenter confiando em datacenters em diferentes locais físicos, equipados com energia, resfriamento e rede independentes. A separação física em zonas e infraestrutura independente torna um incidente muito menos provável, uma vez que o espaço de trabalho pode contar com os recursos de qualquer uma das zonas. As zonas de disponibilidade do Azure Monitor abrangem partes mais amplas do serviço e, quando disponíveis na sua região, estendem automaticamente a resiliência do Azure Monitor. O Azure Monitor cria clusters dedicados como habilitados para zona de disponibilidade (isAvailabilityZonesEnabled: 'true') por padrão em regiões com suporte. Clusters dedicados Atualmente, as zonas de disponibilidade não são suportadas em todas as regiões.
  • Ingest from Azure Event Hubs - Permite que você ingira dados diretamente de um hub de eventos em um espaço de trabalho do Log Analytics. O cluster dedicado permite que você use a capacidade ao ingerir todos os espaços de trabalho vinculados combinados para atender à camada de compromisso.

Modelo de preços de cluster

Os Clusters Dedicados do Log Analytics usam um modelo de preços de camada de compromisso de pelo menos 100 GB/dia. Qualquer utilização acima do nível de nível incorre em encargos com base na taxa por GB desse nível de compromisso. Consulte Detalhes de preços dos Logs do Azure Monitor para obter detalhes de preços para clusters dedicados. Os níveis de compromisso têm um período de compromisso de 31 dias a partir do momento em que um nível de compromisso é selecionado.

Pré-requisitos

  • Clusters dedicados exigem um compromisso mínimo de ingestão de 100 GB por dia.
  • Ao criar um cluster dedicado, não é possível nomeá-lo com o mesmo nome de um cluster que foi excluído nas últimas duas semanas.

Permissões obrigatórias

Para executar ações relacionadas ao cluster, você precisa destas permissões:

Ação Permissões ou função necessárias
Criar um cluster dedicado Microsoft.Resources/deployments/*e Microsoft.OperationalInsights/clusters/write permissões, conforme fornecido pela função interna Colaborador do Log Analytics, por exemplo
Alterar propriedades do cluster Microsoft.OperationalInsights/clusters/writepermissões, conforme fornecido pela função interna Colaborador do Log Analytics, por exemplo
Vincular espaços de trabalho a um cluster Microsoft.OperationalInsights/clusters/write, Microsoft.OperationalInsights/workspaces/writee Microsoft.OperationalInsights/workspaces/linkedservices/write permissões, conforme fornecido pela função interna Colaborador do Log Analytics, por exemplo
Verificar o status do link do espaço de trabalho Microsoft.OperationalInsights/workspaces/readpermissões para o espaço de trabalho, conforme fornecido pela função interna Log Analytics Reader, por exemplo
Obter clusters ou verificar o status de provisionamento de um cluster Microsoft.OperationalInsights/clusters/readpermissões, conforme fornecido pela função interna do Log Analytics Reader, por exemplo
Atualizar camada de compromisso ou cobrançaTipo em um cluster Microsoft.OperationalInsights/clusters/writepermissões, conforme fornecido pela função interna Colaborador do Log Analytics, por exemplo
Conceda as permissões necessárias Função de Proprietário ou Colaborador que tem */write permissões, ou a função interna de Colaborador do Log Analytics, que tem Microsoft.OperationalInsights/* permissões
Desvincular um espaço de trabalho do cluster Microsoft.OperationalInsights/workspaces/linkedServices/deletepermissões, conforme fornecido pela função interna Colaborador do Log Analytics, por exemplo
Excluir um cluster dedicado Microsoft.OperationalInsights/clusters/deletepermissões, conforme fornecido pela função interna Colaborador do Log Analytics, por exemplo

Para obter mais informações sobre as permissões do Log Analytics, consulte Gerenciar o acesso a dados de log e espaços de trabalho no Azure Monitor.

Criar um cluster dedicado

Forneça as seguintes propriedades ao criar um novo cluster dedicado:

  • ClusterName: Deve ser exclusivo para o grupo de recursos.
  • ResourceGroupName: use um grupo central de recursos de TI porque muitas equipes na organização geralmente compartilham clusters. Para obter mais considerações de design, consulte Criar uma configuração de espaço de trabalho do Log Analytics.
  • Location
  • SkuCapacity: Você pode definir a camada de compromisso como 100, 200, 300, 400, 500, 1000, 2000, 5000, 10000, 25000, 50000 GB por dia. O nível mínimo de compromisso suportado na CLI é 500 atualmente. Use REST para configurar camadas de compromisso mais baixas com um mínimo de 100. Para obter mais informações sobre custos de cluster, consulte Dedicar clusters.
  • Identidade gerenciada: os clusters suportam dois tipos de identidade gerenciada:

    • Identidade gerenciada atribuída ao sistema - Gerada automaticamente com a criação do cluster quando a identidade type é definida como "SystemAssigned". Essa identidade pode ser usada posteriormente para conceder acesso de armazenamento ao seu Cofre de Chaves para operações de encapsulamento e desempacotamento.

      Identidade na chamada REST do cluster

      {
  "identity": {
    "type": "SystemAssigned"
    }
}

    • Identidade gerenciada atribuída pelo usuário - Permite configurar uma chave gerenciada pelo cliente na criação do cluster, concedendo-lhe permissões no Cofre da Chave antes da criação do cluster.

      Identidade na chamada REST do cluster

      {
"identity": {
  "type": "UserAssigned",
    "userAssignedIdentities": {
      "subscriptions/<subscription-id>/resourcegroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/UserAssignedIdentities/<cluster-assigned-managed-identity>"
    }
  }  
}

Depois de criar o recurso de cluster, você pode editar propriedades como sku, *keyVaultProperties ou billingType. Veja mais detalhes abaixo.

Os clusters excluídos levam duas semanas para serem completamente removidos. Você pode ter até sete clusters por assinatura e região, cinco ativos e dois excluídos nas últimas duas semanas.

Nota

A criação de cluster aciona a alocação e o provisionamento de recursos. Esta operação pode levar algumas horas para ser concluída. O cluster dedicado é cobrado uma vez provisionado, independentemente da ingestão de dados, e é recomendável preparar a implantação para agilizar o provisionamento e o link de espaços de trabalho para o cluster. Verifique o seguinte:

  • É identificada uma lista de espaços de trabalho iniciais a serem vinculados ao cluster
  • Você tem permissões para a assinatura destinada ao cluster e a qualquer espaço de trabalho a ser vinculado

N/A

Verificar o status do provisionamento do cluster

O provisionamento do cluster do Log Analytics leva um tempo para ser concluído. Use um dos seguintes métodos para verificar a propriedade ProvisioningState . O valor é ProvisioningAccount durante o provisionamento e Successful quando concluído.

N/A

Nota

  • A vinculação de um espaço de trabalho pode ser executada somente após a conclusão do provisionamento do cluster do Log Analytics.
  • Vincular um espaço de trabalho a um cluster envolve a sincronização de vários componentes de back-end e a hidratação do cache, o que pode levar até duas horas.
  • Ao vincular um espaço de trabalho do Log Analytics, o plano de faturamento do espaço de trabalho foi alterado para LACluster, e você deve remover o sku no modelo de espaço de trabalho para evitar conflitos durante a implantação do espaço de trabalho.
  • Além dos aspetos de cobrança que são regidos pelo plano de cluster, todas as configurações de espaço de trabalho e aspetos de consulta permanecem inalterados durante e após o link.

Você precisa de permissões de 'gravação' para o espaço de trabalho e o recurso de cluster para a operação de link do espaço de trabalho:

  • No espaço de trabalho: Microsoft.OperationalInsights/workspaces/write
  • No recurso de cluster: Microsoft.OperationalInsights/clusters/write

Depois que o espaço de trabalho do Log Analytics é vinculado a um cluster dedicado, os novos dados enviados para o espaço de trabalho são ingeridos no cluster dedicado, enquanto os dados ingeridos anteriormente permanecem no cluster do Log Analytics. A vinculação de um espaço de trabalho não tem efeito sobre a operação do espaço de trabalho, incluindo experiências de ingestão e consulta. O mecanismo de consulta do Log Analytics corta dados de clusters antigos e novos automaticamente e os resultados das consultas são concluídos.

Quando o cluster dedicado é configurado com chave gerenciada pelo cliente (CMK), os novos dados ingeridos são criptografados com sua chave, enquanto os dados mais antigos permanecem criptografados com a chave gerenciada pela Microsoft (MMK). A configuração da chave é abstraída pelo Log Analytics e a consulta entre criptografias de dados antigas e novas é realizada perfeitamente.

Um cluster pode ser vinculado a até 1.000 espaços de trabalho localizados na mesma região com cluster. Um espaço de trabalho não pode ser vinculado a um cluster mais de duas vezes por mês, para evitar a fragmentação de dados.

O espaço de trabalho e o cluster podem estar em assinaturas diferentes. É possível que o espaço de trabalho e o cluster estejam em locatários diferentes se o Azure Lighthouse for usado para mapear ambos para um único locatário.

Use as etapas a seguir para vincular um espaço de trabalho a um cluster. Você pode usar a automação para vincular vários espaços de trabalho:

N/A

Quando um cluster é configurado com chaves gerenciadas pelo cliente, os dados ingeridos nos espaços de trabalho após a conclusão da operação de link são armazenados criptografados com sua chave gerenciada. A operação de link do espaço de trabalho pode levar até 90 minutos para ser concluída e você pode verificar o estado enviando a solicitação Get para o espaço de trabalho e observar se a propriedade clusterResourceId está presente na resposta em recursos.

  1. Abra o menu de espaços de trabalho do Log Analytics e selecione seu espaço de trabalho.
  2. Na página Visão geral, selecione Exibição JSON.

Alterar propriedades do cluster

Depois de criar o recurso de cluster e ele ser totalmente provisionado, você pode editar as propriedades do cluster usando a CLI, PowerShell ou API REST. As propriedades que você pode definir depois que o cluster é provisionado incluem:

  • keyVaultProperties - Contém a chave no Cofre de Chaves do Azure com os seguintes parâmetros: KeyVaultUri, KeyName, KeyVersion. Consulte Atualizar cluster com detalhes do identificador de chave.
  • Identidade - A identidade usada para autenticar no Cofre da Chave. Isso pode ser atribuído pelo sistema ou pelo usuário.
  • billingType - Atribuição de faturamento para o recurso de cluster e seus dados. Inclui os seguintes valores:
    • Cluster (padrão)--Os custos do cluster são atribuídos ao recurso de cluster.
    • Espaços de trabalho--Os custos do cluster são atribuídos proporcionalmente aos espaços de trabalho no Cluster, com o recurso de cluster sendo cobrado parte do uso se o total de dados ingeridos para o dia estiver abaixo da camada de compromisso. Consulte Clusters dedicados do Log Analytics para saber mais sobre o modelo de preços de cluster.

Importante

A atualização do cluster não deve incluir detalhes de identidade e identificador de chave na mesma operação. Se você precisar atualizar ambos, a atualização deve ser em duas operações consecutivas.

Nota

A propriedade billingType não é suportada na CLI.

Obter todos os clusters no grupo de recursos

N/A

Obter todos os clusters na subscrição

N/A

Atualizar camada de compromisso no cluster

Quando o volume de dados para espaços de trabalho vinculados muda ao longo do tempo, você pode atualizar o nível da Camada de Compromisso adequadamente para otimizar os custos. A camada é especificada em unidades de Gigabytes (GB) e pode ter valores de 100, 200, 300, 400, 500, 1000, 2000, 5000, 10000, 25000, 50000 GB por dia. Você não precisa fornecer o corpo completo da solicitação REST, mas deve incluir o sku.

Durante o período de compromisso, você pode mudar para um nível de compromisso mais alto, que reinicia o período de compromisso de 31 dias. Você não pode voltar para o pay-as-you-go ou para um nível de compromisso mais baixo até que termine o período de compromisso.

N/A

Atualizar faturaçãoTipo no cluster

A propriedade billingType determina a atribuição de faturamento para o cluster e seus dados:

  • Cluster (padrão) -- o faturamento é atribuído ao recurso Cluster
  • Espaços de trabalho -- a cobrança é atribuída proporcionalmente aos espaços de trabalho vinculados. Quando o volume de dados de todos os espaços de trabalho vinculados estiver abaixo do nível da Camada de Compromisso, a fatura do volume restante será atribuída ao cluster

N/A

Você pode desvincular um espaço de trabalho de um cluster a qualquer momento. A camada de preços do espaço de trabalho é alterada para por GB, os dados são ingeridos no cluster antes que a operação de desvinculação permaneça no cluster e os novos dados para o espaço de trabalho são ingeridos no Log Analytics.

Aviso

Desvincular um espaço de trabalho não move os dados do espaço de trabalho para fora do cluster. Todos os dados coletados para o espaço de trabalho enquanto vinculados ao cluster permanecem no cluster durante o período de retenção definido no espaço de trabalho e acessíveis desde que o cluster não seja excluído.

As consultas não são afetadas quando o espaço de trabalho é desvinculado e o serviço executa consultas entre clusters perfeitamente. Se o cluster tiver sido configurado com a chave gerenciada pelo cliente (CMK), os dados ingeridos no espaço de trabalho enquanto estavam vinculados permanecerão criptografados com sua chave e acessíveis, enquanto a chave e as permissões para o Cofre de Chaves permanecerão.

Nota

  • Há um limite de duas operações de link para um espaço de trabalho específico dentro de um mês para impedir a distribuição de dados entre clusters. Contacte o suporte se atingir o limite.
  • Os espaços de trabalho não vinculados são movidos para o nível de preço Pay-As-You-Go.

Use os seguintes comandos para desvincular um espaço de trabalho do cluster:

N/A

Eliminar o cluster

Você precisa ter permissões de gravação no recurso de cluster.

A operação de exclusão de cluster deve ser feita com cuidado, pois a operação não é recuperável. Todos os dados ingeridos para cluster a partir de espaços de trabalho vinculados são excluídos permanentemente.

A cobrança do cluster é interrompida quando o cluster é excluído, independentemente da camada de compromisso de 31 dias definida no cluster.

Se você excluir um cluster que tenha espaços de trabalho vinculados, os espaços de trabalho serão automaticamente desvinculados do cluster, os espaços de trabalho serão movidos para o nível de preço de pagamento conforme o uso e novos dados para espaços de trabalho serão ingeridos para clusters do Log Analytics. Você pode consultar o espaço de trabalho para o intervalo de tempo antes de ele ser vinculado ao cluster e após a desvinculação, e o serviço executa consultas entre clusters sem problemas.

Nota

  • Há um limite de sete clusters por assinatura e região, cinco ativos, além de dois que foram excluídos nas últimas duas semanas.
  • O nome do cluster permanece reservado duas semanas após a exclusão e não pode ser usado para criar um novo cluster.

Use os seguintes comandos para excluir um cluster:

N/A

Limites e restrições

  • Um máximo de cinco clusters ativos podem ser criados em cada região e assinatura.

  • Um máximo de sete clusters permitidos por assinatura e região, cinco ativos, mais dois que foram excluídos nas últimas 2 semanas.

  • Um máximo de 1.000 espaços de trabalho do Log Analytics podem ser vinculados a um cluster.

  • Um máximo de duas operações de link de espaço de trabalho em um espaço de trabalho específico é permitido em um período de 30 dias.

  • Atualmente, não há suporte para mover um cluster para outro grupo de recursos ou assinatura.

  • Não há suporte para mover um cluster para outra região.

  • A atualização do cluster não deve incluir detalhes de identidade e identificador de chave na mesma operação. Caso você precise atualizar ambos, a atualização deve ser em duas operações consecutivas.

  • O Lockbox não está disponível atualmente na China.

  • A criptografia dupla é configurada automaticamente para clusters criados a partir de outubro de 2020 em regiões suportadas. Você pode verificar se o cluster está configurado para criptografia dupla enviando uma solicitação GET no cluster e observando que o isDoubleEncryptionEnabled valor é true para clusters com criptografia dupla habilitada.

    • Se você criar um cluster e receber um erro "region-name doesn't support Double Encryption for clusters.", ainda poderá criar o cluster sem Double encryption adicionando "properties": {"isDoubleEncryptionEnabled": false} o corpo da solicitação REST.
    • A configuração de criptografia dupla não pode ser alterada após a criação do cluster.

  • A exclusão de um espaço de trabalho é permitida enquanto estiver vinculada ao cluster. Se você decidir recuperar o espaço de trabalho durante o período de exclusão suave, o espaço de trabalho retornará ao estado anterior e permanecerá vinculado ao cluster.

  • Durante o período de compromisso, você pode mudar para um nível de compromisso mais alto, que reinicia o período de compromisso de 31 dias. Você não pode voltar para o pay-as-you-go ou para um nível de compromisso mais baixo até que termine o período de compromisso.

Resolução de Problemas

  • Se você receber um erro de conflito ao criar um cluster, ele pode ter sido excluído nas últimas 2 semanas e ainda estiver em processo de exclusão. O nome do cluster permanece reservado durante o período de exclusão de 2 semanas e você não pode criar um novo cluster com esse nome.

  • Se você atualizar o cluster enquanto o cluster estiver no estado de provisionamento ou atualização, a atualização falhará.

  • Algumas operações são longas e podem demorar um pouco para serem concluídas. Estes são a criação de cluster, atualização de chave de cluster e exclusão de cluster. Você pode verificar o status da operação enviando a solicitação GET para o cluster ou espaço de trabalho e observar a resposta. Por exemplo, o espaço de trabalho desvinculado não terá o clusterResourceId em recursos.

  • Se você tentar vincular um espaço de trabalho do Log Analytics que já esteja vinculado a outro cluster, a operação falhará.

Mensagens de erro

Criação de cluster

  • 400--O nome do cluster não é válido. O nome do cluster pode conter caracteres a-z, A-Z, 0-9 e comprimento de 3-63.
  • 400--O corpo da solicitação é nulo ou em formato incorreto.
  • 400--O nome SKU é inválido. Defina o nome da SKU como capacityReservation.
  • 400--Capacidade foi fornecida, mas SKU não é capacityReservation. Defina o nome da SKU como capacityReservation.
  • 400--Capacidade ausente em SKU. Defina o valor Capacidade como 100, 200, 300, 400, 500, 1000, 2000, 5000, 10000, 25000, 50000 GB por dia.
  • 400--A capacidade está bloqueada por 30 dias. A diminuição da capacidade é permitida 30 dias após a atualização.
  • 400--Nenhum SKU foi definido. Defina o nome da SKU como capacityReservation e Capacity value como 100, 200, 300, 400, 500, 1000, 2000, 5000, 10000, 25000, 50000 GB por dia.
  • 400--A identidade é nula ou vazia. Defina Identity com o tipo systemAssigned .
  • 400--KeyVaultProperties são definidas na criação. Atualize KeyVaultProperties após a criação do cluster.
  • 400--A operação não pode ser executada agora. A operação assíncrona está em um estado diferente de bem-sucedido. O cluster deve concluir sua operação antes que qualquer operação de atualização seja executada.

Atualização de cluster

  • 400--O cluster está no estado de exclusão. A operação assíncrona está em andamento. O cluster deve concluir sua operação antes que qualquer operação de atualização seja executada.
  • 400--KeyVaultProperties não está vazio, mas tem um formato ruim. Consulte Atualização do identificador de chave.
  • 400--Falha ao validar a chave no Cofre da Chave. Pode ser devido à falta de permissões ou quando a chave não existe. Verifique se você definiu a chave e a política de acesso no Cofre da Chave.
  • 400--A chave não é recuperável. O Cofre de Chaves deve ser definido como Soft-delete e Purge-protection. Consulte a documentação do Key Vault
  • 400--A operação não pode ser executada agora. Aguarde a conclusão da operação assíncrona e tente novamente.
  • 400--O cluster está no estado de exclusão. Aguarde a conclusão da operação assíncrona e tente novamente.

Obter cluster

  • 404--Cluster não encontrado, o cluster pode ter sido excluído. Se você tentar criar um cluster com esse nome e obter conflito, o cluster está em processo de exclusão.

Exclusão de cluster

  • 409--Não é possível excluir um cluster enquanto estiver no estado de provisionamento. Aguarde a conclusão da operação assíncrona e tente novamente.
  • 404--Espaço de trabalho não encontrado. O espaço de trabalho especificado não existe ou foi excluído.
  • 409--Operação de link ou desvinculação do espaço de trabalho em processo.
  • 400--Cluster não encontrado, o cluster especificado não existe ou foi excluído.
  • 404--Espaço de trabalho não encontrado. O espaço de trabalho especificado não existe ou foi excluído.
  • 409--Operação de link ou desvinculação do espaço de trabalho em processo.

Próximos passos