Visão geral da camada dos Hubs de Eventos Dedicados do Azure

  • Artigo

Os clusters dos Hubs de Eventos Dedicados foram projetados para atender às necessidades das cargas de trabalho de streaming de eventos críticos mais exigentes. Esses clusters oferecem um serviço de streaming de eventos de alto desempenho, baixa latência, escalonável e confiável para os seus aplicativos de streaming de eventos baseados em APIs AMQP (SDK dos Hubs de Eventos) ou Apache Kafka.

Observação

A camada dedicada não está disponível em todas as regiões. Tente criar um cluster dedicado no portal do Azure e confira as regiões com suporte na lista suspensa Localização da página Criar Cluster dos Hubs de Eventos.

Por que clusters dedicados?

A camada dedicada dos Hubs de Eventos oferece vários benefícios para os clientes que precisam executar cargas de trabalho críticas na capacidade de nível empresarial.

Streaming de eventos de baixa latência

Esses clusters têm baixa latência de ponta a ponta e alto desempenho otimizados. Portanto, eles possibilitam que as empresas lidem com streaming de dados de alta velocidade e alto volume.

Transmitindo grandes volumes de dados

Os clusters dedicados podem transmitir eventos na escala de gigabytes por segundo ou milhões de eventos por segundo para a maioria dos casos de uso. Além disso, é possível escalá-los com facilidade para acomodar alterações no volume de streaming de eventos.

Desempenho consistente garantido

Os clusters dos Hubs de Eventos Dedicados reduzem a instabilidade da latência e garantem um desempenho consistente com a capacidade garantida.

Interferência zero

Os clusters dos Hubs de Eventos Dedicados operam em uma arquitetura de locatário único. Graças a ela, os recursos alocados não são compartilhados com nenhum outro locatário. Assim, ao contrário de outras camadas, não há nenhuma interferência entre locatários nos clusters dedicados.

Escala de autoatendimento

O cluster dedicado oferece funcionalidades de escala por autoatendimento que permitem ajustar a capacidade do cluster de acordo com cargas dinâmicas e facilitar as operações de negócios. Você pode escalar horizontalmente durante picos de uso e reduzir horizontalmente quando o uso for baixo.

Recursos de alto nível e cotas generosas

Os clusters dedicados incluem todos os recursos da camada Premium e muito mais. O serviço gerencia também o balanceamento de carga, as atualizações do sistema operacional, os patches de segurança e o particionamento. Portanto, você pode dedicar menos tempo à manutenção da infraestrutura e mais à criação de aplicativos de streaming de eventos.

Unidades de capacidade (CU)

Clusters dedicados são provisionados e cobrados por Unidade de capacidade (CU), uma quantidade pré-alocada de recursos de CPU e memória.

O quanto você pode ingerir e transmitir por CU depende de uma variedade de fatores, como os seguintes:

  • Número de produtores e consumidores
  • Número de partições.
  • Configuração de produtor e consumidor.
  • Tamanho da carga
  • Taxa de saída

Por isso, para determinar o número necessário de unidades de capacidade, você deve executar sua carga de trabalho de streaming de eventos prevista em um cluster dos Hubs de Eventos Dedicados enquanto observa a utilização de recursos do cluster. Para saber mais, confira Quando escalar meu cluster dedicado.

Tipos de cluster

Os clusters dos Hubs de Eventos Dedicados vêm em dois tipos distintos: clusters escalonáveis de autoatendimento e clusters herdados. Esses dois tipos têm diferenças no suporte para o número de unidades de capacidade, a quantidade de taxa de transferência que cada unidade de capacidade oferece e a disponibilidade regional e de zona.

Como você usa clusters dedicados, você pode determinar o tipo de cluster examinando a disponibilidade do recurso de escala de capacidade no portal. Caso essa funcionalidade esteja presente, você está usando um cluster escalonável de autoatendimento. Por outro lado, se ele está indisponível, você está utilizando um cluster dedicado herdado. Como alternativa, você pode procurar as propriedades do Azure Resource Manager relacionadas a clusters dedicados.

Clusters escalonáveis de autoatendimento

Os clusters escalonáveis de autoatendimento dos Hubs de Eventos são baseados em uma nova infraestrutura e permitem que os usuários escalem com facilidade o número de unidades de capacidade alocadas para cada cluster. Criando um cluster dedicado com o portal dos Hubs de Eventos ou com os modelos do ARM, você tem acesso a um cluster escalonável de autoatendimento. Para saber como dimensionar seu cluster dedicado, confira Escalar clusters dos Hubs de Eventos Dedicados.

Aproximadamente, uma unidade de capacidade em um cluster escalonável de autoatendimento oferece capacidade de entrada que varia de 100 MB/s a 200 MB/s, embora a taxa de transferência real possa flutuar de acordo com vários fatores.

Com clusters escalonáveis de autoatendimento, você pode comprar até dez unidades de capacidade para um cluster no portal do Azure. Esses clusters, ao contrário dos tradicionais, podem ser escalados incrementalmente com unidades de capacidade variando de um a dez. Se você precisar de um cluster maior do que dez unidades de capacidade, envie uma solicitação de suporte para escalar seu cluster após a criação.

Importante

O Dedicado escalonável de autoatendimento pode ser implantado com zonas de disponibilidade habilitadas com três CUs, mas você não poderá usar a funcionalidade de dimensionamento de autoatendimento para dimensionar o cluster. Para criar ou dimensionar um cluster de autoatendimento habilitado para AZ, você deve enviar uma solicitação de suporte.

Clusters herdados

Os clusters dos Hubs de Eventos Dedicados criados antes da disponibilidade de clusters escalonáveis de autoatendimento são chamados de clusters herdados.

Para usar esses clusters herdados, a criação direta com o portal do Azure ou com os modelos do ARM não é possível. Em vez disso, é necessário enviar uma solicitação de suporte para criar um.

Aproximadamente, uma unidade de capacidade (CU) em um cluster herdado fornece uma capacidade de entrada que varia de 50 MB/s a 100 MB/s, embora a taxa de transferência real possa variar dependendo de vários fatores.

Com o cluster herdado, você pode comprar até 20 unidades de capacidade.

Observação

Os clusters herdados dos Hubs de Eventos Dedicados requerem pelo menos 8 unidades de capacidade (CUs) para permitir zonas de disponibilidade. O suporte à zona de disponibilidade está disponível apenas em regiões do Azure com zonas de disponibilidade.

Importante

Atualmente, não há suporte para a migração de um cluster herdado existente para um cluster de autoatendimento. Para saber mais, confira como migrar um cluster herdado para um cluster escalonável de autoatendimento..

Determinando o tipo de cluster

Você pode determinar o tipo de cluster que está usando com os métodos a seguir.

Método Ação Clusters escalonáveis de autoatendimento Clusters herdados Observações
Usando o Portal Verifique a presença da guia “Escala” no cluster. A página “Escala” está disponível na interface do usuário do cluster. A página “Escala” está indisponível na interface do usuário do cluster.
Como usar o Azure Resource Manager Verifique a propriedade supportsScaling, do Azure Resource Manager, no cluster. Verifique a presença da página “Escala” no cluster.  A página “Escala” está indisponível na interface do usuário do cluster. Verifique essa propriedade no portal, na CLI ou no PowerShell. É necessário ter a versão de API 2022-01-01-preview ou mais recente.
Usando Nslookup Execute o comando nslookup em um namespace no cluster. O CNAME mapeia *.cloudapp.azure.com.  O CNAME mapeia *.cloudapp.net. Exemplo: nslookup ns.servicebus.windows.net.

Cotas e limites

A oferta de Hubs de Eventos Dedicados é cobrada a um preço mensal fixo, com um mínimo de quatro horas de uso. A camada dedicada oferece todos os recursos do plano Premium, mas com capacidade em escala empresarial e limites para clientes com cargas de trabalho exigentes.

Para obter mais informações sobre cotas e limites, confira Limites e cotas dos Hubs de Eventos

Perguntas frequentes

O que posso conseguir com um cluster?

Para um cluster de Hubs de Eventos, o volume de ingestão e transmissão depende de vários fatores, como dos produtores, dos consumidores, da taxa de ingestão e processamento e muito mais.

A tabela a seguir mostra os resultados do parâmetro de comparação atingidos durante nosso teste de um cluster dedicado herdado:

Forma da carga Destinatários Largura de banda de entrada Mensagens de entrada Largura de banda de saída Mensagens de saída Total de TUs TUs por CU
Lotes de 100x1KB 2 400 MB/s 400 mil mensagens/s 800 MB/s 800 mil mensagens/s 400 TUs 100 TUs
Lotes de 10x10KB 2 666 MB/s 66,6 mil mensagens/s 1,33 GB/s 133 mil mensagens/s 666 TUs 166 TUs
Lotes de 6x32KB 1 1,05 GB/s 34 mil mensagens/s 1,05 GB/s 34 mil mensagens/s 1000 TUs 250 TUs

Nos testes, foram usados os seguintes critérios:

  • Usamos um cluster de Hubs de Eventos de camada dedicada com quatro CUs (unidades de capacidade).
  • O hub de eventos usado para ingestão tinha 200 partições.
  • Os dados ingeridos foram recebidos por dois aplicativos destinatários que recebem de todas as partições.

Posso escalar/reduzir meu cluster verticalmente?

Se você criou o grupo com o conjunto de opções de Dimensionamento de Suporte, você pode usar a experiência de autoatendimento para escalar e reduzir horizontalmente conforme necessário. Você pode escalar verticalmente até dez CUs com clusters escalonáveis de autoatendimento. Como os clusters dedicados escalonáveis de autoatendimento são baseados em novas infraestruturas, eles tendem a ter um desempenho superior aos clusters dedicados que não oferecem suporte à escala de autoatendimento. Como o desempenho de clusters dedicados depende de vários fatores, como alocação de recursos, número de partições, armazenamento e assim por diante, recomendamos que você determine o número necessário de CUs após o teste com uma carga de trabalho real.

Envie uma solicitação de suporte nos cenários a seguir para escalar ou reduzir horizontalmente seu cluster dedicado.

  • Você precisa de mais de dez CUs para um cluster dedicado escalonável de autoatendimento (um cluster criado com o conjunto de opções de Dimensionamento de suporte).
  • Você precisa escalar ou reduzir horizontalmente em um cluster criado sem selecionar a opção Dimensionamento de suporte
  • Você precisa escalar ou reduzir horizontalmente um cluster dedicado criado antes do lançamento da experiência de autoatendimento

Aviso

Você não poderá excluir o cluster por pelo menos 4 horas depois de criá-lo. Portanto, você será cobrado por, no mínimo, 4 horas de uso do cluster. Para obter mais informações sobre preços, confira Hubs de Eventos – Preços.

Posso migrar de um cluster herdado para um cluster escalonável de autoatendimento?

No momento, devido à diferença na arquitetura subjacente de software e hardware, não há suporte para a migração de clusters incompatíveis com a escala de autoatendimento para clusters dedicados escalonáveis de autoatendimento. Se você quer usar a escala de autoatendimento, recrie o cluster. Para saber como criar um cluster escalonável, confira Criar um cluster dos Hubs de Eventos Dedicados.

Quando escalar meu cluster dedicado?

O consumo de CPU é o principal indicador do consumo de recursos de seu cluster dedicado. Quando o consumo de CPU geral estiver alcançando 70% (sem observar nenhuma condição anormal, como um grande número de erros de servidor ou solicitações com baixa êxito), isso significa que o cluster está se movendo para sua capacidade máxima. Portanto, você pode usar isso como um indicador para considerar se precisa escalar verticalmente seu cluster dedicado ou não.

Para monitorar o uso da CPU do cluster dedicado, você precisa seguir estas etapas.

  • Na página de métricas de seu grupo de Hubs de Eventos Dedicados, selecione Adicionar métrica.

  • Selecione CPU como a métrica e use Max como a agregação.

    Screenshot showing the Metrics page with the CPU metric.

  • Depois, selecione Adicionar filtro, e adicione um filtro para a propriedade tipo Role, use o operador igual e selecione os três valores(Backend. Gateway) a partir da lista suspensa.

    Screeshot showing the metrics page with CPU consumption metric and roles.

    Em seguida, você pode monitorar essa métrica para determinar quando você deve escalar seu cluster dedicado. Você também pode configurar alertas contra essa métrica para ser notificado quando o uso da CPU atingir os limites definidos.

Como o Geo-DR funciona com o meu cluster?

Você pode emparelhar geograficamente um namespace de um cluster de camada dedicada com outro namespace de cluster de camada dedicada. Não incentivamos o emparelhamento de um namespace de camada dedicada com um namespace de nossa oferta padrão porque o limite da taxa de transferência será incompatível e resultará em erros.

Posso migrar meus namespaces padrão ou premium para um cluster de camada dedicada?

Atualmente não damos suporte a um processo automatizado para migrar seus dados de hubs de eventos de um namespace padrão ou Premium para um dedicado.

Por que um cluster de redundância de zona dedicada tem um mínimo de 8 unidades de capacidades?

A fim de fornecer redundância de zona para a oferta dedicada, todos os recursos de computação devem ter 3 réplicas em 3 data centers na mesma região. Este é o requisito mínimo para dar suporte à redundância de zona (para que o serviço ainda possa funcionar quando 2 zonas/data centers estiverem inoperantes) e resulta em uma capacidade de computação equivalente a 8 unidades de capacidades.

Portanto, essa não é uma cota que podemos alterar, mas sim uma restrição da arquitetura atual com um nível dedicado.

Próximas etapas

Entre em contato com o seu representante de vendas da Microsoft ou com o Suporte da Microsoft para saber mais detalhes sobre a capacidade dos Hubs de Eventos Dedicados. Você também pode saber mais sobre os tipos de preços dos Hubs de Eventos visitando os links a seguir: