Limites de taxa de transferência de ingestão de streaming
Nota
O serviço Time Series Insights será desativado em 7 de julho de 2024. Considere migrar os ambientes existentes para soluções alternativas o mais rápido possível. Para obter mais informações sobre a substituição e migração, visite nossa documentação.
As limitações de entrada de dados de streaming do Azure Time Series Insights Gen2 são descritas abaixo.
Gorjeta
Leia Planejar seu ambiente Azure Time Series Insights Gen2 para obter uma lista abrangente de todos os limites.
Limitações por ambiente
Em geral, as taxas de entrada são vistas como o fator do número de dispositivos que estão na sua organização, a frequência de emissão do evento e o tamanho de cada evento:
- Número de dispositivos × Frequência de emissão do evento × Tamanho de cada evento.
Por padrão, o Azure Time Series Insights Gen2 pode ingerir dados de entrada a uma taxa de até 1 megabyte por segundo (MBps) ou 1000 eventos armazenados por segundo por ambiente do Azure Time Series Insights Gen2. Há limitações adicionais por partição de hub. Dependendo de como você modelou seus dados, matrizes de objetos podem ser divididas em vários eventos armazenados: Como saber se minha matriz de objetos produzirá vários eventos .
Gorjeta
- Suporte de ambiente para ingerir velocidades de até 2 MBps pode ser fornecido mediante solicitação.
- Entre em contato conosco se precisar de uma taxa de transferência mais alta enviando um tíquete de suporte por meio do portal do Azure.
Exemplo 1:
A Contoso Shipping tem 100.000 dispositivos que emitem um evento três vezes por minuto. O tamanho de um evento é de 200 bytes. Eles estão usando um Hub IoT com quatro partições como a fonte de eventos do Azure Time Series Insights Gen2.
- A taxa de ingestão para seu ambiente Azure Time Series Insights Gen2 seria: 100.000 dispositivos * 200 bytes/evento * (3/60 evento/seg) = 1 MBps.
- Supondo partições balanceadas, a taxa de ingestão por partição seria de 0,25 MBps.
- A taxa de ingestão da Contoso Shipping estaria dentro das limitações da escala.
- A taxa de ingestão para seu ambiente Azure Time Series Insights Gen2 seria: 100.000 dispositivos * 200 bytes/evento * (3/60 evento/seg) = 1 MBps.
Exemplo 2:
O Contoso Fleet Analytics tem 10.000 dispositivos que emitem um evento a cada segundo. Eles estão usando um Hub de Eventos com uma contagem de partições de 2 como a fonte de eventos do Azure Time Series Insights Gen2. O tamanho de um evento é de 200 bytes.
- A taxa de ingestão do ambiente seria: 10.000 dispositivos * 200 bytes/evento * 1 evento/seg = 2 MBps.
- Supondo partições balanceadas, sua taxa por partição seria de 1 MBps.
- A taxa de ingestão do Contoso Fleet Analytics está acima dos limites de ambiente e partição. Eles podem enviar uma solicitação ao Azure Time Series Insights Gen2 por meio do portal do Azure para aumentar a taxa de ingestão de seu ambiente e criar um Hub de Eventos com mais partições para estar dentro dos limites.
- A taxa de ingestão do ambiente seria: 10.000 dispositivos * 200 bytes/evento * 1 evento/seg = 2 MBps.
Partições de hub e limites por partição
Ao planejar seu ambiente do Azure Time Series Insights Gen2, é importante considerar a configuração da(s) fonte(s) de evento que você conectará ao Azure Time Series Insights Gen2. Tanto o Hub IoT do Azure quanto os Hubs de Eventos utilizam partições para habilitar a escala horizontal para o processamento de eventos.
Uma partição é uma sequência ordenada de eventos realizados em um hub. A contagem de partições é definida durante a fase de criação do hub e não pode ser alterada.
Para conhecer as práticas recomendadas de particionamento de Hubs de Eventos, consulte De quantas partições preciso?
Nota
A maioria dos Hubs IoT usados com o Azure Time Series Insights Gen2 só precisa de quatro partições.
Quer esteja a criar um novo hub para o seu ambiente Azure Time Series Insights Gen2 ou a utilizar um existente, terá de calcular a sua taxa de ingestão por partição para determinar se está dentro dos limites.
O Azure Time Series Insights Gen2 tem atualmente um limite geral por partição de 0,5 MBps ou 500 eventos armazenados por segundo. Dependendo de como você modelou seus dados, matrizes de objetos podem ser divididas em vários eventos armazenados: Como saber se minha matriz de objetos produzirá vários eventos .
Considerações específicas do Hub IoT
Quando um dispositivo é criado no Hub IoT, ele é atribuído permanentemente a uma partição. Ao fazer isso, o Hub IoT é capaz de garantir a ordenação de eventos (uma vez que a atribuição nunca muda).
Uma atribuição de partição fixa também afeta as instâncias do Azure Time Series Insights Gen2 que estão ingerindo dados enviados do Hub IoT downstream. Quando as mensagens de vários dispositivos são encaminhadas para o hub usando o mesmo ID de dispositivo de gateway, elas podem chegar na mesma partição ao mesmo tempo, potencialmente excedendo os limites de escala por partição.
Impacto:
- Se uma única partição tiver uma taxa sustentada de ingestão acima do limite, é possível que o Azure Time Series Insights Gen2 não sincronize toda a telemetria do dispositivo antes que o período de retenção de dados do Hub IoT tenha sido excedido. Como resultado, os dados enviados podem ser perdidos se os limites de ingestão forem consistentemente excedidos.
Para mitigar essa circunstância, recomendamos as seguintes práticas recomendadas:
- Calcule suas taxas de ingestão por ambiente e por partição antes de implantar sua solução.
- Certifique-se de que seus dispositivos do Hub IoT estejam com balanceamento de carga o máximo possível.
Importante
Para ambientes que usam o Hub IoT como fonte de eventos, calcule a taxa de ingestão usando o número de dispositivos de hub em uso para ter certeza de que a taxa fica abaixo da limitação de 0,5 MBps por partição.
- Mesmo que vários eventos cheguem simultaneamente, o limite não será excedido.
Consulte os seguintes recursos para saber mais sobre como otimizar a taxa de transferência e as partições do hub: