A política de limitação do Fabric

  • Artigo

A limitação ocorre quando a capacidade de um locatário consome mais recursos de capacidade do que comprou. Muita limitação pode resultar em uma experiência degradada do usuário final. Um locatário do Fabric pode criar várias capacidades e atribuir workspaces a uma capacidade específica para cobrança e dimensionamento.

A limitação é aplicada no nível de capacidade, o que significa que, embora uma capacidade, ou conjunto de workspaces, possa estar enfrentando um desempenho reduzido devido à sobrecarga, outras capacidades podem continuar em execução normalmente. Nos casos em que recursos como artefatos do OneLake são produzidos em uma capacidade e consumidos por outra, o estado de limitação da capacidade de consumo determina se as chamadas para o artefato são limitadas.

Equilíbrio entre desempenho e confiabilidade

O Fabric foi projetado para fornecer um desempenho rápido para seus clientes, permitindo que as operações acessem mais recursos de unidade de capacidade (CU) do que são alocados para a capacidade. Tarefas que podem levar vários minutos para serem concluídas em outras plataformas podem ser concluídas em meros segundos no Fabric. Para evitar penalizar os usuários quando as cargas operacionais aumentam, o Fabric suaviza ou média o uso de CU de uma operação em um mínimo de 5 minutos e ainda mais para altas solicitações de CU, mas de curto tempo de execução. Esse comportamento garante que você possa desfrutar de um desempenho consistentemente rápido sem experimentar limitação.

Para operações em segundo plano que têm tempos de longo prazo e consomem cargas de CU pesadas, o Fabric suaviza seu uso de CU durante um período de 24 horas. A suavização elimina a necessidade de cientistas de dados e administradores de banco de dados gastarem tempo criando agendas de trabalho para distribuir a carga de CU ao longo do dia para evitar que as contas congelem. Com a suavização 24 horas de CU, os trabalhos agendados podem ser executados simultaneamente sem causar picos a qualquer momento durante o dia e você pode desfrutar de um desempenho consistentemente rápido sem desperdiçar tempo gerenciando agendas de trabalho.

As operações de pré-lançamento não são limitadas

Quando uma capacidade entra em um estado limitado, ela afeta apenas as operações solicitadas após a limitação da capacidade. Todas as operações, incluindo as de execução longa que foram enviadas antes do início da limitação, têm permissão para serem executadas até a conclusão. Esse comportamento oferece a garantia de que as operações são concluídas, mesmo durante os surtos de CU.

Limitar gatilhos e limitar estágios

Após a suavização, algumas contas ainda podem ter picos no uso de CU durante os horários de pico de relatório. Para ajudar a gerenciar esses picos, os administradores podem configurar alertas de email para serem notificados quando uma capacidade consome 100% da CU provisionada. Esse padrão é uma indicação de que a capacidade pode se beneficiar do balanceamento de carga e o administrador deve considerar aumentar o tamanho da SKU. É importante observar que, para SKUs F, você pode aumentar e diminuir manualmente a qualquer momento nas configurações de administrador. No entanto, mesmo quando uma capacidade está operando com todo o seu potencial de CU, o Fabric não aplica limitação. Isso garante que os usuários tenham um desempenho consistentemente rápido sem sofrer interrupções.

A primeira fase da limitação começa quando uma capacidade consumiu todos os seus recursos de CU disponíveis para os próximos 10 minutos. Por exemplo, se você adquiriu 10 unidades de CU e consumiu 50 unidades por minuto, isso criaria um encaminhamento de 40 unidades por minuto. Depois de dois minutos e meio, você teria acumulado um transporte de 100 unidades, emprestado de janelas futuras. Neste ponto em que a capacidade já esgotou toda a capacidade para os próximos 10 minutos, o Fabric inicia seu primeiro nível de limitação e todas as novas operações interativas são atrasadas em 20 segundos após o envio. Se o encaminhamento atingir uma hora inteira, as solicitações interativas serão rejeitadas, mas as operações agendadas em segundo plano continuarão a ser executadas. Se a capacidade acumular 24 horas completas de transporte, toda a capacidade será congelada até que o transporte seja pago.

Consumo suavizado futuro

Observação

A Microsoft tenta melhorar a flexibilidade do cliente no uso do serviço, ao mesmo tempo em que equilibra a necessidade de gerenciar o uso da capacidade do cliente. Por esse motivo, a Microsoft pode alterar ou atualizar a política de limitação do Fabric.

Uso Limites de política Impacto da experiência de política de plataforma
Uso <= 10 minutos Proteção contra sobrecarga Os trabalhos podem consumir 10 minutos de uso futuro da capacidade sem limitação.
Uso de 10 minutos <<= 60 minutos Atraso interativo Os trabalhos interativos solicitados pelo usuário são atrasados 20 segundos no envio.
Uso de 60 minutos <<= 24 horas Rejeição interativa Os trabalhos interativos solicitados pelo usuário são rejeitados.
Uso > 24 horas Rejeição em segundo plano Todas as solicitações são rejeitadas.

Redução do uso da capacidade de transporte

Sempre que uma capacidade tem capacidade ociosa, o sistema paga os níveis de encaminhamento.

Se você tiver 100 minutos de CU e um carregamento de 200 minutos de CU, e você não tiver nenhuma operação em execução, levará dois minutos para você pagar o seu transporte. Neste exemplo, o sistema não é limitado, pois há 2 minutos de avanço. Os atrasos de limitação não começarão até que o transporte esteja em 10 minutos.

Se você precisar pagar seu carry forward mais rapidamente, poderá aumentar temporariamente seu tamanho de SKU para gerar mais capacidade ociosa que é aplicada ao seu carry forward.

O comportamento de limitação é específico do Fabric

Embora a maioria dos produtos do Fabric siga as regras de limitação mencionadas anteriormente, há algumas exceções.

Por exemplo, os fluxos de eventos do Fabric têm muitas operações que podem ser executadas por anos depois de serem iniciadas. A limitação de novas operações de fluxo de eventos não faria sentido, portanto, em vez disso, a quantidade de CU alocada para manter o fluxo aberto é reduzida até que a capacidade esteja em uma boa posição novamente.

Outra exceção é a Análise em Tempo Real, que não seria em tempo real se as operações fossem atrasadas em 20 segundos. Como resultado, a Análise em Tempo Real ignora o primeiro estágio de limitação com atrasos de 20 segundos em 10 minutos de avanço e aguarda até a fase de rejeição em 60 minutos de avanço para começar a limitação. Esse comportamento garante que os usuários possam continuar a desfrutar do desempenho em tempo real mesmo durante períodos de alta demanda.

Da mesma forma, quase todas as operações na categoria Warehouse são relatadas como em segundo plano para aproveitar a suavização de 24 horas da atividade para permitir os padrões de uso mais flexíveis. Classificar todo o data warehousing como em segundo plano impede que picos de utilização de CU disparem a limitação demasiadamente rápido. Algumas solicitações podem disparar uma cadeia de caracteres de operações que são limitadas de forma diferente. Isso pode fazer com que uma operação em segundo plano fique sujeita à limitação como uma operação interativa.

Classificações interativas e em segundo plano para limitação e suavização

Alguns administradores podem notar que as operações às vezes são classificadas como interativas e suavizadas como em segundo plano ou vice-versa. Essa distinção ocorre porque os sistemas de limitação do Fabric devem aplicar regras de limitação antes que uma solicitação comece a ser executada. A suavização ocorre depois que o trabalho começa a ser executado e o consumo de CU pode ser medido.

Os sistemas de limitação tentam categorizar com precisão as operações após o envio, mas, às vezes, a classificação de uma operação pode mudar após a limitação ter sido aplicada. Quando a operação começa a ser executada, informações mais detalhadas sobre a solicitação ficam disponíveis. Em cenários ambíguos, os sistemas de limitação tentam priorizar a classificação de operações como em segundo plano, o que é do interesse do usuário.

Rastrear operações rejeitadas

O drilldown do aplicativo Métricas de Capacidade do Microsoft Fabric permite que os administradores vejam operações que foram rejeitadas durante um evento de limitação. Há informações limitadas sobre essas operações, pois elas nunca foram autorizadas a iniciar. O administrador pode ver o produto, o usuário, a ID da operação e a hora em que a solicitação foi enviada. Os usuários finais recebem uma mensagem de erro quando uma solicitação é rejeitada que solicita que eles tentem novamente mais tarde.

Conteúdo relacionado