Faturação on-demand para o Spark no Microsoft Fabric

A faturação on-demand para o Spark é um modelo de faturação pay-as-you-go para cargas de trabalho do Apache Spark no Microsoft Fabric. Quando o ativa, as tarefas do Spark deixam de consumir capacidade de computação da sua capacidade do Fabric. Em vez disso, as tarefas utilizam recursos dedicados sem servidor, faturados de forma independente.

Este modelo complementa o modelo de capacidade padrão para que possa escolher a melhor opção por carga de trabalho.

Escolha entre faturação on-demand e modelo de capacidade

Característica Modelo de capacidade Faturação a pedido do Spark
Faturação Custo fixo por nível de capacidade Pagamento conforme o uso para tarefas do Spark
Dimensionamento Capacidade compartilhada entre cargas de trabalho O Spark escala de forma independente
Contenção de recursos Possível entre diferentes cargas de trabalho Limites de computação dedicados para o Spark
Melhor caso de uso Cargas de trabalho previsíveis Trabalhos Spark dinâmicos ou explosivos

Pode combinar ambos os modelos para equilibrar custo e desempenho. Por exemplo, executar cargas de trabalho estáveis e recorrentes em capacidade máxima e transferir cargas Spark em rajadas ou ad hoc para faturação on-demand.

Principais benefícios

  • Eficiência de custos: Pague apenas pelo tempo de execução do trabalho Spark.
  • Escalabilidade independente: As cargas de trabalho da Spark funcionam sem afetar outras operações baseadas em capacidade.
  • Pronta para empresas: Integra-se com Azure Quota Management para flexibilidade de escalabilidade.

Como funciona a faturação on-demand

Quando ativa a faturação on-demand:

  • Os Spark jobs são descarregados da capacidade de Fabric e não consomem UC dessa capacidade.
  • Definis um limite máximo de unidades computacionais (CU) para cargas de trabalho do Spark (um limite semelhante a uma quota).
  • A faturação mantém-se baseada na taxa de utilização do Spark (0.5 CU hour) e aplica-se apenas ao cálculo ativo do trabalho.
  • Quando o limite de CU é atingido, os trabalhos interativos são acelerados e os trabalhos em lote são colocados em fila.
  • O uso e o custo do Spark são mostrados separadamente na aplicação Microsoft Fabric Capacity Metrics e no Azure Cost Analysis.

Importante

A faturação a pedido é opcional por capacidade e não recorre a nem reverte para a capacidade do Fabric. É um modelo serverless separado, de pagamento conforme a utilização.

Concorrência de Tarefas e Comportamento de Fila

Quando ativa a faturação on-demand, o limite máximo de Unidade de Capacidade () configurado pelo administrador de capacidade do Fabric regula a concorrência do Spark. Ao contrário da capacidade padrão, a faturação a pedido não utiliza picos nem nivelamento.

  • Os jobs interativos do Spark (por exemplo, operações Lakehouse, pré-visualização de tabelas, Load to Table ou consultas interativas em cadernos) são limitados quando as CUs disponíveis são totalmente utilizadas.
  • Os trabalhos do Spark em segundo plano (acionados por pipelines, agendador, execuções da API, definições de trabalhos do Spark ou manutenção de tabelas) ficam em fila de espera.

O tamanho da fila está ligado ao limite de CU.

Observação

Se o limite máximo de CU for 2048, a fila do Spark pode conter até 2048 trabalhos.

Este comportamento mantém a alocação previsível e controlável, ao mesmo tempo que suporta cargas de trabalho Spark de alto volume.

Solicitar quotas adicionais

Se as suas cargas de trabalho em Engenharia de Dados ou Ciência de Dados exigirem uma quota superior ao seu limite máximo atual de Unidades de Capacidade (UC), solicite um aumento nas Quotas do Azure:

  1. Navegue até ao portal Azure e inicie sessão.
  2. Na barra de pesquisa, escreva e selecione Azure Quotas.
  3. Escolha Microsoft Fabric da lista de serviços disponíveis.
  4. Selecione a assinatura associada à sua capacidade do Fabric.
  5. Edite o limite de cota inserindo o novo limite de CU que pretende adquirir.
  6. Envie sua solicitação de cota.

Diagrama a mostrar as definições de autoescala nas definições de capacidade, incluindo um interruptor e um controlo deslizante para unidades máximas de capacidade.

Após a aprovação, o limite atualizado de CU é aplicado à capacidade do Fabric.