Monitorar o consumo de capacidade do Spark

A finalidade deste artigo é oferecer diretrizes para administradores que desejam monitorar atividades nas capacidades que gerenciam. Usando os relatórios de consumo de capacidade do Spark disponíveis no aplicativo Uso e Métricas do Microsoft Fabric, os administradores podem obter insights do consumo da capacidade faturável do Spark para itens, incluindo Lakehouse, Notebook e definições de trabalho do Spark. Algumas atividades de consumo de capacidade do Spark não são relatadas no aplicativo.

Consumo de capacidade do Spark relatado

As operações a seguir de lakehouses, notebooks e definições de trabalho do Spark são tratadas como atividades faturáveis.

Nome da operação	Item	Comentários
Operações do Lakehouse	Lakehouse	Os usuários visualizam a tabela no Lakehouse Explorer.
Carga da tabela do Lakehouse	Lakehouse	Os usuários carregam a tabela delta no Lakehouse Explorer.
Execução do notebook	Notebook do Synapse	O Notebook do Synapse é executado manualmente pelos usuários.
Execução do HC do notebook	Notebook do Synapse	O Notebook do Synapse é executado na sessão do Spark de alta simultaneidade.
Execução agendada do notebook	Notebook do Synapse	O Notebook do Synapse é executado disparado por eventos agendados do notebook.
Execução de pipeline do notebook	Notebook do Synapse	O Notebook do Synapse é executado disparado pelo pipeline.
Execução do VS Code do notebook	Notebook do Synapse	O Notebook do Synapse é executado no VS Code.
Execução de trabalho do Spark	Definição de Trabalho do Spark	Execuções de trabalho em lotes do Spark iniciadas pelo envio do usuário.
Execução agendada do trabalho do Spark	Definição de Trabalho do Spark	O trabalho em lote do Synapse é executado disparado por eventos agendados do notebook.
Execução do pipeline de trabalho do Spark	Definição de Trabalho do Spark	O trabalho em lote do Synapse é executado disparado pelo pipeline.
Execução do VS Code do trabalho do Spark	Definição de Trabalho do Spark	Definição de trabalho do Spark do Synapse enviada do VS Code.

O consumo de capacidade do Spark que não é relatado

Há algumas atividades de consumo de capacidade do Spark que não são relatadas no aplicativo de métricas. Essas atividades incluem trabalhos do Spark do sistema para gerenciamento de bibliotecas e determinados trabalhos do Spark do sistema para pool do Spark Dinâmico ou sessões ao vivo.

• Gerenciamento de biblioteca – o consumo de capacidade associado ao gerenciamento de bibliotecas no nível do espaço de trabalho não é relatado no aplicativo de métricas.

• Trabalhos do Spark do sistema – o consumo de capacidade do Spark que não está associado a um notebook, uma definição de trabalho do Spark ou um lakehouse, não está incluído no relatório de capacidade.

Relatórios de consumo de capacidade

Todas as operações relacionadas ao Spark são classificadas como operações em segundo plano. O consumo de capacidade do Spark é exibido em um notebook, uma definição de trabalho do Spark ou um lakehouse e é agregado pelo nome e item da operação.

Relatório de operações em segundo plano

As operações em segundo plano são exibidas para um ponto de tempo específico. Na tabela do relatório, cada linha se refere a uma operação de usuário. Examine a coluna Usuário para identificar quem executou uma operação específica. Se precisar de mais informações sobre uma operação específica, você poderá usar sua ID de Operação para pesquisá-la no hub de monitoramento do Microsoft Fabric.

Conteúdo relacionado

• Instalar o aplicativo de métricas do Premium
• Usar o aplicativo de métricas Premium