Configurar pools iniciais no Microsoft Fabric
Neste artigo, explicamos como personalizar pools de inicialização no Microsoft Fabric para suas cargas de trabalho de análise. Os pools iniciais são uma maneira rápida e fácil de usar o Spark na plataforma do Microsoft Fabric em segundos. Você pode usar as sessões do Spark imediatamente, em vez de esperar que o Spark configure os nós para você, o que ajuda você a fazer mais com os dados e obter insights mais rapidamente.
Os pools iniciais têm clusters do Spark que estão sempre ativados e prontos para suas solicitações. Eles usam nós de tamanho médio e podem ser escalados verticalmente com base nos requisitos da carga de trabalho.
Você pode especificar o máximo de nós para dimensionamento automático com base nos requisitos de carga de trabalho de engenharia de dados ou de ciência de dados. Com base nos nós máximos configurados, o sistema adquire e desativa nós dinamicamente à medida que os requisitos de computação do trabalho mudam, o que resulta em uma escala eficiente e em melhor desempenho.
Você também pode definir o limite máximo para executores em pools de inicialização e com a Alocação Dinâmica habilitada, o sistema ajusta o número de executores dependendo do volume de dados e das necessidades de computação no nível do trabalho. Esse processo permite que você se concentre em suas cargas de trabalho sem se preocupar com a otimização de desempenho e o gerenciamento de recursos.
Observação
Para personalizar um pool de inicialização, você precisa ter acesso de administrador ao workspace.
Configurar pools de inicialização
Para gerenciar o pool de inicialização associado ao workspace:
Vá para o workspace e escolha as Configurações do workspace.
Em seguida, selecione a opção Engenharia de Dados/Ciência para expandir o menu.
Selecione a opção Pool de Inicialização.
Você pode definir a configuração máxima de nós para seus pools iniciais com base em um número permitido conforme a capacidade adquirida ou reduzir a configuração máxima de nós padrão para um valor menor ao executar cargas de trabalho menores.
A seção a seguir lista várias configurações padrão e os limites máximos de nós com suporte para os pools de inicialização com base nas SKUs de capacidade do Microsoft Fabric:
| Nome do SKU | Unidades de capacidade | VCores do Spark | Tamanho do nó | Nós máximos padrão | Número máximo de nós |
|---|---|---|---|---|---|
| F2 | 2 | 4 | Médio | 1 | 1 |
| F4 | 4 | 8 | Médio | 1 | 1 |
| F8 | 8 | 16 | Médio | 2 | 2 |
| F16 | 16 | 32 | Médio | 3 | 4 |
| F32 | 32 | 64 | Médio | 8 | 8 |
| F64 | 64 | 128 | Médio | 10 | 16 |
| (Capacidade de avaliação) | 64 | 128 | Médio | 10 | 16 |
| F128 | 128 | 256 | Médio | 10 | 32 |
| F256 | 256 | 512 | Médio | 10 | 64 |
| F512 | 512 | 1024 | Médio | 10 | 128 |
| F1024 | 1024 | 2.048 | Médio | 10 | 200 |
| F2048 | 2.048 | 4096 | Médio | 10 | 200 |
Observação
Para personalizar um pool de inicialização, você precisa ter acesso de administrador ao workspace.
Conteúdo relacionado
- Saiba mais na documentação pública do Spark do Apache.
- Introdução às Configurações de administração do workspace do Spark no Microsoft Fabric.