Início Rápido: criar um pool do Apache Spark sem servidor usando o portal do Azure

  • Artigo

O Azure Synapse Analytics oferece vários mecanismos de análise para ajudar você a ingerir, transformar, modelar, analisar e distribuir seus dados. Um Pool do Apache Spark fornece funcionalidades de software livre de computação de Big Data. Depois de criar um pool do Apache Spark em seu workspace do Synapse, os dados poderão ser carregados, modelados, processados e distribuídos para obter insights analíticos mais rápidos.

Neste início rápido, você aprenderá a usar o portal do Azure para criar um Pool do Apache Spark em um workspace do Synapse.

Importante

A cobrança das instâncias do Spark será proporcional por minuto, independentemente de elas estarem sendo usadas ou não. Desligue a instância do Spark depois de terminar de usá-la ou defina um tempo limite curto. Para saber mais, confira a seção Recursos de limpeza deste artigo.

Se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.

Pré-requisitos

Entre no Portal do Azure

Entre no Portal do Azure

  1. Navegue até o workspace do Synapse em que o pool do Apache Spark será criado digitando o nome do serviço (ou o nome do recurso diretamente) na barra de pesquisa. Screenshot of the Azure portal search bar with Synapse workspaces typed in.

  2. Na lista de workspaces, digite o nome (ou parte do nome) do workspace a ser aberto. Para este exemplo, usamos um workspace chamado contosoanalytics. Screenshot from the Azure portal of the list of Synapse workspaces filtered to show those containing the name Contoso.

Criar um Pool do Apache Spark

Importante

O Runtime do Azure Synapse para Apache Spark 2.4 foi preterido e oficialmente não tem suporte desde setembro de 2023. Dado que o Spark 3.1 e o Spark 3.2 também têm o fim do suporte anunciado, recomendamos que os clientes migrem para o Spark 3.3.

  1. No workspace do Synapse em que deseja criar o Pool do Apache Spark, selecione em Novo Pool do Apache Spark. Screenshot from the Azure portal of a Synapse workspace with a red box around the command to create a new Apache Spark pool.

  2. Insira os seguintes detalhes na guia Informações Básicas:

    Configuração Valor sugerido Descrição
    Nome do Pool do Apache Spark Um nome de pool válido, como contosospark Esse é o nome que o Pool do Apache Spark terá.
    Tamanho do nó Pequeno (4 vCPU/32 GB) Defina isso com o menor tamanho para reduzir os custos deste início rápido
    Autoescala Desabilitado Não precisamos de dimensionamento automático para este início rápido
    Número de nós 5 Use um tamanho pequeno para limitar os custos deste início rápido

    Screenshot from the Azure portal of the Apache Spark pool create flow - basics tab.

    Importante

    Há limitações específicas relacionadas aos nomes que os pools do Apache Spark podem usar. Os nomes precisam conter apenas letras ou números, ter 15 caracteres ou menos, começar com uma letra, ser exclusivos no workspace e não devem conter palavras reservadas.

  3. Selecione Avançar: configurações adicionais e examine as configurações padrão. Não modifique nenhuma configuração padrão. Screenshot from the Azure portal that shows the 'Create Apache Spark pool' page with the 'Additional settings' tab selected.

  4. Selecione Avançar: marcas. Considere usar tags do Azure. Por exemplo, a marca "Proprietário" ou "CreatedBy" para identificar quem criou o recurso e a marca "Ambiente" para identificar se esse recurso está em Produção, Desenvolvimento, etc. Para obter mais informações, confira Desenvolver sua estratégia de nomenclatura e marcação para recursos do Azure. Screenshot from the Azure portal of Apache Spark pool create flow - additional settings tab.

  5. Selecione Examinar + criar.

  6. Verifique se os detalhes estão corretos com base no que foi inserido anteriormente e selecione Criar. Screenshot from the Azure portal of Apache Spark pool create flow - review settings tab.

  7. Neste ponto, o fluxo de provisionamento de recursos será iniciado, indicando quando estiver concluído. Screenshot from the Azure portal of that shows the 'Overview' page with a 'Your deployment is complete' message displayed.

  8. Após a conclusão do provisionamento, se você navegar novamente até o workspace, será mostrada uma nova entrada para o Pool do Apache Spark recém-criado. Screenshot from the Azure portal of Apache Spark pool create flow - resource provisioning.

  9. Neste ponto, não há recursos em execução, nenhum custo pelo Spark e você criou metadados sobre as instâncias do Spark que deseja criar.

Limpar os recursos

As etapas a seguir excluem o pool do Apache Spark do workspace.

Aviso

A exclusão de um Pool do Apache Spark removerá o mecanismo de análise do workspace. Não será mais possível se conectar ao pool e todas as consultas, os pipelines e os notebooks que usam esse Pool do Apache Spark deixarão de funcionar.

Se você quiser excluir o pool do Apache Spark, execute as seguintes etapas:

  1. Navegue até o painel de pools do Apache Spark no workspace.
  2. Escolha o pool do Apache Spark a ser excluído (neste caso, contosospark).
  3. Selecione Excluir. Screenshot from the Azure portal of a list of Apache Spark pools, with the recently created pool selected.
  4. Confirme a exclusão e selecione o botão Excluir. Screenshot from the Azure portal of the Confirmation dialog to delete the selected Apache Spark pool.
  5. Quando o processo for concluído com êxito, o Pool do Apache Spark não estará mais listado nos recursos do workspace.

Conteúdo relacionado