Gerenciar a configuração do Apache Spark

Artigo
04/20/2023

Neste tutorial, você aprenderá como criar uma configuração Apache Spark para seu estúdio de sinapse. A configuração Apache Spark criada pode ser gerenciada de forma padronizada, e quando você cria um Notebook ou definição de trabalho Apache Spark, é possível selecionar a configuração Apache Spark que deseja usar com seu pool Apache Spark. Ao selecioná-lo, os detalhes da configuração são exibidos.

Criar uma configuração do Apache Spark

Você pode criar configurações personalizadas a partir de diferentes pontos de entrada, como na página de configurações do Apache Spark de um pool do Spark existente.

Criar configurações personalizadas nas configurações do Apache Spark

Siga as etapas abaixo para criar uma Configuração do Apache Spark no Synapse Studio.

Selecione Gerenciar>configurações do Apache Spark.
Clique no botão Novo para criar uma nova configuração do Apache Spark ou clique em Importar um arquivo .json local para seu workspace.
A página Nova configuração do Apache Spark será aberta depois que você clicar no botão Novo.
Para Nome, digite seu nome preferencial e válido.
Para Descrição, digite alguma descrição nele.
Para Anotações, adicione anotações clicando no botão Novo e também é possível excluir anotações existentes selecionando e clicando no botão Excluir.
Para Propriedades de configuração, personalize a configuração clicando no botão Adicionar para adicionar propriedades. Se você não adicionar uma propriedade, o Azure Synapse usará o valor padrão quando aplicável.
Clique no botão Continuar.
Clique no botão Criar quando a validação tiver êxito.
Publicar tudo

Observação

O recurso Configuração de upload do Apache Spark foi removido, mas o Synapse Studio manterá sua configuração carregada anteriormente.

Criar uma configuração do Apache Spark no pool do Apache Spark já existente

Siga as etapas abaixo para criar uma configuração do Apache Spark em um pool do Apache Spark existente.

Selecione um pool do Apache Spark existente e clique no botão "..." de ação.
Selecione Configuração do Apache Spark na lista de conteúdo.
Para a configuração do Apache Spark, selecione uma configuração já criada na lista suspensa ou clicar em +Novo para criar uma nova configuração.
- Se clicar em +Novo, a página Configuração do Apache Spark será aberta e você poderá criar uma nova configuração seguindo as etapas em Criar configurações personalizadas nas configurações do Apache Spark.
- Se selecionar uma configuração existente, os detalhes da configuração serão exibidos na parte inferior da página, você também poderá clicar no botão Editar para editar a configuração existente.
Clique em Exibir configurações para abrir a página Selecionar uma configuração. Todas as configurações serão exibidas nesta página. Você pode selecionar a configuração que deseja usar neste pool do Apache Spark.
Clique no botão Aplicar para salvar sua ação.

Criar uma configuração do Apache Spark na sessão de configuração do Notebook

Se precisar usar uma Configuração personalizada do Apache Spark ao criar um Notebook, poderá criá-la e configurá-la na sessão de configuração seguindo as etapas abaixo.

Crie um novo/Abra um Notebook existente.
Abra as Propriedades deste bloco de anotações.
Clique em Configurar sessão para abrir a página Configurar sessão.
Role para baixo na página de configuração da sessão, para configuração do Apache Spark, expanda o menu suspenso, você pode clicar no botão Novo para criar uma nova configuração. Ou selecione uma configuração existente, se você selecionar uma configuração existente, clique no ícone Editar para ir até a página de configuração Editar o Apache Spark para editar a configuração.
Clique em Exibir configurações para abrir a página Selecionar uma configuração. Todas as configurações serão exibidas nesta página. Você pode selecionar uma configuração que deseja usar.

Criar uma configuração do Apache Spark nas definições de trabalho do Apache Spark

Ao criar uma definição de trabalho do Spark, é preciso usar a configuração do Apache Spark, que pode ser criada seguindo as etapas abaixo:

Crie uma nova/Abra uma definição de trabalho existente do Apache Spark.
Para a configuração do Apache Spark, clique clicar no botão Novo para criar uma nova configuração. Ou selecione uma configuração existente no menu suspenso, se você selecionar uma configuração existente, clique no ícone Editar para ir para a página Editar configuração do Apache Spark para editar a configuração.
Clique em Exibir configurações para abrir a página Selecionar uma configuração. Todas as configurações serão exibidas nesta página. Você pode selecionar uma configuração que deseja usar.

Observação

Se a configuração do Apache Spark na definição de trabalho do Notebook e do Apache Spark não fizer nada de especial, a configuração padrão será usada ao executar o trabalho.

Importar e exportar uma configuração do Apache Spark

Você pode importar uma configuração em .txt/.conf/.json em três formatos, convertê-la em artefato e publicá-la. E também pode exportar para um desses três formatos.

Importe uma configuração .txt/.conf/.json do local.
Exporte uma configuração .txt/.conf/.json para o local.

Para arquivos de configuração .txt e .conf, você pode consultar os seguintes exemplos:


spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

Para arquivos de configuração .json, você pode consultar os seguintes exemplos:

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}

Compartilhar via