Gerir a configuração do Apache Spark

Artigo
04/19/2023

Neste tutorial, irá aprender a criar uma configuração do Apache Spark para o seu synapse studio. A configuração do Apache Spark criada pode ser gerida de forma padronizada e quando cria o Bloco de Notas ou a definição de tarefas do Apache Spark pode selecionar a configuração do Apache Spark que pretende utilizar com o seu conjunto do Apache Spark. Ao selecioná-la, os detalhes da configuração são apresentados.

Criar uma Configuração do Apache Spark

Pode criar configurações personalizadas a partir de diferentes pontos de entrada, como a partir da página de configuração do Apache Spark de um conjunto spark existente.

Criar configurações personalizadas nas configurações do Apache Spark

Siga os passos abaixo para criar uma Configuração do Apache Spark no Synapse Studio.

Selecione Gerir>configurações do Apache Spark.
Clique no botão Novo para criar uma nova configuração do Apache Spark ou clique em Importar um ficheiro .json local para a sua área de trabalho.
A nova página de configuração do Apache Spark será aberta depois de clicar no botão Novo .
Em Nome, pode introduzir o seu nome preferencial e válido.
Para Descrição, pode introduzir alguma descrição na mesma.
Para Anotações, pode adicionar anotações ao clicar no botão Novo e também pode eliminar anotações existentes ao selecionar e clicar no botão Eliminar .
Para propriedades de Configuração, personalize a configuração clicando no botão Adicionar para adicionar propriedades. Se não adicionar uma propriedade, Azure Synapse utilizará o valor predefinido quando aplicável.
Clique no botão Continuar .
Clique no botão Criar quando a validação tiver sido concluída com êxito.
Publicar tudo

Nota

A funcionalidade de configuração carregar o Apache Spark foi removida, mas Synapse Studio manterá a configuração carregada anteriormente.

Criar uma Configuração do Apache Spark no conjunto do Apache Spark já existente

Siga os passos abaixo para criar uma configuração do Apache Spark num conjunto existente do Apache Spark.

Selecione um conjunto existente do Apache Spark e clique na ação "..." botão.
Selecione a configuração do Apache Spark na lista de conteúdos.
Para configuração do Apache Spark, pode selecionar uma configuração já criada na lista pendente ou clicar em +Novo para criar uma nova configuração.
- Se clicar em +Novo, a página Configuração do Apache Spark será aberta e poderá criar uma nova configuração ao seguir os passos em Criar configurações personalizadas nas configurações do Apache Spark.
- Se selecionar uma configuração existente, os detalhes de configuração serão apresentados na parte inferior da página, também pode clicar no botão Editar para editar a configuração existente.
Clique em Ver Configurações para abrir a página Selecionar uma Configuração . Todas as configurações serão apresentadas nesta página. Pode selecionar uma configuração que pretende utilizar neste conjunto do Apache Spark.
Clique no botão Aplicar para guardar a sua ação.

Criar uma Configuração do Apache Spark na sessão de configuração do Bloco de Notas

Se precisar de utilizar uma Configuração personalizada do Apache Spark ao criar um Bloco de Notas, pode criá-lo e configurá-lo na sessão de configuração ao seguir os passos abaixo.

Criar um novo/Abrir um Bloco de Notas existente.
Abra as Propriedades deste bloco de notas.
Clique em Configurar sessão para abrir a página Configurar sessão.
Desloque-se para baixo na página configurar sessão, para configuração do Apache Spark, expanda o menu pendente, pode clicar no botão Novo para criar uma nova configuração. Em alternativa, selecione uma configuração existente, se selecionar uma configuração existente, clique no ícone Editar para aceder à página Editar configuração do Apache Spark para editar a configuração.
Clique em Ver Configurações para abrir a página Selecionar uma Configuração . Todas as configurações serão apresentadas nesta página. Pode selecionar uma configuração que pretende utilizar.

Criar uma Configuração do Apache Spark nas definições de tarefas do Apache Spark

Quando estiver a criar uma definição de tarefa do Spark, tem de utilizar a configuração do Apache Spark, que pode ser criada ao seguir os passos abaixo:

Criar uma nova/Abrir definições de tarefas do Apache Spark existentes.
Para configuração do Apache Spark, pode clicar no botão Novo para criar uma nova configuração. Em alternativa, selecione uma configuração existente no menu pendente, se selecionar uma configuração existente, clique no ícone Editar para aceder à página Editar configuração do Apache Spark para editar a configuração.
Clique em Ver Configurações para abrir a página Selecionar uma Configuração . Todas as configurações serão apresentadas nesta página. Pode selecionar uma configuração que pretende utilizar.

Nota

Se a configuração do Apache Spark no Bloco de Notas e na definição da tarefa do Apache Spark não fizer nada de especial, a configuração predefinida será utilizada ao executar a tarefa.

Importar e Exportar uma configuração do Apache Spark

Pode importar .txtconfiguração /.conf/.json em três formatos e, em seguida, convertê-la em artefacto e publicá-la. Também pode exportar para um destes três formatos.

Importe .txtconfiguração /.conf/.json a partir do local.
Exporte .txtconfiguração /.conf/.json para local.

Para .txt ficheiro de configuração e ficheiro de configuração .conf, pode consultar os seguintes exemplos:


spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

Para o ficheiro de configuração .json, pode consultar os seguintes exemplos:

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}