Migrar bibliotecas de workspace e propriedades do Spark para um ambiente padrão

Artigo
11/16/2023

Os ambientes do Microsoft Fabric fornecem configurações flexíveis para executar seus trabalhos do Spark. Em um ambiente, você pode selecionar diferentes runtimes do Spark, configurar seus recursos de computação e instalar bibliotecas de repositórios públicos ou carregar bibliotecas locais personalizadas. Você pode anexar facilmente ambientes aos seus notebooks e definições de trabalho do Spark.

As configurações de workspace de Engenharia de Dados e Ciência de Dados são atualizadas para incluir ambientes do Fabric. Como parte dessa atualização, o Fabric não dá mais suporte à adição de novas bibliotecas e propriedades do Spark nas configurações do workspace. Em vez disso, você pode criar um ambiente do Fabric, configurar a biblioteca e a propriedade nela e anexá-la como o ambiente padrão do workspace. Depois de criar um ambiente e defini-lo como o padrão, você pode migrar as bibliotecas existentes e as propriedades do Spark para esse ambiente padrão.

Neste tutorial, saiba como migrar as bibliotecas de workspace e as propriedades do Spark existentes para um ambiente.

Importante

As configurações do workspace são restritas aos administradores.
Suas configurações de workspace existentes permanecerão efetivas para seus notebooks ou definições de trabalho do Spark se nenhum ambiente estiver anexado a eles. No entanto, você não pode fazer mais alterações nessas configurações. RECOMENDAMOS FORTEMENTE que você migre suas configurações existentes para um ambiente.
O processo de migração inclui uma etapa que remove permanentemente todas as configurações existentes. Siga cuidadosamente estas instruções. Não há como trazer arquivos de volta se eles forem excluídos acidentalmente.

Preparar os arquivos para migração

Nas configurações do Workspace, examine as configurações existentes. Captura de tela mostrando onde encontrar suas definições de configuração em Configurações atuais na guia Ambiente.

Anote a versão atual do Runtime.
Baixe as configurações existentes selecionando Baixar todos os arquivos.

O conteúdo é baixado como arquivos diferentes. Sparkproperties.yml contém todos os pares de valor de chave de propriedades do Spark. O arquivo Publiclibrary.yml contém todas as definições da biblioteca pública. Todos os pacotes personalizados carregados por você ou sua organização são baixados como arquivos um a um.

Depois que os arquivos forem baixados, você poderá migrar.

Criar e configurar um ambiente

Crie um ambiente no hub de criação/lista de workspaces. Depois de criar um novo ambiente, a página Ambiente será exibida.
Na guia Página Inicial do ambiente, certifique-se de que a versão do Runtime é igual ao runtime do workspace existente.
Ignore esta etapa se você não tiver bibliotecas públicas nas configurações do workspace. Navegue até a seção Bibliotecas Públicas e selecione Adicionar de .yml na faixa de opções. Carregue Publiclibrary.yml, que você baixou das configurações de workspace existentes.
Ignore esta etapa se você não tiver bibliotecas personalizadas em suas configurações de workspace. Navegue até a seção Bibliotecas Personalizadas e selecione Carregar na faixa de opções. Carregue os arquivos de biblioteca personalizados, que você baixou das configurações de workspace existentes.
Ignore esta etapa se você não tiver nenhuma propriedade do Spark nas configurações do workspace. Navegue até a seção propriedades do Spark e selecione Carregar na faixa de opções. Carregue o arquivo Sparkproperties.yml, que você baixou das configurações de workspace existentes.
Selecione Publicar e examine cuidadosamente as alterações novamente. Se tudo estiver correto, publique as alterações. A publicação leva vários minutos para ser concluída.

Após a conclusão da publicação, você configurou seu ambiente com êxito.

Habilitar e selecionar um ambiente padrão nas configurações do workspace

Importante

Todas as configurações existentes serão descartadas quando você selecionar Habilitar ambiente. Certifique-se de baixar todas as configurações existentes e instalá-las com êxito em um ambiente antes de continuar.

Navegue até as configurações do Workspace –>Engenharia/Ciência de Dados –>Ambiente e selecione Habilitar ambiente. Essa ação remove as configurações existentes e inicia sua experiência de ambiente no nível do workspace.

A tela a seguir é exibida quando você exclui com êxito as configurações existentes.
Mova o botão de alternância Personalizar ambiente para a posição Ativado. Essa opção permite que você anexe um ambiente como um padrão de workspace.
Selecione o ambiente configurado nas etapas anteriores como o padrão do workspace e selecione Salvar.
Confirme se seu novo ambiente agora aparece no Ambiente padrão do workspace na página de configurações do Spark.