Criar, configurar e usar um ambiente no Fabric

Um ambiente Microsoft Fabric é um item consolidado para todas as suas configurações de hardware e software. Em um ambiente, você pode selecionar diferentes tempos de execução do Spark, configurar seus recursos de computação, instalar bibliotecas de repositórios públicos ou de um diretório local e definir outras configurações.

Este artigo apresenta uma visão geral de como criar, configurar e usar um ambiente.

Criar um ambiente

Você pode criar novos ambientes a partir de vários pontos de entrada:

Ponto de entrada padrão:

1. No Fabric, navegue até o espaço de trabalho desejado.

2. Selecione Novo item e localize Ambiente.

   

3. Nomeie seu ambiente e selecione Criar.

Criar durante a seleção:

1. Abra um bloco de anotações ou uma definição de trabalho do Spark.

2. Selecione a lista suspensa Ambiente e, em seguida, selecione Novo ambiente.

   

3. Nomeie seu ambiente e selecione Criar.

Depois que o ambiente for criado, selecione a versão de tempo de execução. Escolha Runtime 1.3 (Spark 3.5, Delta 3.2) no menu suspenso.

Configurar um ambiente

Um ambiente tem três componentes principais:

• Computação do Spark, que inclui o tempo de execução do Spark.
• Bibliotecas.
• Recursos.

As configurações de computação e biblioteca do Spark são necessárias para que a publicação seja eficaz. Os recursos são armazenamento compartilhado que pode mudar em tempo real. Para obter mais informações, consulte Salvar e publicar alterações.

Configurar a computação do Spark

Para um ambiente, você pode escolher entre vários tempos de execução do Spark com suas próprias configurações padrão e pacotes pré-instalados. Para visualizar os tempos de execução disponíveis, vá para a guia Início do ambiente e selecione Tempo de execução. Selecione o tempo de execução que melhor se adapta às suas necessidades.

Important

• Se você estiver atualizando o tempo de execução de um ambiente com configurações ou bibliotecas existentes, deverá publicar novamente o conteúdo com base na versão atualizada do tempo de execução.
• Se as configurações ou bibliotecas existentes não forem compatíveis com a versão de tempo de execução recém-atualizada, a publicação falhará. Você deve remover as configurações ou bibliotecas incompatíveis e publicar o ambiente novamente.

A computação do Fabric Spark oferece velocidade e eficiência incomparáveis em execução no Spark e em experiências adaptadas aos requisitos. Em seu ambiente, você pode escolher entre vários pools criados por administradores de espaço de trabalho e administradores de capacidade. Você pode ajustar ainda mais as configurações e gerenciar as propriedades do Spark para serem eficazes nas sessões do Spark. Para obter mais informações, consulte Definições de configuração de computação do Spark em ambientes de malha.

Gerir bibliotecas

Cada tempo de execução do Spark fornece bibliotecas integradas. Com o ambiente Fabric, você também pode instalar bibliotecas de fontes públicas ou carregar bibliotecas personalizadas criadas por você ou sua organização. Depois de instalar as bibliotecas com êxito, elas ficam disponíveis nas sessões do Spark. Para obter mais informações, consulte Gestão de bibliotecas em ambientes de Fabric. Para obter as práticas recomendadas para gerenciar bibliotecas no Fabric, consulte Manage Apache Spark libraries in Fabric.

Utilizar recursos

A seção Recursos em um ambiente facilita a capacidade de gerenciar pequenos recursos durante a fase de desenvolvimento. Os arquivos carregados no ambiente podem ser acessados em todos os blocos de anotações quando são anexados. Para obter mais informações, consulte Gerenciar os recursos em um ambiente de malha.

Salvar e publicar alterações

Na guia Página Inicial , você pode encontrar facilmente Salvar e Publicar. Eles são ativados quando há alterações pendentes não salvas ou não publicadas nas seções de computação Bibliotecas e Spark .

Important

• Se o Private Link estiver habilitado, o primeiro trabalho do Spark no espaço de trabalho precisará acionar o provisionamento de VNet, que pode levar aproximadamente de 10 a 15 minutos. Como a publicação de ambiente também é executada como um trabalho do Spark, ele pode sofrer um atraso adicional se for o primeiro trabalho do Spark executado após a ativação do Private Link.

Quando as alterações pendentes estiverem nas seções de computação Bibliotecas e Faísca , você também verá um banner que solicita Salvar e Publicar. As funcionalidades são as mesmas dos botões:

• As alterações não salvas são perdidas se você atualizar ou deixar o navegador aberto. Selecione Guardar para se certificar de que as alterações são registadas antes de partir. Salvar não aplica a configuração, mas armazena em cache as alterações no sistema.
• Para aplicar as alterações à computação Bibliotecas e Spark, selecione Publicar. A página Alterações pendentes é exibida para revisão final antes da publicação. Em seguida, selecione Publicar tudo para iniciar a configuração no ambiente de malha. Esse processo pode levar algum tempo, especialmente se houver alterações na biblioteca.
• Para cancelar um processo de publicação, selecione Exibir progresso no banner e cancele a operação.
• Uma notificação é exibida após a conclusão da publicação. Uma notificação de erro ocorre se houver algum problema durante o processo.

Um ambiente aceita apenas uma ação Publicar de cada vez. Não é possível fazer alterações nas seções de computação Bibliotecas ou Spark durante uma ação de publicação em andamento.

A publicação não afeta a adição, exclusão ou edição de arquivos e pastas na seção Recursos . As ações de gestão de recursos são em tempo real. A ação Publicar não bloqueia alterações na seção Recursos .

Compartilhar um ambiente existente

O Fabric suporta o compartilhamento de um item com diferentes níveis de permissões.

Quando você compartilha um item de ambiente, os destinatários recebem automaticamente permissão de Ler. Com essa permissão, eles podem explorar as configurações do ambiente e anexá-lo a notebooks ou trabalhos do Spark. Para uma execução de código suave, certifique-se de conceder permissões de Leitura para ambientes anexados ao compartilhar blocos de anotações e definições de trabalho do Spark.

Você também pode compartilhar o ambiente com as permissões Compartilhar e Editar. Os usuários com permissão Compartilhar podem continuar compartilhando o ambiente com outras pessoas. Enquanto isso, os destinatários com permissão Editar podem atualizar o conteúdo do ambiente.

Anexar um ambiente

Você pode anexar um ambiente Fabric aos seus espaços de trabalho de Engenharia/Ciência de Dados ou aos seus blocos de anotações e definições de trabalho do Spark.

Anexar um ambiente como padrão de espaço de trabalho

Important

Depois que um ambiente é selecionado como padrão de espaço de trabalho, somente os administradores de espaço de trabalho podem atualizar o conteúdo do ambiente padrão.

Selecione Configurações >do espaço de trabalhoConfigurações do Data>Spark para ver a guia Ambiente.

Os administradores de espaços de trabalho podem definir a carga de trabalho padrão para espaços de trabalho inteiros. Os valores configurados aqui são eficazes para blocos de anotações e definições de trabalho do Spark que se anexam às configurações do espaço de trabalho.

A alternância Definir ambiente padrão pode melhorar a experiência do usuário. Por padrão, essa alternância é definida como Desativado. Se não houver nenhuma propriedade ou biblioteca padrão do Spark necessária como padrão do espaço de trabalho, você poderá definir o tempo de execução do Spark nessa circunstância. Se quiser preparar uma computação e bibliotecas padrão do Spark para o espaço de trabalho, você pode alternar para Ativado e anexar facilmente um ambiente como o padrão do espaço de trabalho. Esta opção torna todas as configurações no ambiente eficazes tal como as definições do Espaço de Trabalho.

Anexar um ambiente a um bloco de anotações ou a uma definição de trabalho do Spark

O ambiente está disponível nas guias Notebook e Spark Job Definition . Quando blocos de anotações e definições de trabalho do Spark são anexados a um ambiente, eles podem acessar suas bibliotecas, configurações de computação e recursos. O Explorer lista todos os ambientes disponíveis que são compartilhados com você, são do espaço de trabalho atual e são de outros espaços de trabalho aos quais você tem acesso.

Se você alternar para um ambiente diferente durante uma sessão ativa, o ambiente recém-selecionado não terá efeito até a próxima sessão.

Quando você anexa um ambiente de outro espaço de trabalho, ambos os espaços de trabalho devem ter a mesma capacidade e configurações de segurança de rede. Embora você possa selecionar ambientes de espaços de trabalho com diferentes capacidades ou configurações de segurança de rede, a sessão não é iniciada.

Quando você anexa um ambiente de outro espaço de trabalho, a configuração de computação nesse ambiente é ignorada. Em vez disso, as configurações de pool e computação são padronizadas para as configurações do seu espaço de trabalho atual.

Eliminar um ambiente

Podes apagar um ambiente quando já não for necessário. Antes de eliminar um ambiente, considere o seguinte:

Important

• Eliminar um ambiente é permanente e não pode ser desfeito.
• Quaisquer cadernos ou definições de trabalho do Spark atualmente associadas ao ambiente terão de ser reconfiguradas para usar um ambiente ou definições de espaço de trabalho diferentes.
• Se o ambiente estiver definido como padrão do espaço de trabalho, deve primeiro alterar a definição padrão do espaço de trabalho antes de eliminar o ambiente.

Eliminar um ambiente usando a API REST

Pode eliminar um ambiente programaticamente usando a API REST do Fabric:

Ponto final:DELETE https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/environments/{environmentId}

Permissões necessárias: Environment.ReadWrite.All ou Item.ReadWrite.All

Para mais informações sobre a API REST, consulte Eliminar ambiente.

Conteúdos relacionados

• Definições de configuração de computação do Spark em ambientes de malha
• Gestão de bibliotecas em ambientes Fabric