Este artigo lista as respostas às perguntas frequentes sobre as configurações de administração do espaço de trabalho do Apache Spark.
Como uso as funções RBAC para definir minhas configurações de espaço de trabalho do Spark?
Use o menu Gerenciar acesso para adicionar permissões de administrador para usuários específicos, grupos de distribuição ou grupos de segurança. Você também pode usar esse menu para fazer alterações no espaço de trabalho e conceder acesso para adicionar, modificar ou excluir as configurações do espaço de trabalho do Spark.
As alterações feitas nas propriedades do Spark no nível do ambiente se aplicam às sessões ativas do bloco de anotações ou aos trabalhos agendados do Spark?
Quando você faz uma alteração de configuração no nível do espaço de trabalho, ela não é aplicada a sessões ativas do Spark. Isso inclui sessões em lote ou baseadas em bloco de anotações. Você deve iniciar um novo bloco de anotações ou uma sessão em lote depois de salvar as novas definições de configuração para que as configurações entrem em vigor.
Posso configurar a família de nós, o tempo de execução do Spark e as propriedades do Spark em um nível de capacidade?
Sim, você pode alterar o tempo de execução ou gerenciar as propriedades do spark usando as configurações de Engenharia/Ciência de Dados como parte da página de configurações de administrador de capacidade. Você precisa do acesso de administrador de capacidade para visualizar e alterar essas configurações de capacidade.
Posso escolher diferentes famílias de nós para diferentes blocos de anotações e definições de trabalho do Spark no meu espaço de trabalho?
Atualmente, você só pode selecionar a família de nós baseada em memória otimizada para todo o espaço de trabalho.
Posso definir estas definições ao nível do bloco de notas?
Sim, você pode usar %%configure para personalizar propriedades no nível da sessão do Spark no Bloco de Anotações
Posso configurar o número mínimo e máximo de nós para a família de nós selecionada?
Sim, você pode escolher os nós min e max com base nos limites de burst máximo permitidos da capacidade de malha vinculada ao espaço de trabalho de malha.
Posso habilitar o dimensionamento automático para os Spark Pools em uma família de nós baseada em GPU otimizada para memória ou acelerada por hardware?
O dimensionamento automático está disponível para pools do Spark e permite que o sistema escale automaticamente a computação com base nos estágios do trabalho durante o tempo de execução. As GPUs não estão disponíveis no momento. Esse recurso será habilitado em versões futuras.
O Intelligent Caching para os Spark Pools é suportado ou ativado por padrão para um espaço de trabalho?
O Cache Inteligente está habilitado por padrão para os pools do Spark para todos os espaços de trabalho.