Este artigo lista as respostas às perguntas mais frequentes sobre as configurações de administração do workspace do Apache Spark.
Como posso usar as funções RBAC para definir as configurações do workspace do Spark?
Use o menu Gerenciar Acesso para adicionar permissões de Administrador para usuários específicos, grupos de distribuição ou grupos de segurança. Você também pode usar esse menu para fazer alterações no workspace e conceder acesso para adicionar, modificar ou excluir as configurações do workspace do Spark.
As alterações feitas nas propriedades do Spark no nível do ambiente se aplicam às sessões ativas do notebook ou aos trabalhos agendados do Spark?
Ao fazer uma alteração de configuração no nível do workspace, ela não é aplicada às sessões ativas do Spark. Isso inclui sessões em lote ou baseadas em notebook. Você deve iniciar um novo notebook ou uma sessão em lote depois de salvar as novas configurações para que elas entrem em vigor.
Posso configurar a família de nós, o runtime do Spark e as propriedades do Spark em um nível de capacidade?
Sim, você pode alterar o runtime ou gerenciar as propriedades do Spark usando as configurações de Engenharia/Ciência de Dados como parte da página de configurações do administrador de capacidade. Você precisa de acesso de administrador de capacidade para exibir e modificar essas configurações de capacidade.
Posso escolher diferentes famílias de nós para diferentes notebooks e definições de trabalho do Spark em meu workspace?
Atualmente, você só pode selecionar a família de nós baseada em Otimizado para Memória para todo o workspace.
Posso definir essas configurações no nível do notebook?
Sim, você pode usar %%configure para personalizar propriedades no nível de sessão do Spark em notebooks
Posso configurar o número mínimo e máximo de nós para a família de nós selecionada?
Sim, você pode escolher os nós min e max com base nos limites de intermitência máxima permitidos da capacidade de malha vinculada ao espaço de trabalho Malha.
Posso habilitar o dimensionamento automático para os Pools do Spark em uma família de nós baseada em GPU otimizada para memória ou acelerada por hardware?
O dimensionamento automático está disponível para pools do Spark e permite que o sistema escale automaticamente a computação com base nos estágios do trabalho durante o tempo de execução. As GPUs não estão disponíveis no momento. Esse recurso será habilitado em versões futuras.
O Cache Inteligente para os Pools do Spark tem suporte ou está habilitado por padrão em um workspace?
O Cache Inteligente é habilitado por padrão para os pools do Spark em todos os workspaces.