Gerir pacotes com âmbito de sessão

Além dos pacotes ao nível da piscina, também pode especificar bibliotecas com âmbito de sessão no início de uma sessão de cadernos. As bibliotecas com âmbito de sessão permitem especificar e utilizar ambientes Python personalizados ou pacotes de frascos dentro de uma sessão de caderno.

Ao utilizar bibliotecas com âmbito de sessão, é importante ter em mente os seguintes pontos:

  • Quando instala bibliotecas com âmbito de sessão, apenas o caderno atual tem acesso às bibliotecas especificadas.
  • Estas bibliotecas não terão impacto em outras sessões ou empregos utilizando a mesma piscina Spark.
  • Estas bibliotecas estão instaladas em cima das bibliotecas de funcionação e de nível de piscina.
  • As bibliotecas de cadernos terão a maior precedência.

Pacotes de Python com âmbito de sessão

Para especificar os pacotes de Python com sessão:

  1. Navegue na piscina Spark selecionada e certifique-se de que tem bibliotecas ao nível da sessão ativadas. Pode ativar esta definição navegando no separador 'Gerir>pacotesde piscina> Apache Spark. Screenshot' de ativar pacotes de sessão.
  2. Uma vez aplicada a definição, pode abrir um caderno e selecionar Pacotes de Sessão>de Configuração. Screenshot de especificar pacotes de sessão.Screenshot do upload do ficheiro Yml.
  3. Aqui, pode fazer o upload de um ficheiro Conda environment.yml para instalar ou atualizar pacotes dentro de uma sessão. Assim que iniciar a sessão, as bibliotecas especificadas serão instaladas. Uma vez terminada a sessão, estas bibliotecas deixarão de estar disponíveis, uma vez que são específicas da sua sessão.

Verificar bibliotecas instaladas

Para verificar se as versões corretas das bibliotecas corretas são instaladas a partir de PyPI, execute o seguinte código:

import pkg_resources
for d in pkg_resources.working_set:
     print(d)

Em alguns casos, para ver as versões do pacote da Conda, poderá ter de inspecionar a versão do pacote individualmente.

Pacotes java ou scala com sessão

Para especificar pacotes Java ou Scala com sessão, pode utilizar a opção %%configure :

%%configure -f
{
    "conf": {
        "spark.jars": "abfss://<<file system>>@<<storage account>.dfs.core.windows.net/<<path to JAR file>>",
    }
}

Recomendamos que faça a configuração %% no início do seu caderno. Pode consultar este documento para obter a lista completa de parâmetros válidos.

Passos seguintes