Gerenciamento de biblioteca no Spark
Importante
Esse recurso está atualmente na visualização. Os Termos de Uso Complementares para Versões Prévias da Microsoft Azure incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, confira Informações sobre a versão prévia do Azure HDInsight no AKS. No caso de perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para ver mais atualizações sobre a Comunidade do Azure HDInsight.
O propósito do Gerenciamento de Bibliotecas é disponibilizar código aberto ou código personalizado para notebooks e trabalhos em execução em seus clusters. Você pode carregar bibliotecas do Python de repositórios PyPI. Esse artigo se concentra no gerenciamento de bibliotecas na interface do usuário do cluster. O Azure HDInsight no AKS já inclui muitas bibliotecas comuns no cluster. Para ver quais bibliotecas estão incluídas no HDI no cluster do AKS, consulte a página de gerenciamento de bibliotecas.
Instalar bibliotecas
Você pode instalar as bibliotecas de duas maneiras:
- Instalada no cluster
- No escopo do notebook
Instalada no cluster
Todos os notebooks em execução em um cluster podem usar bibliotecas de cluster. Você pode instalar uma biblioteca de cluster diretamente de um repositório público, como o PyPI. Faça upload de repositórios Maven, faça upload de bibliotecas personalizadas do armazenamento em nuvem no roteiro.
No escopo do notebook
As bibliotecas no escopo do notebook, disponíveis para Python e Scala, permitem que você instale bibliotecas e crie um ambiente com escopo para uma sessão de notebook. Essas bibliotecas não afetam outros notebooks em execução no mesmo cluster. As bibliotecas no escopo do notebook não são mantidas e precisam ser reinstaladas para cada sessão.
Observação
Use bibliotecas no escopo do notebook quando precisar de um ambiente personalizado para um notebook específico.
Modos de instalação de biblioteca
PyPI: buscar bibliotecas do repositório PyPI de código aberto mencionando o nome da biblioteca e a versão na interface do usuário da instalação.
Exibir as bibliotecas instaladas
Na página de visão geral, navegue até o Gerenciador de Bibliotecas.
No Gerenciador de Cluster do Spark, clique em Gerenciador de Bibliotecas.
Você pode exibir a lista de bibliotecas instaladas a partir daqui.
Adicionar widget de biblioteca
PyPI
Na guia PyPI, insira o Nome do Pacote e a versão do pacote..
Clique em Instalar.
Desinstalar bibliotecas
Se você decidir não usar mais as bibliotecas, poderá excluir facilmente os pacotes de bibliotecas por meio do botão de desinstalação na página de gerenciamento da biblioteca.
Selecione e clique no nome da biblioteca
Clique em Desinstalar no widget
Observação
- Os pacotes instalados do Jupyter Notebook só podem ser excluídos a partir do Jupyter Notebook.
- Os pacotes instalados a partir do gerenciador de bibliotecas só podem ser desinstalados no gerenciador de bibliotecas.
- Para atualizar uma biblioteca/pacote, desinstale a versão atual da biblioteca e reinstale a versão necessária da biblioteca.
- A instalação de bibliotecas do Jupyter Notebook é específica para a sessão. Não são mantidas.
- A instalação de pacotes pesados pode demorar devido ao seu tamanho e complexidade.