Compartilhar via


Bibliotecas de cluster

As bibliotecas de cluster podem ser usadas por todos os notebooks e trabalhos em execução em um cluster. Este artigo detalha o uso da interface do usuário Instalar biblioteca no workspace do Azure Databricks.

Observação

Se você criar a computação utilizando uma política que imponha instalações de bibliotecas, não será possível instalar ou desinstalar bibliotecas na sua computação. Os administradores do espaço de trabalho controlam todo o gerenciamento da biblioteca no nível da política.

Você pode instalar bibliotecas em um cluster usando as seguintes abordagens:

Instalar uma biblioteca em um cluster

Para instalar uma biblioteca em um cluster:

  1. Clique em compute icon Computação na barra lateral.
  2. Clique em um nome de cluster.
  3. Clique na guia Bibliotecas.
  4. Clique em Instalar novo.
  5. A caixa de diálogo Instalar biblioteca é exibida.
  6. Selecione uma das opções de Origem da biblioteca, conclua as instruções exibidas e clique em Instalar.

Importante

As bibliotecas podem ser instaladas a partir do DBFS ao usar o Databricks Runtime 14.3 LTS e inferior. Porém, qualquer usuário do espaço de trabalho pode modificar os arquivos de biblioteca armazenados no DBFS. Para melhorar a segurança das bibliotecas em um workspace do Azure Databricks, o armazenamento de arquivos de biblioteca na raiz do DBFS foi preterido e desabilitado por padrão no Databricks Runtime 15.1 e em versões posteriores. Consulte O armazenamento de bibliotecas na raiz do DBFS é preterido e desabilitado por padrão.

Em vez disso, o Databricks recomenda carregar todas as bibliotecas, incluindo bibliotecas python, arquivos JAR e conectores Spark, para arquivos de workspace ou volumes do Catálogo do Unity ou usando repositórios de pacotes de biblioteca. Se sua carga de trabalho não der suporte a esses padrões, você também poderá usar bibliotecas armazenadas no armazenamento de objetos de nuvem.

Nem todos os modos de acesso de cluster dão suporte a todas as configurações de biblioteca. Veja Bibliotecas com escopo de cluster.

Origem da biblioteca Instruções
Workspace Selecione um arquivo de workspace ou carregue um arquivo Whl, wheelhouse compactado, JAR, ZIP, tar ou requirements.txt. Consulte Instalar bibliotecas de arquivos de workspace
Volumes Selecione um arquivo whl, JAR ou requirements.txt de um volume. Consulte Instalar bibliotecas a partir de um volume.
Caminho do arquivo/ADLS Selecione o tipo de biblioteca e forneça o URI completo do objeto da biblioteca (por exemplo: /Workspace/path/to/library.whl, /Volumes/path/to/library.whl ou abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). Consulte Instalar bibliotecas a partir do armazenamento de objetos.
PyPI Insira um nome de pacote PyPI. Consulte Pacote PyPI.
Maven Especifique uma coordenada do Maven. Consulte Pacote Maven ou Spark.
CRAN Insira o nome de um pacote. Consulte Pacote CRAN.
DBFS (não recomendado) Carregar um arquivo JAR ou Whl na raiz DBFS. Não recomendamos porque os arquivos armazenados no DBFS podem ser modificados por qualquer usuário do workspace.

Quando você instala uma biblioteca em um cluster, um notebook já anexado a esse cluster não verá imediatamente a nova biblioteca. Primeiro, você deve desanexar e, em seguida, reanexar o notebook ao cluster.

Observação

Uma biblioteca que levou mais de 2 horas para ser instalada será marcada como “com falha”.

Instalar uma biblioteca usando uma política

Se você criar um cluster utilizando uma política que imponha a instalação de bibliotecas, as bibliotecas especificadas serão instaladas automaticamente no seu cluster. Você não pode instalar bibliotecas adicionais nem desinstalar nenhuma biblioteca.

Os administradores do espaço de trabalho podem adicionar bibliotecas às políticas, permitindo que gerenciem e imponham instalações de bibliotecas em toda a computação que usa a política. Para obter instruções de administração, consulte Adicionar bibliotecas a uma política.

Desinstalar uma biblioteca de um cluster

Observação

Quando você desinstala uma biblioteca de um cluster, a biblioteca é removida somente quando você reiniciar o cluster. Até que você reinicie o cluster, o status da biblioteca desinstalada será exibido como Desinstalação com reinicialização pendente.

Para desinstalar uma biblioteca, você pode usar a interface do usuário do cluster:

  1. Clique em compute icon Computação na barra lateral.
  2. Clique em um nome de cluster.
  3. Clique na guia Bibliotecas.
  4. Marque a caixa de seleção ao lado do cluster do qual você deseja desinstalar a biblioteca, clique em Desinstalar e, em seguida, Confirmar. O Status muda para Desinstalação com reinicialização pendente.

Clique em Reiniciar e Confirmar para desinstalar a biblioteca. A biblioteca será removida da guia de Bibliotecas do cluster.

Exibir as bibliotecas instaladas em um cluster

  1. Clique em compute icon Computação na barra lateral.
  2. Clique no nome do cluster.
  3. Clique na guia Bibliotecas. Para cada biblioteca, a guia exibirá o nome e a versão, o tipo, o status de instalação e, se carregado, o arquivo de origem.

Atualizar uma biblioteca instalada no cluster

Para atualizar uma biblioteca instalada em cluster, desinstale a versão antiga da biblioteca e instale uma nova versão.

Observação

Arquivos requirements.txt não exigem desinstalação e reinicialização. Se você modificou o conteúdo de um arquivo requirements.txt, poderá simplesmente reinstalá-lo para atualizar o conteúdo do arquivo instalado.