Gerenciamento de bibliotecas em ambientes de malha
Os ambientes Microsoft Fabric fornecem configurações flexíveis para executar seus trabalhos do Spark. As bibliotecas fornecem código reutilizável que os desenvolvedores desejam incluir em seu trabalho. Exceto para as bibliotecas internas que acompanham cada tempo de execução do Spark, você pode instalar bibliotecas públicas e personalizadas em seus ambientes Fabric. E você pode facilmente anexar ambientes aos seus blocos de anotações e definições de trabalho do Spark.
Nota
Modificar a versão de um pacote específico pode potencialmente quebrar outros pacotes que dependem dele. Por exemplo, o azure-storage-blob downgrade pode causar problemas com Pandas e várias outras bibliotecas que dependem de Pandas, incluindo mssparkutils, fsspec_wrapper, e notebookutils.
Você pode visualizar a lista de pacotes pré-instalados e suas versões para cada tempo de execução aqui.
Confira mais opções e práticas recomendadas de uso de bibliotecas no Microsoft Fabric: Gerenciar bibliotecas do Apache Spark no Microsoft Fabric
Bibliotecas públicas
As bibliotecas públicas são originárias de repositórios como PyPI e Conda, que o Fabric suporta atualmente.
Adicionar uma nova biblioteca pública
Para adicionar uma nova biblioteca pública, selecione uma fonte e especifique o nome e a versão da biblioteca. Como alternativa, você pode carregar um arquivo de .yml de especificação de ambiente Conda para especificar as bibliotecas públicas. O conteúdo do ficheiro .yml carregado é extraído e anexado à lista.
Nota
O recurso de preenchimento automático para nomes de bibliotecas durante a adição é limitado às bibliotecas mais populares. Se a biblioteca que você deseja instalar não estiver nessa lista, você não receberá um prompt de preenchimento automático. Em vez disso, procure a biblioteca diretamente no PyPI ou Conda digitando seu nome completo. Se o nome da biblioteca for válido, você verá as versões disponíveis. Se o nome da biblioteca não for válido, você receberá um aviso de que a biblioteca não existe.
Adicionar bibliotecas públicas em um lote
Os ambientes suportam o carregamento do arquivo YAML para gerenciar várias bibliotecas públicas em um lote. O conteúdo do YAML é extraído e anexado na lista de bibliotecas públicas.
Nota
Os canais conda personalizados no arquivo YAML não são suportados no momento. Apenas as bibliotecas do PyPI e conda são reconhecidas.
Filtrar bibliotecas públicas
Introduza palavras-chave na caixa de pesquisa na página Bibliotecas Públicas , para filtrar a lista de bibliotecas públicas e encontrar a que precisa.
Atualizar bibliotecas públicas
Para atualizar a versão de uma biblioteca pública existente, navegue até o ambiente e abra as bibliotecas públicas ou bibliotecas personalizadas. Escolha a biblioteca necessária, selecione a lista suspensa de versão e atualize sua versão.
Excluir bibliotecas públicas
A opção de lixo para cada biblioteca aparece quando você passa o mouse sobre a linha correspondente. Como alternativa, você pode excluir várias bibliotecas públicas selecionando-as e, em seguida, selecionando Excluir na faixa de opções.
Ver dependência
Cada biblioteca pública tem várias dependências. A opção de dependência de exibição aparece quando você passa o mouse sobre a linha correspondente.
Exportar para yaml
O Fabric oferece a opção de exportar a lista completa de bibliotecas públicas para um arquivo YAML e baixá-lo para o diretório local.
Bibliotecas personalizadas
As bibliotecas personalizadas referem-se ao código criado por si ou pela sua organização. O Fabric suporta arquivos de biblioteca personalizados nos formatos .whl, .jar e .tar.gz.
Nota
O Fabric suporta apenas arquivos .tar.gz para o idioma R. Use o formato de arquivo .whl para a linguagem Python.
Carregar a biblioteca personalizada
Você pode carregar bibliotecas personalizadas do diretório local para o ambiente Fabric.
Excluir a biblioteca personalizada
A opção de lixo para cada biblioteca aparece quando você passa o mouse sobre a linha correspondente. Como alternativa, você pode excluir várias bibliotecas personalizadas selecionando-as e, em seguida, selecionando Excluir na faixa de opções.
Baixar todas as bibliotecas personalizadas
Se clicado, as bibliotecas personalizadas baixam uma a uma para o diretório de download padrão local.