Werkruimtebibliotheken (verouderd)

  • Artikel

Belangrijk

Deze documentatie is buiten gebruik gesteld en wordt mogelijk niet bijgewerkt. De producten, services of technologieën die in deze inhoud worden genoemd, worden niet meer ondersteund. Zie Clusterbibliotheken.

Notitie

Werkruimtebibliotheken zijn afgeschaft en mogen niet worden gebruikt. Het opslaan van bibliotheken als werkruimtebestanden verschilt echter van werkruimtebibliotheken en wordt nog steeds volledig ondersteund. U kunt bibliotheken installeren die als werkruimtebestanden zijn opgeslagen, rechtstreeks voor berekenings- of taaktaken.

Werkruimtebibliotheken fungeren als een lokale opslagplaats van waaruit u op het cluster geïnstalleerde bibliotheken maakt. Een werkruimtebibliotheek kan via aangepaste code worden gemaakt door uw organisatie, of kan een bepaalde versie zijn van een opensource-bibliotheek die uw organisatie heeft gestandaardiseerd.

U moet een werkruimtebibliotheek op een cluster installeren voordat deze kan worden gebruikt in een notebook of taak. Zie Een werkruimtebibliotheek installeren op een cluster.

Werkruimtebibliotheken in de gedeelde map zijn beschikbaar voor alle gebruikers in een werkruimte, terwijl werkruimtebibliotheken in een gebruikersmap alleen beschikbaar zijn voor die gebruiker.

Belangrijk

Bibliotheken kunnen worden geïnstalleerd vanuit DBFS wanneer u Databricks Runtime 14.3 LTS en hieronder gebruikt. Elke werkruimtegebruiker kan echter bibliotheekbestanden wijzigen die zijn opgeslagen in DBFS. Om de beveiliging van bibliotheken in een Azure Databricks-werkruimte te verbeteren, wordt het opslaan van bibliotheekbestanden in de DBFS-hoofdmap afgeschaft en standaard uitgeschakeld in Databricks Runtime 15.0 en hoger. Zie Opslaan van bibliotheken in dbFS-hoofdmap is afgeschaft en standaard uitgeschakeld.

In plaats daarvan raadt Databricks aan om alle bibliotheken, waaronder Python-bibliotheken, JAR-bestanden en Spark-connectors, te uploaden naar werkruimtebestanden of Unity Catalog-volumes, of om opslagplaatsen van bibliotheekpakketten te gebruiken. Als uw workload deze patronen niet ondersteunt, kunt u ook bibliotheken gebruiken die zijn opgeslagen in de opslag van cloudobjecten.

Hoe verschillen werkruimtebibliotheken van bibliotheken die zijn opgeslagen met werkruimtebestanden?

De term 'werkruimtebibliotheken' verwijst naar een bibliotheek die is geregistreerd bij een werkruimte. Werkruimtebibliotheken worden naast notebooks en werkruimtebestanden weergegeven en volgen de ACL-regels voor hun map.

De term 'werkruimtebestanden' verwijst naar elk willekeurig bestand dat is opgeslagen in de werkruimte. U kunt Python .whl-pakketten opslaan als werkruimtebestanden en ze vervolgens registreren als werkruimtebibliotheken. Zie Wat zijn werkruimtebestanden?

U kunt bibliotheken uploaden als werkruimtebestanden. Zie het basisgebruik van werkruimtebestanden.

Hoewel u veel bestandstypen kunt uploaden naar werkruimtebestanden, kunnen alleen Python .whl-bestanden worden geïnstalleerd met behulp van werkruimtebestanden. Zie clusterbibliotheken.

In Databricks Runtime 13.3 LTS en hoger kunt %pip u Python-wielbestanden installeren die zijn opgeslagen als werkruimtebestanden. Zie Een pakket installeren dat is opgeslagen als een werkruimtebestand met %pip.

Een werkruimtebibliotheek maken

Waarschuwing

Deze functionaliteit is niet meer beschikbaar. Zie Het maken en installeren van werkruimtebibliotheken is niet meer beschikbaar.

  1. Klik met de rechtermuisknop op de werkruimtemap waarin u de bibliotheek wilt opslaan.
  2. Selecteer Bibliotheek maken>. Het dialoogvenster Bibliotheek maken wordt weergegeven.
  3. Selecteer de bibliotheekbron en volg de juiste procedure:

Een Jar-, Python-ei- of Python-wielbestand uploaden

Notitie

Het installeren van Python-eibestanden is afgeschaft en wordt verwijderd in een toekomstige Databricks Runtime-release.

Belangrijk

Bibliotheken kunnen worden geïnstalleerd vanuit DBFS wanneer u Databricks Runtime 14.3 LTS en hieronder gebruikt. Elke werkruimtegebruiker kan echter bibliotheekbestanden wijzigen die zijn opgeslagen in DBFS. Om de beveiliging van bibliotheken in een Azure Databricks-werkruimte te verbeteren, wordt het opslaan van bibliotheekbestanden in de DBFS-hoofdmap afgeschaft en standaard uitgeschakeld in Databricks Runtime 15.0 en hoger. Zie Opslaan van bibliotheken in dbFS-hoofdmap is afgeschaft en standaard uitgeschakeld.

In plaats daarvan raadt Databricks aan om alle bibliotheken, waaronder Python-bibliotheken, JAR-bestanden en Spark-connectors, te uploaden naar werkruimtebestanden of Unity Catalog-volumes, of om opslagplaatsen van bibliotheekpakketten te gebruiken. Als uw workload deze patronen niet ondersteunt, kunt u ook bibliotheken gebruiken die zijn opgeslagen in de opslag van cloudobjecten.

  1. Selecteer Uploaden in de lijst bibliotheekbronknop.
  2. Selecteer Jar, Python Egg of Python Whl.
  3. Voer desgewenst een bibliotheeknaam in.
  4. Sleep uw Jar, Egg of Whl naar de vervolgkeuzelijst of klik op de vervolgkeuzelijst en navigeer naar een bestand. Het bestand wordt geüpload naar dbfs:/FileStore/jars.
  5. Klik op Create. Het scherm met de bibliotheekstatus wordt weergegeven.

Verwijzen naar een geüpload JAR-, Python-ei- of Python-wielbestand

U kunt een nieuwe werkruimtebibliotheek maken door te verwijzen naar JAR-, Python-ei- of Python-wielbestanden die zijn opgeslagen in de DBFS-hoofdmap, op objectopslag of met werkruimtebestanden. Als u deze werkstroom volgt, wordt een aanwijzer naar een bibliotheek geregistreerd zonder bestanden te uploaden of te verplaatsen.

Met Databricks Runtime 13.2 en hoger kunt u ook verwijzen naar een volume in Unity Catalog. Deze mogelijkheid bevindt zich in openbare preview.

Voor de modus voor gedeelde toegang moet u JAR's toevoegen aan de allowlist. Zie Allowlist-bibliotheken en init-scripts voor gedeelde berekeningen.

  1. Selecteer Bestandspad/ADLS in de lijst bibliotheekbron.
  2. Selecteer Jar, Python Egg of Python Whl.
  3. Voer desgewenst een bibliotheeknaam in.
  4. Geef het pad naar de bibliotheek op, zoals de volgende voorbeelden:
    • abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl
    • /Workspace/path/to/library.whl
    • dbfs:/path/to/library.whl
    • /Volumes/<catalog>/<schema>/<volume>/<path_to_library_file>
  5. Klik op Create. Het scherm met de bibliotheekstatus wordt weergegeven.

Zie Bibliotheken installeren vanuit objectopslag voor meer informatie over het werken met bibliotheken in objectopslag.

Zie Werken met bestanden in Azure Databricks voor meer informatie over werkruimtebestanden.

Een werkruimtebibliotheek installeren op een cluster

Notitie

Azure Databricks verwerkt alle werkruimtebibliotheken in de volgorde waarin ze op het cluster zijn geïnstalleerd. Mogelijk moet u aandacht besteden aan de volgorde van installatie op het cluster als er afhankelijkheden zijn tussen bibliotheken.

Belangrijk

Bibliotheken kunnen worden geïnstalleerd vanuit DBFS wanneer u Databricks Runtime 14.3 LTS en hieronder gebruikt. Elke werkruimtegebruiker kan echter bibliotheekbestanden wijzigen die zijn opgeslagen in DBFS. Om de beveiliging van bibliotheken in een Azure Databricks-werkruimte te verbeteren, wordt het opslaan van bibliotheekbestanden in de DBFS-hoofdmap afgeschaft en standaard uitgeschakeld in Databricks Runtime 15.0 en hoger. Zie Opslaan van bibliotheken in dbFS-hoofdmap is afgeschaft en standaard uitgeschakeld.

In plaats daarvan raadt Databricks aan om alle bibliotheken, waaronder Python-bibliotheken, JAR-bestanden en Spark-connectors, te uploaden naar werkruimtebestanden of Unity Catalog-volumes, of om opslagplaatsen van bibliotheekpakketten te gebruiken. Als uw workload deze patronen niet ondersteunt, kunt u ook bibliotheken gebruiken die zijn opgeslagen in de opslag van cloudobjecten.

In de toegangsmodus voor één gebruiker wordt de identiteit van de toegewezen principal (een gebruiker of service-principal) gebruikt. In de modus voor gedeelde toegang gebruiken bibliotheken de identiteit van de gebruiker die de bibliotheek heeft geïnstalleerd. Gedeelde toegangsmodus zonder isolatie biedt geen ondersteuning voor volumes, maar maakt gebruik van dezelfde identiteitstoewijzing als de modus voor gedeelde toegang.

Zie Clusterbibliotheken voor alle opties voor het installeren van bibliotheken op clusters.

Als u een bibliotheek wilt installeren die al bestaat in de werkruimte, kunt u beginnen vanuit de gebruikersinterface van het cluster of de bibliotheekgebruikersinterface:

Cluster

  1. Klik in de zijbalk op rekenpictogramCompute.
  2. Klik op de naam van een cluster.
  3. Klik op het tabblad Bibliotheken .
  4. Klik op Nieuw installeren.
  5. Selecteer Werkruimtebibliotheek in de lijst bibliotheekbron.
  6. Selecteer een werkruimtebibliotheek.
  7. Klik op Install.

Bibliotheek

  1. Ga naar de map met de bibliotheek.
  2. Klik op de naam van de bibliotheek.
  3. Schakel het selectievakje in naast het cluster waarop u de bibliotheek wilt installeren en klik op Installeren. Alleen actieve clusters worden weergegeven in de lijst.

Details van werkruimtebibliotheek weergeven

Notitie

Werkruimtemappen bieden gemak voor het detecteren van werkruimtebibliotheken en het beheren van ACL's.

  1. Ga naar de werkruimtemap met de bibliotheek.
  2. Klik op de naam van de bibliotheek.

Op de pagina met bibliotheekdetails worden de actieve clusters en de installatiestatus van de bibliotheek weergegeven. Als de bibliotheek is geïnstalleerd, bevat de pagina een koppeling naar de pakkethost. Als de bibliotheek is geüpload, wordt op de pagina een koppeling naar het geüploade pakketbestand weergegeven.

Een werkruimtebibliotheek verplaatsen

Notitie

Werkruimtemappen bieden gemak voor het detecteren van werkruimtebibliotheken en het beheren van ACL's. Het verplaatsen van een werkruimtebibliotheek verplaatst geen bestanden, maar kan wijzigen welke gebruikers toegang hebben tot de werkruimtebibliotheek.

  1. Ga naar de werkruimtemap met de bibliotheek.
  2. Klik met de rechtermuisknop op de naam van de bibliotheek en selecteer Verplaatsen. Er wordt een mapbrowser weergegeven.
  3. Klik op de doelmap.
  4. Klik op Verplaatsen.

Een werkruimtebibliotheek verwijderen

Belangrijk

Voordat u een werkruimtebibliotheek verwijdert, moet u deze verwijderen uit alle clusters.

Een werkruimtebibliotheek verwijderen:

  1. Verplaats de bibliotheek naar de map Prullenbak.
  2. Verwijder de bibliotheek definitief in de map Prullenbak of maak de map Prullenbak leeg.