Clusterbibliotheken
Clusterbibliotheken kunnen worden gebruikt door alle notebooks en taken die worden uitgevoerd op een cluster. In dit artikel vindt u informatie over het gebruik van de gebruikersinterface van de bibliotheek installeren in de Azure Databricks-werkruimte.
Notitie
Als u rekenkracht maakt met behulp van een beleid waarmee bibliotheekinstallaties worden afgedwongen, kunt u geen bibliotheken op uw rekenproces installeren of verwijderen. Werkruimtebeheerders beheren alle bibliotheekbeheer op beleidsniveau.
U kunt bibliotheken installeren in een cluster met behulp van de volgende methoden:
Installeer alleen een bibliotheek voor gebruik met een specifiek cluster.
Installeer een bibliotheek met de REST API. Zie de Bibliotheken-API.
Installeer een bibliotheek met Databricks CLI. Zie Wat is de Databricks CLI?
Installeer een bibliotheek met Behulp van Terraform. Zie de Databricks Terraform-provider en databricks_library.
Installeer een bibliotheek door een cluster te maken met een beleid waarmee bibliotheekinstallaties worden gedefinieerd. Zie Bibliotheken toevoegen aan een beleid.
(Niet aanbevolen) Installeer een bibliotheek met behulp van een init-script dat wordt uitgevoerd tijdens het maken van het cluster. Zie Een bibliotheek installeren met een init-script (verouderd).
Een bibliotheek installeren op een cluster
Een bibliotheek installeren op een cluster:
- Klik op
Compute in de zijbalk. - Klik op de naam van een cluster.
- Klik op het tabblad Bibliotheken .
- Klik op Nieuw installeren.
- Het dialoogvenster Bibliotheek installeren wordt weergegeven.
- Selecteer een van de opties voor bibliotheekbronnen , voltooi de instructies die worden weergegeven en klik vervolgens op Installeren.
Belangrijk
Bibliotheken kunnen worden geïnstalleerd vanuit DBFS wanneer u Databricks Runtime 14.3 LTS en hieronder gebruikt. Elke werkruimtegebruiker kan echter bibliotheekbestanden wijzigen die zijn opgeslagen in DBFS. Om de beveiliging van bibliotheken in een Azure Databricks-werkruimte te verbeteren, wordt het opslaan van bibliotheekbestanden in de DBFS-hoofdmap standaard afgeschaft en uitgeschakeld in Databricks Runtime 15.1 en hoger. Zie Opslaan van bibliotheken in dbFS-hoofdmap is afgeschaft en standaard uitgeschakeld.
In plaats daarvan raadt Databricks aan om alle bibliotheken, waaronder Python-bibliotheken, JAR-bestanden en Spark-connectors, te uploaden naar werkruimtebestanden of Unity Catalog-volumes, of om opslagplaatsen van bibliotheekpakketten te gebruiken. Als uw workload deze patronen niet ondersteunt, kunt u ook bibliotheken gebruiken die zijn opgeslagen in de opslag van cloudobjecten.
Niet alle clustertoegangsmodi ondersteunen alle bibliotheekconfiguraties. Zie clusterbibliotheken.
| Bibliotheekbron | Instructies |
|---|---|
| Werkruimte | Selecteer een werkruimtebestand of upload een Whl,zipped wheelhouse, JAR, ZIP, tar of requirements.txt bestand. Zie Bibliotheken installeren vanuit werkruimtebestanden |
| Volumes | Selecteer een Whl-, JAR- of requirements.txt-bestand van een volume. Zie Bibliotheken installeren vanaf een volume. |
| Bestandspad/ADLS | Selecteer het bibliotheektype en geef de volledige URI op voor het bibliotheekobject (bijvoorbeeld: /Workspace/path/to/library.whl, /Volumes/path/to/library.whlof abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). Zie Bibliotheken installeren vanuit objectopslag. |
| PyPI | Voer een PyPI-pakketnaam in. Zie PyPI-pakket. |
| Maven | Geef een Maven-coördinaat op. Zie het Maven- of Spark-pakket. |
| CRAN | Voer de naam van een pakket in. Zie CRAN-pakket. |
| DBFS (niet aanbevolen) | Laad een JAR- of Whl-bestand naar de DBFS-hoofdmap. Dit wordt niet aanbevolen, omdat bestanden die zijn opgeslagen in DBFS kunnen worden gewijzigd door elke werkruimtegebruiker. |
Wanneer u een bibliotheek op een cluster installeert, ziet een notitieblok dat al aan dat cluster is gekoppeld, de nieuwe bibliotheek niet onmiddellijk. U moet eerst de notebook loskoppelen en vervolgens opnieuw koppelen aan het cluster.
Notitie
Een bibliotheek die meer dan 2 uur heeft geduurd om te installeren, wordt gemarkeerd als mislukt.
Een bibliotheek installeren met behulp van een beleid
Als u een cluster maakt met behulp van een beleid waarmee bibliotheekinstallatie wordt afgedwongen, worden opgegeven bibliotheken automatisch op uw cluster geïnstalleerd. U kunt geen extra bibliotheken installeren of bibliotheken verwijderen.
Werkruimtebeheerders kunnen bibliotheken toevoegen aan beleid, zodat ze bibliotheekinstallaties kunnen beheren en afdwingen op alle rekenprocessen die gebruikmaken van het beleid. Zie Bibliotheken toevoegen aan een beleid voor instructies voor beheerders.
Een bibliotheek verwijderen uit een cluster
Notitie
Wanneer u een bibliotheek van een cluster verwijdert, wordt de bibliotheek alleen verwijderd wanneer u het cluster opnieuw opstart. Totdat u het cluster opnieuw opstart, wordt de status van de verwijderd bibliotheek weergegeven als Verwijderen in behandeling voor opnieuw opstarten.
Als u een bibliotheek wilt verwijderen, kunt u de gebruikersinterface van het cluster gebruiken:
- Klik op Compute in de zijbalk.
- Klik op de naam van een cluster.
- Klik op het tabblad Bibliotheken .
- Schakel het selectievakje in naast het cluster waaruit u de bibliotheek wilt verwijderen, klik op Verwijderen en bevestig. De status verandert in Verwijderen in afwachting van opnieuw opstarten.
Klik op Opnieuw opstarten en bevestigen om de bibliotheek te verwijderen. De bibliotheek wordt verwijderd uit het tabblad Bibliotheken van het cluster.
De bibliotheken weergeven die op een cluster zijn geïnstalleerd
- Klik op Compute in de zijbalk.
- Klik op de clusternaam.
- Klik op het tabblad Bibliotheken . Voor elke bibliotheek wordt op het tabblad de naam en versie weergegeven, typt, de installatiestatus en, indien geüpload, het bronbestand.
Een door een cluster geïnstalleerde bibliotheek bijwerken
Als u een door een cluster geïnstalleerde bibliotheek wilt bijwerken, verwijdert u de oude versie van de bibliotheek en installeert u een nieuwe versie.
Notitie
Requirements.txt bestanden hoeven niet te worden verwijderd en opnieuw opgestart. Als u de inhoud van een requirements.txt-bestand hebt gewijzigd, kunt u het gewoon opnieuw installeren om de inhoud van het geïnstalleerde bestand bij te werken.