Notebookafhankelijkheden installeren

U kunt Python-afhankelijkheden voor serverloze notebooks installeren met behulp van het deelvenster Omgeving . Dit deelvenster biedt één plek om de bibliotheekvereisten van een notitieblok te bewerken, weer te geven en te exporteren. Deze afhankelijkheden kunnen worden toegevoegd met behulp van een basisomgeving of afzonderlijk.

Zie Omgevingen en afhankelijkheden configureren voor niet-notebooktaken.

Belangrijk

Installeer PySpark of een bibliotheek die PySpark installeert niet als een afhankelijkheid van uw serverloze notebooks. Als u dit doet, wordt uw sessie gestopt en resulteert dit in een fout. Als dit het geval is, stelt u uw omgeving opnieuw in.

Een basisomgeving configureren

Een basisomgeving is een YAML-bestand dat is opgeslagen als een werkruimtebestand of op een Unity Catalog-volume dat aanvullende omgevingsafhankelijkheden aangeeft. Basisomgevingen kunnen worden gedeeld tussen notebooks. Een basisomgeving configureren:

1. Maak een YAML-bestand dat instellingen definieert voor een virtuele Python-omgeving. Het volgende voorbeeld van YAML, dat is gebaseerd op de omgevingsspecificatie van MLflow-projecten, definieert een basisomgeving met enkele bibliotheekafhankelijkheden:

   client: "1"
   dependencies:
     - --index-url https://pypi.org/simple
     - -r "/Workspace/Shared/requirements.txt"
     - cowsay==6.1
   

2. Upload het YAML-bestand als een werkruimtebestand of naar een Unity Catalog-volume. Zie Een bestand importeren of bestanden uploaden naar een Unity Catalog-volume.

3. Klik rechts van het notitieblok op de knop om het deelvenster Omgeving uit te vouwen. Deze knop wordt alleen weergegeven wanneer een notebook is verbonden met serverloze berekeningen.

4. Voer in het veld Basisomgeving het pad van het geüploade YAML-bestand in of navigeer ernaartoe en selecteer het.

5. Klik op Toepassen. Hiermee worden de afhankelijkheden in de virtuele notebookomgeving geïnstalleerd en wordt het Python-proces opnieuw gestart.

Gebruikers kunnen de afhankelijkheden die zijn opgegeven in de basisomgeving overschrijven door afhankelijkheden afzonderlijk te installeren.

Afhankelijkheden afzonderlijk toevoegen

U kunt ook afhankelijkheden installeren op een notebook dat is verbonden met serverloze berekeningen met behulp van het tabblad Afhankelijkheden van het deelvenster Omgeving :

1. Klik rechts van het notitieblok op de knop om het deelvenster Omgeving uit te vouwen. Deze knop wordt alleen weergegeven wanneer een notebook is verbonden met serverloze berekeningen.
2. Klik in de sectie Afhankelijkheden op Afhankelijkheid toevoegen en voer het pad in van de bibliotheekafhankelijkheid in het veld. U kunt een afhankelijkheid opgeven in elke indeling die geldig is in een requirements.txt-bestand .
3. Klik op Toepassen. Hiermee worden de afhankelijkheden in de virtuele notebookomgeving geïnstalleerd en wordt het Python-proces opnieuw gestart.

Notitie

Een taak die gebruikmaakt van serverloze rekenkracht installeert de omgevingsspecificatie van het notebook voordat de notebookcode wordt uitgevoerd. Dit betekent dat u geen afhankelijkheden hoeft toe te voegen wanneer u notebooks als taken plant. Zie Omgevingen en afhankelijkheden configureren.

Geïnstalleerde afhankelijkheden en pip-logboeken weergeven

Als u geïnstalleerde afhankelijkheden wilt weergeven, klikt u op Geïnstalleerd in het deelvenster Omgevingen voor een notebook. Pip-installatielogboeken voor de notebookomgeving zijn ook beschikbaar door onderaan het deelvenster op Pip-logboeken te klikken.

De omgeving opnieuw instellen

Als uw notebook is verbonden met serverloze berekeningen, slaat Databricks automatisch de inhoud van de virtuele omgeving van het notebook in de cache op. Dit betekent dat u in het algemeen de Python-afhankelijkheden die zijn opgegeven in het deelvenster Omgeving niet opnieuw hoeft te installeren wanneer u een bestaand notebook opent, zelfs niet als de verbinding is verbroken vanwege inactiviteit.

Het opslaan van virtuele Python-omgevingen is ook van toepassing op taken. Dit betekent dat volgende uitvoeringen van taken sneller zijn, omdat vereiste afhankelijkheden al beschikbaar zijn.

Notitie

Als u de implementatie wijzigt van een aangepast Python-pakket dat wordt gebruikt in een taak zonder server, moet u ook het versienummer bijwerken voor taken om de meest recente implementatie op te halen.

Als u de omgevingscache wilt wissen en een nieuwe installatie wilt uitvoeren van de afhankelijkheden die zijn opgegeven in het deelvenster Omgeving van een notebook dat is gekoppeld aan serverloze berekening, klikt u op de pijl naast Toepassen en klikt u vervolgens op Omgeving opnieuw instellen.

Notitie

Stel de virtuele omgeving opnieuw in als u pakketten installeert die het kernnotitieblok of de Apache Spark-omgeving verbreken of wijzigen. Als u het notebook loskoppelt van serverloze rekenkracht en opnieuw koppelt, wordt de volledige omgevingscache niet per se gewist.

Omgevingen en afhankelijkheden configureren voor niet-notebooktaken

Voor andere ondersteunde taaktypen, zoals Python-script, Python-wiel of dbt-taken, bevat een standaardomgeving geïnstalleerde Python-bibliotheken. Zie de sectie Geïnstalleerde Python-bibliotheken in de releaseopmerkingen voor de Databricks Runtime-versie waarop uw serverloze berekening voor werkstromen is gebaseerd om de lijst met geïnstalleerde bibliotheken weer te geven. Zie de releaseopmerkingen voor serverloze berekeningen voor werkstromen om de huidige Databricks Runtime-versie te bekijken die wordt gebruikt door serverloze berekeningen. Als voor een taak een Python-bibliotheek is vereist die niet is geïnstalleerd, kunt u de bibliotheek installeren vanuit werkruimtebestanden, Unity Catalog-volumes of openbare pakketopslagplaatsen. Een bibliotheek toevoegen wanneer u een taak maakt of bewerkt:

1. Klik in het vervolgkeuzemenu Omgeving en bibliotheken naast de standaardomgeving of klik op + Nieuwe omgeving toevoegen.

   

2. Klik in het dialoogvenster Omgeving configureren op + Bibliotheek toevoegen.

3. Selecteer het type afhankelijkheid in de vervolgkeuzelijst onder Bibliotheken.

4. Voer in het tekstvak Bestandspad het pad naar de bibliotheek in.

• Voor een Python Wheel in een werkruimtebestand moet het pad absoluut zijn en beginnen met /Workspace/.

• Voor een Python Wheel in een Unity Catalog-volume moet het pad zijn /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

• Voor een requirements.txt bestand selecteert u PyPi en voert u in -r /path/to/requirements.txt.

  

1. Klik op Bevestigen of + Bibliotheek toevoegen om een andere bibliotheek toe te voegen.
2. Als u een taak toevoegt, klikt u op Taak maken. Als u een taak bewerkt, klikt u op Taak opslaan.