Hantera beroenden med hjälp av miljöer

Important

Den här funktionen finns i Beta. Kontoadministratörer kan styra åtkomsten till den här funktionen på kontokonsolens Förhandsvisningar-sida med hjälp av växlingsknappen Miljöer för Standard Compute. Se Hantera förhandsversioner av Azure Databricks.

På en klassisk beräkningsresurs som använder Environments-beroendeläget hanterar du beroenden på arbetsbelastningsnivå med basmiljöer istället för att installera beräkningsbegränsade bibliotek.

Miljöinställningarna förblir isolerade från ändringar på nivån för beräkningsresurser, så arbetslaster slutar inte fungera när de underliggande beräkningsresurserna ändras. Och eftersom Azure Databricks cachelagrar basmiljöer behöver beroenden inte lösas eller installeras vid uppstart, så beräkningsresurserna startar snabbare och undviker fel som beror på paketupplösning, paketkällornas tillgänglighet eller bristande nätverkstillförlitlighet.

I en anteckningsbok kopplad till en klassisk beräkningsresurs som använder beroendeläget Miljöer , välj en basmiljö och lägg till beroenden från anteckningsbokens Miljöpanel . För jobbuppgifter, konfigurera beroenden med en arbetsmiljöspecifikation.

Kravspecifikation

Beroendelägesinställningen är endast tillgänglig på beräkningar som uppfyller följande krav:

• Databricks Runtime 19 (Beta) eller senare
• Standardåtkomstläge
• Allroundberäkning eller klassisk jobbberäkning

För supportdetaljer, se Begränsningar.

Sätt beroendeläget

För att skapa en klassisk beräkningsresurs som använder Environments dependency mode:

1. I sidofältet för arbetsytan, klicka på Beräkna och öppna sedan fliken All-purpose compute .

2. Klicka på Skapa beräkning.

3. Under Prestanda, välj 19 Beta eller högre från rullgardinsmenyn Databricks Runtime-version.

4. Expandera avsnittet Avancerat , klicka sedan på Beroenden.

5. För beroendeläge, ha Auto valt så att Azure Databricks kan lösa läget, eller klicka på Manual och välj Environments för att ställa in det själv. Se alternativ för beroendeläge.

   

6. Konfigurera resten av beräkningen och klicka sedan på Skapa.

Efter att beräkningen körs, bifoga en anteckningsbok och konfigurera dess miljö enligt beskrivningen i Använd miljöer i en anteckningsbok.

Alternativ för beroendeläge

Beroendelägeskontrollen har två inställningar som avgör hur läget väljs:

• Auto: Azure Databricks löser läget baserat på beräkningskonfigurationen. Auto motsvarar Miljöer, såvida inte beräkningenheten specificerar Docker, Spark-miljövariabler eller init-skript, i vilket fall det motsvarar Klusterbibliotek.
• Manuell: Du väljer själv Miljöer eller klusterbibliotek.

När du väljer Manuell, välj det läge som passar dina behov:

• Miljöer: Hantera beroenden på arbetsbelastningsnivå med basmiljöer. Klusterbibliotek, Docker, Spark-miljövariabler och init-skript är inaktiverade. Använd detta läge för att isolera beroenden för varje arbetsbelastning.
• Klusterbibliotek: Det klassiska beteendet. Installera beroenden i beräkningsmiljön med hjälp av klusterbibliotek, init-skript eller Docker. Använd detta läge om din arbetsbelastning kräver någon av dessa inställningar.

Uppdatera en befintlig beräkning

Om du redigerar inställningarna för befintlig beräkning blockeras övergång till miljöläge om beräkningen har inkompatibla inställningar, såsom init-skript, klusterbibliotek eller Docker. Om du tar bort de inkompatibla inställningarna först kan du sedan redigera beroendeläget.

Om du byter till klusterbiblioteksläge från miljöläge behåller anslutna anteckningsböcker sina miljöval men dessa val blir inaktiva. Om du byter tillbaka beräkningen till miljöläge blir dessa val aktiva igen.

Använd miljöer i en anteckningsbok

För att använda miljöer i en anteckningsbok, koppla anteckningsboken till en klassisk beräkningsresurs som använder Environments-beroendeläget. När du har anslutit anteckningsboken konfigurerar du anteckningsbokens beroenden i sidopanelen Miljö.

Välj en basmiljö

En basmiljö bestämmer vilka förinstallerade bibliotek och miljöversionen som finns tillgängliga för din anteckningsbok. Basmiljöväljaren i fönstret Miljö är den plats där du väljer din miljö. Databricks rekommenderar att du använder den senaste versionen för att få ut mesta möjliga up-to-date notebook-funktioner. För att se detaljer om varje miljöversion, se Miljöversioner.

Basmiljöväljaren innehåller följande alternativ:

• Standard: Standardbasmiljön med Databricks-bibliotek som tillhandahålls.
• ML: En basmiljö med Python och systempaket från Databricks Runtime för strojové učenie förinstallerad.
• Mer: Expanderar för att visa ytterligare alternativ:
  • Tidigare versioner av Standard- och ML-miljöer.
  • Anpassad: Ange en anpassad miljö med hjälp av en YAML-fil.
• Arbetsytmiljöer: Listar alla kompatibla basmiljöer konfigurerade för din arbetsplats av arbetsytadministratörer.

Lägga till beroenden i anteckningsboken

Azure Databricks lagrar notebookens virtuella miljö i cacheminnet, så beroendena installeras inte på nytt varje gång du öppnar en notebook igen eller återupptar arbetet efter inaktivitet.

Så här installerar du ett beroende individuellt:

1. I avsnittet Beroenden, ange beroendets sökväg i fältet och klicka sedan +Lägg till beroende. Du kan ange ett beroende i valfritt format som är giltigt i en requirements.txt fil. Python-hjulfiler eller Python-projekt (till exempel katalogen som innehåller en pyproject.toml eller ett setup.py) kan finnas i arbetsytefiler eller Unity Catalog-volymer.

   • Om du använder en arbetsytefil ska sökvägen vara absolut och börja med /Workspace/.
   • Om du använder en fil i en Unity Catalog-volym bör sökvägen vara i följande format: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

2. Klicka på Apply för att installera beroendena och starta om Python processen.

Important

Installera inte PySpark eller något bibliotek som installerar PySpark som ett beroende av dina anteckningsböcker. Om du gör det stoppas sessionen och det resulterar i ett fel. Om detta händer, ta bort biblioteket och återställ din miljö.

För att se installerade beroenden, klicka på fliken Installerat i Miljösidan . Öppna pip-installationsloggarna för notebook-miljön genom att klicka på pip-loggarna längst ned i fönstret.

Använd miljöer i ett jobb

För jobbuppgifter som körs på en klassisk beräkningsresurs som använder Environments-beroendeläget, konfigurera beroenden med en jobbmiljöspecifikation. En jobbmiljö specificerar en basmiljö och eventuella ytterligare beroenden som en eller flera uppgifter kan referera till.

För att konfigurera en miljö för en jobbuppgift, utför följande steg:

1. Skapa eller redigera en uppgift i ett jobb.
2. Under Beräkning, välj en befintlig klassisk beräkningsresurs som använder Environments-beroendeläget, eller lägg till klassisk jobbberäkning.
3. Om du lägger till beräkning för klassiska jobb, expanderar du Avancerat.
4. Klicka på Beroenden.
5. För beroendeläge, välj Manual och Environments, eller behåll Auto om det löses till Environments.
6. Under Miljö och bibliotek i uppgiftskonfigurationen, konfigurera en miljö för uppgiften. Se Konfigurera miljö för jobbuppgifter för vilka alternativ som finns tillgängliga för varje uppgiftstyp.

Uppgifter som körs på en klassisk beräkningsresurs som använder Environments-beroendeläget stöder inte uppgiftsinställningen Dependent libraries. Lägg istället till beroenden i miljön.

Limitations

Environments-beroendeläget stöder Python-arbetsbelastningar och beroenden i interaktiva anteckningsböcker och jobbuppgifter. Följande begränsningar gäller:

• Spark JAR-uppgifter stöds inte på en klassisk beräkningsresurs som använder Environments-beroendeläget.
• Att köra %scala kod misslyckas.
• Alla begränsningar i standardåtkomstläget gäller, inklusive inget stöd för R. Se Standardberäkningskrav och begränsningar.

Inkompatibla inställningar

När Environments dependency mode är aktiverat är följande beräkningsinställningar avstängda:

• Docker (Azure Databricks Container Services)
• Spark-miljövariabler
• Initieringsskript
• Klusterbibliotek