Hantera beroenden med hjälp av miljöer

Important

Den här funktionen finns i Beta. Kontoadministratörer kan styra åtkomsten till den här funktionen på kontokonsolens Förhandsvisningar-sida med hjälp av växlingsknappen Miljöer för Standard Compute. Se Hantera förhandsversioner av Azure Databricks.

I klassisk beräkning kan du med Environments-beroendeläget hantera beroenden på arbetslastnivå med basmiljöer i stället för att installera beräkningsspecifika bibliotek. Detta är samma modell som används av serverlös datorkraft.

Miljöinställningarna förblir isolerade från ändringar på nivån för beräkningsresurser, så arbetslaster slutar inte fungera när de underliggande beräkningsresurserna ändras. Och eftersom Azure Databricks cachelagrar basmiljöer behöver beroenden inte lösas eller installeras vid uppstart, så beräkningsresurserna startar snabbare och undviker fel som beror på paketupplösning, paketkällornas tillgänglighet eller bristande nätverkstillförlitlighet.

Efter att du har anslutit dig till en beräkning som använder Environments dependency mode kan du välja en basmiljö och lägga till beroenden från notebookens Environment-sidepanel . Se Använd miljöer i en anteckningsbok.

Kravspecifikation

Beroendelägesinställningen är endast tillgänglig på beräkningar som uppfyller följande krav:

• Databricks Runtime 19 (Beta) eller senare
• Standardåtkomstläge
• Allroundberäkning körs i interaktiva anteckningsböcker

För supportdetaljer, se Begränsningar.

Sätt beroendeläget

För att skapa en beräkning som använder Environments dependency mode:

1. I sidofältet för arbetsytan, klicka på Beräkna och öppna sedan fliken All-purpose compute .

2. Klicka på Skapa beräkning.

3. Under Prestanda, välj 19 Beta eller högre från rullgardinsmenyn Databricks Runtime-version.

4. Expandera avsnittet Avancerat , klicka sedan på Beroenden.

5. För beroendeläge, ha Auto valt så att Azure Databricks kan lösa läget, eller klicka på Manual och välj Environments för att ställa in det själv. Se alternativ för beroendeläge.

   

6. Konfigurera resten av beräkningen och klicka sedan på Skapa.

Efter att beräkningen körs, bifoga en anteckningsbok och konfigurera dess miljö enligt beskrivningen i Använd miljöer i en anteckningsbok.

Alternativ för beroendeläge

Beroendelägeskontrollen har två inställningar som avgör hur läget väljs:

• Auto: Azure Databricks löser läget baserat på beräkningskonfigurationen. Auto motsvarar Miljöer, såvida inte beräkningenheten specificerar Docker, Spark-miljövariabler eller init-skript, i vilket fall det motsvarar Klusterbibliotek.
• Manuell: Du väljer själv Miljöer eller klusterbibliotek.

När du väljer Manuell, välj det läge som passar dina behov:

• Miljöer: Hantera beroenden på arbetsbelastningsnivå med basmiljöer. Klusterbibliotek, Docker, Spark-miljövariabler och init-skript är inaktiverade. Använd detta läge för en konsekvent, portabel beroendeupplevelse som matchar serverless beräkning.
• Klusterbibliotek: Det klassiska beteendet. Installera beroenden i beräkningsmiljön med hjälp av klusterbibliotek, init-skript eller Docker. Använd detta läge om din arbetsbelastning kräver någon av dessa inställningar.

Uppdatera en befintlig beräkning

Om du redigerar inställningarna för befintlig beräkning blockeras övergång till miljöläge om beräkningen har inkompatibla inställningar, såsom init-skript, klusterbibliotek eller Docker. Om du tar bort de inkompatibla inställningarna först kan du sedan redigera beroendeläget.

Om du byter till klusterbiblioteksläge från miljöläge behåller anslutna anteckningsböcker sina miljöval men dessa val blir inaktiva. Om du byter tillbaka beräkningen till miljöläge blir dessa val aktiva igen.

Använd miljöer i en anteckningsbok

För att använda miljöer i en anteckningsbok, koppla anteckningsboken till en klassisk beräkningsresurs som använder Environments-beroendeläget. När du har anslutit notebooken kan du konfigurera notebookens beroenden från sidopanelen Environment, på samma sätt som du gör med serverlös beräkning.

Välj en basmiljö

En basmiljö bestämmer vilka förinstallerade bibliotek och miljöversionen som finns tillgängliga för din anteckningsbok. Basmiljöväljaren i fönstret Miljö är den plats där du väljer din miljö. Databricks rekommenderar att du använder den senaste versionen för att få ut mesta möjliga up-to-date notebook-funktioner. För att se detaljer om varje miljöversion, se Miljöversioner.

Basmiljöväljaren innehåller följande alternativ:

• Standard: Standardbasmiljön med Databricks-bibliotek som tillhandahålls.
• ML: En basmiljö med Python och systempaket från Databricks Runtime för strojové učenie förinstallerad.
• Mer: Expanderar för att visa ytterligare alternativ:
  • Tidigare versioner av Standard- och ML-miljöer.
  • Anpassad: Ange en anpassad miljö med hjälp av en YAML-fil.
• Arbetsytmiljöer: Listar alla kompatibla basmiljöer konfigurerade för din arbetsplats av arbetsytadministratörer.

Lägga till beroenden i anteckningsboken

Azure Databricks lagrar notebookens virtuella miljö i cacheminnet, så beroendena installeras inte på nytt varje gång du öppnar en notebook igen eller återupptar arbetet efter inaktivitet.

Så här installerar du ett beroende individuellt:

1. I avsnittet Beroenden, ange beroendets sökväg i fältet och klicka sedan +Lägg till beroende. Du kan ange ett beroende i valfritt format som är giltigt i en requirements.txt fil. Python-hjulfiler eller Python-projekt (till exempel katalogen som innehåller en pyproject.toml eller ett setup.py) kan finnas i arbetsytefiler eller Unity Catalog-volymer.

   • Om du använder en arbetsytefil ska sökvägen vara absolut och börja med /Workspace/.
   • Om du använder en fil i en Unity Catalog-volym bör sökvägen vara i följande format: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

2. Klicka på Apply för att installera beroendena och starta om Python processen.

Important

Installera inte PySpark eller något bibliotek som installerar PySpark som ett beroende av dina anteckningsböcker. Om du gör det stoppas sessionen och det resulterar i ett fel. Om detta händer, ta bort biblioteket och återställ din miljö.

För att se installerade beroenden, klicka på fliken Installerat i Miljösidan . Öppna pip-installationsloggarna för notebook-miljön genom att klicka på pip-loggarna längst ned i fönstret.

Limitations

Beroendeläget i miljöerna stödjer Python-arbetsbelastningar och beroenden i interaktiva anteckningsböcker. Följande begränsningar gäller:

• Klassiska jobb använder inte Environments dependency mode. När ett jobb körs på klassisk allround-beräkning som specificerar miljöläge , ignoreras inställningen och jobbet körs istället i klusterbiblioteksläge .
• %scala Kod stöds inte och kommer att misslyckas.
• Alla begränsningar i standardåtkomstläget gäller, inklusive inget stöd för R. Se Standardberäkningskrav och begränsningar.

Inkompatibla inställningar

När Environments dependency mode är aktiverat är följande beräkningsinställningar avstängda:

• Docker (Azure Databricks Container Services)
• Spark-miljövariabler
• Initieringsskript
• Klusterbibliotek