Dela via

Hantera Python-beroenden för Delta Live Tables-pipelines

  • Artikel

Delta Live Tables stöder externa beroenden i dina pipelines. Databricks rekommenderar att du använder ett av två mönster för att installera Python-paket:

  1. %pip install Använd kommandot för att installera paket för alla källfiler i en pipeline.
  2. Importera moduler eller bibliotek från källkod som lagras i arbetsytefiler. Se Importera Python-moduler från Git-mappar eller arbetsytefiler.

Delta Live Tables stöder också användning av globala och klusteromfattande init-skript. Dessa externa beroenden, särskilt init-skript, ökar dock risken för problem med körningsuppgraderingar. Minimera användningen av init-skript i dina pipelines för att minimera dessa risker. Om bearbetningen kräver init-skript kan du automatisera testningen av din pipeline för att upptäcka problem tidigt. Om du använder init-skript rekommenderar Databricks att du ökar testfrekvensen.

Viktigt!

Eftersom JVM-bibliotek inte stöds i Delta Live Tables-pipelines ska du inte använda ett init-skript för att installera JVM-bibliotek. Du kan dock installera andra bibliotekstyper, till exempel Python-bibliotek, med ett init-skript.

Python-bibliotek

Om du vill ange externa Python-bibliotek använder du det %pip install magiska kommandot. När en uppdatering startar kör Delta Live Tables alla celler som innehåller ett %pip install kommando innan du kör tabelldefinitioner. Varje Python-notebook-fil som ingår i pipelinen delar en biblioteksmiljö och har åtkomst till alla installerade bibliotek.

Viktigt!

  • %pip install kommandon måste finnas i en separat cell överst i din Delta Live Tables-pipelineanteckningsbok. Ta inte med någon annan kod i celler som innehåller %pip install kommandon.
  • Eftersom varje notebook-fil i en pipeline delar en biblioteksmiljö kan du inte definiera olika biblioteksversioner i en enda pipeline. Om bearbetningen kräver olika biblioteksversioner måste du definiera dem i olika pipelines.

I följande exempel installeras numpy biblioteket och blir globalt tillgängligt för alla Python-notebook-filer i pipelinen:

%pip install simplejson

Om du vill installera ett Python-hjulpaket lägger du till Python-hjulsökvägen i %pip install kommandot . Installerade Python-hjulpaket är tillgängliga för alla tabeller i pipelinen. I följande exempel installeras en Python-hjulfil med namnet dltfns-1.0-py3-none-any.whl från DBFS-katalogen /dbfs/dlt/:

%pip install /dbfs/dlt/dltfns-1.0-py3-none-any.whl

Se Installera ett Python-hjulpaket med %pip.

Kan jag använda Scala- eller Java-bibliotek i en Delta Live Tables-pipeline?

Nej, Delta Live Tables stöder endast SQL och Python. Du kan inte använda JVM-bibliotek i en pipeline. Installation av JVM-bibliotek orsakar oförutsägbart beteende och kan brytas med framtida Delta Live Tables-versioner. Om din pipeline använder ett init-skript måste du också se till att JVM-bibliotek inte installeras av skriptet.