Zarządzanie zależnościami języka Python dla potoków tabel na żywo usługi Delta

Usługa Delta Live Tables obsługuje zależności zewnętrzne w potokach. Usługa Databricks zaleca użycie jednego z dwóch wzorców do zainstalowania pakietów języka Python:

1. Użyj polecenia , %pip install aby zainstalować pakiety dla wszystkich plików źródłowych w potoku.
2. Zaimportuj moduły lub biblioteki z kodu źródłowego przechowywanego w plikach obszaru roboczego. Zobacz Importowanie modułów języka Python z folderów git lub plików obszarów roboczych.

Funkcja Delta Live Tables obsługuje również używanie skryptów inicjowania o zakresie globalnym i klastra. Jednak te zależności zewnętrzne, szczególnie skrypty inicjowania, zwiększają ryzyko problemów z uaktualnieniami środowiska uruchomieniowego. Aby ograniczyć te zagrożenia, zminimalizuj użycie skryptów inicjowania w potokach. Jeśli przetwarzanie wymaga skryptów inicjowania, zautomatyzuj testowanie potoku w celu wczesnego wykrywania problemów. Jeśli używasz skryptów init, usługa Databricks zaleca zwiększenie częstotliwości testowania.

Ważne

Ponieważ biblioteki JVM nie są obsługiwane w potokach tabel delta Live Tables, nie używaj skryptu inicjowania do instalowania bibliotek JVM. Można jednak zainstalować inne typy bibliotek, takie jak biblioteki języka Python, za pomocą skryptu init.

Biblioteki języka Python

Aby określić zewnętrzne biblioteki języka Python, użyj %pip install polecenia magic. Po uruchomieniu aktualizacji funkcja Delta Live Tables uruchamia wszystkie komórki zawierające polecenie przed uruchomieniem %pip install dowolnych definicji tabeli. Każdy notes języka Python w potoku udostępnia środowisko biblioteki i ma dostęp do wszystkich zainstalowanych bibliotek.

Ważne

• %pip install Polecenia muszą znajdować się w osobnej komórce w górnej części notesu potoku Delta Live Tables. Nie dołączaj żadnego innego kodu do komórek zawierających %pip install polecenia.
• Ponieważ każdy notes w potoku udostępnia środowisko biblioteki, nie można zdefiniować różnych wersji biblioteki w jednym potoku. Jeśli przetwarzanie wymaga różnych wersji bibliotek, należy je zdefiniować w różnych potokach.

Poniższy przykład instaluje bibliotekę numpy i udostępnia ją globalnie dla dowolnego notesu języka Python w potoku:

%pip install simplejson

Aby zainstalować pakiet wheel języka Python, dodaj ścieżkę koła języka Python do %pip install polecenia . Zainstalowane pakiety kół języka Python są dostępne dla wszystkich tabel w potoku. Poniższy przykład instaluje plik wheel języka Python o nazwie dltfns-1.0-py3-none-any.whl z katalogu /dbfs/dlt/DBFS :

%pip install /dbfs/dlt/dltfns-1.0-py3-none-any.whl

Zobacz Instalowanie pakietu wheel języka Python za pomocą narzędzia %pip.

Czy można używać bibliotek Języka Scala lub Java w potoku delta live tables?

Nie, funkcja Delta Live Tables obsługuje tylko języki SQL i Python. W potoku nie można używać bibliotek JVM. Zainstalowanie bibliotek JVM spowoduje nieprzewidywalne zachowanie i może przerwać przyszłe wersje tabel delta live tables. Jeśli potok używa skryptu inicjowania, należy również upewnić się, że biblioteki JVM nie są zainstalowane przez skrypt.