Konfigurowanie środowiska bezserwerowego

W tym artykule wyjaśniono, jak używać panelu bocznego notesu bezserwerowego do konfigurowania zależności, polityk budżetowych bezserwerowych, pamięci i wersji środowiska. Ten panel zawiera jedno miejsce do zarządzania ustawieniami bezserwerowymi notesu. Ustawienia skonfigurowane w tym panelu mają zastosowanie tylko wtedy, gdy notes jest połączony z obliczeniami bezserwerowymi.

Aby rozwinąć panel boczny środowiska , kliknij przycisk środowiska po prawej stronie notatnika.

Korzystanie z przetwarzania bezserwerowego procesora GPU

Important

Bezserwerowe obliczenia procesora GPU są w wersji beta.

Wykonaj następujące kroki, aby użyć bezserwerowych obliczeń GPU w notesie Databricks.

1. W notesie kliknij menu rozwijane Połącz u góry i wybierz pozycję Bezserwerowy procesor GPU.
2. Kliknij Aby otworzyć panel boczny Środowisko .
3. Wybierz pozycję A10 z pola Akcelerator .
4. Wybierz pozycję Brak dla środowiska domyślnego lub AI w wersji 4 dla środowiska sztucznej inteligencji w polu Środowisko podstawowe .
5. W przypadku wybrania opcji Brak w polu Środowisko podstawowe wybierz wersję środowiska.
6. Kliknij przycisk Zastosuj , a następnie potwierdź , że chcesz zastosować bezserwerowe obliczenia procesora GPU do środowiska notesu.

Aby uzyskać więcej informacji, zobacz Przetwarzanie bezserwerowe procesora GPU.

Korzystanie z obliczeń bezserwerowych z dużą ilością pamięci

Important

Ta funkcja jest dostępna w publicznej wersji testowej.

Jeśli w notebooku wystąpią błędy braku pamięci, możesz skonfigurować notebook tak, aby używał większego rozmiaru pamięci. To ustawienie zwiększa rozmiar pamięci REPL używanej podczas uruchamiania kodu w notesie. Nie ma to wpływu na rozmiar pamięci sesji platformy Spark. Użycie bezserwerowe z wysoką ilością pamięci ma wyższy współczynnik emisji jednostek DBU niż standardowa pamięć.

1. W interfejsie użytkownika notesu kliknij panel boczny Środowisko.
2. W obszarze Pamięćwybierz pozycję Duża pamięć.
3. Kliknij przycisk Zastosuj.

To ustawienie dotyczy również zadań notesu, które są uruchamiane z wykorzystaniem preferencji pamięci notesu. Aktualizowanie preferencji pamięci w notesie ma wpływ na następne uruchomienie zadania.

Wybierz zasady budżetu bezserwerowego

Important

Ta funkcja jest dostępna w publicznej wersji testowej.

Bezserwerowe zasady budżetu umożliwiają organizacji stosowanie tagów niestandardowych dla użytkowania bezserwerowego na potrzeby szczegółowego przypisywania kosztów.

Jeśli obszar roboczy używa bezserwerowych zasad budżetowych do przypisywania użycia bezserwerowego, możesz wybrać bezserwerowe zasady budżetowe, które chcesz zastosować do notatnika. Jeśli użytkownik jest przypisany tylko do jednej bezserwerowej zasady budżetu, ta zasada jest domyślnie wybierana.

Możesz wybrać politykę budżetową bezserwerową po połączeniu notesu z bezserwerową obsługą, używając panelu bocznego Środowisko:

1. W interfejsie użytkownika notesu kliknij panel boczny Środowisko.
2. W obszarze polityka budżetowa wybierz politykę budżetową bezserwerową, którą chcesz zastosować do swojego notesu.
3. Kliknij przycisk Zastosuj.

Po zakończeniu tej konfiguracji wszystkie użycie notebooka dziedziczy niestandardowe tagi polityki budżetu bezserwerowego.

Note

Jeśli notes pochodzi z repozytorium Git lub nie ma przypisanej polityki budżetu dla obliczeń bezserwerowych, domyślnie zostaje przypisana ostatnio wybrana polityka budżetu dla obliczeń bezserwerowych, gdy następnym razem zostanie on przypisany do bezserwerowych zasobów obliczeniowych.

Wybieranie wersji środowiska

Wersje środowisk umożliwiają obciążeniom bezserwerowym odbieranie niezależnych uaktualnień silnika bez wpływu na zgodność aplikacji. Aby wyświetlić szczegółowe informacje na temat każdej wersji środowiska, zobacz Wersje środowiska bezserwerowego. Databricks zaleca wybranie najnowszej wersji, aby uzyskać najbardziej aktualne funkcje notatnika.

Aby wybrać wersję środowiska:

1. W interfejsie użytkownika notesu kliknij panel boczny Środowisko.
2. W sekcji Wersja środowiskawybierz wersję.
3. Kliknij przycisk Zastosuj.

Dodaj zależności do notebooka

Ponieważ bezserwerowe nie obsługuje zasad obliczeniowych ani skryptów inicjowania, należy dodać niestandardowe zależności przy użyciu panelu bocznego Środowisko . Zależności można dodawać pojedynczo lub użyć współużytkowalnego środowiska podstawowego, aby zainstalować wiele zależności.

Aby pojedynczo dodać zależność:

1. W interfejsie użytkownika notesu kliknij panel boczny Środowisko.

2. W sekcji Zależności kliknij pozycję Dodaj zależność i wprowadź ścieżkę zależności w polu . Zależność można określić w dowolnym formacie prawidłowym w pliku requirements.txt . Pliki binarne Python wheel lub projekty języka Python (na przykład katalog zawierający pyproject.toml lub setup.py) mogą znajdować się w plikach przestrzeni roboczej lub woluminach Unity Catalog.

   • Jeśli używasz pliku obszaru roboczego, ścieżka powinna być bezwzględna i zaczynać się od /Workspace/.
   • Jeśli używasz pliku w woluminie Unity Catalog, ścieżka powinna mieć następujący format: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

3. Kliknij przycisk Zastosuj. Spowoduje to zainstalowanie zależności w środowisku wirtualnym notesu i ponowne uruchomienie procesu języka Python.

Important

Nie należy instalować PySpark ani żadnej biblioteki, która instaluje PySpark jako zależność na bezserwerowych notatnikach. Spowoduje to zatrzymanie sesji i wystąpienie błędu. W takim przypadku usuń bibliotekę i zresetuj środowisko.

Aby wyświetlić zainstalowane zależności, kliknij kartę Zainstalowane na panelu bocznym środowiska . Dzienniki instalacji pip dla środowiska notatnika są również dostępne po kliknięciu dzienniki pip na dole panelu.

Dodawanie zależności do środowiska podstawowego

Środowisko podstawowe to plik YAML zapisany jako plik obszaru roboczego lub na woluminie katalogu Unity, który określa dodatkowe zależności środowiska. Możesz wybrać jedno ze środowisk podstawowych obszaru roboczego z menu rozwijanego Środowisko podstawowe lub wybrać pozycję Niestandardowe , aby użyć niestandardowej specyfikacji środowiska.

Dodatkowe zależności można zainstalować indywidualnie na podstawie podstawowego środowiska. Pojedynczo zainstalowane zależności zastępują lub rozszerzają środowisko podstawowe dla tego notesu.

Aby uzyskać instrukcje administratora obszaru roboczego, zobacz Zarządzanie środowiskami podstawowymi bezserwerowymi.

Tworzenie niestandardowej specyfikacji środowiska

Można tworzyć i ponownie używać niestandardowych specyfikacji środowiska.

1. W notesie bezserwerowym wybierz wersję środowiska i dodaj wszystkie zależności, które chcesz zainstalować.
2. Kliknij ikonę menu W dolnej części panelu środowiska kliknij pozycję Eksportuj środowisko.
3. Zapisz specyfikację jako plik obszaru roboczego lub w woluminie wykazu aparatu Unity.

Aby użyć niestandardowej specyfikacji środowiska w notesie, wybierz pozycję Niestandardowy z menu rozwijanego Środowisko podstawowe , a następnie użyj ikony folderu re:[Ikona folderu], aby wybrać plik YAML.

Tworzenie typowych narzędzi do udostępniania w obszarze roboczym

W poniższym przykładzie pokazano, jak przechowywać typowe narzędzie w pliku obszaru roboczego i dodawać je jako zależność w notesie bezserwerowym:

1. Utwórz folder z następującą strukturą. Sprawdź, czy użytkownicy projektu mają odpowiedni dostęp do ścieżki pliku:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Wypełnij pyproject.toml w następujący sposób:

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Dodaj funkcję do init.py pliku. Przykład:

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. W interfejsie użytkownika notesu kliknij ikonę Środowisko na panelu bocznym

5. W sekcji Zależności kliknij pozycję Dodaj zależność , a następnie wprowadź ścieżkę pliku util. Na przykład: /Workspace/helper_utils.

6. Kliknij przycisk Zastosuj.

Teraz możesz użyć funkcji w notesie:

from helpers import greet
print(greet('world'))

Ten wynik to:

Hello, world!

Resetowanie zależności środowiska

Jeśli notes jest połączony z obliczeniami bezserwerowymi, usługa Databricks automatycznie buforuje zawartość środowiska wirtualnego notesu. Oznacza to, że zazwyczaj nie trzeba ponownie instalować zależności Pythona określonych w panelu bocznym Environment, gdy otwierasz istniejący notes, nawet jeśli został odłączony z powodu braku aktywności.

Buforowanie środowiska wirtualnego języka Python dotyczy również zadań. Po uruchomieniu zadania każde zadanie, które dzieli ten sam zestaw zależności co wcześniej ukończone zadanie w tym uruchomieniu, jest szybsze, ponieważ wymagane zależności są już dostępne.

Note

Jeśli zmienisz implementację niestandardowego pakietu języka Python używanego w zadaniu bezserwerowym, musisz również zaktualizować jego numer wersji, aby zadania mogły pobrać najnowszą implementację.

Aby wyczyścić pamięć podręczną środowiska i przeprowadzić nową instalację zależności określonych w panelu bocznym Środowisko notesu dołączonego do obliczeń bezserwerowych, kliknij strzałkę obok pozycji Zastosuj , a następnie kliknij przycisk Resetuj do wartości domyślnych.

Jeśli zainstalujesz pakiety powodujące przerwanie lub zmianę podstawowego zeszytu lub środowiska Apache Spark, usuń problematyczne pakiety, a następnie zresetuj środowisko aplikacyjne. Uruchomienie nowej sesji nie powoduje wyczyszczenia całej pamięci podręcznej środowiska.

Konfigurowanie domyślnych repozytoriów pakietów języka Python

Administratorzy obszaru roboczego mogą konfigurować prywatne lub uwierzytelnione repozytoria pakietów w obszarach roboczych jako domyślną konfigurację pip dla notesów bezserwerowych i zadań bezserwerowych. Dzięki temu użytkownicy mogą instalować pakiety z wewnętrznych repozytoriów języka Python bez jawnego definiowania index-url lub extra-index-url.

Aby uzyskać instrukcje, administratorzy obszaru roboczego mogą odwoływać się do tematu Konfigurowanie domyślnych repozytoriów pakietów języka Python.

Konfigurowanie środowiska pod kątem zadań roboczych

W przypadku typów zadań, takich jak notatnik, skrypt języka Python, pakiet wheel języka Python, plik JAR lub dbt, zależności biblioteki są dziedziczone z wersji środowiska bezserwerowego. Aby wyświetlić listę zainstalowanych bibliotek, zobacz sekcję Zainstalowane biblioteki języka Python lub Zainstalowane biblioteki Java i Scala w używanej wersji środowiska . Jeśli zadanie wymaga biblioteki, która nie jest zainstalowana, możesz zainstalować bibliotekę z plików obszaru roboczego, woluminów katalogu Unity lub publicznych repozytoriów pakietów.

W przypadku notesów ze środowiskiem istniejącego notesu można uruchomić zadanie przy użyciu środowiska notesu lub zastąpić je, wybierając zamiast tego środowisko na poziomie zadania.

Important

Używanie bezserwerowych obliczeń dla zadań JAR jest w wersji beta.

Aby dodać bibliotekę podczas tworzenia lub edytowania zadania:

1. W menu rozwijanym Środowisko i biblioteki kliknijobok środowiska domyślnego lub kliknij pozycję + Dodaj nowe środowisko.

   

2. Wybierz wersję środowiska z listy rozwijanej Wersja środowiska. Zobacz wersje środowiska bezserwerowego. Usługa Databricks zaleca wybranie najnowszej wersji, dla uzyskania najbardziej aktualnych funkcji.

3. W oknie dialogowym Konfigurowanie środowiska kliknij pozycję + Dodaj bibliotekę.

4. Wybierz typ zależności z menu rozwijanego pod Bibliotekami .

5. W polu tekstowym Ścieżka pliku wprowadź ścieżkę do biblioteki.

• W przypadku koła języka Python w pliku obszaru roboczego ścieżka powinna być bezwzględna i zaczynać się od /Workspace/.

• W przypadku pakietu Wheel dla Pythona w woluminie katalogu Unity ścieżka powinna być /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

• W przypadku pliku requirements.txt wybierz PyPi i wprowadź -r /path/to/requirements.txt.

  

1. Kliknij pozycję Potwierdź lub + Dodaj bibliotekę, aby dodać kolejną bibliotekę .
2. Jeśli dodajesz zadanie, kliknij pozycję Utwórz zadanie. Jeśli edytujesz zadanie, kliknij pozycję Zapisz zadanie.