Zarządzanie zależnościami za pomocą środowisk

Important

Ta funkcja jest dostępna w wersji beta. Administratorzy konta mogą kontrolować dostęp do tej funkcji na stronie Podglądy w konsoli konta za pomocą przełącznika Środowiska dla Standard Compute. Zobacz Zarządzanie wersjami zapoznawczami usługi Azure Databricks.

Na klasycznym zasobie obliczeniowym, który korzysta z trybu zależności środowisk , zarządzasz zależnościami na poziomie obciążenia za pomocą środowisk bazowych zamiast instalować biblioteki ograniczone do zakresu obliczeniowego.

Ustawienia środowiska pozostają odseparowane od zmian na poziomie zasobów obliczeniowych, dzięki czemu obciążenia robocze nie przestają działać, gdy zmieniają się bazowe zasoby obliczeniowe. Ponieważ Azure Databricks buforuje środowiska bazowe, zależności nie muszą być rozpoznawane ani instalowane podczas uruchamiania, dzięki czemu zasoby obliczeniowe uruchamiają się szybciej i można uniknąć awarii spowodowanych rozpoznawaniem pakietów, dostępnością repozytoriów lub niezawodnością sieci.

W notatniku podłączonym do klasycznego zasobu obliczeniowego, który korzysta z trybu zależności Środowiska , wybierz środowisko bazowe i dodaj zależności z panelu Środowiska notesu. W przypadku zadań skonfiguruj zależności za pomocą specyfikacji środowiska zadania.

Requirements

Ustawienie trybu zależności jest dostępne tylko na obliczeniach spełniających następujące wymagania:

• Databricks Runtime 19 (Beta) lub wyższa
• Standardowy tryb dostępu
• Obliczenia ogólnego przeznaczenia lub obliczenia dla klasycznych zadań

Szczegóły dotyczące wsparcia można znaleźć w sekcji Ograniczenia.

Ustaw tryb zależności

Aby stworzyć klasyczny zasób obliczeniowy wykorzystujący tryb zależności środowisk :

1. Na pasku bocznym obszaru roboczego kliknij Obliczenia, a następnie otwórz kartę Obliczenia ogólnego przeznaczenia.

2. Kliknij pozycję Utwórz obliczenia.

3. W sekcji Wydajność wybierz 19 Beta lub wyższą z rozwijanego menu wersji Databricks Runtime.

4. Rozwiń sekcję Zaawansowane , a następnie kliknij Zależności.

5. W trybie zależności zostaw zaznaczone Auto, aby Azure Databricks rozwiązało tryb, albo kliknij Ręcznie i wybierz Środowiska, aby ustawić go samodzielnie. Zobacz opcje trybu zależności.

   

6. Skonfiguruj resztę obliczeń, a następnie kliknij Create.

Po uruchomieniu obliczeń dołącz notatnik i skonfiguruj jego środowisko zgodnie z opisem w sekcji Używaj środowisk w notatniku.

Opcje trybu zależności

Kontrola trybu zależności ma dwa ustawienia decydujące o sposobie wyboru trybu:

• Auto: Azure Databricks rozwiązuje tryb na podstawie konfiguracji obliczeniowej. Domyślnie ustawiana jest wartość Środowiska, chyba że zasób obliczeniowy określa Docker, zmienne środowiskowe Spark lub skrypty init; w takim przypadku ustawiana jest wartość Biblioteki klastra.
• Instrukcja: Sam wybierasz biblioteki środowisk lub klastra .

Gdy wybierasz Manual, wybierz tryb odpowiadający Twoim potrzebom:

• Środowiska: Zarządzaj zależnościami na poziomie obciążenia za pomocą środowisk bazowych. Biblioteki klastrowe, Docker, zmienne środowiskowe Spark oraz skrypty init są wyłączone. Użyj tego trybu, aby wyizolować zależności dla każdego obciążenia.
• Biblioteki klastrowe: klasyczne zachowanie. Instaluj zależności w środowisku obliczeniowym za pomocą bibliotek klastra, skryptów init lub Dockera. Użyj tego trybu, jeśli Twój zakres obowiązków wymaga któregoś z tych ustawień.

Zaktualizuj istniejące obliczenia

Jeśli edytujesz ustawienia istniejącego systemu obliczeniowego, przełączanie się na tryb środowisk jest zablokowane, jeśli procesor ma niekompatybilne ustawienia, takie jak skrypty init, biblioteki klastrów czy Docker. Jeśli najpierw usuniesz niekompatybilne ustawienia, możesz wtedy edytować tryb zależności.

Jeśli przełączysz się z trybu środowisk do trybu bibliotek klastrowych, podłączone notatniki zachowują swoje wybory środowiskowe, ale te wybory stają się nieaktywne. Jeśli przełączysz obliczenia z powrotem na tryb środowisk, te wybory znów się aktywują.

Używaj środowisk w notatniku

Aby używać środowisk w notatniku, należy przypisać go do klasycznego zasobu obliczeniowego, który korzysta z trybu zależności Środowisk. Po dołączeniu notatnika skonfiguruj jego zależności w panelu bocznym Environment.

Wybierz środowisko bazowe

Środowisko bazowe określa preinstalowane biblioteki oraz wersję środowiska dostępną dla Twojego notebooka. Selektor środowiska podstawowego w okienku po stronie środowiska to miejsce, w którym wybierasz środowisko. Usługa Databricks zaleca korzystanie z najnowszej wersji, aby uzyskać najnowsze funkcje notesu. Aby zobaczyć szczegóły dotyczące każdej wersji środowiska, zobacz wersje środowiska.

Selektor środowiska podstawowego obejmuje następujące opcje:

• Standardowa: domyślne środowisko podstawowe z bibliotekami udostępnianymi przez usługę Databricks.
• ML: To podstawowe środowisko z pakietami Python i pakietami systemowymi z Databricks Runtime for Machine Learning, które są preinstalowane.
• Więcej: Rozwija się, aby wyświetlić dodatkowe opcje:
  • Poprzednie wersje środowisk Standard i ML.
  • Niestandardowe: określ środowisko niestandardowe przy użyciu pliku YAML.
• Środowiska workspace: Lista wszystkich kompatybilnych środowisk bazowych skonfigurowanych dla twojej przestrzeni roboczej przez administratorów workspace.

Dodaj zależności do notebooka

Azure Databricks buforuje środowisko wirtualne notesu, dlatego zależności nie są ponownie instalowane za każdym razem, gdy ponownie otworzysz notes lub wznowisz działanie po braku aktywności.

Aby zainstalować zależność pojedynczo:

1. W sekcji Zależności wpisz ścieżkę zależności w polu, a następnie kliknij +Dodaj zależność. Zależność można określić w dowolnym formacie prawidłowym w pliku requirements.txt . Pliki koła Python lub projekty Python (na przykład katalog zawierający pyproject.toml lub setup.py) mogą znajdować się w plikach obszaru roboczego lub woluminach Katalogu Unity.

   • Jeśli używasz pliku obszaru roboczego, ścieżka powinna być bezwzględna i zaczynać się od /Workspace/.
   • Jeśli używasz pliku w woluminie Unity Catalog, ścieżka powinna mieć następujący format: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

2. Kliknij Apply aby zainstalować zależności i ponownie uruchomić proces Python.

Important

Nie instaluj PySpark ani żadnej biblioteki, która instaluje PySpark jako zależność od twoich notebooków. Spowoduje to zatrzymanie sesji i wystąpienie błędu. Jeśli tak się stanie, usuń bibliotekę i zresetuj środowisko.

Aby zobaczyć zainstalowane zależności, kliknij zakładkę Zainstalowane w panelu Środowisko . Otwórz dzienniki instalacji pip dla środowiska notatnika, klikając pip logs u dołu panelu.

Używaj środowisk w pracy

W przypadku zadań uruchamianych na klasycznym zasobie obliczeniowym korzystającym z trybu zależności Środowiska skonfiguruj zależności za pomocą specyfikacji środowiska zadania. Środowisko zadaniowe określa środowisko bazowe oraz wszelkie dodatkowe zależności, do których może odnosić się jedno lub więcej zadań.

Aby skonfigurować środowisko dla zadania zadaniowego, wykonaj następujące kroki:

1. Stwórz lub edytuj zadanie w pracy.
2. W sekcji Obliczenia wybierz istniejący klasyczny zasób obliczeniowy korzystający z trybu zależności Środowiska lub dodaj klasyczne zadania obliczeniowe.
3. Jeśli dodajesz obliczenia zadań klasycznych, rozwiń Zaawansowane.
4. Kliknij Zależności.
5. W trybie zależności wybierz Ręcznie i Środowiska, albo zachowaj Auto , jeśli rozwiązuje się na Środowiska.
6. W sekcji Środowisko i Biblioteki w konfiguracji zadania skonfiguruj środowisko dla zadania. Zobacz Configure environment for job tasks , aby uzyskać dostępne opcje dla każdego typu zadania.

Zadania uruchamiane w klasycznym zasobie obliczeniowym korzystającym z trybu zależności Środowiska nie obsługują ustawienia zadania Biblioteki zależne. Zamiast tego dodaj zależności do środowiska.

Limitations

Tryb zależności Środowiska obsługuje zadania i zależności języka Python w interaktywnych notesach i zadaniach job. Obowiązują następujące ograniczenia:

• Zadania Spark JAR nie są obsługiwane na klasycznym zasobie obliczeniowym korzystającym z trybu zależności Environments.
• Uruchamianie %scala kodu zawodzi.
• Obowiązują wszystkie standardowe ograniczenia trybu dostępu, w tym brak wsparcia dla R. Zobacz Standardowe wymagania obliczeniowe i ograniczenia.

Niekompatybilne ustawienia

Gdy tryb zależności środowisk jest włączony, następujące ustawienia obliczeniowe są wyłączone:

• Docker (Azure Databricks Container Services)
• Zmienne środowiskowe Spark
• Skrypty inicjalizacyjne
• Biblioteki klastra