Zarządzanie zależnościami za pomocą środowisk

Important

Ta funkcja jest dostępna w wersji beta. Administratorzy konta mogą kontrolować dostęp do tej funkcji na stronie Podglądy w konsoli konta za pomocą przełącznika Środowiska dla Standard Compute. Zobacz Zarządzanie wersjami zapoznawczami usługi Azure Databricks.

W klasycznym trybie obliczeniowym tryb zależności środowisk pozwala zarządzać zależnościami na poziomie obciążenia za pomocą środowisk bazowych , zamiast instalować biblioteki ograniczone do zakresu obliczeniowego. To ten sam model używany w obliczeniach bezserwerowych.

Ustawienia środowiska pozostają odseparowane od zmian na poziomie zasobów obliczeniowych, dzięki czemu obciążenia robocze nie przestają działać, gdy zmieniają się bazowe zasoby obliczeniowe. Ponieważ Azure Databricks buforuje środowiska bazowe, zależności nie muszą być rozpoznawane ani instalowane podczas uruchamiania, dzięki czemu zasoby obliczeniowe uruchamiają się szybciej i można uniknąć awarii spowodowanych rozpoznawaniem pakietów, dostępnością repozytoriów lub niezawodnością sieci.

Po połączeniu z obliczeniowym systemem korzystającym z trybu zależności Środowiska możesz wybrać środowisko bazowe i dodać zależności z bocznego panelu środowiska notesu. Zobacz Korzystanie ze środowisk w notesie.

Requirements

Ustawienie trybu zależności jest dostępne tylko na obliczeniach spełniających następujące wymagania:

• Databricks Runtime 19 (Beta) lub wyższa
• Standardowy tryb dostępu
• Obliczenia uniwersalne wykonywane w interaktywnych notatnikach

Szczegóły dotyczące wsparcia można znaleźć w sekcji Ograniczenia.

Ustaw tryb zależności

Aby stworzyć obliczenia wykorzystujące tryb zależności środowiska :

1. Na pasku bocznym obszaru roboczego kliknij Obliczenia, a następnie otwórz kartę Obliczenia ogólnego przeznaczenia.

2. Kliknij pozycję Utwórz obliczenia.

3. W sekcji Wydajność wybierz 19 Beta lub wyższą z rozwijanego menu wersji Databricks Runtime.

4. Rozwiń sekcję Zaawansowane , a następnie kliknij Zależności.

5. W trybie zależności zostaw zaznaczone Auto, aby Azure Databricks rozwiązało tryb, albo kliknij Ręcznie i wybierz Środowiska, aby ustawić go samodzielnie. Zobacz opcje trybu zależności.

   

6. Skonfiguruj resztę obliczeń, a następnie kliknij Create.

Po uruchomieniu obliczeń dołącz notatnik i skonfiguruj jego środowisko zgodnie z opisem w sekcji Używaj środowisk w notatniku.

Opcje trybu zależności

Kontrola trybu zależności ma dwa ustawienia decydujące o sposobie wyboru trybu:

• Auto: Azure Databricks rozwiązuje tryb na podstawie konfiguracji obliczeniowej. Domyślnie ustawiana jest wartość Środowiska, chyba że zasób obliczeniowy określa Docker, zmienne środowiskowe Spark lub skrypty init; w takim przypadku ustawiana jest wartość Biblioteki klastra.
• Instrukcja: Sam wybierasz biblioteki środowisk lub klastra .

Gdy wybierasz Manual, wybierz tryb odpowiadający Twoim potrzebom:

• Środowiska: Zarządzaj zależnościami na poziomie obciążenia za pomocą środowisk bazowych. Biblioteki klastrowe, Docker, zmienne środowiskowe Spark oraz skrypty init są wyłączone. Użyj tego trybu, aby zapewnić spójne, przenośne środowisko zależności, charakterystyczne dla środowiska bezserwerowego.
• Biblioteki klastrowe: klasyczne zachowanie. Instaluj zależności w środowisku obliczeniowym za pomocą bibliotek klastra, skryptów init lub Dockera. Użyj tego trybu, jeśli Twój zakres obowiązków wymaga któregoś z tych ustawień.

Zaktualizuj istniejące obliczenia

Jeśli edytujesz ustawienia istniejącego systemu obliczeniowego, przełączanie się na tryb środowisk jest zablokowane, jeśli procesor ma niekompatybilne ustawienia, takie jak skrypty init, biblioteki klastrów czy Docker. Jeśli najpierw usuniesz niekompatybilne ustawienia, możesz wtedy edytować tryb zależności.

Jeśli przełączysz się z trybu środowisk do trybu bibliotek klastrowych, podłączone notatniki zachowują swoje wybory środowiskowe, ale te wybory stają się nieaktywne. Jeśli przełączysz obliczenia z powrotem na tryb środowisk, te wybory znów się aktywują.

Używaj środowisk w notatniku

Aby używać środowisk w notatniku, należy przypisać go do klasycznego zasobu obliczeniowego, który korzysta z trybu zależności Środowisk. Po podłączeniu notesu możesz skonfigurować jego zależności z panelu bocznego Środowisko, w taki sam sposób, jak w środowisku bezserwerowym.

Wybierz środowisko bazowe

Środowisko bazowe określa preinstalowane biblioteki oraz wersję środowiska dostępną dla Twojego notebooka. Selektor środowiska podstawowego w okienku po stronie środowiska to miejsce, w którym wybierasz środowisko. Usługa Databricks zaleca korzystanie z najnowszej wersji, aby uzyskać najnowsze funkcje notesu. Aby zobaczyć szczegóły dotyczące każdej wersji środowiska, zobacz wersje środowiska.

Selektor środowiska podstawowego obejmuje następujące opcje:

• Standardowa: domyślne środowisko podstawowe z bibliotekami udostępnianymi przez usługę Databricks.
• ML: To podstawowe środowisko z pakietami Python i pakietami systemowymi z Databricks Runtime for Machine Learning, które są preinstalowane.
• Więcej: Rozwija się, aby wyświetlić dodatkowe opcje:
  • Poprzednie wersje środowisk Standard i ML.
  • Niestandardowe: określ środowisko niestandardowe przy użyciu pliku YAML.
• Środowiska workspace: Lista wszystkich kompatybilnych środowisk bazowych skonfigurowanych dla twojej przestrzeni roboczej przez administratorów workspace.

Dodaj zależności do notebooka

Azure Databricks buforuje środowisko wirtualne notesu, dlatego zależności nie są ponownie instalowane za każdym razem, gdy ponownie otworzysz notes lub wznowisz działanie po braku aktywności.

Aby zainstalować zależność pojedynczo:

1. W sekcji Zależności wpisz ścieżkę zależności w polu, a następnie kliknij +Dodaj zależność. Zależność można określić w dowolnym formacie prawidłowym w pliku requirements.txt . Pliki koła Python lub projekty Python (na przykład katalog zawierający pyproject.toml lub setup.py) mogą znajdować się w plikach obszaru roboczego lub woluminach Katalogu Unity.

   • Jeśli używasz pliku obszaru roboczego, ścieżka powinna być bezwzględna i zaczynać się od /Workspace/.
   • Jeśli używasz pliku w woluminie Unity Catalog, ścieżka powinna mieć następujący format: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

2. Kliknij Apply aby zainstalować zależności i ponownie uruchomić proces Python.

Important

Nie instaluj PySpark ani żadnej biblioteki, która instaluje PySpark jako zależność od twoich notebooków. Spowoduje to zatrzymanie sesji i wystąpienie błędu. Jeśli tak się stanie, usuń bibliotekę i zresetuj środowisko.

Aby zobaczyć zainstalowane zależności, kliknij zakładkę Zainstalowane w panelu Środowisko . Otwórz dzienniki instalacji pip dla środowiska notatnika, klikając pip logs u dołu panelu.

Limitations

Tryb zależności „Środowiska” obsługuje obciążenia robocze i zależności języka Python w interaktywnych notesach. Obowiązują następujące ograniczenia:

• Klasyczne zadania nie korzystają z trybu zależności środowisk . Gdy zadanie działa na klasycznym, uniwersalnym trybie obliczeniowym, które określa tryb środowiska , to ustawienie jest ignorowane i zadanie uruchamia się w trybie bibliotek klastrowych .
• %scala Kod nie jest obsługiwany i zawodzi.
• Obowiązują wszystkie standardowe ograniczenia trybu dostępu, w tym brak wsparcia dla R. Zobacz Standardowe wymagania obliczeniowe i ograniczenia.
• Obecnie nie możesz wymuszać ustawień trybu zależności za pomocą polityk obliczeniowych.

Niekompatybilne ustawienia

Gdy tryb zależności środowisk jest włączony, następujące ustawienia obliczeniowe są wyłączone:

• Docker (Azure Databricks Container Services)
• Zmienne środowiskowe Spark
• Skrypty inicjalizacyjne
• Biblioteki klastra