Zadanie notebooka dla prac

Użyj zadania notebooka, aby wdrożyć notebooki Databricks.

Konfigurowanie zadania notatnika

Przed rozpoczęciem musisz mieć notes w lokalizacji dostępnej dla użytkownika konfigurując zadanie.

Uwaga

Interfejs użytkownika zadań wyświetla opcje dynamicznie na podstawie innych skonfigurowanych ustawień.

Aby rozpocząć przepływ w celu skonfigurowania zadania Notebook:

1. Przejdź do karty Zadania w interfejsie użytkownika zadań.
2. Kliknij pozycję Dodaj zadanie.
3. Wprowadź nazwę w polu Nazwa zadania .
4. W menu rozwijanym Typ wybierz pozycję Notebook.

Konfigurowanie źródła

W menu rozwijanym Źródło wybierz lokalizację skryptu języka Python przy użyciu jednej z następujących opcji.

Obszar roboczy

Użyj obszaru roboczego , aby skonfigurować notes przechowywany w obszarze roboczym, wykonując następujące kroki:

1. Kliknij pole Ścieżka. Pojawi się okno dialogowe Wybierz notes.
2. Przejdź do notesu, kliknij, aby wyróżnić plik, a następnie kliknij przycisk Potwierdź.

Uwaga

Można użyć tej opcji, aby skonfigurować zadanie dla notatnika przechowywanego w folderze Git usługi Databricks. Usługa Databricks zaleca używanie opcji dostawcy Git i zdalnego repozytorium Git do wersjonowania zasobów planowanych do uruchomienia w zadaniach.

Dostawca usługi Git

Użyj dostawcy Git, aby skonfigurować notes w zdalnym repozytorium Git.

Opcje wyświetlane przez interfejs użytkownika zależą od tego, czy dostawca git został już skonfigurowany w innym miejscu. Tylko jedno zdalne repozytorium Git może być używane dla wszystkich zadań w zadaniu. Zobacz Używanie usługi Git z zadaniami.

Ważne

Notatniki utworzone przez zadania Lakeflow, które uruchamiane są z repozytoriów zdalnych Git, są efemeryczne i nie można na nich polegać do śledzenia przebiegów MLflow, eksperymentów lub modeli. Podczas tworzenia notesu na podstawie zadania, użyj eksperymentu MLflow z obszaru roboczego (zamiast eksperymentu MLflow z notesu) i wywołaj potrzebne funkcje w notesie obszaru roboczego przed uruchomieniem jakiegokolwiek kodu śledzenia MLflow. Aby uzyskać więcej informacji, zobacz Zapobieganie utracie danych w eksperymentach MLflow.

Pole Ścieżka zostanie wyświetlone po skonfigurowaniu odwołania do git.

Wprowadź ścieżkę względną notesu, na przykład etl/bronze/ingest.py.

Ważne

Po wprowadzeniu ścieżki względnej nie zaczynaj od / ani ./. Na przykład, jeśli ścieżka bezwzględna do notesu, do którego chcesz uzyskać dostęp, to /etl/bronze/ingest.py, wprowadź etl/bronze/ingest.py w polu Ścieżka.

Konfigurowanie bibliotek obliczeniowych i zależnych

1. Użyj funkcji Compute , aby wybrać lub skonfigurować klaster obsługujący logikę w notesie.
2. Jeśli używasz Serverless obliczeń, zainstaluj biblioteki bezpośrednio w notebooku, korzystając z panelu Środowisko lub przy użyciu polecenia %pip install. Zobacz Konfigurowanie środowiska bezserwerowego.
3. Dla wszystkich innych konfiguracji obliczeniowych kliknij pozycję + Dodaj w obszarze Biblioteki zależne. Zostanie wyświetlone okno dialogowe Dodawanie biblioteki zależnej .
   • Możesz wybrać istniejącą bibliotekę lub przekazać nową bibliotekę.
   • Możesz używać jedynie bibliotek przechowywanych w lokalizacjach obsługiwanych przez twoje konfiguracje obliczeniowe. Zobacz Obsługa biblioteki języka Python.
   • Każde Źródło biblioteki ma inny przepływ do wybierania lub ładowania biblioteki. Zobacz Instalowanie bibliotek.

Finalizowanie konfiguracji zadania

1. (Opcjonalnie) Skonfiguruj parametry jako pary klucz-wartość, do których można uzyskać dostęp w notesie przy użyciu polecenia dbutils.widgets. Zobacz Konfigurowanie parametrów zadania.
2. Kliknij pozycję Zapisz zadanie.

Ograniczenia

Łączne dane wyjściowe komórek notesu (połączone dane wyjściowe wszystkich komórek notesu) podlegają limitowi 30 MB. Ponadto dane wyjściowe poszczególnych komórek podlegają limitowi rozmiaru 8 MB. Jeśli łączne dane wyjściowe komórki przekraczają rozmiar 30 MB lub dane wyjściowe pojedynczej komórki są większe niż 8 MB, przebieg zostanie anulowany i oznaczony jako niepowodzenie.

Jeśli potrzebujesz pomocy w znalezieniu komórek w pobliżu lub poza limitem, uruchom notes w klastrze ogólnego przeznaczenia i użyj tej techniki automatycznego zapisywania notesu.