Udostępnij za pośrednictwem


Tworzenie sparametryzowanego notesu przy użyciu narzędzia Papermill

Parametryzacja w narzędziu Azure Data Studio uruchamia ten sam notes z innym zestawem parametrów.

W tym artykule pokazano, jak utworzyć i uruchomić sparametryzowany notes w narzędziu Azure Data Studio przy użyciu jądra języka Python.

Uwaga

Obecnie można używać parametryzacji z jądrami Python, PySpark, PowerShell i .NET Interactive.

Wymagania wstępne

Instalowanie i konfigurowanie biblioteki Papermill w usłudze Azure Data Studio

Wszystkie kroki opisane w tej sekcji są uruchamiane wewnątrz notesu usługi Azure Data Studio.

  1. Utwórz nowy notes. Zmień jądro na Python 3:

    Zrzut ekranu przedstawiający opcję menu Nowy notes i ustawienie wartości Jądra na Python 3.

  2. Jeśli zostanie wyświetlony monit o uaktualnienie pakietów języka Python, gdy pakiety wymagają aktualizacji, wybierz pozycję Tak:

    Zrzut ekranu przedstawiający okno dialogowe z monitem o zaktualizowanie pakietów języka Python.

  3. Zainstaluj bibliotekę Papermill:

    import sys
    !{sys.executable} -m pip install papermill --no-cache-dir --upgrade
    

    Sprawdź, czy aplikacja Papermill jest zainstalowana:

    import sys
    !{sys.executable} -m pip list
    

    Zrzut ekranu przedstawiający wybieranie aplikacji Papermill na liście nazw aplikacji.

  4. Aby sprawdzić, czy aplikacja Papermill jest zainstalowana poprawnie, sprawdź wersję narzędzia Papermill:

    import papermill
    papermill
    

    Zrzut ekranu przedstawiający weryfikację instalacji dla papermill.

Przykład parametryzacji

Możesz użyć przykładowego pliku notesu, aby wykonać kroki opisane w tym artykule:

  1. Przejdź do pliku notesu w usłudze GitHub. Wybierz pozycję Nieprzetworzone.
  2. Wybierz Ctrl+S lub kliknij prawym przyciskiem myszy, a następnie zapisz plik z rozszerzeniem ipynb.
  3. Otwórz plik w narzędziu Azure Data Studio.

Konfigurowanie sparametryzowanego notesu

Możesz rozpocząć od otwarcia przykładowego notesu w narzędziu Azure Data Studio lub wykonać następujące kroki, aby utworzyć notes. Następnie spróbuj użyć różnych parametrów. Wszystkie kroki są uruchamiane wewnątrz notesu usługi Azure Data Studio.

  1. Sprawdź, czy jądro ma ustawioną wartość Python 3:

    Zrzut ekranu przedstawiający wartość jądra dla języka Python 3.

  2. Utwórz nową komórkę kodu. Wybierz pozycję Parametry , aby oznaczyć komórkę jako komórkę parametrów.

    x = 2.0
    y = 5.0
    

    Zrzut ekranu przedstawiający tworzenie nowej komórki parametrów z wybraną pozycją Parametry.

  3. Dodaj inne komórki, aby przetestować różne parametry:

    addition = x + y
    multiply = x * y
    
    print("Addition: " + str(addition))
    print("Multiplication: " + str(multiply))
    

    Po uruchomieniu wszystkich komórek dane wyjściowe będą wyglądać podobnie do tego przykładu:

    Zrzut ekranu przedstawiający dane wyjściowe komórek dodanych do testowania nowych parametrów.

  4. Zapisz notes jako Input.ipynb:

    Zrzut ekranu przedstawiający zapisywanie pliku notesu.

Wykonywanie notesu papermill

Papiermill można wykonać na dwa sposoby:

  • Interfejs wiersza polecenia
  • Interfejs API języka Python

Sparametryzowane wykonywanie interfejsu wiersza polecenia

Aby wykonać notes przy użyciu interfejsu wiersza polecenia, w terminalu wprowadź papermill polecenie z notesem wejściowym, lokalizacją notesu wyjściowego i opcjami.

Uwaga

Aby dowiedzieć się więcej, zobacz dokumentację interfejsu wiersza polecenia platformy Papermill.

  1. Wykonaj notes wejściowy z nowymi parametrami:

    papermill Input.ipynb Output.ipynb -p x 10 -p y 20
    

    To polecenie wykonuje notes wejściowy z nowymi wartościami parametrów x i y.

  2. Nowa komórka oznaczona # Injected-Parameters etykietą zawiera nowe wartości parametrów, które zostały przekazane za pośrednictwem interfejsu wiersza polecenia. Nowe # Injected-Parameters wartości są używane dla nowych danych wyjściowych wyświetlanych w ostatniej komórce:

    Zrzut ekranu przedstawiający dane wyjściowe dla nowych parametrów.

Sparametryzowane wykonywanie interfejsu API języka Python

Uwaga

Aby dowiedzieć się więcej, zobacz dokumentację papermill python.

  1. Utwórz nowy notes. Zmień jądro na Python 3:

    Zrzut ekranu przedstawiający opcję menu Nowy notes i ustawienie wartości Jądra na Python 3.

  2. Dodaj nową komórkę kodu. Następnie użyj interfejsu API języka Python Papermill, aby wykonać i wygenerować wyjściowy notes sparametryzowany:

    import papermill as pm
    
    pm.execute_notebook(
    '/Users/vasubhog/GitProjects/AzureDataStudio-Notebooks/Demo_Parameterization/Input.ipynb',
    '/Users/vasubhog/GitProjects/AzureDataStudio-Notebooks/Demo_Parameterization/Output.ipynb',
    parameters = dict(x = 10, y = 20)
    )
    

    Zrzut ekranu przedstawiający wykonywanie interfejsu API języka Python.

  3. Nowa komórka oznaczona # Injected-Parameters etykietą zawiera nowe wartości parametrów, które zostały przekazane. Nowe # Injected-Parameters wartości są używane dla nowych danych wyjściowych wyświetlanych w ostatniej komórce:

    Zrzut ekranu przedstawiający dane wyjściowe dla nowych parametrów.

Następne kroki

Dowiedz się więcej o notesach i parametryzacji: