Transformace dat spuštěním poznámkového bloku Synapse

  • Článek

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte Službu Data Factory v Microsoft Fabric, analytické řešení typu vše v jednom pro podniky. Microsoft Fabric pokrývá všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak zdarma začít používat novou zkušební verzi .

Aktivita Azure Synapse poznámkového bloku v kanálu Synapse spustí poznámkový blok Synapse v pracovním prostoru Azure Synapse. Tento článek vychází z článku o aktivitách transformace dat , který představuje obecný přehled transformace dat a podporovaných transformačních aktivit. 

Vytvoření aktivity poznámkového bloku Synapse

Aktivitu poznámkového bloku Synapse můžete vytvořit přímo z plátna kanálu Synapse nebo z editoru poznámkových bloků. Aktivita poznámkového bloku Synapse běží ve fondu Sparku, který se vybere v poznámkovém bloku Synapse.

Přidání aktivity poznámkového bloku Synapse z plátna kanálu

Přetáhněte poznámkový blok Synapse v části Aktivity na plátno kanálu Synapse. V poli Aktivita poznámkového bloku Synapse vyberte a v nastavení nakon konfiguraci obsahu poznámkového bloku pro aktuální aktivitu. Můžete vybrat existující poznámkový blok z aktuálního pracovního prostoru nebo přidat nový.

Pokud vyberete existující poznámkový blok z aktuálního pracovního prostoru, můžete kliknutím na tlačítko Otevřít otevřít přímo stránku poznámkového bloku.

(Volitelné) V nastavení můžete také překonfigurovat fond Sparku\Velikost exekutoru\Dynamicky přidělovat exekutory\Minimální exekutory\Maximální počet exekutorů\Velikost ovladače. Je třeba poznamenat, že zde překonfigurovaná nastavení nahradí nastavení konfigurace relace v poznámkovém bloku. Pokud v nastavení aktuální aktivity poznámkového bloku není nic nastavené, spustí se s nastavením relace konfigurace v daném poznámkovém bloku.

screenshot-showing-create-notebook-activity

Vlastnost Popis Povinné
Fond Sparku Odkaz na fond Sparku. Ze seznamu můžete vybrat fond Apache Sparku. Pokud je toto nastavení prázdné, spustí se ve fondu sparků samotného poznámkového bloku. No
Velikost exekutoru Počet jader a paměti, které se mají použít pro exekutory přidělené v zadaném fondu Apache Sparku pro relaci. Ne
Dynamické přidělování exekutorů Toto nastavení se mapuje na vlastnost dynamického přidělování v konfiguraci Sparku pro přidělení exekutorů aplikací Spark. Ne
Minimální exekutory Minimální počet exekutorů, které se mají přidělit v zadaném fondu Sparku pro úlohu. Ne
Maximální počet exekutorů Maximální počet exekutorů, které se mají přidělit v zadaném fondu Sparku pro úlohu. Ne
Velikost ovladače Počet jader a paměti, které se mají použít pro ovladač v zadaném fondu Apache Sparku pro danou úlohu Ne

Poznámka

Spouštění paralelních poznámkových bloků Sparku v Azure Synapse kanálech se zařaďte do fronty a spouštějí způsobem FIFO, pořadí úloh ve frontě je podle časového pořadí, doba vypršení platnosti úlohy ve frontě je 3 dny. Všimněte si, že fronta pro poznámkový blok funguje jenom v kanálu synapse.

Přidání poznámkového bloku do kanálu Synapse

Výběrem tlačítka Přidat do kanálu v pravém horním rohu přidejte poznámkový blok do existujícího kanálu nebo vytvořte nový kanál.

screenshot-showing-add-notebook-to-pipeline

Předávání parametrů

Určení buňky parametrů

Pokud chcete poznámkový blok parametrizovat, vyberte tři tečky (...) a získejte přístup k dalším příkazům na panelu nástrojů buněk. Pak vyberte Přepnout buňku parametru a určete buňku jako buňku parametrů.

screenshot-showing-azure-notebook-toggle-parameter

Azure Data Factory vyhledá buňku parametrů a použije hodnoty jako výchozí pro parametry předávané v době spuštění. Spouštěcí modul přidá pod buňku parametrů novou buňku se vstupními parametry, která přepíše výchozí hodnoty.

Přiřazení hodnot parametrů z kanálu

Jakmile vytvoříte poznámkový blok s parametry, můžete ho spustit z kanálu s aktivitou poznámkového bloku Synapse. Po přidání aktivity na plátno kanálu budete moct nastavit hodnoty parametrů v části Základní parametry na kartě Nastavení .

screenshot-showing-assign-a-parameter

Při přiřazování hodnot parametrů můžete použít jazyk výrazu kanálu nebo systémové proměnné.

Čtení výstupní hodnoty buňky poznámkového bloku Synapse

Výstupní hodnotu buňky poznámkového bloku můžete přečíst v dalších aktivitách pomocí následujícího postupu:

  1. Voláním rozhraní API mssparkutils.notebook.exit v aktivitě poznámkového bloku Synapse vrátíte hodnotu, kterou chcete zobrazit ve výstupu aktivity, například:

    mssparkutils.notebook.exit("hello world")

    Když uložíte obsah poznámkového bloku a znovu provedete opakování kanálu, výstup aktivity poznámkového bloku bude obsahovat hodnotu exitValue, kterou je možné využít pro následující aktivity v kroku 2.

  2. Vlastnost Read exitValue z výstupu aktivity poznámkového bloku. Tady je ukázkový výraz, který slouží ke kontrole, jestli se hodnota exitValue načtená z výstupu aktivity poznámkového bloku rovná "hello world":

    screenshot-showing-read-exit-value

Spuštění dalšího poznámkového bloku Synapse

Na další poznámkové bloky v aktivitě poznámkového bloku Synapse můžete odkazovat voláním nástrojů poznámkového bloku %run magic nebo mssparkutils. Obě podporují volání funkcí vnoření. Hlavní rozdíly mezi těmito dvěma metodami, které byste měli zvážit v závislosti na vašem scénáři, jsou:

  • %run magic zkopíruje všechny buňky z odkazovaného poznámkového bloku do buňky %run a sdílí kontext proměnné. Když poznámkový blok1 odkazuje na poznámkový blok2 prostřednictvím %run notebook2 funkce mssparkutils.notebook.exit a poznámkový blok2, provádění buněk v poznámkovém bloku1 se zastaví. Pokud chcete zahrnout soubor poznámkového bloku, doporučujeme použít nástroj %run magic.
  • Nástroje poznámkového bloku mssparkutils volá odkazovaný poznámkový blok jako metodu nebo funkci. Kontext proměnné není sdílený. Když poznámkový blok1 odkazuje na poznámkový blok2 prostřednictvím mssparkutils.notebook.run("notebook2") funkce mssparkutils.notebook.exit a poznámkový blok2, bude provádění buněk v poznámkovém bloku1 pokračovat. Pokud chcete importovat poznámkový blok, doporučujeme použít nástroje poznámkového bloku mssparkutils.

Zobrazit historii spuštění aktivit poznámkového bloku

Na kartě Monitorování přejděte na Spuštění kanálu. Zobrazí se kanál, který jste aktivovali. Otevřete kanál, který obsahuje aktivitu poznámkového bloku, a zobrazte historii spuštění.

Výběrem tlačítka Otevřít poznámkový blok můžete zobrazit nejnovější snímek spuštění poznámkového bloku, včetně vstupu i výstupu buněk.

Snímek obrazovky s historií aktivit poznámkového bloku

Otevřete snímek poznámkového bloku:

Snímek obrazovky s otevřeným snímkem poznámkového bloku

Vstup nebo výstup aktivity poznámkového bloku můžete zobrazit tak, že vyberete tlačítko vstup nebo Výstup . Pokud váš kanál selhal s chybou uživatele, vyberte výstup a zkontrolujte pole výsledku a podívejte se na podrobné zpětné trasování chyb uživatele.

Snímek obrazovky s podrobnostmi o chybě uživatele

Definice aktivity poznámkového bloku Synapse

Tady je ukázková definice JSON aktivity poznámkového bloku Synapse:

{
    "name": "parameter_test",
    "type": "SynapseNotebook",
    "dependsOn": [],
    "policy": {
        "timeout": "7.00:00:00",
        "retry": 0,
        "retryIntervalInSeconds": 30,
        "secureOutput": false,
        "secureInput": false
    },
    "userProperties": [],
    "typeProperties": {
        "notebook": {
            "referenceName": "parameter_test",
            "type": "NotebookReference"
        },
        "parameters": {
            "input": {
                "value": {
                    "value": "@pipeline().parameters.input",
                    "type": "Expression"
                }
            }
        }
    }
}

Výstup aktivity poznámkového bloku Synapse

Tady je ukázkový kód JSON výstupu aktivity poznámkového bloku Synapse:

{
{
    "status": {
        "Status": 1,
        "Output": {
            "status": <livySessionInfo>
            },
            "result": {
                "runId": "<GUID>",
                "runStatus": "Succeed",
                "message": "Notebook execution is in Succeeded state",
                "lastCheckedOn": "2021-03-23T00:40:10.6033333Z",
                "errors": {
                    "ename": "",
                    "evalue": ""
                },
                "sessionId": 4,
                "sparkpool": "sparkpool",
                "snapshotUrl": "https://myworkspace.dev.azuresynapse.net/notebooksnapshot/{guid}",
                "exitCode": "abc" // return value from user notebook via mssparkutils.notebook.exit("abc")
            }
        },
        "Error": null,
        "ExecutionDetails": {}
    },

    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (West US 2)",
    "executionDuration": 234,
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    },
    "billingReference": {
        "activityType": "ExternalActivity",
        "billableDuration": [
            {
                "meterType": "AzureIR",
                "duration": 0.06666666666666667,
                "unit": "Hours"
            }
        ]
    }
}

Známé problémy

Pokud je název poznámkového bloku parametrizovaný v aktivitě poznámkového bloku kanálu, pak se při spuštěních ladění nedá odkazovat na verzi poznámkového bloku ve stavu Nepublikovaná.