Transformace dat spuštěním poznámkového bloku Synapse

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Aktivita poznámkového bloku Azure Synapse v kanálu Synapse spouští poznámkový blok Synapse ve vašem pracovním prostoru Azure Synapse. Tento článek vychází z článku o aktivitách transformace dat, který představuje obecný přehled transformace dat a podporovaných transformačních aktivit. 

Vytvoření aktivity poznámkového bloku Synapse

Aktivitu poznámkového bloku Synapse můžete vytvořit přímo z plátna kanálu Synapse nebo z editoru poznámkových bloků. Aktivita poznámkového bloku Synapse běží ve fondu Sparku, který se vybere v poznámkovém bloku Synapse.

Přidání aktivity poznámkového bloku Synapse z plátna kanálu

Poznámkový blok Synapse přetáhněte do části Aktivity na plátno kanálu Synapse. Vyberte pole aktivity poznámkového bloku Synapse a v nastavení na kartě Konfigurace obsahu poznámkového bloku na aktuální aktivitu. Můžete vybrat existující poznámkový blok z aktuálního pracovního prostoru nebo přidat nový poznámkový blok.

Pokud vyberete existující poznámkový blok z aktuálního pracovního prostoru, můžete kliknutím na tlačítko Otevřít přímo otevřít stránku poznámkového bloku.

(Volitelné) Můžete také překonfigurovat fond Spark\Velikost exekutoru\Dynamicky přidělovat exekutory\Min executors\Max executors\Driver size in settings. Je třeba poznamenat, že zde překonfigurovaná nastavení nahradí nastavení konfigurace relace v poznámkovém bloku. Pokud v nastavení aktuální aktivity poznámkového bloku není nic nastavené, spustí se s nastavením relace konfigurace v daném poznámkovém bloku.

Vlastnost	Popis	Povinní účastníci
Fond Sparku	Odkaz na fond Spark. V seznamu můžete vybrat fond Apache Spark. Pokud je toto nastavení prázdné, spustí se ve fondu sparku samotného poznámkového bloku.	No
Velikost exekutoru	Počet jader a paměti, které se mají použít pro exekutory přidělené v zadaném fondu Apache Spark pro relaci.	No
Dynamicky přidělovat exekutory	Toto nastavení se mapuje na vlastnost dynamického přidělení v konfiguraci Sparku pro přidělení exekutorů aplikací Sparku.	No
Minimální exekutory	Minimální počet exekutorů, které se mají přidělit v zadaném fondu Sparku pro úlohu.	No
Maximální počet exekutorů	Maximální počet exekutorů, které se mají přidělit v zadaném fondu Sparku pro úlohu.	No
Velikost ovladače	Počet jaderachch	No

Poznámka:

Spouštění paralelních poznámkových bloků Sparku v kanálech Azure Synapse se zařadí do fronty a spustí se způsobem FIFO, pořadí úloh ve frontě odpovídá časovému pořadí, vypršení platnosti úlohy ve frontě je 3 dny. Všimněte si, že fronta pro poznámkový blok funguje jenom v kanálu Synapse.

Přidání poznámkového bloku do kanálu Synapse

Výběrem tlačítka Přidat do kanálu v pravém horním rohu přidejte poznámkový blok do existujícího kanálu nebo vytvořte nový kanál.

Předávání parametrů

Určení buňky parametrů

Pokud chcete v poznámkovém bloku parametrizovat, vyberte tři tečky (...) a získejte přístup k dalším příkazům na panelu nástrojů buňky. Potom vyberte Přepnout buňku parametru a určete buňku jako buňku parametrů.

Azure Data Factory hledá buňku parametrů a používá hodnoty jako výchozí hodnoty parametrů předaných v době provádění. Prováděcí modul přidá novou buňku pod buňku parametrů se vstupními parametry pro přepsání výchozích hodnot.

Přiřazení hodnot parametrů z kanálu

Jakmile vytvoříte poznámkový blok s parametry, můžete ho spustit z kanálu s aktivitou poznámkového bloku Synapse. Po přidání aktivity na plátno kanálu budete moct nastavit hodnoty parametrů v části Základní parametry na kartě Nastavení .

Při přiřazování hodnot parametrů můžete použít jazyk výrazu kanálu nebo systémové proměnné.

Čtení výstupní hodnoty buňky poznámkového bloku Synapse

Výstupní hodnotu buňky poznámkového bloku si můžete přečíst v dalších aktivitách pomocí následujícího postupu:

1. Voláním rozhraní MSsparkutils.notebook.exit API v aktivitě poznámkového bloku Synapse vrátíte hodnotu, kterou chcete zobrazit ve výstupu aktivity, například:

   mssparkutils.notebook.exit("hello world") 
   

   Uložení obsahu poznámkového bloku a opakování kanálu bude výstup aktivity poznámkového bloku obsahovat hodnotu exitValue, kterou je možné využít pro následující aktivity v kroku 2.

2. Čtení vlastnosti exitValue z výstupu aktivity poznámkového bloku Tady je ukázkový výraz, který slouží ke kontrole, jestli se výstupní hodnota načtená z výstupu aktivity poznámkového bloku rovná "hello world":

   

Spuštění jiného poznámkového bloku Synapse

Na jiné poznámkové bloky v aktivitě poznámkového bloku Synapse můžete odkazovat prostřednictvím volání nástroje poznámkového bloku %run magic nebo mssparkutils. Obě podporují volání vnoření funkcí. Hlavní rozdíly těchto dvou metod, které byste měli zvážit na základě vašeho scénáře, jsou:

• %run magic zkopíruje všechny buňky z odkazovaného poznámkového bloku do buňky %run a sdílí kontext proměnné. Když poznámkový blok1 odkazuje na poznámkový blok 2 prostřednictvím %run notebook2 a poznámkový blok2 volá funkci mssparkutils.notebook.exit , zastaví se spuštění buňky v poznámkovém bloku1. %run magic doporučujeme použít, když chcete zahrnout soubor poznámkového bloku.
• Nástroje poznámkového bloku mssparkutils volá odkazovaný poznámkový blok jako metodu nebo funkci. Kontext proměnné se nesdílí. Když poznámkový blok1 odkazuje na poznámkový blok 2 prostřednictvím mssparkutils.notebook.run("notebook2") a poznámkový blok2 volá funkci mssparkutils.notebook.exit , provádění buněk v poznámkovém bloku1 bude pokračovat. Pokud chcete poznámkový blok importovat, doporučujeme používat nástroje poznámkového bloku mssparkutils.

Zobrazit historii spuštění aktivit poznámkového bloku

Na kartě Monitorování přejděte na spuštění kanálu. Zobrazí se kanál, který jste aktivovali. Otevřete kanál, který obsahuje aktivitu poznámkového bloku, abyste viděli historii spuštění.

Výběrem tlačítka Otevřít poznámkový blok zobrazíte nejnovější snímek spuštění poznámkového bloku, včetně vstupních i výstupních buněk.

Otevření snímku poznámkového bloku:

Vstup nebo výstup aktivity poznámkového bloku můžete zobrazit výběrem vstupního nebo výstupního tlačítka. Pokud váš kanál selhal s chybou uživatele, výběrem výstupu zkontrolujte pole výsledků a prohlédněte si podrobné trasování chyb uživatele.

Definice aktivity poznámkového bloku Synapse

Tady je ukázková definice JSON aktivity poznámkového bloku Synapse:

{
    "name": "parameter_test",
    "type": "SynapseNotebook",
    "dependsOn": [],
    "policy": {
        "timeout": "7.00:00:00",
        "retry": 0,
        "retryIntervalInSeconds": 30,
        "secureOutput": false,
        "secureInput": false
    },
    "userProperties": [],
    "typeProperties": {
        "notebook": {
            "referenceName": "parameter_test",
            "type": "NotebookReference"
        },
        "parameters": {
            "input": {
                "value": {
                    "value": "@pipeline().parameters.input",
                    "type": "Expression"
                }
            }
        }
    }
}

Výstup aktivity poznámkového bloku Synapse

Tady je ukázkový json výstupu aktivity poznámkového bloku Synapse:

{
{
    "status": {
        "Status": 1,
        "Output": {
            "status": <livySessionInfo>
            },
            "result": {
                "runId": "<GUID>",
                "runStatus": "Succeed",
                "message": "Notebook execution is in Succeeded state",
                "lastCheckedOn": "2021-03-23T00:40:10.6033333Z",
                "errors": {
                    "ename": "",
                    "evalue": ""
                },
                "sessionId": 4,
                "sparkpool": "sparkpool",
                "snapshotUrl": "https://myworkspace.dev.azuresynapse.net/notebooksnapshot/{guid}",
                "exitCode": "abc" // return value from user notebook via mssparkutils.notebook.exit("abc")
            }
        },
        "Error": null,
        "ExecutionDetails": {}
    },

    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (West US 2)",
    "executionDuration": 234,
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    },
    "billingReference": {
        "activityType": "ExternalActivity",
        "billableDuration": [
            {
                "meterType": "AzureIR",
                "duration": 0.06666666666666667,
                "unit": "Hours"
            }
        ]
    }
}

Známé problémy

Pokud je název poznámkového bloku v aktivitě poznámkového bloku kanálu parametrizovaný, verze poznámkového bloku v nepublikovaném stavu se ve spuštění ladění nedá odkazovat.