Transformace dat spuštěním poznámkového bloku Synapse

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Návod

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Aktivita poznámkového bloku Azure Synapse v kanálu Synapse spouští poznámkový blok Synapse. Tento článek vychází z článku o aktivitách transformace dat, který představuje obecný přehled transformace dat a podporovaných transformačních aktivit.

Vytvoření aktivity poznámkového bloku Synapse

Aktivitu poznámkového bloku Synapse můžete vytvořit přímo z plátna Synapse nebo z editoru poznámkových bloků. Aktivita poznámkového bloku Synapse běží ve fondu Sparku, který je vybrán v tomto poznámkovém bloku.

Přidejte aktivitu poznámkového bloku Synapse z plátna pipeline.

Přetáhněte poznámkový blok Synapse v části Aktivity na plátno Synapse pipeline. Klikněte na pole aktivity poznámkového bloku Synapse a nakonfigurujte obsah poznámkového bloku pro aktuální aktivitu v nastavení. Můžete vybrat existující poznámkový blok z aktuálního pracovního prostoru nebo přidat nový poznámkový blok.

Pokud vyberete existující poznámkový blok z aktuálního pracovního prostoru, můžete kliknutím na tlačítko Otevřít přímo otevřít stránku poznámkového bloku.

(Volitelné) V nastavení můžete také překonfigurovat fond Spark\Velikost exekutorů\Dynamické přidělení exekutorů\Minimální počet exekutorů\Maksimální počet exekutorů\Velikost řidiče\Autentizace. Je třeba poznamenat, že zde překonfigurovaná nastavení nahradí nastavení konfigurace relace v poznámkovém bloku. Pokud v nastavení aktuální aktivity poznámkového bloku není nic nastavené, spustí se s nastavením relace konfigurace v daném poznámkovém bloku.

Vlastnost	Popis	Povinní účastníci
fond úloh Sparku	Odkaz na fond Spark. V seznamu můžete vybrat fond Apache Spark. Pokud je toto nastavení prázdné, spustí se ve Spark poolu samotného notebooku.	Ne
Velikost exekutoru	Počet jader a paměti, které se mají použít pro exekutory přidělené v zadaném fondu Apache Spark pro relaci.	Ne
Dynamicky přidělovat exekutory	Toto nastavení odpovídá vlastnosti dynamického přidělení v konfiguraci pro alokaci executorů aplikace Spark.	Ne
Minimální vykonavatelé	Minimální počet exekutorů, které se mají přidělit v zadaném fondu Sparku pro daný job.	Ne
Maximální počet exekutorů	Maximální počet vykonavatelů, které se mají přidělit ve specifikovaném Spark clusteru pro danou úlohu.	Ne
Velikost ovladače	Počet jaderachch	Ne
Autentizace	Může se ověřit pomocí spravované identity přiřazené systémem nebo spravované identity přiřazené uživatelem.	Ne

Poznámka:

Spouštění paralelních poznámkových bloků Sparku v pipelinách Azure Synapse se zařadí do fronty a spustí se způsobem FIFO, přičemž pořadí úloh ve frontě odpovídá časovému pořadí. Doba vypršení platnosti úlohy ve frontě je 3 dny. Upozorňujeme, že fronta pro poznámkové bloky funguje pouze v pipeline Synapse.

Přidání poznámkového bloku do kanálu Synapse

Výběrem tlačítka Přidat do kanálu v pravém horním rohu přidejte poznámkový blok do existujícího kanálu nebo vytvořte nový kanál.

Předávání parametrů

Určení buňky parametrů

Pokud chcete v poznámkovém bloku parametrizovat, vyberte tři tečky (...) a získejte přístup k dalším příkazům na panelu nástrojů buňky. Potom vyberte Přepnout buňku parametru a určete buňku jako buňku parametrů.

Definujte parametry v této buňce. Může to být něco tak jednoduchého jako:

a = 1
b = 3
c = "Default Value"

Na tyto parametry můžete odkazovat v jiných buňkách a při spuštění poznámkového bloku použít výchozí hodnoty, které zadáte v buňce parametrů.

Když tento poznámkový blok spustíte z datového toku, Azure Data Factory vyhledá buňku s parametry a použije hodnoty, které jste zadali, jako výchozí hodnoty pro parametry předané při spuštění. Pokud přiřadíte hodnoty parametrů z kanálu, prováděcí modul přidá pod buňku parametrů novou buňku se vstupními parametry, které přepíšou výchozí hodnoty.

Nastavit hodnoty parametrů z potrubí

Jakmile vytvoříte poznámkový blok s parametry, můžete ho spustit z kanálu s aktivitou poznámkového bloku Synapse. Po přidání aktivity na plátno kanálu budete moct nastavit hodnoty parametrů v sekci Základní parametry na kartě Nastavení.

Návod

Data Factory automaticky nenaplní parametry. Musíte je přidat ručně. Nezapomeňte použít stejný název jak v buňce parametrů v poznámkovém bloku, tak v základním parametru v kanálu.

Jakmile do aktivity přidáte parametry, služba Data Factory předá hodnoty zadané v aktivitě do poznámkového bloku a poznámkový blok se spustí s těmito novými hodnotami parametrů místo výchozích hodnot, které jste zadali v buňce parametrů.

Při přiřazování hodnot parametrů můžete použít jazyk výrazu kanálu nebo systémové proměnné.

Čtení výstupní hodnoty buňky poznámkového bloku Synapse

Výstupní hodnotu buňky poznámkového bloku si můžete přečíst v dalších aktivitách pomocí následujícího postupu:

1. Voláním rozhraní MSsparkutils.notebook.exit API v aktivitě poznámkového bloku Synapse vrátíte hodnotu, kterou chcete zobrazit ve výstupu aktivity, například:

   mssparkutils.notebook.exit("hello world") 
   

   Uložení obsahu poznámkového bloku a opakování kanálu bude výstup aktivity poznámkového bloku obsahovat hodnotu exitValue, kterou je možné využít pro následující aktivity v kroku 2.

2. Čtěte vlastnost exitValue z výstupu činnosti poznámkového bloku. Tady je ukázkový výraz, který slouží ke kontrole, jestli se výstupní hodnota načtená z výstupu aktivity poznámkového bloku rovná "hello world":

   

Spusťte jiný poznámkový blok Synapse

Na jiné poznámkové bloky v aktivitě poznámkového bloku Synapse můžete odkazovat prostřednictvím volání %run magic nebo mssparkutils notebook utilities. Obě podporují volání vnořených funkcí. Hlavní rozdíly těchto dvou metod, které byste měli zvážit na základě vašeho scénáře, jsou:

• %run magic zkopíruje všechny buňky z odkazovaného poznámkového bloku do buňky %run a sdílí kontext proměnné. Když poznámkový blok 1 odkazuje na poznámkový blok 2 prostřednictvím %run notebook2 a poznámkový blok 2 volá funkci mssparkutils.notebook.exit, zastaví se spuštění buňky v poznámkovém bloku 1. %run magic doporučujeme použít, když chcete zahrnout soubor poznámkového bloku.
• Notebookové nástroje mssparkutils volají odkazovaný poznámkový blok jako metodu nebo funkci. Kontext proměnné není sdílený. Když poznámkový blok1 odkazuje na poznámkový blok2 prostřednictvím mssparkutils.notebook.run("notebook2") a poznámkový blok2 volá funkci mssparkutils.notebook.exit, provádění buněk v poznámkovém bloku1 bude pokračovat. Pokud chcete poznámkový blok importovat, doporučujeme používat nástroje poznámkového bloku mssparkutils.

Zobrazit historii spuštění aktivit poznámkového bloku

Na kartě Monitorování přejděte na spuštění kanálu. Zobrazí se kanál, který jste aktivovali. Otevřete kanál, který obsahuje aktivitu poznámkového bloku, abyste viděli historii spuštění.

Výběrem tlačítka Otevřít poznámkový blok zobrazíte nejnovější snímek spuštěného poznámkového bloku, včetně vstupních i výstupních buněk.

Otevření snímku poznámkového bloku:

Vstup nebo výstup aktivity poznámkového bloku můžete zobrazit výběrem vstupního nebo výstupního tlačítka. Pokud váš kanál selhal s chybou uživatele, vyberte výstup a zkontrolujte pole výsledek, abyste viděli podrobné trasování chyb uživatele.

Definice aktivity poznámkového bloku Synapse

Tady je ukázková definice JSON aktivity poznámkového bloku Synapse:

{
    "name": "parameter_test",
    "type": "SynapseNotebook",
    "dependsOn": [],
    "policy": {
        "timeout": "7.00:00:00",
        "retry": 0,
        "retryIntervalInSeconds": 30,
        "secureOutput": false,
        "secureInput": false
    },
    "userProperties": [],
    "typeProperties": {
        "notebook": {
            "referenceName": "parameter_test",
            "type": "NotebookReference"
        },
        "parameters": {
            "input": {
                "value": {
                    "value": "@pipeline().parameters.input",
                    "type": "Expression"
                }
            }
        }
    }
}

Výstup aktivity poznámkového bloku Synapse

Tady je ukázkový json výstupu aktivity poznámkového bloku Synapse:

{
{
    "status": {
        "Status": 1,
        "Output": {
            "status": <livySessionInfo>
            },
            "result": {
                "runId": "<GUID>",
                "runStatus": "Succeed",
                "message": "Notebook execution is in Succeeded state",
                "lastCheckedOn": "2021-03-23T00:40:10.6033333Z",
                "errors": {
                    "ename": "",
                    "evalue": ""
                },
                "sessionId": 4,
                "sparkpool": "sparkpool",
                "snapshotUrl": "https://myworkspace.dev.azuresynapse.net/notebooksnapshot/{guid}",
                "exitCode": "abc" // return value from user notebook via mssparkutils.notebook.exit("abc")
            }
        },
        "Error": null,
        "ExecutionDetails": {}
    },

    "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (West US 2)",
    "executionDuration": 234,
    "durationInQueue": {
        "integrationRuntimeQueue": 0
    },
    "billingReference": {
        "activityType": "ExternalActivity",
        "billableDuration": [
            {
                "meterType": "AzureIR",
                "duration": 0.06666666666666667,
                "unit": "Hours"
            }
        ]
    }
}

Známé problémy

Pokud je název poznámkového bloku parametrizován v aktivitě Notebooku potrubí, na verzi poznámkového bloku v nepublikovaném stavu nelze odkazovat během ladicích běhů.