Sdílet prostřednictvím


Transformace dat spuštěním poznámkového bloku Synapse

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Aktivita poznámkového bloku Azure Synapse v kanálu spouští poznámkový blok Synapse ve vašem pracovním prostoru Azure Synapse Analytics. Tento článek vychází z článku o aktivitách transformace dat, který představuje obecný přehled transformace dat a podporovaných transformačních aktivit.

Aktivitu poznámkového bloku Azure Synapse Analytics můžete vytvořit přímo prostřednictvím uživatelského rozhraní nástroje Azure Data Factory Studio. Podrobný návod, jak vytvořit aktivitu poznámkového bloku Synapse pomocí uživatelského rozhraní, najdete v následujících tématech.

Přidání aktivity poznámkového bloku pro Synapse do kanálu s uživatelským rozhraním

Pokud chcete v kanálu použít aktivitu poznámkového bloku pro Synapse, proveďte následující kroky:

Obecné nastavení

  1. Vyhledejte poznámkový blok v podokně Aktivity kanálu a přetáhněte aktivitu poznámkového bloku pod Synapse na plátno kanálu.
  2. Pokud ještě není vybraná, vyberte na plátně novou aktivitu poznámkového bloku.
  3. V nastavení Obecné zadejte ukázku pro Název.
  4. (Možnost) Můžete také zadat popis.
  5. Časový limit: Maximální doba, po kterou může aktivita běžet. Výchozí hodnota je 12 hodin a maximální povolená doba je 7 dní. Formát je ve formátu D.HH:MM:SS.
  6. Opakování: Maximální počet pokusů o opakování
  7. Interval opakování (s): Počet sekund mezi jednotlivými pokusy o opakování.
  8. Zabezpečený výstup: Při kontrole se výstup z aktivity nezachytí v protokolování.
  9. Zabezpečený vstup: Při kontrole se vstup z aktivity nezachytí v protokolování.

Nastavení Služby Azure Synapse Analytics (artefakty)

Výběrem karty Azure Synapse Analytics (Artefakty) vyberte nebo vytvořte novou propojenou službu Azure Synapse Analytics, která spustí aktivitu poznámkového bloku.

Snímek obrazovky s kartou propojené služby pro aktivitu poznámkového bloku

Karta Nastavení

  1. Vyberte novou aktivitu poznámkového bloku Synapse na plátně, pokud ještě není vybraná.

  2. Vyberte kartu Nastavení.

  3. Rozbalte seznam poznámkových bloků a můžete vybrat existující poznámkový blok v propojené službě Azure Synapse Analytics (artefakty).

  4. Kliknutím na tlačítko Otevřít otevřete stránku propojené služby, ve které se nachází vybraný poznámkový blok.

Poznámka:

Pokud je ID prostředku pracovního prostoru v propojené službě prázdné, tlačítko Otevřít se zakáže.

Snímek obrazovky s tlačítkem Otevřít je zakázané.

  1. Vyberte kartu Nastavení a zvolte poznámkový blok a volitelné základní parametry, které se mají předat poznámkovému bloku.

    Snímek obrazovky s kartou Nastavení pro aktivitu poznámkového bloku

  2. (Volitelné) Můžete vyplnit informace o poznámkovém bloku Synapse. Pokud jsou následující nastavení prázdná, použijí se ke spuštění nastavení samotného poznámkového bloku Synapse. Pokud následující nastavení nejsou prázdná, nahradí tato nastavení nastavení samotného poznámkového bloku Synapse.

    Vlastnost Popis
    Fond Sparku Odkaz na fond Spark. V seznamu můžete vybrat fond Apache Spark.
    Velikost exekutoru Počet jader a paměti, které se mají použít pro exekutory přidělené v zadaném fondu Apache Spark pro relaci. U dynamického obsahu jsou platné hodnoty Small/Medium/Large/XLarge/XXLarge.
    Dynamicky přidělovat exekutory Toto nastavení se mapuje na vlastnost dynamického přidělení v konfiguraci Sparku pro přidělení exekutorů aplikací Sparku.
    Minimální exekutory Minimální počet exekutorů, které se mají přidělit v zadaném fondu Sparku pro úlohu.
    Maximální počet exekutorů Maximální počet exekutorů, které se mají přidělit v zadaném fondu Sparku pro úlohu.
    Velikost ovladače Počet jaderachch

Definice aktivity poznámkového bloku Azure Synapse Analytics

Tady je ukázková definice JSON aktivity poznámkového bloku Azure Synapse Analytics:

{
    "activities": [
            {
                "name": "demo",
                "description": "description",
                "type": "SynapseNotebook",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [
                    {
                        "name": "testproperties",
                        "value": "test123"
                    }
                ],
                "typeProperties": {
                    "notebook": {
                        "referenceName": {
                            "value": "Notebookname",
                            "type": "Expression"
                        },
                        "type": "NotebookReference"
                    },
                    "parameters": {
                        "test": {
                            "value": "testvalue",
                            "type": "string"
                        }
                    },
                    "snapshot": true,
                    "sparkPool": {
                        "referenceName": {
                            "value": "SampleSpark",
                            "type": "Expression"
                        },
                        "type": "BigDataPoolReference"
                    }
                },
                "linkedServiceName": {
                    "referenceName": "AzureSynapseArtifacts1",
                    "type": "LinkedServiceReference"
                }
            }
        ]
    }

Vlastnosti aktivit poznámkového bloku Azure Synapse Analytics

Následující tabulka popisuje vlastnosti JSON použité v definici JSON:

Vlastnost Popis Povinní účastníci
name Název aktivity v kanálu Ano
description Text popisující, co aktivita dělá. No
type U aktivity poznámkového bloku Azure Synapse Analytics je typ aktivity SynapseNotebook. Ano
poznámkový blok Název poznámkového bloku, který se má spustit v Azure Synapse Analytics. Ano
SparkPool Fond Sparku potřebný ke spuštění poznámkového bloku Azure Synapse Analytics. No
parametr Parametr vyžadovaný ke spuštění poznámkového bloku Azure Synapse Analytics Další informace najdete v tématu Transformace dat spuštěním poznámkového bloku Synapse. No

Určení buňky parametrů

Azure Data Factory hledá buňku parametrů a používá hodnoty jako výchozí hodnoty parametrů předaných v době provádění. Prováděcí modul přidá novou buňku pod buňku parametrů se vstupními parametry pro přepsání výchozích hodnot. Na transformování dat můžete odkazovat spuštěním poznámkového bloku Synapse.

Čtení výstupní hodnoty buňky poznámkového bloku Synapse

Výstupní hodnotu buňky poznámkového bloku si můžete přečíst v aktivitě. Na tomto panelu můžete odkazovat na transformaci dat spuštěním poznámkového bloku Synapse.

Spuštění jiného poznámkového bloku Synapse

Na jiné poznámkové bloky v aktivitě poznámkového bloku Synapse můžete odkazovat prostřednictvím volání nástroje poznámkového bloku %run magic nebo mssparkutils. Obě podporují volání vnoření funkcí. Hlavní rozdíly těchto dvou metod, které byste měli zvážit na základě vašeho scénáře, jsou:

  • %run magic zkopíruje všechny buňky z odkazovaného poznámkového bloku do buňky %run a sdílí kontext proměnné. Když poznámkový blok1 odkazuje na poznámkový blok 2 prostřednictvím %run notebook2 a poznámkový blok2 volá funkci mssparkutils.notebook.exit , zastaví se spuštění buňky v poznámkovém bloku1. %run magic doporučujeme použít, když chcete zahrnout soubor poznámkového bloku.
  • Nástroje poznámkového bloku mssparkutils volá odkazovaný poznámkový blok jako metodu nebo funkci. Kontext proměnné se nesdílí. Když poznámkový blok1 odkazuje na poznámkový blok 2 prostřednictvím mssparkutils.notebook.run("notebook2") a poznámkový blok2 volá funkci mssparkutils.notebook.exit , provádění buněk v poznámkovém bloku1 bude pokračovat. Pokud chcete poznámkový blok importovat, doporučujeme používat nástroje poznámkového bloku mssparkutils.

Zobrazení historie spuštění aktivit poznámkového bloku Azure Synapse Analytics

Na kartě Monitorování přejděte na spuštění kanálu. Zobrazí se kanál, který jste aktivovali. Otevřete kanál, který obsahuje aktivitu poznámkového bloku, abyste viděli historii spuštění.

Snímek obrazovky se vstupem a výstupem aktivity poznámkového bloku

V případě snímku otevřeného poznámkového bloku se tato funkce v současné době nepodporuje.

Vstup nebo výstup aktivity poznámkového bloku můžete zobrazit výběrem vstupního nebo výstupního tlačítka. Pokud váš kanál selhal s chybou uživatele, výběrem výstupu zkontrolujte pole výsledků a prohlédněte si podrobné trasování chyb uživatele.

Snímek obrazovky s chybou výstupního uživatele pro aktivitu poznámkového bloku