Transformace dat spuštěním poznámkového bloku Synapse
PLATÍ PRO:
Azure Data Factory Azure Synapse Analytics
Tip
Vyzkoušejte službu Data Factory v Microsoft Fabric, analytické řešení typu vše v jednom pro podniky. Microsoft Fabric pokrývá všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Zjistěte, jak zdarma začít používat novou zkušební verzi .
Aktivita poznámkového bloku Azure Synapse v kanálu spustí poznámkový blok Synapse v pracovním prostoru Azure Synapse Analytics. Tento článek vychází z článku aktivit transformace dat , který představuje obecný přehled transformací dat a podporovaných aktivit transformace.
Aktivitu poznámkového bloku Azure Synapse Analytics můžete vytvořit přímo prostřednictvím uživatelského rozhraní nástroje Azure Data Factory Studio. Podrobný návod k vytvoření aktivity poznámkového bloku Synapse pomocí uživatelského rozhraní najdete v následujícím článku.
Přidání aktivity poznámkového bloku pro Synapse do kanálu pomocí uživatelského rozhraní
Pokud chcete v kanálu použít aktivitu poznámkového bloku pro Synapse, proveďte následující kroky:
Obecná nastavení
- Vyhledejte Poznámkový blok v podokně Aktivity kanálu a přetáhněte aktivitu poznámkového bloku pod Synapse na plátno kanálu.
- Vyberte novou aktivitu Poznámkový blok na plátně, pokud ještě není vybraná.
- V nastavení Obecné zadejte ukázku pro Název.
- (Možnost) Můžete také zadat popis.
- Časový limit: Maximální doba, po kterou může aktivita běžet. Výchozí hodnota je 12 hodin a maximální povolená doba je 7 dnů. Formát je v D.HH:MM:SS.
- Opakovat: Maximální počet opakovaných pokusů.
- Interval opakování (s): Počet sekund mezi jednotlivými opakovanými pokusy.
- Zabezpečený výstup: Pokud je zaškrtnuté, výstup z aktivity se nezachytí do protokolování.
- Zabezpečený vstup: Počet sekund mezi jednotlivými opakovanými pokusy
Nastavení Azure Synapse Analytics (Artifacts)
Vyberte kartu Azure Synapse Analytics (Artifacts) a vyberte nebo vytvořte novou propojenou službu Azure Synapse Analytics, která spustí aktivitu poznámkového bloku.
Karta Nastavení
Vyberte novou aktivitu poznámkového bloku Synapse na plátně, pokud ještě není vybraná.
Vyberte kartu Settings (Nastavení).
Rozbalte seznam Poznámkový blok a v propojené Azure Synapse Analytics (Artifacts) můžete vybrat existující poznámkový blok.
Kliknutím na tlačítko Otevřít otevřete stránku propojené služby, na které se nachází vybraný poznámkový blok.
Poznámka
Pokud je ID prostředku pracovního prostoru v propojené službě prázdné, tlačítko Otevřít se zakáže.
Vyberte kartu Nastavení a zvolte poznámkový blok a volitelné základní parametry, které chcete do poznámkového bloku předat.
(Volitelné) Můžete vyplnit informace pro poznámkový blok Synapse. Pokud jsou následující nastavení prázdná, použijí se ke spuštění nastavení samotného poznámkového bloku Synapse. Pokud následující nastavení nejsou prázdná, nahradí tato nastavení nastavení samotného poznámkového bloku Synapse.
Vlastnost Popis Fond Sparku Odkaz na fond Sparku. Ze seznamu můžete vybrat fond Apache Sparku. Velikost exekutoru Počet jader a paměti, které se mají použít pro exekutory přidělené v zadaném fondu Apache Sparku pro relaci Pro dynamický obsah jsou platné hodnoty Small/Medium/Large/XLarge/XXLarge. Dynamické přidělování exekutorů Toto nastavení se mapuje na vlastnost dynamického přidělování v konfiguraci Sparku pro přidělení exekutorů aplikací Spark. Minimální exekutory Minimální počet exekutorů, které se mají přidělit v zadaném fondu Sparku pro úlohu. Maximální počet exekutorů Maximální počet exekutorů, které se mají přidělit v zadaném fondu Sparku pro úlohu. Velikost ovladače Počet jader a paměti, které se mají použít pro ovladač v zadaném fondu Apache Sparku pro úlohu
Definice aktivity poznámkového bloku analýzy Azure Synapse
Tady je ukázková definice JSON aktivity poznámkového bloku Azure Synapse Analytics:
{
"activities": [
{
"name": "demo",
"description": "description",
"type": "SynapseNotebook",
"dependsOn": [],
"policy": {
"timeout": "7.00:00:00",
"retry": 0,
"retryIntervalInSeconds": 30,
"secureOutput": false,
"secureInput": false
},
"userProperties": [
{
"name": "testproperties",
"value": "test123"
}
],
"typeProperties": {
"notebook": {
"referenceName": {
"value": "Notebookname",
"type": "Expression"
},
"type": "NotebookReference"
},
"parameters": {
"test": {
"value": "testvalue",
"type": "string"
}
},
"snapshot": true,
"sparkPool": {
"referenceName": {
"value": "SampleSpark",
"type": "Expression"
},
"type": "BigDataPoolReference"
}
},
"linkedServiceName": {
"referenceName": "AzureSynapseArtifacts1",
"type": "LinkedServiceReference"
}
}
]
}
Vlastnosti aktivity poznámkového bloku Azure Synapse Analytics
Následující tabulka popisuje vlastnosti JSON použité v definici JSON:
| Vlastnost | Popis | Vyžadováno |
|---|---|---|
| name | Název aktivity v kanálu | Yes |
| description | Text popisující, co aktivita dělá. | No |
| typ | V případě aktivity poznámkového bloku Azure Synapse Analytics je typ aktivity SynapseNotebook. | Yes |
| poznámkový blok | Název poznámkového bloku, který se má spustit v Azure Synapse Analytics. | Yes |
| fond sparku | Fond Sparku vyžadovaný ke spuštění poznámkového bloku Azure Synapse Analytics. | No |
| parameter | Parametr vyžadovaný ke spuštění poznámkového bloku Azure Synapse Analytics Další informace najdete v tématu Transformace dat spuštěním poznámkového bloku Synapse. | No |
Určení buňky parametrů
Azure Data Factory hledá buňku parametrů a použije hodnoty jako výchozí hodnoty pro parametry předávané při spuštění. Prováděcí modul přidá novou buňku pod buňku parametrů se vstupními parametry, která přepíše výchozí hodnoty. Můžete si projděte téma Transformace dat spuštěním poznámkového bloku Synapse.
Čtení výstupní hodnoty buňky poznámkového bloku Synapse
Výstupní hodnotu buňky poznámkového bloku můžete přečíst v aktivitě. Na tomto panelu si můžete přečíst téma Transformace dat spuštěním poznámkového bloku Synapse.
Spuštění dalšího poznámkového bloku Synapse
Na jiné poznámkové bloky v aktivitě poznámkového bloku Synapse můžete odkazovat voláním nástrojů poznámkového bloku %run magic nebo mssparkutils. Obě podporují volání funkcí vnořování. Hlavní rozdíly mezi těmito dvěma metodami, které byste měli zvážit v závislosti na vašem scénáři, jsou:
- Magic aplikace %run zkopíruje všechny buňky z odkazovaného poznámkového bloku do buňky %run a sdílí kontext proměnné. Když poznámkový blok1 odkazuje na poznámkový blok2 prostřednictvím
%run notebook2a poznámkový blok2 zavolá funkci mssparkutils.notebook.exit , provádění buňky v poznámkovém bloku 1 se zastaví. Pokud chcete zahrnout soubor poznámkového bloku, doporučujeme použít %run magic. - Nástroje poznámkového bloku mssparkutils volá odkazovaný poznámkový blok jako metodu nebo funkci. Kontext proměnné se nesdílí. Když poznámkový blok1 odkazuje na poznámkový blok2 prostřednictvím
mssparkutils.notebook.run("notebook2")a poznámkový blok2 zavolá funkci mssparkutils.notebook.exit , provádění buňky v poznámkovém bloku1 bude pokračovat. Pokud chcete "importovat" poznámkový blok, doporučujeme použít nástroje poznámkového bloku mssparkutils.
Zobrazit historii spuštění aktivit poznámkového bloku Azure Synapse Analytics
Na kartě Monitorování přejděte na Spuštění kanálu. Zobrazí se kanál, který jste aktivovali. Otevřete kanál, který obsahuje aktivitu poznámkového bloku, a zobrazte historii spuštění.
Pro otevření snímku poznámkového bloku se tato funkce v současné době nepodporuje.
Vstup nebo výstup aktivity poznámkového bloku můžete zobrazit tak, že vyberete tlačítko vstup nebo Výstup. Pokud váš kanál selhal s chybou uživatele, vyberte výstup a zkontrolujte pole výsledku a podívejte se na podrobné zpětné trasování chyb uživatele.
