Vývoj, spúšťanie a spravovanie poznámkových blokov služby Microsoft Fabric
Poznámkový blok v službe Microsoft Fabric je primárnou položkou kódu na vývoj úloh v službe Apache Spark a experimentov strojového učenia. Ide o webový interaktívny povrch používaný dátovými vedcami a dátovými inžiniermi na písanie kódu, ktorý profituje z bohatých vizualizácií a textu v jazyku Markdown. Tento článok vysvetľuje, ako vyvinúť poznámkové bloky s operáciami bunky s kódom a ako ich spustiť.
Vývoj poznámkových blokov
Poznámkové bloky pozostávajú z buniek, ktoré sú jednotlivými blokmi kódu alebo textu, ktoré možno spustiť nezávisle alebo ako skupina.
Na vývoj poznámkových blokov poskytujeme komplexné operácie:
- Pridanie bunky
- Nastavenie primárneho jazyka
- Používanie viacerých jazykov
- IntelliSense v štýle ide
- Zlomky kódu
- Presunutím myšou vložte úryvky
- Presunutím myšou vložte obrázky
- Formátovanie textovej bunky pomocou tlačidiel panela s nástrojmi
- Operáciu vrátenia zmeny alebo opakovania bunky
- Presunutie bunky
- Odstránenie bunky
- Zbalenie vstupu bunky
- Zbalenie výstupu bunky
- Zabezpečenie výstupu bunky
- Zamknutie alebo zmrazenie bunky
- Obsah poznámkového bloku
- Postupné posúvanie v jazyku Markdown
- Nájsť a nahradiť
Pridanie bunky
Existuje niekoľko spôsobov, ako pridať novú bunku do poznámkového bloku.
Ukážte kurzorom myši na medzeru medzi dvomi bunkami a vyberte položku Kód alebo Jazyk Markdown.
V režime príkazov použite klávesovú skratku. Stlačením klávesu A vložíte bunku nad aktuálnu bunku. Stlačením tlačidla B vložte bunku pod aktuálnu bunku.
Nastavenie primárneho jazyka
Notebooky služby Fabric v súčasnosti podporujú štyri jazyky Apache Spark:
- PySpark (Python)
- Spark (Scala)
- Spark SQL
- SparkR
Primárny jazyk pre nové pridané bunky môžete nastaviť z rozbaľovacieho zoznamu v hornom paneli príkazov.
Používanie viacerých jazykov
Zadaním magického príkazu jazyka na začiatku bunky môžete v poznámkovom počítači použiť viacero jazykov. Môžete tiež prepnúť jazyk bunky z nástroja na výber jazyka. Nasledujúca tabuľka obsahuje zoznam magických príkazov na prepínanie jazykov buniek.
Magický príkaz | Jazyk | Popis |
---|---|---|
%%pyspark | Python | Spustite dotaz jazyka Python v kontexte Apache Spark. |
%%spark | Scala | Spustite dotaz Scala v kontexte Apache Spark. |
%%sql | SparkSQL | Spustite dotaz SparkSQL v kontexte Apache Spark. |
%%html | Jazyk Html | Spustite HTML dotaz v kontexte Apache Spark. |
%%sparkr | R | Spustite dotaz R v kontexte Apache Spark. |
IntelliSense v štýle ide
Fabric notebooky sú integrované s editorom Monako, aby IDE-štýl IntelliSense do bunky editora. Zvýraznenie syntaxe, značka chyby a automatické dokončovanie kódu pomáhajú rýchlo písať kód a identifikovať problémy.
Funkcie IntelliSense sú na rôznych úrovniach splatnosti pre rôzne jazyky. V nasledujúcej tabuľke je uvedené, čo služba Fabric podporuje:
Jazyky | Zvýraznenie syntaxe | Značka chyby syntaxe | Dokončovanie kódu syntaxe | Dokončovanie kódu premennej | Dokončenie kódu systémovej funkcie | Dokončenie kódu funkcie používateľa | Inteligentná zarážka | Postupné posúvanie kódu |
---|---|---|---|---|---|---|---|---|
PySpark (Python) | Áno | Áno | Áno | Áno | Áno | Áno | Áno | Áno |
Spark (Scala) | Áno | Áno | Áno | Áno | Áno | Áno | Áno | Áno |
SparkSQL | Áno | Áno | Áno | Áno | Áno | No | Áno | Áno |
SparkR | Áno | Áno | Áno | Áno | Áno | Áno | Áno | Áno |
Poznámka
Ak chcete používať dokončenie kódu IntelliSense, musíte mať aktívnu reláciu Apache Spark.
Zlomky kódu
Poznámkové bloky služby Fabric poskytujú úryvky kódu, ktoré vám pomáhajú jednoducho písať bežne používané vzory kódu, ako napríklad:
- Čítanie údajov ako údajový rámec Apache Spark
- Kreslenie grafov pomocou rozhrania Matplotlib
Úryvky sa zobrazia v klávesových skratkách v štýle rozhrania IDE IntelliSense zmiešane s ďalšími návrhmi. Obsah úryvku kódu sa zarovná s jazykom buniek kódu. Dostupné úryvky môžete zobraziť zadaním úryvku. Ak chcete zobraziť zoznam relevantných úryvkov, môžete tiež zadať ľubovoľné kľúčové slovo. Ak napríklad zadáte text Read (Čítanie), zobrazí sa zoznam úryvkov na čítanie údajov z rôznych zdrojov údajov.
Presunutím myšou vložte úryvky
Použitie presunutia myšou na pohodlné čítanie údajov z prieskumníka Lakehouse. Tu sú podporované viaceré typy súborov. môžete pracovať s textovými súbormi, tabuľkami, obrázkami atď. Môžete buď prejsť na existujúcu bunku, alebo na novú bunku. Poznámkový blok vygeneruje úryvok kódu tak, aby zobrazoval ukážku údajov.
Presunutím myšou vložte obrázky
Pomocou presúvania myšou jednoducho vložte obrázky z prehliadača alebo lokálneho počítača do bunky v jazyku Markdown.
Formátovanie textovej bunky pomocou tlačidiel panela s nástrojmi
Ak chcete dokončiť bežné akcie jazyka Markdown, použite tlačidlá formátu na paneli s nástrojmi textovej bunky.
Zrušiť alebo sčervenanie operácií s bunkou
Vyberte položku Zrušiť alebo Znova, prípadne stlačením klávesov Z alebo Shift + Z odoberiete najnovšie operácie bunky. Môžete vrátiť späť alebo zopakovať až 10 najnovších operácií historických buniek.
Podporované operácie s bunkou späť:
- Vložiť alebo odstrániť bunku. Operáciu odstránenia môžete zrušiť výberom položky Zrušiť zmenu (textový obsah sa uchováva spolu s bunkou).
- Zmeňte poradie buniek.
- Prepnúť parameter.
- Konvertujte medzi bunkou kódu a bunkou jazyka Markdown.
Poznámka
Operácie s textom v bunke a operácie komentovania buniek kódu nie je možné vrátiť späť. Môžete vrátiť späť alebo zopakovať až 10 najnovších operácií historických buniek.
Presunutie bunky
Môžete presunúť myšou z prázdnej časti bunky a presunúť ju na požadované miesto.
Vybratú bunku môžete tiež premiestniť pomocou možností Posunúť nahor a Posunúť nadol na páse s nástrojmi.
Odstránenie bunky
Ak chcete bunku odstrániť, vyberte tlačidlo Odstrániť na pravej strane bunky.
Klávesové skratky môžete použiť aj v režime príkazov. Stlačením klávesov Shift + D odstráňte aktuálnu bunku.
Zbalenie vstupu bunky
Ak chcete zbaliť vstup aktuálnej bunky, vyberte tri bodky (...) na paneli s nástrojmi bunky a položku Skryť vstup. Ak ju chcete znova rozbaliť, po zbalení bunky vyberte položku Zobraziť vstup .
Zbalenie výstupu bunky
Ak chcete zbaliť výstup aktuálnej bunky, vyberte tri bodky (...) na paneli s nástrojmi buniek a možnosti Skryť výstup. Ak ho chcete znova rozbaliť, vyberte položku Zobraziť výstup , keď je výstup bunky zbalený.
Zabezpečenie výstupu bunky
Pomocou rolí prístupu k údajom OneLake (Preview) môžu používatelia nakonfigurovať prístup len ku konkrétnym priečinkom v úložnom dome lakehouse počas dotazov poznámkového bloku. Používateľom bez prístupu k priečinku alebo tabuľke sa počas spúšťania dotazu zobrazí neoprávnená chyba.
Dôležité
Zabezpečenie sa vzťahuje len počas vykonávania dotazu a všetky bunky poznámkového bloku obsahujúce výsledky dotazu môžu zobraziť používatelia, ktorí nie sú oprávnení spúšťať dotazy priamo na údaje.
Zamknutie alebo zmrazenie bunky
Operácie uzamknutia a zmrazenia vám umožňujú vytvárať bunky iba na čítanie alebo zastavenie spustenia buniek kódu jednotlivo.
Zlúčenie a rozdelenie buniek
Funkciu Zlúčenie s predchádzajúcou bunkou alebo Zlúčiť s ďalšou bunkou môžete použiť na pohodlné zlúčenie súvisiacich buniek.
Výberom položky Rozdeliť bunku môžete rozdeliť irelevantné príkazy do viacerých buniek. Operácia rozdelí kód podľa pozície riadka kurzora.
Obsah poznámkového bloku
Výberom možnosti Obrysy alebo Obsah sa pre rýchlu navigáciu zobrazí prvá hlavička jazyka Markdown ľubnej bunky v bočnom okne. Bočný panel Obrysy je možné zmeniť jeho veľkosť a zbaliteľný tak, aby sa obrazovka čo najlepšie zmestila. Vyberte tlačidlo Obsah na paneli príkazov poznámkového bloku, čím otvoríte alebo skryjete bočný panel.
Postupné posúvanie v jazyku Markdown
Možnosť skladania v jazyku Markdown umožňuje skryť bunky pod bunkou jazyka Markdown, ktorá obsahuje nadpis. Bunka jazyka Markdown a jej skryté bunky sa pri vykonávaní operácií buniek považujú za množinu súvislých buniek s viacnásobným výberom.
Nájsť a nahradiť
Možnosť vyhľadať a nahradiť vám pomôže nájsť zhodu a vyhľadať kľúčové slová alebo výraz v rámci obsahu poznámkového bloku. Cieľový reťazec môžete tiež jednoducho nahradiť novým reťazcom.
Spustenie poznámkových blokov
Bunky kódu môžete spustiť v notebooku jednotlivo alebo všetky naraz. Stav a priebeh každej bunky sa zobrazí v poznámkovom okne.
Spustenie bunky
Existuje niekoľko spôsobov, ako spustiť kód v bunke.
Ukážte myšou na bunku, ktorú chcete spustiť, a vyberte tlačidlo Spustiť bunku alebo stlačte kombináciu klávesov Ctrl + Enter.
V režime príkazov použite klávesovú skratku. Stlačením klávesov Shift + Enter spustite aktuálnu bunku a vyberte nasledujúcu bunku. Stlačením kombinácie klávesov Alt + Enter spustite aktuálnu bunku a vložte novú bunku.
Spustenie všetkých buniek
Ak chcete spustiť všetky bunky v aktuálnom poznámkovom bloku v poradí, vyberte tlačidlo Spustiť všetko.
Spustenie všetkých buniek nad alebo pod sebou
Rozbaľte rozbaľovací zoznam z okna Spustiť všetko a výberom položky Spustiť bunky vyššie spustite všetky bunky nad aktuálnou sekvenciou. Ak chcete spustiť aktuálnu bunku a všetky bunky pod aktuálnou v poradí, vyberte položku Spustiť bunky nižšie .
Zrušiť všetky spustené bunky
Ak chcete zrušiť spustené bunky alebo bunky čakajúce vo fronte, vyberte položku Zrušiť všetky .
Zastavenie relácie
Zastaviť reláciu zruší spustené a čakajúce bunky a zastaví aktuálnu reláciu. Úplne novú reláciu môžete reštartovať opätovným výberom možnosti spustenia.
Referenčné spustenie
Odkaz na spustenie poznámkového bloku
Okrem referenčného rozhrania API notebookutils môžete použiť %run <notebook name>
aj magický príkaz na odkazovanie na iný notebook v kontexte aktuálneho poznámkového bloku. Všetky premenné definované v referenčnom poznámkovom bloke sú k dispozícii v aktuálnom poznámkovom bloku. Magický %run
príkaz podporuje vnorené volania, ale nepodporuje rekurzívne volania. Ak je hĺbka príkazu väčšia ako päť, zobrazí sa výnimka.
Príklad: %run Notebook1 { "parameterInt": 1, "parameterFloat": 2.5, "parameterBool": true, "parameterString": "abc" }
.
Odkaz na poznámkový blok funguje v interaktívnom režime aj v kanáli.
Poznámka
- Príkaz
%run
v súčasnosti podporuje len referenčné poznámkové bloky, ktoré sa nachádzajú v tom istom pracovnom priestore s aktuálnym poznámkovým blokom. - Príkaz
%run
aktuálne podporuje iba 4 typy hodnôt parametrov:int
,float
,bool
astring
. Operácia nahradenia premennej nie je podporovaná. - Príkaz
%run
nepodporuje vnorené odkazy s hĺbkou väčšou ako päť.
Odkaz na spustenie skriptu
Príkaz %run
tiež umožňuje spúšťať súbory jazyka Python alebo SQL, ktoré sú uložené vo vstavaných zdrojoch poznámkového bloku, takže súbory zdrojového kódu môžete vykonať v notebooku pohodlne.
%run [-b/--builtin -c/--current] [script_file.py/.sql] [variables ...]
Možnosti:
- -b/-builtin: Táto možnosť označuje, že príkaz vyhľadá a spustí zadaný súbor skriptu zo vstavaných prostriedkov poznámkového bloku.
- -c/-current: Táto možnosť zaisťuje, že príkaz vždy používa vstavané zdroje aktuálneho notebooku, dokonca aj vtedy, ak na aktuálny prenosný počítač odkazuje iné poznámkové bloky.
Príklady:
Spustenie script_file.py zo vstavaných zdrojov:
%run -b script_file.py
Spustenie script_file.sql zo vstavaných zdrojov:
%run -b script_file.sql
Spustenie script_file.py zo vstavaných zdrojov s konkrétnymi premennými:
%run -b script_file.py { "parameterInt": 1, "parameterFloat": 2.5, "parameterBool": true, "parameterString": "abc" }
Poznámka
Ak príkaz neobsahuje prvok -b/--builtin, pokúsi sa vyhľadať a spustiť poznámkový blok v rámci toho istého pracovného priestoru, a nie v vstavaných zdrojoch.
Príklad použitia pre vnorený prípad spustenia:
- Predpokladajme, že máme dva notebooky.
- Notebook1: obsahuje script_file1.py vo svojich vstavaných zdrojoch
- Notebook2: Obsahuje script_file2.py vo svojich vstavaných zdrojoch
- Poznámkový blok 1 použijeme ako koreňový poznámkový blok s obsahom:
%run Notebook2
. - V notebooku2 potom pokyny na používanie:
- Ak chcete spustiť script_file1.py v notebooku Notebook1 (koreňový poznámkový blok), kód by bol:
%run -b script_file1.py
- Ak chcete spustiť script_file2.py v notebooku2 (v aktuálnom notebooku), tento kód by bol:
%run -b -c script_file2.py
- Ak chcete spustiť script_file1.py v notebooku Notebook1 (koreňový poznámkový blok), kód by bol:
Prieskumník premenných
Poznámkové bloky služby Fabric poskytujú vstavaného prieskumníka premenných, ktorý zobrazuje zoznam premenných s názvom, typom, dĺžkou a hodnotou v aktuálnej relácii služby Spark pre bunky v jazyku PySpark (Python). Ďalšie premenné sa automaticky zobrazia tak, ako sú definované v bunkách kódu. Kliknutím na jednotlivé hlavičky stĺpcov sa zoradia premenné v tabuľke.
Ak chcete otvoriť alebo skryť prieskumníka premenných, vyberte položku Premenné na poznámkovom bloke na páse s nástrojmi Zobrazenie.
Poznámka
Prieskumník premenných podporuje len jazyk Python.
Indikátor stavu bunky
Pod bunkou sa zobrazuje podrobný stav vykonávania buniek, ktorý vám pomôže zobraziť jej aktuálny priebeh. Po dokončení spustenia bunky sa zobrazí súhrn vykonávania s celkovým trvaním a časom ukončenia, ktorý je tam uložený na použitie v budúcnosti.
Inline Apache Spark job indicator
Notebook fabric je založený na Apache Spark. Bunky kódu sa spúšťajú na diaľku v klastri Apache Spark. Indikátor priebehu úlohy Spark je k dispozícii s indikátorom priebehu v reálnom čase, ktorý vám pomôže pochopiť stav vykonávania úlohy. Počet úloh v každej úlohe alebo fáze vám pomôže identifikovať paralelnú úroveň vašej práce v službe Spark. Môžete tiež prejsť na podrobnosti používateľského rozhrania služby Spark konkrétnej úlohy (alebo fázy) výberom prepojenia na názov úlohy (alebo fázy).
Môžete tiež nájsť denník na úrovni bunky v reálnom čase vedľa indikátora pokroku a funkcia Diagnostika vám môže poskytnúť užitočné návrhy, ktoré vám pomôžu kód spresniť a doladiť.
V časti Ďalšie akcie môžete jednoducho prejsť na stránku s podrobnosťami aplikácie Spark a stránku webového používateľského rozhrania služby Spark.
Redigovanie tajných kódov
Aby sa zabránilo neúmyselne unikli poverenia pri spustení notebooky, Fabric notebooky podporu Secret redaction nahradiť tajné hodnoty, ktoré sa zobrazujú vo výstupe bunky s [REDACTED]
. Redigovanie tajným kódom sa vzťahuje na jazyk Python, Scala a R.
Magické príkazy v notebooku
Vstavané magické príkazy
Môžete použiť známe magické príkazy Ipython v poznámkových blokoch služby Fabric. Pozrite si nasledujúci zoznam aktuálne dostupných magických príkazov.
Poznámka
Toto sú jediné magické príkazy podporované v kanáli služby Fabric: %%pyspark, %%spark, %%csharp, %%sql, %%configure.
Dostupné čiarové príkazy: %lsmagic, %time, %timeit, %history, %run, %load, %alias, %alias_magic, %autoawait, %autocall, %automagic, %bookmark, %cd, %colors, %dhist, %dirs, %doctest_mode, %killbgscripts, %load_ext, %logoff, %logon, %logstart, %logstate, %logstop, %magic, %matplotlib, %page, %pastebin, %pdef, %pfile, %pinfo, %pinfo2, %popd, %pprint, %precision, %prun, %psearch, %psource, %pushd, %pwd, %pycat, %quickref, % rehashx, %reload_ext, %reset, %reset_selective, %sx, %system, %tb, %unalias, %unload_ext, %who, %who_ls, %who's, %xdel, %xmode.
Poznámkový blok služby Fabric tiež podporuje vylepšené príkazy na správu knižnice %PIP a %conda. Ďalšie informácie o používaní nájdete v téme Spravovanie knižníc Apache Spark v službe Microsoft Fabric.
Dostupné príkazy bunkovej mágie: %%time, %%timeit, %%capture, %%writefile, %%sql, %%pyspark, %%spark, %%csharp, %%configure, %%html, %%bash, %%markdown, %%perl, %%script, %%sh.
Vlastné magické príkazy
Môžete tiež vytvoriť viac vlastných magických príkazov, ktoré budú spĺňať vaše konkrétne potreby. Príklad:
Vytvorte notebook s názvom MyLakehouseModule.
V inom notebooku, odkaz na "MyLakehouseModule" a jeho magické príkazy. Týmto procesom môžete pohodlne usporiadať svoj projekt pomocou poznámkových blokov, ktoré používajú rôzne jazyky.
Miniaplikácie IPython
IPython Widgets sú eventful Python objekty, ktoré majú reprezentáciu v prehliadači. Miniaplikácie IPython môžete použiť ako ovládacie prvky s minimálnym použitím kódu (napríklad jazdec alebo textové pole) v notebooku rovnako ako poznámkový blok Jupyter. V súčasnosti to funguje len v kontexte jazyka Python.
Používanie miniaplikácií IPython
Najskôr importujte modul ipywidgets a použite rámec Jupyter Widget.
import ipywidgets as widgets
Na vykreslenie miniaplikácie použite funkciu zobrazenia najvyššej úrovne alebo zanechajte výraz typu miniaplikácie v poslednom riadku bunky kódu.
slider = widgets.IntSlider() display(slider)
Spustite bunku. Miniaplikácia sa zobrazí vo výstupnej oblasti.
slider = widgets.IntSlider() display(slider)
Pomocou viacerých volaní display() môžete vykresliť rovnakú inštanciu miniaplikácie viackrát. Zostávajú vzájomne synchronizované.
slider = widgets.IntSlider() display(slider) display(slider)
Ak chcete vykresliť dve miniaplikácie nezávislé od seba, vytvorte dve inštancie miniaplikácie:
slider1 = widgets.IntSlider() slider2 = widgets.IntSlider() display(slider1) display(slider2)
Podporované miniaplikácie
Typ miniaplikácií | Widgety |
---|---|
Číselné miniaplikácie | IntSlider, FloatSlider, FloatLogSlider, IntRangeSlider, FloatRangeSlider, IntProgress, FloatProgress, BoundedIntText, BoundedFloatText, IntText, FloatText |
Booleovské miniaplikácie | Prepínač, Začiarkavacie políčko, Platné |
Miniaplikácie výberu | Dropdown, RadioButtons, Select, SelectionSlider, SelectionRangeSlider, ToggleButtons, SelectMultiple |
Miniaplikácie reťazcov | Text, Oblasť textu, Rozbaľovacie pole, Heslo, Označenie, HTML, Matematika HTML, Obrázok, Tlačidlo |
Miniaplikácie prehrávania (animácie) | Výber dátumu, výber farby, ovládač |
Miniaplikácie kontajnera alebo rozloženia | Box, HBox, VBox, GridBox, Accordion, Tabs, Stacked |
Známe obmedzenia
Nasledujúce miniaplikácie zatiaľ nie sú podporované. K dispozícii sú nasledujúce alternatívne riešenia:
Funkčnosť Alternatívne riešenie Výstupná miniaplikácia Namiesto toho môžete napísať text do stdout pomocou funkcie print( ). widgets.jslink() Funkciu widgets.link() môžete použiť na prepojenie dvoch podobných miniaplikácií. Miniaplikácia FileUpload Zatiaľ nie je podporované. Globálna zobrazovaná funkcia služby Fabric nepodporuje zobrazovanie viacerých miniaplikácií v jednom volaní (napríklad display(a, b)). Toto správanie sa líši od funkcie zobrazenia IPython.
Ak zatvoríte poznámkový blok obsahujúci miniaplikáciu IPython, nebudete ho môcť zobraziť ani pracovať s ňou, kým príslušnú bunku znova nevykonáte.
Funkcia interakcie (ipywidgets.interact) nie je podporovaná.
Integrácia poznámkového bloku
Vytvorenie bunky parametrov
Ak chcete parametrizovať poznámkový blok, vyberte tri bodky (...) a prejdite na panel s nástrojmi ďalšie príkazy na paneli s nástrojmi bunky. Potom vyberte položku Prepnúť bunku parametra, čím bunku určíte ako bunku parametrov.
Bunka parametra je užitočná na integráciu poznámkového bloku v kanáli. Aktivita kanála vyhľadá bunku parametrov a s touto bunkou zaobchádza ako s predvolenými pre parametre odovzdané v čase spustenia. Nástroj na spustenie pridá novú bunku pod bunku parametrov so vstupnými parametrami, aby sa prepíšu predvolené hodnoty.
Priradenie hodnôt parametrov z kanála
Po vytvorení poznámkového bloku s parametrami ho môžete spustiť z kanála s aktivitami poznámkového bloku služby Fabric. Po pridaní aktivity na plátno kanála môžete nastaviť hodnoty parametrov v časti Základné parametre na karte Nastavenia .
Pri priraďovaní hodnôt parametrov môžete použiť jazyk výrazu kanála alebo funkcie a premenné.
Príkaz konfigurácie relácie spark
Reláciu služby Spark môžete prispôsobiť pomocou magického príkazu %%configure. Notebook služby Fabric podporuje prispôsobené virtuálne jadrá, pamäť ovládača a vykonávača, vlastnosti Apache Spark, pripojenie bodov, bazén a predvolený lakehouse notebooku. Môžu byť použité v interaktívnych aktivitách poznámkového bloku aj poznámkového bloku kanála. Odporúčame, aby ste na začiatku poznámkového bloku spustili príkaz %%configure alebo reštartovať reláciu služby Spark, aby sa nastavenia prejavili.
%%configure
{
// You can get a list of valid parameters to config the session from https://github.com/cloudera/livy#request-body.
"driverMemory": "28g", // Recommended values: ["28g", "56g", "112g", "224g", "400g", "472g"]
"driverCores": 4, // Recommended values: [4, 8, 16, 32, 64, 80]
"executorMemory": "28g",
"executorCores": 4,
"jars": ["abfs[s]: //<file_system>@<account_name>.dfs.core.windows.net/<path>/myjar.jar", "wasb[s]: //<containername>@<accountname>.blob.core.windows.net/<path>/myjar1.jar"],
"conf":
{
// Example of customized property, you can specify count of lines that Spark SQL returns by configuring "livy.rsc.sql.num-rows".
"livy.rsc.sql.num-rows": "3000",
"spark.log.level": "ALL"
},
"defaultLakehouse": { // This overwrites the default lakehouse for current session
"name": "<lakehouse-name>",
"id": "<(optional) lakehouse-id>",
"workspaceId": "<(optional) workspace-id-that-contains-the-lakehouse>" // Add workspace ID if it's from another workspace
},
"mountPoints": [
{
"mountPoint": "/myMountPoint",
"source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>"
},
{
"mountPoint": "/myMountPoint1",
"source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path1>"
},
],
"environment": {
"id": "<environment-id>",
"name": "<environment-name>"
},
"sessionTimeoutInSeconds": 1200,
"useStarterPool": false, // Set to true to force using starter pool
"useWorkspacePool": "<workspace-pool-name>"
}
Poznámka
- Odporúča sa nastaviť rovnakú hodnotu pre DriverMemory a ExecutorMemory v %%configure. Hodnoty driverCores a executorCores by tiež mali byť rovnaké.
- "DefaultLakehouse" prepíše váš pripnutý lakehouse v Lakehouse explorer, ale to funguje len vo vašom aktuálnom notebooku zasadnutí.
- V kanáloch služby Fabric môžete použiť %%configure, ale ak nie je nastavená v prvej bunke kódu, spustenie kanála zlyhá z dôvodu, že sa nedá reštartovať relácia.
- Konfigurácia %%, ktorá sa používa v notebookutils.notebook.run, sa bude ignorovať, ale bude sa používať v poznámkovom okne %run.
- Štandardné vlastnosti konfigurácie služby Spark je nutné použiť v tele conf. Fabric nepodporuje odkaz na prvú úroveň pre vlastnosti konfigurácie služby Spark.
- Niektoré špeciálne vlastnosti Spark, vrátane "spark.driver.cores", "spark.executor.cores", "spark.driver.memory", "spark.executor.memory" a "spark.executor.instances" nemajú vplyv v tele "conf".
Parametrizovaná konfigurácia relácie z kanála
Konfigurácia parametrizovanej relácie umožňuje nahradiť hodnotu v %%configure magic parametrami aktivity poznámkového bloku spustenia kanála. Pri príprave bunky kódu v %%configure môžete prepísať predvolené hodnoty (v nižšie uvedenom príklade tiež konfigurovateľné, 4 a "2000") týmto objektom:
{
"parameterName": "paramterNameInPipelineNotebookActivity",
"defaultValue": "defaultValueIfNoParamterFromPipelineNotebookActivity"
}
%%configure
{
"driverCores":
{
"parameterName": "driverCoresFromNotebookActivity",
"defaultValue": 4
},
"conf":
{
"livy.rsc.sql.num-rows":
{
"parameterName": "rows",
"defaultValue": "2000"
}
}
}
Poznámkový blok používa predvolenú hodnotu, ak poznámkový blok spustíte priamo v interaktívnom režime, alebo ak aktivita poznámkového bloku kanála neposkytuje žiadny parameter, ktorý by zodpovedá názvu activityParameterName.
Počas spustenia kanála môžete nakonfigurovať nastavenia aktivity notebooku kanála takto:
Ak chcete zmeniť konfiguráciu relácie, názov parametrov aktivity poznámkového kanála by mal byť rovnaký ako parameterName
v poznámkovom bloku. V tomto príklade spustenia kanála driverCores
sa hodnota v %%configure nahradí číslom 8 a livy.rsc.sql.num-rows
nahradí sa číslom 4 000.
Poznámka
- Ak spustenie kanála zlyhá, pretože ste použili príkaz %%configure magic, nájdite ďalšie informácie o chybe spustením magickej bunky v interaktívnom režime poznámkového bloku.
- Plánované poznámkové bloky nepodporia parametrizovanú konfiguráciu relácie.
Zapisovanie jazyka Python do denníka v poznámkovom bloke
Denníky jazyka Python môžete nájsť a nastaviť rôzne úrovne denníkov a formát, ako napríklad vzorový kód uvedený tu:
import logging
# Customize the logging format for all loggers
FORMAT = "%(asctime)s - %(name)s - %(levelname)s - %(message)s"
formatter = logging.Formatter(fmt=FORMAT)
for handler in logging.getLogger().handlers:
handler.setFormatter(formatter)
# Customize log level for all loggers
logging.getLogger().setLevel(logging.INFO)
# Customize the log level for a specific logger
customizedLogger = logging.getLogger('customized')
customizedLogger.setLevel(logging.WARNING)
# logger that use the default global log level
defaultLogger = logging.getLogger('default')
defaultLogger.debug("default debug message")
defaultLogger.info("default info message")
defaultLogger.warning("default warning message")
defaultLogger.error("default error message")
defaultLogger.critical("default critical message")
# logger that use the customized log level
customizedLogger.debug("customized debug message")
customizedLogger.info("customized info message")
customizedLogger.warning("customized warning message")
customizedLogger.error("customized error message")
customizedLogger.critical("customized critical message")
Zobrazenie histórie vstupných príkazov
Fabric notebook podporu magický príkaz %history
vytlačiť históriu vstupných príkazov, ktoré sa vykonali v súčasnej relácii, v porovnaní so štandardným Príkazom Jupyter Ipython %history
práce pre viacero jazykov kontexte v notebooku.
%history [-n] [range [range ...]]
Možnosti:
- -n: Tlač čísla vykonania.
Kde môže byť rozsah:
- N: Print code of Nth executed cell.
- M-N: Tlač kódu z Mth do nth spustenej bunky.
Príklad:
- Tlač histórie vstupov z 1. do 2. spustenej bunky:
%history -n 1-2
Klávesové skratky
Podobne ako notebooky Jupyter, aj notebooky služby Fabric majú modálne používateľské rozhranie. Klávesnica vykonáva rôzne činnosti v závislosti od režimu, v ktorom sa nachádza bunka poznámkového bloku. Poznámkové bloky služby Fabric podporujú nasledujúce dva režimy pre danú bunku kódu: režim príkazu a režim Úprav.
Bunka sa nachádza v režime príkazu, keď sa nezobrazuje žiadny textový kurzor s výzvou na zadanie. Keď je bunka v režime príkazov, môžete upraviť poznámkový blok ako celok, ale nemôžete ho písať do jednotlivých buniek. Stlačením klávesu ESC alebo myšou otvorte režim príkazov a vyberte mimo oblasti editora bunky.
Režim úprav možno indikovať z textového kurzora s výzvou na zadanie textu do oblasti editora. Keď je bunka v režime úprav, môžete do bunky zadať text. Stlačením klávesu Enter alebo myšou otvorte režim úprav a vyberte oblasť editora bunky.
Klávesové skratky v režime príkazov
Akcia | Odkazy na poznámkové bloky |
---|---|
Spustite aktuálnu bunku a vyberte ju nižšie. | Shift + Enter |
Spustenie aktuálnej bunky a vloženie pod | Alt + Enter |
Spustenie aktuálnej bunky | CTRL + Enter |
Vyberte bunku nad | Nahor |
Vyberte bunku nižšie | Nadol |
Vyberte predchádzajúcu bunku | K |
Vyberte ďalšiu bunku | J |
Vložiť bunku nad | A |
Vložiť bunku pod | B |
Odstránenie vybratých buniek | Shift + D |
Prepnúť na režim úprav | Enter |
Klávesové skratky v režime úprav
Pomocou nasledujúcich klávesových skratiek môžete v režime úprav jednoducho navigovať a spustiť kód v poznámkových blokoch služby Fabric.
Akcia | Odkazy na poznámkové bloky |
---|---|
Presunúť kurzor nahor | Nahor |
Presunúť kurzor nadol | Nadol |
Zrušiť zmenu | Ctrl + Z |
Znova | Ctrl + Y |
Komentár alebo Uncomment | Ctrl + / Komentár: Ctrl + K + C Uncomment: Ctrl + K + U |
Odstránenie slova predtým | Ctrl + Backspace |
Odstránenie slova potom | Ctrl + Delete |
Prejsť na začiatok bunky | Ctrl + Home |
Prejsť na koniec bunky | Ctrl + End |
Zostáva jedno slovo | Ctrl + doľava |
Skúste na to jedno slovo | CTRL + doprava |
Vybrať všetko | Ctrl + A |
Odsadiť | Ctrl + ] |
Dedent | Ctrl + [ |
Prepnutie do režimu príkazov | Esc |
Ak chcete nájsť všetky klávesové skratky, na páse s nástrojmi poznámkového bloku vyberte položku Zobraziť a potom vyberte položku Klávesovébiny.