Microsoft Fabric -muistikirjojen kehittäminen, suorittaminen ja hallinta

Microsoft Fabric -muistikirja on ensisijainen koodikohde Apache Spark -työpaikkojen ja koneoppimiskokeiden kehittämiseen. Se on verkkopohjainen vuorovaikutteinen pinta, jota tietojenkäsittelyasiantuntijat ja tietoteknikot käyttävät kirjoittaakseen koodia, joka hyötyy monipuolisista visualisoinneista ja Markdown-tekstistä. Tässä artikkelissa kerrotaan, miten muistikirjoja kehitetään koodisolutoiminnoilla ja niiden suorittamista varten.

Kehitä muistikirjoja

Muistikirjat koostuvat soluista, jotka ovat yksittäisiä koodilohkoja tai tekstilohkoja, jotka voidaan suorittaa itsenäisesti tai ryhmänä.

Tarjoamme monipuolisia toimintoja muistikirjojen kehittämiseen:

• Lisää solu
• Ensisijaisen kielen määrittäminen
• Käytä useita kieliä
• IDE-tyylinen IntelliSense
• Koodinpätkiä
• Lisää katkelmia vetämällä ja pudottamalla
• Lisää kuvia vetämällä ja pudottamalla
• Muotoile tekstisolu työkalurivin painikkeilla
• Kumoa solutoiminto tai tee se uudelleen
• Siirrä solua
• Poista solu
• Kutista solun syöte
• Kutista solun tulos
• Solutulosteen suojaus
• Solun lukitseminen tai jäädyttäminen
• Muistikirjan sisältö
• Markdown-delegointi lähteeseen
• Etsi ja korvaa

Lisää solu

Muistikirjaan voi lisätä uuden solun useilla tavoilla.

1. Vie hiiren osoitin kahden solun väliin ja valitse Koodi tai Markdown.

2. Käytä pikanäppäimiä komentotilassa. Lisää solu nykyisen solun yläpuolelle painamalla A . Lisää solu nykyisen solun alapuolelle painamalla B .

Ensisijaisen kielen määrittäminen

Kangasmuistikirjat tukevat tällä hetkellä neljää Apache Spark -kieltä:

• PySpark (Python)
• Spark (Scala)
• Spark SQL
• SparkR

Voit määrittää uuden lisätyn solun ensisijaisen kielen yläreunan komentopalkin avattavasta luettelosta.

Käytä useita kieliä

Voit käyttää useita kieliä muistikirjassa määrittämällä kielen taikakomennon solun alussa. Voit myös vaihtaa solun kielenvalitsimen. Seuraavassa taulukossa luetellaan taikakomennot solukielien vaihtamiseen.

Magic-komento	Kieli	Kuvaus
%%pyspark	Python	Suorita Python-kysely Apache Spark -kontekstia vasten.
%%spark	Scala	Suorita skalaarikysely Apache Spark -kontekstia vasten.
%%sql	SparkSQL	Suorita SparkSQL-kysely Apache Spark -kontekstia vasten.
%%html	HTML	Suorita HTML-kysely Apache Spark -kontekstia vasten.
%%sparkr	R	Suorita R-kysely Apache Spark -kontekstia vasten.

IDE-tyylinen IntelliSense

Fabric-muistikirjat on integroitu Monaco-editorin kanssa, jotta IDE-tyylinen IntelliSense tuodaan solueditoriin. Syntaksikorostus, virhemerkki ja automaattiset koodin täydennykset auttavat sinua kirjoittamaan nopeasti koodia ja tunnistamaan ongelmia.

IntelliSense-ominaisuudet ovat eri kielillä eri erääntymistasoilla. Seuraavassa taulukossa esitetään, mitä Fabric tukee:

Kielivaihtoehdot	Syntaksikorostus	Syntaksin virhemerkki	Syntaksikoodin täydennys	Muuttujakoodin täydennys	Järjestelmäfunktiokoodin täydennys	Käyttäjän funktiokoodin täydennys	Älykäs sisennys	Koodin delegointi lähteeseen
PySpark (Python)	Kyllä	Kyllä	Kyllä	Kyllä	Kyllä	Kyllä	Kyllä	Kyllä
Spark (Scala)	Kyllä	Kyllä	Kyllä	Kyllä	Kyllä	Kyllä	Kyllä	Kyllä
SparkSQL	Kyllä	Kyllä	Kyllä	Kyllä	Kyllä	No	Kyllä	Kyllä
SparkR	Kyllä	Kyllä	Kyllä	Kyllä	Kyllä	Kyllä	Kyllä	Kyllä

Muistiinpano

Sinulla on oltava aktiivinen Apache Spark -istunto, jotta voit käyttää IntelliSense-koodin valmistumista.

Koodikatkelmat

Kangasmuistikirjat tarjoavat koodikatkelmia, joiden avulla voit helposti kirjoittaa usein käytettyjä koodimalleja, kuten:

• Tietojen lukeminen Apache Spark DataFrame -kehyksenä
• Piirtokaaviot Matplotlibillä

Katkelmat näkyvät integroitavan kehitysympäristötyylin IntelliSense-pikanäppäimissä yhdistettynä muihin ehdotuksiin. Koodikatkelman sisältö on linjassa koodisolun kielen kanssa. Näet käytettävissä olevat katkelmat kirjoittamalla Katkelman. Voit myös kirjoittaa minkä tahansa avainsanan, jolloin näkyviin tulee luettelo olennaisista katkelmista. Jos kirjoitat esimerkiksi Lue, näet luettelon katkelmista, jotka lukevat eri tietolähteiden tietoja.

Lisää katkelmia vetämällä ja pudottamalla

Käytä vedä ja pudota lukeaksesi tietoja Lakehouse Explorerista kätevästi. Useita tiedostotyyppejä tuetaan tässä: voit käsitellä tekstitiedostoja, taulukoita, kuvia jne. Voit joko pudottaa olemassa olevaan soluun tai uuteen soluun. Muistikirja luo koodikatkelman vastaavasti tietojen esikatselua varten.

Lisää kuvia vetämällä ja pudottamalla

Voit helposti lisätä kuvia selaimesta tai paikallisesta tietokoneesta Markdown-soluun vetämällä ja pudottamalla.

Muotoile tekstisolu työkalurivin painikkeilla

Voit suorittaa yleisiä Markdown-toimintoja tekstisolun työkalurivin Muotoile-painikkeilla.

Solutoimintojen kumoaminen tai uudelleentoiminto

Valitse Kumoa tai tee uudelleen tai paina Z - tai Vaihto +Z-näppäintä kumotaksesi uusimmat solutoiminnot. Voit kumota tai tehdä uudelleen enintään 10 viimeisintä historiallista solutoimintoa.

Tuetut solutoiminnot:

• Lisää tai poista solu. Voit kumota poistotoiminnot valitsemalla Kumoa (tekstisisältö säilyy solun mukana).
• Järjestä solu uudelleen.
• Vaihda parametria.
• Muunna koodisolun ja Markdown-solun välillä.

Muistiinpano

Solujen sisäiset tekstitoiminnot ja koodin solun kommentointitoimintoja ei voi kumota. Voit kumota tai tehdä uudelleen enintään 10 viimeisintä historiallista solutoimintoa.

Siirrä solua

Voit vetää solun tyhjästä osasta ja pudottaa sen haluttuun sijaintiin.

Voit myös siirtää valittua solua käyttämällä valintanauhassa Siirrä ylös- ja Alaspäin .

Poista solu

Jos haluat poistaa solun, valitse solun oikeassa reunassa oleva Poista-painike.

Voit käyttää pikanäppäimiä myös komentotilassa. Poista nykyinen solu painamalla Vaihto+D .

Kutista solun syöte

Valitse lisäkomennot kolme pistettä (...) solun työkalurivillä ja Piilota syöte nykyisen solun syötteen kutistamiseksi. Jos haluat laajentaa sen uudelleen, valitse Näytä syöte , kun solu on kutistettu.

Kutista solun tulos

Valitse lisäkomennot kolme pistettä (...) solun työkalurivillä ja Piilota tuloste nykyisen solun tuloksen kutistamiseksi. Jos haluat laajentaa sen uudelleen, valitse Näytä tuloste , kun solun tulos on kutistettu.

Solutulosteen suojaus

OneLake-tietojen käyttöroolien (esikatselu) avulla käyttäjät voivat määrittää käyttöoikeudet vain tiettyihin Lakehouse-kansioihin muistikirjakyselyiden aikana. Käyttäjät, joilla ei ole kansion tai taulukon käyttöoikeutta, näkevät valtuuttamattoman virheen kyselyn suorittamisen aikana.

Tärkeä

Suojausta sovelletaan vain kyselyn suorittamisen aikana, ja kaikki kyselytuloksia sisältävät muistikirjasolut ovat niiden käyttäjien tarkasteltattavissa, joilla ei ole oikeutta suorittaa kyselyjä suoraan tiedoille.

Solun lukitseminen tai jäädyttäminen

Solun lukitus- ja jäädytystoimintojen avulla voit tehdä soluista vain luku -muotoisia tai lopettaa koodisolujen suorittamisen yksilökohtaisesti.

Solujen yhdistäminen ja jakaminen

Voit käyttää Merge with previous cell -funktiota tai Merge with next cell -funktiota liittyvien solujen yhdistämiseen kätevästi.

Jaa solu osiin -ruudun valitseminen auttaa jakamaan epäolennaisia lausekkeita useisiin soluihin. Toiminto jakaa koodin kohdistimen viivan sijainnin mukaan.

Muistikirjan sisältö

Valitsemalla Ääriviivat tai Sisällysluettelo näet minkä tahansa markdown-solun ensimmäisen markdown-otsikon sivupalkin ikkunassa nopeaa siirtymistä varten. Ääriviivat-sivupalkin kokoa voi muokata ja kutistaa sopimaan näyttöön parhaalla mahdollisella tavalla. Avaa tai piilota sivupalkki valitsemalla muistikirjan komentopalkin Sisältö-painike.

Markdown-delegointi lähteeseen

Markdown-taitosasetuksen avulla voit piilottaa solut otsikon sisältävän markdown-solun alle. Markdown-solua ja sen piilotettuja soluja käsitellään samoin kuin yhtenäisen monivalintasolujen joukkoa solutoimintoja suoritettaessa.

Etsi ja korvaa

Etsi ja korvaa -vaihtoehdon avulla voit etsiä muistikirjasi sisällöstä avainsanat tai lausekkeen. Voit myös helposti korvata kohdemerkkijonon uudella merkkijonolla.

Suorita muistikirjat

Voit suorittaa koodisolut muistikirjassa yksitellen tai kaikki kerralla. Kunkin solun tila ja edistyminen näkyvät muistikirjassa.

Suorita solu

Koodin voi suorittaa solussa useilla eri tavoilla.

• Pidä osoitinta sen solun päällä, jonka haluat suorittaa, ja valitse Suorita-solupainike tai paina Ctrl+ Enter.

• Käytä pikanäppäimiä komentotilassa. Suorita nykyinen solu painamalla Vaihto+Enter ja valitse seuraava solu. Suorita nykyinen solu painamalla Alt + Enter ja lisää uusi solu.

Suorita kaikki solut

Valitse Suorita kaikki -painike, jos haluat suorittaa kaikki nykyisen muistikirjan solut järjestyksessä.

Suorita kaikki solut ylä- tai alapuolella

Laajenna avattava Luettelo Suorita kaikki -kohdasta ja valitse sitten Yllä olevat Suorita solut suorittaaksesi kaikki järjestyksessä nykyisen yläpuolella olevat solut. Valitse Suorita alla olevat solut, jos haluat suorittaa nykyisen solun ja kaikki nykyisen sarjan alla olevat solut.

Kaikkien suoritettavien solujen peruuttaminen

Jos haluat peruuttaa jonossa odottavat solut tai solut, valitse Peruuta kaikki .

Pysäytä istunto

Pysäytä istunto , se peruuttaa käynnissä olevat ja odottavat solut ja pysäyttää nykyisen istunnon. Voit käynnistää uuden istunnon uudelleen valitsemalla suorita-vaihtoehdon uudelleen.

Viittauksen suorittaminen

Muistikirjan viittauksen suorittaminen

Mssparkutils-viitesuorituksen ohjelmointirajapinnan lisäksi voit käyttää %run <notebook name> myös taikakomentoa viittaamaan toiseen muistikirjaan nykyisen muistikirjan kontekstissa. Kaikki viitemuistikirjassa määritetyt muuttujat ovat käytettävissä nykyisessä muistikirjassa. Taikakomento %run tukee sisäkkäisiä kutsuja, mutta se ei tue rekursiivisia kutsuja. Saat poikkeuksen, jos lausekkeen syvyys on yli viisi.

Esimerkki: %run Notebook1 { "parameterInt": 1, "parameterFloat": 2.5, "parameterBool": true, "parameterString": "abc" }.

Muistikirjaviittaus toimii sekä vuorovaikutteisessa tilassa että jaksossa.

Muistiinpano

• Komento %run tukee tällä hetkellä vain viitemuistikirjoja, jotka ovat samassa työtilassa nykyisen muistikirjan kanssa.
• Komento %run tukee tällä hetkellä vain enintään neljää parametriarvotyyppiä: int, float, boolja string. Muuttujan korvaamistoimintoa ei tueta.
• Komento %run ei tue sisäkkäistä viittausta, jonka syvyys on yli viisi.

Viittaukset komentosarjan suorittamiseen

Komennon %run avulla voit suorittaa myös muistikirjan sisäisiin resursseihin tallennettuja Python- tai SQL-tiedostoja, joten voit suorittaa lähdekooditiedostot muistikirjassa kätevästi.

%run [-b/--builtin -c/--current] [script_file.py/.sql] [variables ...]

Vaihtoehdot:

• -b/-builtin: Tämä asetus ilmaisee, että komento etsii ja suorittaa määritetyn komentosarjatiedoston muistikirjan sisäisistä resursseista.
• -c/--current: Tämä asetus varmistaa, että komento käyttää aina nykyisen muistikirjan sisäisiä resursseja, vaikka nykyisessä muistikirjassa viitaisiin muihin muistikirjoihin.

Esimerkkejä:

• script_file.py suorittaminen sisäisistä resursseista:%run -b script_file.py

• script_file.sql suorittaminen sisäisistä resursseista:%run -b script_file.sql

• Script_file.py suorittaminen sisäisistä resursseista, joissa on tiettyjä muuttujia:%run -b script_file.py { "parameterInt": 1, "parameterFloat": 2.5, "parameterBool": true, "parameterString": "abc" }

Muistiinpano

Jos komento ei sisällä kohdetta -b/-builtin, se yrittää etsiä ja suorittaa muistikirjakohteen saman työtilan sisältä sisäisten resurssien sijaan.

Käyttöesimerkki sisäkkäiselle suoritustapaukselle:

• Oletetaan, että meillä on kaksi muistikirjaa.
  • Notebook1: Sisältää script_file1.py sisäisissä resursseissaan
  • Notebook2: Sisältää script_file2.py sisäisissä resursseissaan
• Käytetään notebook1-muistikirjaa juurimuistikirjana, jossa on sisältöä: %run Notebook2.
• Sitten muistikirja2:ssa on ohjeet:
  • Jotta script_file1.py voitaisiin suorittaa Notebook1:ssä (juurimuistikirjassa), koodi olisi:%run -b script_file1.py
  • Suorita script_file2.py Notebook2:ssa (nykyinen muistikirja) seuraavasti:%run -b -c script_file2.py

Muuttujien hallinta

Kangasmuistikirjat tarjoavat sisäänrakennetun muuttujien hallinnan, joka näyttää luettelon muuttujien nimistä, tyypistä, pituudesta ja arvosta nykyisessä PySpark (Python) -solujen Spark-istunnossa. Lisää muuttujia näkyy automaattisesti, kun ne on määritetty koodisoluissa. Jokaisen sarakeotsikon napsauttaminen lajittelee taulukon muuttujat.

Jos haluat avata tai piilottaa muuttujanhallinnan, valitse muuttujat muistikirjan valintanauhasta Näytä.

Muistiinpano

Muuttujanhallinta tukee vain Pythonia.

Solun tilan ilmaisin

Solun alla näytetään vaiheittainen suoritustila, jonka avulla näet sen nykyisen edistymisen. Kun solu on suoritettu, esiin tulee suoritusyhteenveto, joka sisältää kokonaiskesto- ja päättymisajan, ja se tallennetaan sinne myöhempää viittausta varten.

Sisäinen Apache Spark -työn ilmaisin

Fabric-muistikirja on Apache Spark -pohjainen. Koodisolut suoritetaan etänä Apache Spark -klusterissa. Spark-työn edistymisen ilmaisin sisältää reaaliaikaisen edistymisen palkin, joka auttaa ymmärtämään työn suorittamisen tilan. Kunkin työn tai vaiheen tehtävien määrän avulla voit tunnistaa Spark-työsi rinnakkaisen tason. Voit porautua syvemmälle tietyn työn (tai vaiheen) Spark-käyttöliittymään valitsemalla työn (tai vaiheen) nimen linkin.

Näet myös solutason reaaliaikaisen lokin edistymisen ilmaisimen vieristä, ja Diagnostiikka voi antaa hyödyllisiä ehdotuksia koodin hienosäätämiseksi ja virheenkorjaukseksi.

Voit siirtyä Lisää toimintoja -kohdassa helposti Spark-sovelluksen tietosivulle ja Spark-verkkokäyttöliittymäsivulle .

Salaisen koodin ohjautuma

Jotta vältetään tunnistetietojen vuotaminen vahingossa muistikirjojen suorittamisen aikana, Fabric-muistikirjat tukevat Secret-redactionia , jolla korvataan solun tulosteessa näkyvät salaiset arvot kohteella [REDACTED]. Salaisen koodin ohjautumista voidaan soveltaa Pythoniin, Skalaan ja R:ään.

Taikakomennot muistikirjassa

Sisäiset taikakomennot

Voit käyttää tuttuja Ipython-taikakomentoja Fabric-muistikirjoissa. Tarkista seuraava luettelo saatavilla olevista taikakomentoista.

Muistiinpano

Nämä ovat ainoat fabric-jakson tukemat taikakomennot: %%pyspark, %%spark, %csharp, %%sql, %%configure.

Käytettävissä olevat viivan taikakomennot: %lsmagic, %timeit, %timeit, %run, %run, %alias, %alias_magic, %autoawait, %autocall, %automagic, %bookmark, %cd, %colors, %dhist, %dirs, %doctest_mode, %killbgscripts, %load_ext, %logoffi, %logstart, %logstate, %logstop, %magic, %matplotlib, %page, %pastebin, %pdef, %pfile, %pinfo, %pinfo2, %popd, %pprint, %precision, %prun, %psearch, %psource, %pushd, %pwd, %pycat, %quickref, %quickref, % rehashx, %reload_ext, %reset, %reset_selective, %sx, %sx, %tb, %unalias, %unload_ext, %who, %who_ls, %who's, %xdel, %xmode.

Fabric-muistikirja tukee myös parannettuja kirjastonhallintakomentoja %pip ja %conda. Lisätietoja käytöstä on artikkelissa Apache Spark -kirjastojen hallinta Microsoft Fabricissa.

Käytettävissä olevat solun taikakomennot: %%aika, %%timeit, %%capture, %%writefile, %%sql, %%pyspark, %%spark, %csharp, %%configure, %%html, %%markdown, %%markdown, %%perl, %%script, %%sh.

Mukautetut taikakomennot

Voit myös luoda mukautettuja taikakomentoja, jotka vastaavat tarpeitasi. Esimerkki:

1. Luo muistikirja nimeltä MyLakehouseModule.

   

2. Toisessa muistikirjassa viitataan "MyLakehouseModuleen" ja sen taikakomentoon. Näin voit helposti järjestää projektisi muistikirjoilla, jotka käyttävät eri kieliä.

   

IPython-pienoissovellukset

IPython-pienoissovellukset ovat tapahtumarikkaita Python-objekteja, joilla on esitys selaimessa. Voit käyttää IPython-pienoissoitinta vähäkoodisina ohjausobjekteina (esimerkiksi liukusäätimenä tai tekstiruutuna) muistikirjassa, aivan kuten Jupyter-muistikirjassakin. Tällä hetkellä se toimii vain Python-kontekstissa.

IPython-pienoissovellusten käyttäminen

1. Tuo ipywidgets-moduuli ensin Jupyter Widget -sovelluskehyksen käyttämiseksi.

   import ipywidgets as widgets
   

2. Käytä ylimmän tason näyttöfunktiota pienoissovelluksen hahmontamiseen tai jätä pienoissovelluksen tyyppilauseke koodisolun viimeiselle riville.

   slider = widgets.IntSlider()
   display(slider)
   

3. Suorita solu. Pienoissovellus näkyy tulosalueella.

   slider = widgets.IntSlider()
   display(slider)
   

   

4. Käytä useita display() -kutsuja saman pienoissovelluksen esiintymän hahmontamiseen useita kertoja. Ne pysyvät synkronoituina keskenään.

   slider = widgets.IntSlider()
   display(slider)
   display(slider)
   

   

5. Jos haluat hahmontaa kaksi pienoissovellusta toisistaan riippumatta, luo kaksi pienoissovelluksen esiintymää:

   slider1 = widgets.IntSlider()
   slider2 = widgets.IntSlider()
   display(slider1)
   display(slider2)
   

   

Tuetut pienoissovellukset

Pienoissovellusten tyyppi	Widgets
Numeeriset pienoissovellukset	IntSlider, FloatSlider, FloatLogSlider, IntRangeSlider, FloatRangeSlider, IntProgress, FloatProgress, BoundedIntText, BoundedFloatText, IntText, FloatText
Totuusarvopienoissovellukset	ToggleButton, Checkbox, Valid
Valinnan pienoissovellukset	Avattava valikko, Valintapainikkeet, Valitse, ValintaLider, SelectionRangeSlider, ToggleButtons, SelectMultiple
Merkkijonon pienoissovellukset	Teksti, tekstialue, yhdistelmäruutu, salasana, nimi, HTML, HTML-matematiikka, kuva, painike
Toista (animaatio) pienoissovellukset	Päivämäärävalitsin, Värinvalitsin, Ohjain
Säilön tai asettelun pienoissovellukset	Box, HBox, VBox, GridBox, Accordion, Tabs, Stacked

Tunnetut rajoitukset

• Seuraavia pienoissomentteja ei vielä tueta. Seuraavat ratkaisutavat ovat käytettävissä:

  Toiminnallisuus	Vaihtoehtoinen menetelmä
  Output-pienoissovellus	Voit sen sijaan käyttää print() -funktiota tekstin kirjoittamiseen stdout-muodossa.
  widgets.jslink()	widgets.link()-funktion avulla voit linkittää kaksi samankaltaista pienoissovellusta.
  FileUpload-pienoissovellus	Ei vielä tueta.

• Yleinen Fabric-näyttöfunktio ei tue useiden pienoissovellusten näyttämistä yhdellä kutsulla (esimerkiksi display(a, b)). Tämä toiminta poikkeaa IPython-näyttöfunktiosta.

• Jos suljet muistikirjan, joka sisältää IPython-pienoissovelluksen, et voi nähdä sitä tai käsitellä sitä, ennen kuin suoritat vastaavan solun uudelleen.

Muistikirjan integrointi

Parametrisolun määrittäminen

Jos haluat parametrisoida muistikirjasi, valitse kolme pistettä (...) käyttääksesi Lisää komentoja solun työkalurivillä. Valitse sitten Vaihda parametrisolua määrittääksesi solun parametrisoluksi.

Parametrisolusta on hyötyä, kun muistikirja integroidaan putkeen. Putken toiminta etsii parametrisolua ja käsittelee tätä solua suoritusaikana välitettyjen parametrien oletusarvona. Suoritusmoduuli lisää uuden solun parametrisolun alle syöteparametreilla, jotta oletusarvot voidaan korvata.

Parametriarvojen määrittäminen putkesta

Kun olet luonut parametreja sisältävän muistikirjan, voit suorittaa sen putkesta Fabric-muistikirja-toiminnan avulla. Kun olet lisännyt aktiviteetin putkipohjaan, voit määrittää parametriarvot Asetukset-välilehden Perusparametrit-osassa.

Kun määrität parametriarvoja, voit käyttää putkilausekkeen kieltä tai funktioita ja muuttujia.

Spark-istunnon määrityksen taikakomento

Voit mukauttaa Spark-istuntoasi taikakomennlla %%configure. Fabric-muistikirja tukee mukautettuja vCores-, Memory of the Driver- ja Executor-, Apache Spark -ominaisuuksia, kiinnityspisteitä, uima-allasta ja muistikirjaistunnon oletusjärvitaloa. Niitä voidaan käyttää sekä vuorovaikutteisessa muistikirjassa että putkimuistikirjatoiminnassa. Suosittelemme, että suoritat %%configure-komennon muistikirjasi alussa tai käynnistät Spark-istunnon uudelleen, jotta asetukset tulevat voimaan.

%%configure
{
    // You can get a list of valid parameters to config the session from  https://github.com/cloudera/livy#request-body.
    "driverMemory": "28g", // Recommended values: ["28g", "56g", "112g", "224g", "400g", "472g"]
    "driverCores": 4, // Recommended values: [4, 8, 16, 32, 64, 80]
    "executorMemory": "28g",
    "executorCores": 4,
    "jars": ["abfs[s]: //<file_system>@<account_name>.dfs.core.windows.net/<path>/myjar.jar", "wasb[s]: //<containername>@<accountname>.blob.core.windows.net/<path>/myjar1.jar"],
    "conf": {
        // Example of customized property, you can specify count of lines that Spark SQL returns by configuring "livy.rsc.sql.num-rows".
        "livy.rsc.sql.num-rows": "3000",
        "spark.log.level": "ALL"
    }
    "defaultLakehouse": {  // This overwrites the default lakehouse for current session
        "name": "<lakehouse-name>",
        "id": "<lakehouse-id>",
        "workspaceId": "<(optional) workspace-id-that-contains-the-lakehouse>" // Add workspace ID if it's from another workspace
    },
    "mountPoints": [
        {
            "mountPoint": "/myMountPoint",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>"
        },
        {
            "mountPoint": "/myMountPoint1",
            "source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path1>"
        },
    ],
    "useStarterPool": false,  // Set to true to force using starter pool
    "useWorkspacePool": "<workspace-pool-name>"
}

Muistiinpano

• On suositeltavaa määrittää sama arvo kohteelle "DriverMemory" ja "ExecutorMemory" kohteessa %%configure. Myös "driverCores"- ja "executorCores"-arvojen on oltava samat.
• "DefaultLakehouse" korvaa kiinnitetyn lakehousesi Lakehouse Explorerissa, mutta se toimii vain nykyisessä muistikirjaistunnossasi.
• Voit käyttää %%configureia Fabric-putkissa, mutta jos sitä ei ole määritetty ensimmäisessä koodisolussa, putken suorittaminen epäonnistuu, koska istuntoa ei voi käynnistää uudelleen.
• Mssparkutils.notebook.run-kohteessa käytetty %%configure ohitetaan, mutta sitä käytetään %run-muistikirjassa.
• Vakiomuotoisia Spark-määritysominaisuuksia on käytettävä conf-leipätekstissä. Fabric ei tue ensimmäisen tason viittausta Spark-määritysominaisuuksiin.
• Jotkin erityiset Spark-ominaisuudet, kuten "spark.driver.cores", "spark.executor.cores", "spark.driver.memory", "spark.executor.memory" ja "spark.executor.instances", eivät tule voimaan "conf"-tekstissä.

Parametrisoidun istunnon määrittäminen jaksosta

Parametrisoidun istunnon määrityksen avulla voit korvata kohteen %%configure magic arvon putkisuorituksen muistikirjan toimintaparametreilla. Kun valmistelet %%configure-koodisolua, voit ohittaa oletusarvot (myös määritettävissä olevat, 4 ja 2000" alla olevassa esimerkissä) tämänkaltaisen objektin kanssa:

{
      "parameterName": "paramterNameInPipelineNotebookActivity",
      "defaultValue": "defaultValueIfNoParamterFromPipelineNotebookActivity"
} 

%%configure  

{ 
    "driverCores": 
    { 
        "parameterName": "driverCoresFromNotebookActivity", 
        "defaultValue": 4 
    }, 
    "conf": 
    { 
        "livy.rsc.sql.num-rows": 
        { 
            "parameterName": "rows", 
            "defaultValue": "2000" 
        } 
    } 
} 

Muistikirja käyttää oletusarvoa, jos suoritat muistikirjan suoraan vuorovaikutteisessa tilassa tai jos putkimuistikirja-aktiviteetti ei anna mitään parametria, joka vastaa "activityParameterNameä".

Putken suorituksen aikana voit määrittää putkimuistikirjan toimintoasetukset seuraavasti:

Jos haluat muuttaa istunnon määritystä, putkimuistikirjan toimintaparametrien nimen tulee olla sama kuin parameterName muistikirjassa. Tässä esimerkissä jakson suorittaminen: driverCores %%configure korvataan arvolla 8, ja livy.rsc.sql.num-rows se korvataan arvolla 4000.

Muistiinpano

• Jos jakson suorittaminen epäonnistuu, koska käytit %%configure-taikakomentoa, etsi lisää virhetietoja suorittamalla %%configure -taikasolu muistikirjan vuorovaikutteisessa tilassa.
• Muistikirjan ajoitetut suoritukset eivät tue parametrisoidun istunnon määritystä.

Python-kirjautuminen muistikirjaan

Voit etsiä Python-lokeja ja määrittää erilaisia lokitasoja ja muotoja, kuten tässä näkyvä esimerkkikoodi:

import logging

# Customize the logging format for all loggers
FORMAT = "%(asctime)s - %(name)s - %(levelname)s - %(message)s"
formatter = logging.Formatter(fmt=FORMAT)
for handler in logging.getLogger().handlers:
    handler.setFormatter(formatter)

# Customize log level for all loggers
logging.getLogger().setLevel(logging.INFO)

# Customize the log level for a specific logger
customizedLogger = logging.getLogger('customized')
customizedLogger.setLevel(logging.WARNING)

# logger that use the default global log level
defaultLogger = logging.getLogger('default')
defaultLogger.debug("default debug message")
defaultLogger.info("default info message")
defaultLogger.warning("default warning message")
defaultLogger.error("default error message")
defaultLogger.critical("default critical message")

# logger that use the customized log level
customizedLogger.debug("customized debug message")
customizedLogger.info("customized info message")
customizedLogger.warning("customized warning message")
customizedLogger.error("customized error message")
customizedLogger.critical("customized critical message")

Näytä syötekomentojen historia

Fabric-muistikirja tukee taikakomentoa %history , jolla tulostetaan nykyisessä istunnossa suoritettu syötekomentohistoria, vertaamalla muistikirjassa olevaan jupyter Ipython -vakiokomentoon, joka %history toimii useiden kielten kontekstissa.

%history [-n] [range [range ...]]

Vaihtoehdot:

• -n: Tulostuksen suoritusnumero.

Alueen voi olla:

• N: Tämä on suoritettu solun Nth-tulostuskoodi .
• M-N: tulosta koodi Mthista Nth-suoritettuun soluun.

Esimerkki:

• Tulosta syötehistoria 1. ja 2. suoritettuun soluun: %history -n 1-2

Pikanäppäimet

Jupyter Notebooksin tapaan Fabric-muistikirjoissa on modaalinen käyttöliittymä. Näppäimistö tekee eri asioita sen mukaan, missä tilassa muistikirjan solu on. Kangasmuistikirjat tukevat seuraavia kahta tilaa tietylle koodisolulle: komentotila ja muokkaustila.

• Solu on komentotilassa, kun tekstivalitsin ei kehota kirjoittamaan. Kun solu on komentotilassa, voit muokata muistikirjaa kokonaisuutena, mutta et kirjoittaa sitä yksittäisiin soluihin. Siirry komentotilaan painamalla ESC-näppäintä tai valitsemalla hiiren osoitin solun editorialueen ulkopuolelta.

  

• Muokkaustila voidaan osoittaa tekstivalitsimella, joka kehottaa kirjoittamaan editorialueeseen. Kun solu on muokkaustilassa, voit kirjoittaa soluun. Siirry Muokkaa-tilaan painamalla Enter-näppäintä tai valitsemalla solun editorialue hiirellä.

  

Pikanäppäimet komentotilassa

Toiminto	Muistikirjan pikanäppäimet
Suorita nykyinen solu ja valitse alla	Vaihto + Enter
Suorita nykyinen solu ja lisää alla	Alt+Enter
Suorita nykyinen solu	Ctrl+Enter
Valitse yllä oleva solu	Ylös
Valitse alla oleva solu	Alas
Valitse edellinen solu	K
Valitse seuraava solu	J
Lisää solu yläpuolelle	A
Lisää solu alapuolelle	B
Poista valitut solut	Vaihto + D
Siirry muokkaustilaan	Enter

Pikanäppäimet muokkaustilassa

Seuraavilla näppäinpainalluksen pikanäppäimillä voit helposti siirtyä ja suorittaa koodia Fabric-muistikirjoissa Muokkaa-tilassa.

Toiminto	Muistikirjan pikanäppäimet
Siirrä kohdistinta ylöspäin	Ylös
Siirrä kohdistinta alaspäin	Alas
Kumoa	Ctrl + Z
Tee uudelleen	Ctrl + Y
Kommentoi tai poista kommentti	Ctrl + / Kommentti: Ctrl + K + C Poista lasku: Ctrl + K + U
Poista sana ennen	Ctrl + välilyönti
Poista sana jälkeen	Ctrl + poista
Siirry solun alkuun	Ctrl + aloitussivu
Siirry solun loppuun	Ctrl + loppu
Siirry yksi sana vasemmalle	Ctrl + vasen
Siirry yhden sanan oikein	Ctrl + oikea
Valitse kaikki	Ctrl + A
Sisentää	Ctrl + ]
Dedent	Ctrl + [
Siirry komentotilaan	ESC

Etsi kaikki pikanäppäimet valitsemalla muistikirjan valintanauhasta Näytä ja valitsemalla sitten Pikanäppäimet.

Liittyvä sisältö

• Muistikirjan visualisointi
• Fabric MSSparkUtilsin esittely