Opplæring: Bruke en notatblokk med Apache Spark til å spørre en KQL-database

  • Artikkel

Notatblokker er både lesbare dokumenter som inneholder beskrivelser av dataanalyse og resultater samt kjørbare dokumenter som kan kjøres for å utføre dataanalyse. I denne artikkelen lærer du hvordan du bruker en Microsoft Fabric-notatblokk til å lese og skrive data til en KQL-database ved hjelp av Apache Spark. Denne opplæringen bruker forhåndsopprettede datasett og notatblokker i både Sanntidsanalyse og Dataingeniør miljøer i Microsoft Fabric. Hvis du vil ha mer informasjon om notatblokker, kan du se Slik bruker du Microsoft Fabric-notatblokker.

Spesielt lærer du hvordan du:

  • Opprette en KQL-database
  • Importere en notatblokk
  • Skrive data til en KQL-database ved hjelp av Apache Spark
  • Spørringsdata fra en KQL-database

Forutsetning

1- Opprette en KQL-database

  1. Åpne opplevelsesbryteren nederst i navigasjonsruten, og velg Sanntidsanalyse.

  2. Velg KQL-databaseflisen.

    Screenshot of new KQL database tile in Real-Time Analytics.

  3. Skriv inn nycGreenTaxi i feltet KQL-databasenavn, og velg deretter Opprett.

    KQL-databasen er nå opprettet i konteksten til det valgte arbeidsområdet.

  4. Kopier spørrings-URI-en fra kortet for databasedetaljer i databaseinstrumentbordet, og lim den inn et sted, for eksempel en notisblokk, som skal brukes i et senere trinn.

    Screenshot of the database details card that shows the database details. The Query URI option titled Copy URI is highlighted.

2- Last ned NYC GreenTaxi-notatblokken

Vi har opprettet en eksempelnotatblokk som tar deg gjennom alle nødvendige trinn for innlasting av data i databasen ved hjelp av Spark-koblingen.

  1. Åpne repositoriet for stoffeksempler på GitHub for å laste ned NYC GreenTaxi KQL-notatblokken..

    Screenshot of GitHub repository showing the NYC GreenTaxi notebook. The Raw option is highlighted.

  2. Lagre notatblokken lokalt på enheten.

    Merk

    Notatblokken må lagres i filformatet .ipynb .

3- Importer notatblokken

Resten av denne arbeidsflyten forekommer i Dataingeniør delen av produktet, og bruker en Spark-notatblokk til å laste inn og spørre etter data i KQL-databasen.

  1. Åpne opplevelsesbryteren nederst i navigasjonsruten, og velg Dataingeniør.

  2. Velg Importer notatblokk.

    Screenshot of item options in Data Engineering. The item titled Import notebook is highlighted.

  3. Velg Last opp i importstatusvinduet.

    Screenshot of Import status window. The button titled Upload is highlighted.

  4. Velg NYC GreenTaxi-notatblokken du lastet ned i et tidligere trinn.

  5. Når importen er fullført, går du tilbake til arbeidsområdet for å åpne denne notatblokken.

4- Hent data

Hvis du vil spørre databasen ved hjelp av Spark-koblingen, må du gi lese- og skrivetilgang til NYC GreenTaxi BLOB-beholderen.

Velg avspillingsknappen for å kjøre følgende celler, eller merk cellen, og trykk SKIFT+ENTER. Gjenta dette trinnet for hver kodecelle.

Merk

Vent til fullføringsmerket vises før du kjører neste celle.

  1. Kjør følgende celle for å aktivere tilgang til NYC GreenTaxi blob-beholderen.

    Screenshot of first code cell showing storage access information.

  2. Lim inn spørrings-URI-en du kopierte tidligere i stedet for plassholderteksten, i KustoURI.

  3. Endre navnet på plassholderdatabasen til nycGreenTaxi.

  4. Endre navnet på plassholdertabellen til GreenTaxiData.

    Screenshot of second code cell showing the target database information. The Query URI, the database name, and the table name are highlighted.

  5. Kjør cellen.

  6. Kjør den neste cellen for å skrive data til databasen. Det kan ta noen minutter før dette trinnet fullføres.

    Screenshot of third code cell showing table mapping and ingestion command.

Databasen har nå data lastet inn i en tabell kalt GreenTaxiData.

5- Kjør notatblokken

Kjør de gjenværende to cellene sekvensielt for å spørre etter data fra tabellen. Resultatene viser de 20 høyeste og laveste drosjetakstene og avstandene som er registrert etter år.

Screenshot of fourth and fifth code cell showing the query results.

6- Rydd opp ressurser

Rydd opp i elementene som ble opprettet ved å navigere til arbeidsområdet der de ble opprettet.

  1. Hold pekeren over notatblokken du vil slette, i arbeidsområdet, velg Mer-menyen [...] >Slett.

    Screenshot of workspace showing the drop-down menu of the NYC GreenTaxi notebook. The option titled Delete is highlighted.

  2. Velg Slett. Du kan ikke gjenopprette notatblokken når du sletter den.

Relatert innhold