Analysere data med Apache Spark og Python

I denne opplæringen lærer du hvordan du utfører utforskende dataanalyse ved hjelp av Azure Open Datasets og Apache Spark.

Spesielt skal vi analysere New York City (NYC) Taxi datasett. Dataene er tilgjengelige via Azure Open Datasets. Dette delsettet av datasettet inneholder informasjon om gule taxiturer: informasjon om hver tur, start- og sluttidspunkt og plasseringer, kostnader og andre interessante attributter.

Forutsetning

• Få et Microsoft Fabric-abonnement. Eller registrer deg for en gratis prøveversjon av Microsoft Fabric.

• Logg på Microsoft Fabric.

• Bruk opplevelsesbryteren til venstre på hjemmesiden for å bytte til Synapse Data Science-opplevelsen.

  

Laste ned og klargjøre dataene

1. Opprett en notatblokk ved hjelp av PySpark. Hvis du vil ha instruksjoner, kan du se Opprette en notatblokk.

   Merk

   På grunn av PySpark-kjernen trenger du ikke å opprette noen kontekster eksplisitt. Spark-konteksten opprettes automatisk for deg når du kjører den første kodecellen.

2. I denne opplæringen bruker vi flere forskjellige biblioteker for å hjelpe oss med å visualisere datasettet. Hvis du vil gjøre denne analysen, importerer du følgende biblioteker:

   import matplotlib.pyplot as plt
   import seaborn as sns
   import pandas as pd
   

3. Siden rådataene er i parquet-format, kan du bruke Spark-konteksten til å hente filen inn i minnet som en DataFrame direkte. Opprett en Spark DataFrame ved å hente dataene via API-en for åpne datasett. Her bruker vi Spark DataFrame-skjemaet på leseegenskaper for å utlede datatyper og skjema.

   from azureml.opendatasets import NycTlcYellow
   
   end_date = parser.parse('2018-06-06')
   start_date = parser.parse('2018-05-01')
   nyc_tlc = NycTlcYellow(start_date=start_date, end_date=end_date)
   nyc_tlc_pd = nyc_tlc.to_pandas_dataframe()
   
   df = spark.createDataFrame(nyc_tlc_pd)
   

4. Når dataene er lest, vil vi gjøre noen første filtrering for å rense datasettet. Vi kan fjerne unødvendige kolonner og legge til kolonner som trekker ut viktig informasjon. I tillegg filtrerer vi ut avvik i datasettet.

   # Filter the dataset 
   from pyspark.sql.functions import *
   
   filtered_df = df.select('vendorID', 'passengerCount', 'tripDistance','paymentType', 'fareAmount', 'tipAmount'\
                                   , date_format('tpepPickupDateTime', 'hh').alias('hour_of_day')\
                                   , dayofweek('tpepPickupDateTime').alias('day_of_week')\
                                   , dayofmonth(col('tpepPickupDateTime')).alias('day_of_month'))\
                               .filter((df.passengerCount > 0)\
                                   & (df.tipAmount >= 0)\
                                   & (df.fareAmount >= 1) & (df.fareAmount <= 250)\
                                   & (df.tripDistance > 0) & (df.tripDistance <= 200))
   
   filtered_df.createOrReplaceTempView("taxi_dataset")
   

Analyser data

Som dataanalytiker har du et bredt spekter av tilgjengelige verktøy for å hjelpe deg med å trekke ut innsikt fra dataene. I denne delen av opplæringen skal vi gå gjennom noen nyttige verktøy som er tilgjengelige i Microsoft Fabric-notatblokker. I denne analysen ønsker vi å forstå faktorene som gir høyere taxitips for vår valgte periode.

Apache Spark SQL Magic

Først utfører vi utforskende dataanalyser av Apache Spark SQL og magiske kommandoer med Microsoft Fabric-notatblokken. Når vi har spørringen, visualiserer vi resultatene ved hjelp av den innebygde chart options funksjonen.

1. Opprett en ny celle i notatblokken, og kopier følgende kode. Ved hjelp av denne spørringen ønsker vi å forstå hvordan de gjennomsnittlige tipsbeløpene har endret seg i løpet av perioden vi har valgt. Denne spørringen hjelper oss også med å identifisere annen nyttig innsikt, inkludert minimums-/maksimumstipsbeløpet per dag og gjennomsnittlig prisbeløp.

   %%sql
   SELECT 
       day_of_month
       , MIN(tipAmount) AS minTipAmount
       , MAX(tipAmount) AS maxTipAmount
       , AVG(tipAmount) AS avgTipAmount
       , AVG(fareAmount) as fareAmount
   FROM taxi_dataset 
   GROUP BY day_of_month
   ORDER BY day_of_month ASC
   

2. Når spørringen er ferdig, kan vi visualisere resultatene ved å bytte til diagramvisningen. Dette eksemplet oppretter et linjediagram ved å day_of_month angi feltet som nøkkel og avgTipAmount verdi. Når du har gjort valgene, velger du Bruk for å oppdatere diagrammet.

Visualiser data

I tillegg til de innebygde diagramalternativene for notatblokker, kan du bruke populære biblioteker med åpen kildekode til å opprette dine egne visualiseringer. I eksemplene nedenfor bruker vi Seaborn og Matplotlib. Disse brukes ofte Python-biblioteker for datavisualisering.

1. For å gjøre utviklingen enklere og rimeligere, nedsampliserer vi datasettet. Vi bruker den innebygde samplingsfunksjonen for Apache Spark. I tillegg krever både Seaborn og Matplotlib en Pandas DataFrame- eller NumPy-matrise. Hvis du vil ha en Pandas DataFrame, bruker toPandas() du kommandoen til å konvertere DataFrame.

   # To make development easier, faster, and less expensive, downsample for now
   sampled_taxi_df = filtered_df.sample(True, 0.001, seed=1234)
   
   # The charting package needs a Pandas DataFrame or NumPy array to do the conversion
   sampled_taxi_pd_df = sampled_taxi_df.toPandas()
   

2. Vi ønsker å forstå distribusjonen av tips i datasettet vårt. Vi bruker Matplotlib til å opprette et histogram som viser fordelingen av tipsmengde og antall. Basert på fordelingen kan vi se at tips er skjevt mot beløp som er mindre enn eller lik USD 10.

   # Look at a histogram of tips by count by using Matplotlib
   
   ax1 = sampled_taxi_pd_df['tipAmount'].plot(kind='hist', bins=25, facecolor='lightblue')
   ax1.set_title('Tip amount distribution')
   ax1.set_xlabel('Tip Amount ($)')
   ax1.set_ylabel('Counts')
   plt.suptitle('')
   plt.show()
   

   

3. Deretter ønsker vi å forstå forholdet mellom tipsene for en gitt tur og ukedagen. Bruk Seaborn til å opprette et boksplott som oppsummerer trendene for hver dag i uken.

   # View the distribution of tips by day of week using Seaborn
   ax = sns.boxplot(x="day_of_week", y="tipAmount",data=sampled_taxi_pd_df, showfliers = False)
   ax.set_title('Tip amount distribution per day')
   ax.set_xlabel('Day of Week')
   ax.set_ylabel('Tip Amount ($)')
   plt.show()
   
   

   

4. En annen hypotese av oss kan være at det er en positiv sammenheng mellom antall passasjerer og det totale taxitipsbeløpet. Hvis du vil bekrefte denne relasjonen, kjører du følgende kode for å generere et boksplott som illustrerer fordelingen av tips for hver passasjerantall.

   # How many passengers tipped by various amounts 
   ax2 = sampled_taxi_pd_df.boxplot(column=['tipAmount'], by=['passengerCount'])
   ax2.set_title('Tip amount by Passenger count')
   ax2.set_xlabel('Passenger count')
   ax2.set_ylabel('Tip Amount ($)')
   ax2.set_ylim(0,30)
   plt.suptitle('')
   plt.show()
   

   

5. Sist ønsker vi å forstå forholdet mellom prisbeløpet og tipsbeløpet. Basert på resultatene kan vi se at det finnes flere observasjoner der folk ikke tipser. Vi ser imidlertid også en positiv sammenheng mellom den totale prisen og tipsbeløpene.

   # Look at the relationship between fare and tip amounts
   
   ax = sampled_taxi_pd_df.plot(kind='scatter', x= 'fareAmount', y = 'tipAmount', c='blue', alpha = 0.10, s=2.5*(sampled_taxi_pd_df['passengerCount']))
   ax.set_title('Tip amount by Fare amount')
   ax.set_xlabel('Fare Amount ($)')
   ax.set_ylabel('Tip Amount ($)')
   plt.axis([-2, 80, -2, 20])
   plt.suptitle('')
   plt.show()
   

   

Relatert innhold

• Lær hvordan du bruker Pandas API på Apache Spark: Pandas API på Apache Spark
• Python-innebygd installasjon