Analyser avec Apache Spark

Article
03/25/2023

Dans ce tutoriel, vous allez découvrir les étapes de base permettant de charger et d’analyser des données avec Apache Spark pour Azure Synapse.

Créer un pool Apache Spark serverless

Dans Synapse Studio, dans le volet de gauche, sélectionnez Gérer>Pools Apache Spark.
Sélectionnez Nouveau
Pour Nom du pool Apache Spark, entrez Spark1.
Pour Taille du nœud, entrez Petite.
Pour Nombre de nœuds, définissez la valeur minimale 3 et la valeur maximale 3
Sélectionnez Vérifier + créer>Créer. Votre pool Apache Spark sera prêt en quelques secondes.

Comprendre les pools Apache Spark serverless

Un pool Spark serverless est un moyen d’indiquer comment un utilisateur souhaite travailler avec Spark. Lorsque vous commencez à utiliser un pool, une session Spark est créée si nécessaire. Le pool contrôle le nombre de ressources Spark utilisées par cette session ainsi que la durée de la session avant qu’elle ne s’arrête automatiquement. Vous payez pour les ressources Spark utilisées pendant cette session et non pour le pool lui-même. Ainsi, un pool Spark vous permet d’utiliser Apache Spark sans gérer les clusters. Cela fonctionne de la même manière qu’un pool SQL serverless.

Analyser les données de NYC Taxi avec un pool Spark

Notes

Vérifiez que vous avez placé les exemples de données dans le compte de stockage principal.

Dans Synapse Studio, accédez au hub Développer.
Créer un nouveau bloc-notes.

Créez une cellule de code et collez-y le code suivant :

%%pyspark
df = spark.read.load('abfss://users@contosolake.dfs.core.windows.net/NYCTripSmall.parquet', format='parquet')
display(df.limit(10))

Modifiez l’URI de chargement afin qu’il fasse référence à l’exemple de fichier dans votre compte de stockage selon le schéma d’URI abfss.
Dans le notebook, dans le menu Attacher à, choisissez le pool Spark serverless Spark1 que nous avons créé précédemment.
Sélectionnez Exécuter dans la cellule. Synapse démarre une nouvelle session Spark pour exécuter cette cellule si nécessaire. Si une nouvelle session Spark est nécessaire, sa création prend environ 2 à 5 minutes. Une fois qu’une session est créée, l’exécution de la cellule prend environ 2 secondes.
Si vous souhaitez simplement voir le schéma du dataframe, exécutez une cellule avec le code suivant :
```
%%pyspark
df.printSchema()
```

Charger les données NYC Taxi dans la base de données Spark appelée nyctaxi

Les données sont disponibles via le dataframe nommé df. Chargez-les dans une base de données Spark nommée nyctaxi.

Ajoutez une nouvelle cellule de code au notebook, puis entrez le code suivant :

%%pyspark
spark.sql("CREATE DATABASE IF NOT EXISTS nyctaxi")
df.write.mode("overwrite").saveAsTable("nyctaxi.trip")

Analyser les données des taxis de New York à l’aide de Spark et des notebooks

Créez une nouvelle cellule de code, puis entrez le code suivant.

%%pyspark
df = spark.sql("SELECT * FROM nyctaxi.trip") 
display(df)

Exécutez la cellule pour afficher les données NYC Taxi que nous avons chargées dans la base de données Spark nyctaxi.

Créez une nouvelle cellule de code, puis entrez le code suivant. Nous allons analyser ces données et enregistrer les résultats dans une table appelée nyctaxi.passengercountstats.

%%pyspark
df = spark.sql("""
   SELECT passenger_count,
       SUM(trip_distance) as SumTripDistance,
       AVG(trip_distance) as AvgTripDistance
   FROM nyctaxi.trip
   WHERE trip_distance > 0 AND passenger_count > 0
   GROUP BY passenger_count
   ORDER BY passenger_count
""") 
display(df)
df.write.saveAsTable("nyctaxi.passengercountstats")

Dans les résultats de la cellule, sélectionnez Graphique pour afficher les données visualisées.

Étapes suivantes

Analyser des données avec un pool SQL dédié

Partager via