Visualizzare i dati
Uno dei modi più intuitivi per analizzare i risultati delle query sui dati consiste nel visualizzarli come grafici. I notebook in Azure Databricks offrono funzionalità per i grafici nell'interfaccia utente e, quando tali funzionalità non soddisfano le esigenze specifiche, è possibile usare una delle numerose librerie di grafica di Python per creare e mostrare visualizzazioni dei dati nel notebook.
Uso di grafici di notebook predefiniti
Quando si visualizza un dataframe o si esegue una query SQL in un notebook Spark in Azure Databricks, i risultati vengono visualizzati sotto la cella di codice. Per impostazione predefinita, viene eseguito il rendering dei risultati come tabella, ma è anche possibile mostrare i risultati come visualizzazione e personalizzare la modalità di rappresentazione dei dati nel grafico, come illustrato di seguito:
La funzionalità di visualizzazione predefinita nei notebook è utile quando si vogliono riepilogare rapidamente i dati visivamente. Quando si vuole avere un maggiore controllo sulla formattazione dei dati o sulla visualizzazione dei valori già aggregati in una query, è consigliabile usare un pacchetto grafico per creare visualizzazioni personalizzate.
Uso di pacchetti grafici nel codice
Sono disponibili molti pacchetti grafici che è possibile usare per creare visualizzazioni dei dati nel codice. In particolare, Python supporta una vasta selezione di pacchetti; la maggior parte dei quali è basata sulla libreria Matplotlib di base. È possibile eseguire il rendering dell'output di una libreria grafica in un notebook, semplificando la combinazione di codice per inserire e modificare i dati con visualizzazioni dei dati inline e celle Markdown per fornire commenti.
È ad esempio possibile usare il codice PySpark seguente per aggregare i dati dei prodotti ipotetici esaminati in precedenza in questo modulo e usare Matplotlib per creare un grafico dai dati aggregati.
from matplotlib import pyplot as plt
# Get the data as a Pandas dataframe
data = spark.sql("SELECT Category, COUNT(ProductID) AS ProductCount \
FROM products \
GROUP BY Category \
ORDER BY Category").toPandas()
# Clear the plot area
plt.clf()
# Create a Figure
fig = plt.figure(figsize=(12,8))
# Create a bar plot of product counts by category
plt.bar(x=data['Category'], height=data['ProductCount'], color='orange')
# Customize the chart
plt.title('Product Counts by Category')
plt.xlabel('Category')
plt.ylabel('Products')
plt.grid(color='#95a5a6', linestyle='--', linewidth=2, axis='y', alpha=0.7)
plt.xticks(rotation=70)
# Show the plot area
plt.show()
La libreria Matplotlib richiede che i dati si trovano in un dataframe Pandas anziché in un dataframe Spark, quindi viene usato il metodo toPandas per convertirli. Il codice crea quindi una figura con una dimensione specificata e traccia un grafico a barre con una configurazione di proprietà personalizzata prima di visualizzare il tracciato risultante.
Il grafico prodotto dal codice sarà simile all'immagine seguente:
È possibile usare la libreria Matplotlib per creare molti tipi di grafico. Se preferito, è in alternativa possibile usare altre librerie, ad esempio Seaborn, per creare grafici altamente personalizzati.
Nota
Le librerie Matplotlib e Seaborn possono essere già installate nei cluster di Databricks, a seconda del Databricks Runtime per il cluster. In caso contrario, oppure se si vuole usare una libreria diversa non già installata, è possibile aggiungerla al cluster. Per informazioni dettagliate, vedere Librerie in cluster nella documentazione di Azure Databricks.