Leggi in inglese

Condividi tramite

I Jupyter Notebook di esempio illustrano come arricchire i dati con i set di dati aperti

  • Articolo

I Jupyter Notebook di esempio per set di dati aperti di Azure spiegano come caricare set di dati aperti e usarli per arricchire i dati demo. Le tecniche includono l'uso di Apache Spark e Pandas per elaborare i dati.

Importante

Quando si lavora in un ambiente non Spark, set di dati aperti di Azure consente i download per un mese di dati alla volta con determinate classi per evitare errori MemoryError in caso di set di dati di grandi dimensioni.

Caricare dati ISD (Integrated Surface Database) NOAA

Notebook Descrizione
Caricare un mese di dati meteo recenti in un dataframe Pandas Informazioni su come caricare dati meteo storici in un dataframe Pandas a scelta.
Caricare un mese di dati meteo recenti in un dataframe Spark Informazioni su come caricare dati meteo storici in un dataframe Spark a scelta.

Unire dati demo con dati ISD NOAA

Notebook Descrizione
Unire dati demo con dati meteo - Pandas Unire un mese di dati demo di un set di dati di posizioni di sensori con le letture meteo di un dataframe Pandas.
Unire dati demo con dati meteo - Spark Unire un set di dati di posizioni di sensori con le letture meteo di un dataframe Spark.

Unire dati sui taxi di New York con dati ISD NOAA

Notebook Descrizione
Dati sulle corse dei taxi arricchiti con dati meteo - Pandas Caricare più di un mese di dati sui taxi verdi di New York e arricchirli con dati meteo in un dataframe Pandas. Questo esempio esegue l'override del metodo get_pandas_limit e bilancia le prestazioni del carico di dati con la quantità di dati.
Dati sulle corse dei taxi arricchiti con dati meteo - Spark Caricare i dati sui taxi verdi di New York e arricchirli con dati meteo in un dataframe Spark.

Passaggi successivi