Los cuadernos de Jupyter de ejemplo muestran cómo enriquecer los datos con Open Datasets
Los cuadernos de Jupyter de ejemplo para Azure Open Datasets le muestran cómo cargar conjuntos de datos abiertos y usarlos para enriquecer los datos de demostración. Las técnicas incluyen el uso de Apache Spark y Pandas para procesar los datos.
Importante
Al trabajar en un entorno distinto de Spark, Open Datasets permite descargar un solo mes de datos a la vez, con determinadas clases con el fin de evitar MemoryError con grandes conjuntos de datos.
Cargar datos de Integrated Surface Database (ISD) de NOAA
| Notebook | Descripción |
|---|---|
| Cargar un mes reciente de datos meteorológicos en un dataframe de Pandas | Obtenga información sobre cómo cargar los datos meteorológicos históricos en su dataframe de Pandas favorito. |
| Cargar un mes reciente de datos meteorológicos en un dataframe de Spark | Obtenga información sobre cómo cargar los datos meteorológicos históricos en su dataframe de Spark favorito. |
Unir datos de demostración con datos de ISD de NOAA
| Notebook | Descripción |
|---|---|
| Combinar datos de demostración con datos meteorológicos: Pandas | Una un conjunto de datos de demostración de un mes de ubicaciones de sensores con lecturas meteorológicas en un dataframe de Pandas. |
| Unir datos de demostración con datos meteorológicos: Spark | Una un conjunto de datos de demostración de ubicaciones de sensores con lecturas meteorológicas en un dataframe de Spark. |
Unir datos de taxis de Nueva York con datos de ISD de NOAA
| Notebook | Descripción |
|---|---|
| Datos de viajes de taxis, enriquecidos con datos meteorológicos: Pandas | Cargue datos de taxis verdes de la ciudad de Nueva York (más de un mes) y enriquézcalos con datos meteorológicos en un dataframe de Pandas. Este ejemplo reemplaza el método get_pandas_limit y equilibra el rendimiento de carga de datos con la cantidad de datos. |
| Datos de viajes de taxis enriquecidos con datos meteorológicos: Spark | Cargue datos de taxis verdes de la ciudad de Nueva York y enriquézcalos con datos meteorológicos en un dataframe de Spark. |
Pasos siguientes
- Tutorial: Regression modeling with automated machine learning and an open dataset (Tutorial: Modelado de regresión con aprendizaje automático automatizado y un conjunto de datos abierto)
- SDK de Python para Open Datasets
- Catálogo de Azure Open Datasets
- Creación de conjuntos de datos de Azure Machine Learning a partir de Open Dataset