Aracılığıyla paylaş

Örnek Jupyter not defterleri, Açık Veri Kümeleri ile verileri zenginleştirmeyi gösterir

Azure Açık Veri Kümeleri için jupyter not defterleri örneği, açık veri kümelerini yüklemeyi ve tanıtım verilerini zenginleştirmek için bunları kullanmayı açıklar. Teknikler, verileri işlemek için Apache Spark ve Pandas kullanımını içerir.

Önemli

Spark olmayan bir ortamda çalışırken Açık Veri Kümeleri, büyük veri kümelerinde MemoryError sorunlarını önlemek için belirli sınıflarla aynı anda yalnızca bir aylık verilerin indirilmelerine izin verir.

NOAA Tümleşik Surface Veritabanı (ISD) verilerini yükleme

Not Defteri Açıklama
Pandas veri çerçevesine son bir aylık hava durumu verilerini yükleme Geçmiş hava durumu verilerini en sevdiğiniz Pandas veri çerçevesine yüklemeyi öğrenin.
Spark veri çerçevesine son bir aylık hava durumu verilerini yükleme Geçmiş hava durumu verilerini sık kullandığınız Spark veri çerçevesine yüklemeyi öğrenin.

NOAA ISD verileriyle tanıtım verilerini birleştirme

Not Defteri Açıklama
Hava durumu verileriyle tanıtım verilerine katılma - Pandas Pandas veri çerçevesinde hava durumu okumalarıyla sensör konumlarından oluşan bir aylık tanıtım veri kümesine katılın.
Demo verilerini hava durumu verileriyle birleştirme – Spark Spark veri çerçevesinde hava durumu okumaları ile algılayıcı konumlarından oluşan bir tanıtım veri kümesine katılın.

NOAA ISD verileriyle NYC taksi verilerine katılma

Not Defteri Açıklama
Hava durumu verileriyle zenginleştirilmiş taksi yolculuğu verileri - Pandas NYC yeşil taksi verilerini (bir aydan fazla) yükleyin ve pandas veri çerçevesinde hava durumu verileriyle zenginleştirin. Bu örnek yöntemini get_pandas_limit geçersiz kılar ve veri yükü performansını veri miktarıyla dengeler.
Hava durumu verileriyle zenginleştirilmiş taksi yolculuğu verileri – Spark Spark veri çerçevesinde NYC yeşil taksi verilerini yükleyin ve hava durumu verileriyle zenginleştirin.

Sonraki adımlar

  • Last updated on