تصور البيانات
تتمثل إحدى الطرق الأكثر سهولة لتحليل نتائج استعلامات البيانات في تصورها كمخططات. توفر دفاتر الملاحظات في Azure Databricks قدرات رسم بياني في واجهة المستخدم، وعندما لا توفر هذه الوظيفة ما تحتاجه، يمكنك استخدام واحدة من العديد من مكتبات رسومات Python لإنشاء مرئيات البيانات وعرضها في دفتر الملاحظات.
استخدام مخططات دفتر الملاحظات المضمنة
عند عرض إطار بيانات أو تشغيل استعلام SQL في دفتر ملاحظات Spark في Azure Databricks، يتم عرض النتائج ضمن خلية التعليمات البرمجية. بشكل افتراضي، يتم عرض النتائج كجدول، ولكن يمكنك أيضا عرض النتائج كمرئيات وتخصيص كيفية عرض المخطط للبيانات، كما هو موضح هنا:
أنواع التصور
هذه هي الأنواع المختلفة من التصورات التي يمكنك إجراؤها في Databricks ، كل منها جيد لأنواع معينة من رؤى البيانات. النقاط الرئيسية:
المخططات الشريطية / المخططات الخطية / المخططات المساحية: لإظهار الاتجاهات بمرور الوقت أو المقارنات الفئوية أو كليهما. من المفيد معرفة كيفية تطور المقاييس.
المخططات الدائرية: جيدة لإظهار الأجزاء النسبية من الكل (ولكن ليس للسلاسل الزمنية).
الرسم البياني: لرؤية توزيع البيانات الرقمية (كيف يتم توزيع القيم ، مجمعة).
خريطة التمثيل اللوني: مفيد لتصور محورين فئويين والتلوين بقيمة رقمية ، ويساعد على رؤية الأنماط عبر المجموعات.
المخططات الفقاعية / المبعثرة: إظهار العلاقة بين متغيرين رقميين (أو أكثر) ؛ تسمح الفقاعات باستخدام الحجم أو اللون كبعد ثالث.
مخطط صندوقي: لمقارنة التوزيعات (السبريد والأرباع والقيم المتطرفة) عبر الفئات.
مخطط التحرير والسرد: مزيج من الخطوط والأشرطة في نفس الرسم البياني ، وهو مفيد حيث تريد مقارنة مقاييس مختلفة بمقاييس مختلفة.
الجدول المحوري: يتيح لك إعادة تشكيل البيانات وتجميعها في شكل جدول (مثل SQL PIVOT/GROUP BY)، وهو مفيد للتحليلات المتقاطعة.
أنواع خاصة: تحليل المجموعات (تتبع المجموعات بمرور الوقت) ، عرض العداد (تمييز مقياس ملخص واحد ، ربما مقابل الهدف) ، مسار التحويل ، تصورات الخرائط (choropleth ، marker) ، سحابة الكلمات ، إلخ. هذه أكثر تخصصا.
تعد وظيفة المرئيات المضمنة في دفاتر الملاحظات مفيدة عندما تريد تلخيص البيانات بسرعة بشكل مرئي. عندما تريد الحصول على مزيد من التحكم في كيفية تنسيق البيانات، أو لعرض القيم التي قمت بتجميعها بالفعل في استعلام، يجب أن تفكر في استخدام حزمة رسومات لإنشاء المرئيات الخاصة بك.
استخدام حزم الرسومات في التعليمات البرمجية
هناك العديد من حزم الرسومات التي يمكنك استخدامها لإنشاء مرئيات البيانات في التعليمات البرمجية. على وجه الخصوص، تدعم Python مجموعة كبيرة من الحزم؛ معظمها مبني على مكتبة Matplotlib الأساسية. يمكن عرض الإخراج من مكتبة الرسومات في دفتر ملاحظات، مما يسهل دمج التعليمات البرمجية لاستيعاب البيانات ومعالجتها باستخدام مرئيات البيانات المضمنة وخلايا markdown لتوفير التعليق.
على سبيل المثال، يمكنك استخدام التعليمات البرمجية PySpark التالية لتجميع البيانات من بيانات المنتجات الافتراضية التي تم استكشافها سابقا في هذه الوحدة النمطية، واستخدام Matplotlib لإنشاء مخطط من البيانات المجمعة.
from matplotlib import pyplot as plt
# Get the data as a Pandas dataframe
data = spark.sql("SELECT Category, COUNT(ProductID) AS ProductCount \
FROM products \
GROUP BY Category \
ORDER BY Category").toPandas()
# Clear the plot area
plt.clf()
# Create a Figure
fig = plt.figure(figsize=(12,8))
# Create a bar plot of product counts by category
plt.bar(x=data['Category'], height=data['ProductCount'], color='orange')
# Customize the chart
plt.title('Product Counts by Category')
plt.xlabel('Category')
plt.ylabel('Products')
plt.grid(color='#95a5a6', linestyle='--', linewidth=2, axis='y', alpha=0.7)
plt.xticks(rotation=70)
# Show the plot area
plt.show()
تتطلب مكتبة Matplotlib أن تكون البيانات في إطار بيانات Pandas بدلا من إطار بيانات Spark، لذلك يتم استخدام أسلوب toPandas لتحويله. ثم تقوم التعليمات البرمجية بإنشاء رسم توضيحي بحجم محدد ورسم مخطط شريطي مع بعض تكوين الخاصية المخصصة قبل إظهار الرسم الناتج.
سيبدو المخطط الذي تنتجه التعليمات البرمجية مشابهاً للصورة التالية:
يمكنك استخدام مكتبة Matplotlib لإنشاء العديد من أنواع المخططات؛ أو إذا كان ذلك مفضلا، يمكنك استخدام مكتبات أخرى مثل Seaborn لإنشاء مخططات مخصصة للغاية.
ملاحظة
قد تكون مكتبات Matplotlib وSyborn مثبتة بالفعل على مجموعات Databricks، اعتمادا على وقت تشغيل Databricks للمجموعة. إذا لم يكن الأمر كذلك، أو إذا كنت تريد استخدام مكتبة مختلفة غير مثبتة بالفعل، فيمكنك إضافتها إلى نظام المجموعة. راجع مكتبات نظام المجموعة في وثائق Azure Databricks للحصول على التفاصيل.