فتح Jupyter Notebook على شبكة نظام المجموعة HDInsight Spark
بمجرد إنشاء شبكة نظام المجموعة HDInsight Spark، يمكنك تشغيل استعلامات SPARK SQL التفاعلية أو المهام مقابل شبكة نظام المجموعة Apache Spark في Azure HDInsight. للقيام بذلك، يجب أولاً إنشاء مفكرة. المفكرة هي محرر تفاعلي يمكّن مهندسي البيانات وعلماء البيانات من استخدام مجموعة من اللغات للتفاعل مع البيانات. يمكن أن يتضمن هذا Python وSQL وScala ولغات أخرى. HDInsight يدعم Jupyter وZeppelin وLivy للتفاعل مع البيانات. يعتمد مستوى التفاعل على عبء العمل الذي تقوم بإدارته.
تدعم Apache Spark على HDInsight أعباء العمل التالية:
تحليل البيانات التفاعلية والمعلومات المهنية
يمكنك استخدام المفكرة لاستيعاب بيانات غير منظمة البنية/ شبه منظمة البنية، ثم تعريف مخطط داخل المفكرة. يمكنك بعد ذلك استخدام المخطط لإنشاء النموذج في الأدوات مثل Power BI التي ستُمكن مستخدمي الأعمال من القيام بتحليل البيانات على البيانات في المفكرة.
التعلم الآلي من Spark
يمكنك استخدام المفكرة للعمل باستخدام Mllib، (مكتبة التعلم الآلي المدمج في Spark) لإنشاء تطبيقات التعلم الآلي
تدفق Spark وتحليل البيانات في الوقت الحقيقي
تقدم شبكة نظام المجموعة Spark في HDInsight دعمًا كافيًا لوضع حلول التحليلات في الوقت الفعلي. بينما يحتوي Spark بالفعل على موصلات لاستيعاب البيانات من العديد من المصادر مثل مآخذ Kafka أو Flume أو X أو ZeroMQ أو TCP، يضيف Spark في HDInsight دعما من الدرجة الأولى لاستيعاب البيانات من Azure Event Hubs.
إنشاء Jupyter notebook
استخدم الخطوات التالية لإنشاء Jupyter notebook في مدخل Azure.
من المدخل، في قسم «لوحات معلومات شبكة نظام المجموعة»، حدد «Jupyter Notebook». في حالة المطالبة بإدخال بيانات تسجيل الدخول في شبكة نظام المجموعة لشبكة نظام المجموعة.
حدد New > PySparkلإنشاء المفكرة.
يتم إنشاء مفكرة جديدة وفتحها باسم بلا عنوان (Untitled.pynb) الذي يمكنك من البدء في إنشاء مهام تقوم بتنفيذ الاستعلامات