إجراء تحويلات متقدمة للبيانات المتدفقة باستخدام Apache Spark وKafka في Azure HDInsight
في هذه الوحدة، ستتعلم كيفية إنشاء مسارات وتطبيقات تحليلات البيانات المتدفقة في الوقت الحقيقي على السحابة باستخدام Azure HDInsight مع Apache Kafka وApache Spark.
الأهداف التعليمية
في نهاية هذه الوحدة النمطية، تفهم:
- متى تستخدم Apache Spark وKafka مع HDInsight.
- Spark Structured Streaming.
- بنية حل Kafka وSpark.
- كيفية توفير HDInsight وإنشاء منتج Kafka وبث بيانات Kafka إلى دفتر ملاحظات Jupyter.
- كيفية نسخ البيانات نسخا متماثلا إلى نظام مجموعة ثانوي.
المتطلبات الأساسية
يجب إكمال المتطلبات الأساسية التالية:
- تسجيل الدخول بنجاح إلى مدخل Microsoft Azure.
- فهم خيارات تخزين Azure.
- فهم خيارات حساب Azure.
- إنشاء وتكوين نظام مجموعة HDInsight في مدخل Microsoft Azure.