استخدام Spark في دفاتر الملاحظات
يمكنك تشغيل العديد من أنواع التطبيقات المختلفة على Spark، بما في ذلك التعليمات البرمجية في البرامج النصية Python أو Scala، ورمز Java المحول برمجياً ليكون أرشيف Java (JAR)، وغيرها. يستخدم Spark عادة في نوعين من حمل العمل:
- وظائف معالجة الدفعات أو الدفق لاستيعاب البيانات وتنظيفها وتحويلها - غالباً ما تعمل كجزء من البنية الأساسية التلقائية.
- جلسات التحليلات التفاعلية لاستكشاف البيانات وتحليلها وتصورها.
تشغيل تعليمة Spark البرمجية في دفاتر الملاحظات
يتضمن Azure Databricks واجهة دفتر ملاحظات متكاملة للعمل مع Spark. توفر دفاتر الملاحظات طريقة بديهية لدمج التعليمات البرمجية مع ملاحظات Markdown، التي يستخدمها علماء البيانات ومحللو البيانات بشكل شائع. يشبه شكل وأسلوب عرض تجربة دفاتر الملاحظات المتكاملة داخل Azure Databricks تجربة دفاتر ملاحظات Jupyter - وهو نظام أساسي مفتوح المصدر شائع لدفتر الملاحظات.
تتكون دفاتر الملاحظات من خلية واحدة أو أكثر، تحتوي كل منها على تعليمة برمجية أو markdown. تحتوي خلايا التعليمات البرمجية في دفاتر الملاحظات على بعض الميزات التي يمكن أن تساعدك على أن تكون أكثر إنتاجية، بما في ذلك:
- تمييز بناء الجملة ودعم الأخطاء.
- الإكمال التلقائي للتعليمات البرمجية.
- مرئيات البيانات التفاعلية.
- القدرة على تصدير النتائج.
تلميح
لمعرفة المزيد حول العمل مع دفاتر الملاحظات في Azure Databricks، راجع مقالة دفاتر الملاحظات في وثائق Azure Databricks.