Apache Spark على Azure Databricks
توضح هذه المقالة كيفية ارتباط Apache Spark ب Azure Databricks وDatabricks Data Intelligence Platform.
يعد Apache Spark في قلب النظام الأساسي Azure Databricks وهو التكنولوجيا التي تعمل على تشغيل مجموعات الحوسبة ومستودعات SQL. Azure Databricks هو نظام أساسي محسن ل Apache Spark، ويوفر نظاما أساسيا فعالا وبسيطا لتشغيل أحمال عمل Apache Spark.
تأسست شركة Databricks من قبل المبدعين الأصليين ل Apache Spark. كمشروع برامج مصدر مفتوح، يحتوي Apache Spark على متعهدين من العديد من الشركات الكبرى، بما في ذلك Databricks.
تستمر Databricks في تطوير الميزات وإصدارها إلى Apache Spark. يتضمن وقت تشغيل Databricks تحسينات إضافية وميزات خاصة تعتمد على Apache Spark وتوسعه، بما في ذلك Photon، وهو إصدار محسن من Apache Spark تمت إعادة كتابته في C++.
عند نشر مجموعة حساب أو مستودع SQL على Azure Databricks، يتم تكوين Apache Spark ونشره على الأجهزة الظاهرية. لا تحتاج إلى تكوين سياق Spark أو جلسة Spark أو تهيئتها، حيث تتم إدارتها لك بواسطة Azure Databricks.
يدعم Azure Databricks مجموعة متنوعة من أحمال العمل ويتضمن مكتبات مصدر مفتوح في وقت تشغيل Databricks. يستخدم Databricks SQL Apache Spark تحت الغطاء، ولكن المستخدمين النهائيين يستخدمون بناء جملة SQL القياسي لإنشاء كائنات قاعدة البيانات والاستعلام عليها.
تم تحسين وقت تشغيل Databricks ل التعلم الآلي لأحمال عمل التعلم الآلي، ويستخدم العديد من علماء البيانات مكتبات مصدر مفتوح الأساسية مثل TensorFlow وSciKit Learn أثناء العمل على Azure Databricks. يمكنك استخدام المهام لجدولة أحمال العمل العشوائية مقابل موارد الحوسبة التي تم نشرها وإدارتها بواسطة Azure Databricks.
يوفر النظام الأساسي Databricks بيئة آمنة وتعاونية لتطوير ونشر حلول المؤسسة التي تتوسع مع عملك. يتضمن موظفو Databricks العديد من أكثر القائمين على صيانة Apache Spark ومستخدميها دراية في العالم. تطور الشركة باستمرار وتطرح تحسينات جديدة لضمان وصول المستخدمين إلى أسرع بيئة لتشغيل Apache Spark.
لبدء استخدام Apache Spark على Azure Databricks، تعمق مباشرة! يستعرض البرنامج التعليمي Apache Spark DataFrames تحميل البيانات وتحويلها في Python أو R أو Scala. راجع البرنامج التعليمي: تحميل البيانات وتحويلها باستخدام Apache Spark DataFrames.
توجد معلومات إضافية حول دعم لغة Python وR وSc scala في Spark في PySpark على Azure Databricks ونظرة عامة على SparkR وأقسام Azure Databricks لمطوري Scala، وكذلك في مرجع واجهات برمجة تطبيقات Apache Spark.