مرجع واجهات برمجة تطبيقات Apache Spark

تم إنشاء Azure Databricks فوق Apache Spark، وهو محرك تحليلات موحد للبيانات الضخمة والتعلم الآلي. لمزيد من المعلومات، راجع Apache Spark على Azure Databricks.

يحتوي Apache Spark على واجهات برمجة تطبيقات DataFrame للعمل على مجموعات بيانات كبيرة، والتي تتضمن أكثر من 100 عامل تشغيل، بعدة لغات.

• واجهات برمجة تطبيقات PySpark لمطوري Python. راجع البرنامج التعليمي: تحميل البيانات وتحويلها باستخدام Apache Spark DataFrames. تتضمن الفئات الرئيسية ما يلي:
  • SparkSession - نقطة الإدخال إلى برمجة Spark باستخدام Dataset وDataFrame API.
  • DataFrame - مجموعة موزعة من البيانات المجمعة في أعمدة مسماة. راجع DataFrames وDataFrame-based MLlib.
• واجهات برمجة تطبيقات SparkR لمطوري R. تتضمن الفئات الرئيسية ما يلي:
  • SparkSession - SparkSession هي نقطة الإدخال إلى SparkR. راجع نقطة البداية: SparkSession.
  • SparkDataFrame - مجموعة موزعة من البيانات المجمعة في أعمدة مسماة. راجع مجموعات البيانات وإطارات البيانات وإنشاء DataFrames وإنشاء SparkDataFrames.
• Scala APIs لمطوري Scala. تتضمن الفئات الرئيسية ما يلي:
  • SparkSession - نقطة الإدخال إلى برمجة Spark باستخدام Dataset وDataFrame API. راجع نقطة البداية: SparkSession.
  • مجموعة البيانات - مجموعة مكتوبة بقوة من الكائنات الخاصة بالمجال التي يمكن تحويلها بالتوازي باستخدام العمليات الوظيفية أو العلائقية. يحتوي كل Dataset منها أيضا على طريقة عرض غير منظمة تسمى DataFrame، وهي عبارة عن Dataset صف. راجع مجموعات البيانات وDataFrames وإنشاء مجموعات البيانات وإنشاء DataFrames ووظائف DataFrame.
• واجهات برمجة تطبيقات Java لمطوري Java. تتضمن الفئات الرئيسية ما يلي:
  • SparkSession - نقطة الإدخال إلى برمجة Spark باستخدام Dataset وDataFrame API. راجع نقطة البداية: SparkSession.
  • مجموعة البيانات - مجموعة مكتوبة بقوة من الكائنات الخاصة بالمجال التي يمكن تحويلها بالتوازي باستخدام العمليات الوظيفية أو العلائقية. يحتوي كل Dataset منها أيضا على طريقة عرض غير منظمة تسمى DataFrame، وهي عبارة عن Dataset صف. راجع مجموعات البيانات وDataFrames وإنشاء مجموعات البيانات وإنشاء DataFrames ووظائف DataFrame.

لمعرفة كيفية استخدام واجهات برمجة تطبيقات Apache Spark على Azure Databricks، راجع:

• PySpark على Azure Databricks
• Azure Databricks لمطوري R
• Azure Databricks لمطوري Scala
• بالنسبة إلى Java، يمكنك تشغيل تعليمة Java البرمجية كوظيفة JAR.