اقرأ باللغة الإنجليزية

مشاركة عبر


تعيين خصائص تكوين Spark على Azure Databricks

يمكنك تعيين خصائص تكوين Spark (تكوينات Spark) لتخصيص الإعدادات في بيئة الحوسبة الخاصة بك.

توصي Databricks بشكل عام بعدم تكوين معظم خصائص Spark. خاصة عند الترحيل من Apache Spark مفتوح المصدر أو ترقية إصدارات وقت تشغيل Databricks، يمكن أن تتجاوز تكوينات Spark القديمة السلوكيات الافتراضية الجديدة التي تعمل على تحسين أحمال العمل.

بالنسبة للعديد من السلوكيات التي تتحكم بها خصائص Spark، يوفر Azure Databricks أيضا خيارات لتمكين السلوك على مستوى الجدول أو لتكوين سلوك مخصص كجزء من عملية الكتابة. على سبيل المثال، تم التحكم في تطور المخطط مسبقا بواسطة خاصية Spark، ولكن الآن له تغطية في SQL وPython وSc scala. راجع بناء جملة تطور المخطط للدمج.

تكوين خصائص Spark لدفاتر الملاحظات والمهام

يمكنك تعيين خصائص Spark لدفاتر الملاحظات والمهام. يعتمد نطاق التكوين على كيفية تعيينه.

الخصائص التي تم تكوينها: ينطبق على:
استخدام تكوين الحساب يتم تشغيل جميع دفاتر الملاحظات والمهام باستخدام مورد الحوسبة.
داخل دفتر ملاحظات فقط SparkSession لدفتر الملاحظات الحالي.

للحصول على إرشادات حول تكوين خصائص Spark على مستوى الحساب، راجع تكوين Spark.

لتعيين خاصية Spark في دفتر ملاحظات، استخدم بناء الجملة التالي:

SQL

SET spark.sql.ansi.enabled = true

Python

spark.conf.set("spark.sql.ansi.enabled", "true")

Scala

spark.conf.set("spark.sql.ansi.enabled", "true")

تكوين خصائص Spark في Databricks SQL

يسمح Databricks SQL للمسؤولين بتكوين خصائص Spark للوصول إلى البيانات في قائمة إعدادات مساحة العمل. راجع تمكين تكوين الوصول إلى البيانات

بخلاف تكوينات الوصول إلى البيانات، يسمح Databricks SQL فقط بحفنة من تكوينات Spark، والتي تم الاسم المستعار لأسماء أقصر للتبسيط. راجع معلمات التكوين.

بالنسبة لمعظم تكوينات SQL المدعومة، يمكنك تجاوز السلوك العمومي في جلسة العمل الحالية. يقوم المثال التالي بإيقاف تشغيل وضع ANSI:

SET ANSI_MODE = false

تكوين خصائص Spark لخطوط أنابيب Delta Live Tables

تسمح لك Delta Live Tables بتكوين خصائص Spark للبنية الأساسية لبرنامج ربط العمليات التجارية أو لمورد حساب واحد تم تكوينه لمسار أو للتدفقات الفردية أو طرق العرض المجسدة أو جداول البث.

يمكنك تعيين البنية الأساسية لبرنامج ربط العمليات التجارية واحسب خصائص Spark باستخدام واجهة المستخدم أو JSON. راجع تكوين مسار Delta Live Tables.

spark_conf استخدم الخيار في دالات مصمم DLT لتكوين خصائص Spark للتدفقات أو طرق العرض أو الجداول. راجع خصائص جداول Python Delta Live.

تكوين خصائص Spark لدفاتر الملاحظات والوظائف بلا خادم

لا تدعم الحوسبة غير المقسمة إعداد معظم خصائص Spark لدفاتر الملاحظات أو المهام. فيما يلي الخصائص التي يمكنك تكوينها:

  • spark.sql.legacy.timeParserPolicy (القيمة الافتراضية هي EXCEPTION)
  • spark.sql.session.timeZone (القيمة الافتراضية هي Etc/UTC)
  • spark.sql.shuffle.partitions (القيمة الافتراضية هي auto)
  • spark.sql.ansi.enabled (القيمة الافتراضية هي true)