تعيين خصائص تكوين Spark على Azure Databricks
يمكنك تعيين خصائص تكوين Spark (تكوينات Spark) لتخصيص الإعدادات في بيئة الحوسبة الخاصة بك.
توصي Databricks بشكل عام بعدم تكوين معظم خصائص Spark. خاصة عند الترحيل من Apache Spark مفتوح المصدر أو ترقية إصدارات وقت تشغيل Databricks، يمكن أن تتجاوز تكوينات Spark القديمة السلوكيات الافتراضية الجديدة التي تعمل على تحسين أحمال العمل.
بالنسبة للعديد من السلوكيات التي تتحكم بها خصائص Spark، يوفر Azure Databricks أيضا خيارات لتمكين السلوك على مستوى الجدول أو لتكوين سلوك مخصص كجزء من عملية الكتابة. على سبيل المثال، تم التحكم في تطور المخطط مسبقا بواسطة خاصية Spark، ولكن الآن له تغطية في SQL وPython وSc scala. راجع بناء جملة تطور المخطط للدمج.
يمكنك تعيين خصائص Spark لدفاتر الملاحظات والمهام. يعتمد نطاق التكوين على كيفية تعيينه.
الخصائص التي تم تكوينها: | ينطبق على: |
---|---|
استخدام تكوين الحساب | يتم تشغيل جميع دفاتر الملاحظات والمهام باستخدام مورد الحوسبة. |
داخل دفتر ملاحظات | فقط SparkSession لدفتر الملاحظات الحالي. |
للحصول على إرشادات حول تكوين خصائص Spark على مستوى الحساب، راجع تكوين Spark.
لتعيين خاصية Spark في دفتر ملاحظات، استخدم بناء الجملة التالي:
SET spark.sql.ansi.enabled = true
spark.conf.set("spark.sql.ansi.enabled", "true")
spark.conf.set("spark.sql.ansi.enabled", "true")
يسمح Databricks SQL للمسؤولين بتكوين خصائص Spark للوصول إلى البيانات في قائمة إعدادات مساحة العمل. راجع تمكين تكوين الوصول إلى البيانات
بخلاف تكوينات الوصول إلى البيانات، يسمح Databricks SQL فقط بحفنة من تكوينات Spark، والتي تم الاسم المستعار لأسماء أقصر للتبسيط. راجع معلمات التكوين.
بالنسبة لمعظم تكوينات SQL المدعومة، يمكنك تجاوز السلوك العمومي في جلسة العمل الحالية. يقوم المثال التالي بإيقاف تشغيل وضع ANSI:
SET ANSI_MODE = false
تسمح لك Delta Live Tables بتكوين خصائص Spark للبنية الأساسية لبرنامج ربط العمليات التجارية أو لمورد حساب واحد تم تكوينه لمسار أو للتدفقات الفردية أو طرق العرض المجسدة أو جداول البث.
يمكنك تعيين البنية الأساسية لبرنامج ربط العمليات التجارية واحسب خصائص Spark باستخدام واجهة المستخدم أو JSON. راجع تكوين مسار Delta Live Tables.
spark_conf
استخدم الخيار في دالات مصمم DLT لتكوين خصائص Spark للتدفقات أو طرق العرض أو الجداول. راجع خصائص جداول Python Delta Live.
لا تدعم الحوسبة غير المقسمة إعداد معظم خصائص Spark لدفاتر الملاحظات أو المهام. فيما يلي الخصائص التي يمكنك تكوينها:
spark.sql.legacy.timeParserPolicy
(القيمة الافتراضية هيEXCEPTION
)spark.sql.session.timeZone
(القيمة الافتراضية هيEtc/UTC
)spark.sql.shuffle.partitions
(القيمة الافتراضية هيauto
)spark.sql.ansi.enabled
(القيمة الافتراضية هيtrue
)