تحديثات صيانة وقت تشغيل Databricks

  • مقالة

تسرد هذه المقالة تحديثات الصيانة لإصدارات وقت تشغيل Databricks المدعومة. لإضافة تحديث صيانة إلى نظام مجموعة موجود، أعد تشغيل نظام المجموعة. للحصول على تحديثات الصيانة على إصدارات وقت تشغيل Databricks غير المدعومة، راجع تحديثات الصيانة لوقت تشغيل Databricks (مؤرشف).

إشعار

يتم تنظيم الإصدارات. قد لا يتم تحديث حساب Azure Databricks لبضعة أيام بعد تاريخ الإصدار الأولي.

إصدارات وقت تشغيل Databricks

تحديثات الصيانة حسب الإصدار:

Databricks Runtime 15.0

راجع Databricks Runtime 15.0.

  • 25 أبريل 2024
    • [SPARK-47786] يجب ألا تصبح SELECT DISTINCT () بنية SELECT DISTINCT () (العودة إلى السلوك السابق)
    • [SPARK-47802][SQL] العودة () من معنى البنية () إلى المعنى *
    • [SPARK-47509][SQL] حظر تعبيرات الاستعلام الفرعي في lambda ووظائف الترتيب الأعلى
    • [SPARK-47722] انتظر حتى ينتهي عمل خلفية RocksDB قبل الإغلاق
    • [SPARK-47081][CONNECT] [متابعة] تحسين قابلية استخدام معالج التقدم
    • [SPARK-47694][CONNECT] جعل الحد الأقصى لحجم الرسالة قابلا للتكوين على جانب العميل
    • [SPARK-47669][SQL] [CONNECT] [PYTHON] اضافه Column.try_cast
    • [SPARK-47664][PYTHON] [CONNECT] [Cherry-pick-15.0] التحقق من صحة اسم العمود باستخدام المخطط المخزن مؤقتا
    • [SPARK-47818][CONNECT] [Cherry-pick-15.0] تقديم ذاكرة التخزين المؤقت للخطة في Spark الاتصال Planner لتحسين أداء طلبات التحليل
    • [SPARK-47704][SQL] فشل تحليل JSON مع "java.lang.ClassCastException" عند تمكين spark.sql.json.enablePartialResults
    • [SPARK-47755][CONNECT] يجب أن يفشل Pivot عندما يكون عدد القيم المميزة كبيرا جدا
    • [SPARK-47713][SQL] [CONNECT] إصلاح فشل الانضمام الذاتي
    • [SPARK-47812][CONNECT] دعم تسلسل SparkSession لعامل ForEachBatch
    • [SPARK-47828][CONNECT] [PYTHON] DataFrameWriterV2.overwrite فشل مع خطة غير صالحة
    • [SPARK-47862][PYTHON] [CONNECT] إصلاح إنشاء ملفات proto
    • [SPARK-47800][SQL] إنشاء أسلوب جديد للمعرف لتحويل tableIdentifier
    • تحديثات أمان نظام التشغيل.
  • 3 أبريل 2024
    • (تغيير السلوك) لضمان سلوك متسق عبر أنواع الحوسبة، تطابق PySpark UDFs على المجموعات المشتركة الآن سلوك UDFs على أنظمة المجموعات المعينة دون عزل. يتضمن هذا التحديث التغييرات التالية التي قد تؤدي إلى قطع التعليمات البرمجية الموجودة:
      • لم تعد UDFs ذات string نوع إرجاع تحول ضمنيا القيم غيرstring إلى string قيم. في السابق، كانت UDFs ذات نوع str الإرجاع تقوم بتضمين القيمة المرجعة مع دالة str() بغض النظر عن نوع البيانات الفعلي للقيمة التي تم إرجاعها.
      • لم تعد UDFs ذات timestamp أنواع العائدات تطبق ضمنيا تحويلا إلى timestamp باستخدام timezone.
      • لم تعد تكوينات spark.databricks.sql.externalUDF.* نظام مجموعة Spark تنطبق على PySpark UDFs على المجموعات المشتركة.
      • لم يعد تكوين spark.databricks.safespark.externalUDF.plan.limit نظام مجموعة Spark يؤثر على PySpark UDFs، مما يزيل قيود المعاينة العامة البالغة 5 UDFs لكل استعلام ل PySpark UDFs.
      • لم يعد تكوين spark.databricks.safespark.sandbox.size.default.mib نظام مجموعة Spark ينطبق على PySpark UDFs على المجموعات المشتركة. بدلا من ذلك، يتم استخدام الذاكرة المتوفرة على النظام. للحد من ذاكرة PySpark UDFs، استخدم spark.databricks.pyspark.udf.isolation.memoryLimit مع الحد الأدنى من 100mالقيمة .
    • TimestampNTZ يتم الآن دعم نوع البيانات ك عمود تجميع مع تكوين أنظمة مجموعات سائلة. راجع استخدام التجميع السائل لجداول Delta.
    • [SPARK-47218][SQL] XML: تجاهل علامات الصف التي تم التعليق عليها في رمز XML المميز
    • [SPARK-46990][SQL] إصلاح تحميل ملفات Avro الفارغة المنبعثة من مراكز الأحداث
    • [SPARK-47033][SQL] إصلاح EXECUTE IMMEDIATE USING لا يتعرف على أسماء متغيرات جلسة العمل
    • [SPARK-47368][SQL] إزالة التحقق من تكوين inferTimestampNTZ في ParquetRowConverter
    • [SPARK-47561][SQL] إصلاح مشكلات ترتيب قاعدة المحلل حول الاسم المستعار
    • [SPARK-47638][PS] [CONNECT] تخطي التحقق من صحة اسم العمود في PS
    • [BACKPORT] [[SPARK-46906]]https://issues.apache.org/jira/browse/SPARK-46906) [SS] إضافة فحص لتغيير عامل التشغيل ذي الحالة للبث
    • [SPARK-47569][SQL] عدم السماح بمقارنة المتغير.
    • [SPARK-47241][SQL] إصلاح مشكلات ترتيب القواعد ل ExtractGenerator
    • [SPARK-47218] [SQL] XML: تم تغيير SchemaOfXml للفشل في وضع DROPMALFORMED
    • [SPARK-47300][SQL] quoteIfNeeded يجب أن يبدأ معرف عرض الأسعار بأرقام
    • [SPARK-47009][SQL] [ترتيب] تمكين إنشاء دعم الجدول للترتر
    • [SPARK-47322][PYTHON] [CONNECT] جعل withColumnsRenamed معالجة تكرار أسماء الأعمدة متسقة مع withColumnRenamed
    • [SPARK-47544][PYTHON] أسلوب منشئ SparkSession غير متوافق مع visual studio code intellisense
    • [SPARK-47511][SQL] التعابير المتعارف عليها عن طريق إعادة تعيين المعرف
    • [SPARK-47385] إصلاح مرمزات المجموعة باستخدام إدخالات الخيار.
    • [SPARK-47200][SS] فئة الخطأ لخطأ دالة مستخدم متلقي دفعة Foreach
    • [SPARK-47135][SS] تنفيذ فئات الخطأ لاستثناءات فقدان بيانات Kafka
    • [SPARK-38708][SQL] ترقية عميل Hive Metastore إلى 3.1.3 ل Hive 3.1
    • [SPARK-47305][SQL] إصلاح PruneFilters لوضع علامة isStreaming ل LocalRelation بشكل صحيح عندما تحتوي الخطة على كل من الدفعة والتدفق
    • [SPARK-47380][CONNECT] تأكد من جانب الخادم أن SparkSession هو نفسه
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 14.3

راجع Databricks Runtime 14.3 LTS.

  • 25 أبريل 2024
    • [SPARK-47543][CONNECT] [PYTHON] الاستدلال dict من MapType Pandas DataFrame للسماح بإنشاء DataFrame
    • [SPARK-47694][CONNECT] جعل الحد الأقصى لحجم الرسالة قابلا للتكوين على جانب العميل
    • [SPARK-47664][PYTHON] [CONNECT] [Cherry-pick-14.3] التحقق من صحة اسم العمود باستخدام المخطط المخزن مؤقتا
    • [SPARK-47862][PYTHON] [CONNECT] إصلاح إنشاء ملفات proto
    • العودة إلى "[SPARK-47543][CONNECT][PYTHON] الاستدلال dict كما هو الحال MapType من Pandas DataFrame للسماح بإنشاء DataFrame"
    • [SPARK-47704][SQL] فشل تحليل JSON مع "java.lang.ClassCastException" عند تمكين spark.sql.json.enablePartialResults
    • [SPARK-47812][CONNECT] دعم تسلسل SparkSession لعامل ForEachBatch
    • [SPARK-47818][CONNECT] [Cherry-pick-14.3] تقديم ذاكرة التخزين المؤقت للخطة في Spark الاتصال Planner لتحسين أداء طلبات التحليل
    • [SPARK-47828][CONNECT] [PYTHON] DataFrameWriterV2.overwrite فشل مع خطة غير صالحة
    • تحديثات أمان نظام التشغيل.
  • 6 أبريل 2024
    • (تغيير السلوك) لضمان سلوك متسق عبر أنواع الحوسبة، تطابق PySpark UDFs على المجموعات المشتركة الآن سلوك UDFs على أنظمة المجموعات المعينة دون عزل. يتضمن هذا التحديث التغييرات التالية التي قد تؤدي إلى قطع التعليمات البرمجية الموجودة:
      • لم تعد UDFs ذات string نوع إرجاع تحول ضمنيا القيم غيرstring إلى string قيم. في السابق، كانت UDFs ذات نوع str الإرجاع تقوم بتضمين القيمة المرجعة مع دالة str() بغض النظر عن نوع البيانات الفعلي للقيمة التي تم إرجاعها.
      • لم تعد UDFs ذات timestamp أنواع العائدات تطبق ضمنيا تحويلا إلى timestamp باستخدام timezone.
      • لم تعد تكوينات spark.databricks.sql.externalUDF.* نظام مجموعة Spark تنطبق على PySpark UDFs على المجموعات المشتركة.
      • لم يعد تكوين spark.databricks.safespark.externalUDF.plan.limit نظام مجموعة Spark يؤثر على PySpark UDFs، مما يزيل قيود المعاينة العامة البالغة 5 UDFs لكل استعلام ل PySpark UDFs.
      • لم يعد تكوين spark.databricks.safespark.sandbox.size.default.mib نظام مجموعة Spark ينطبق على PySpark UDFs على المجموعات المشتركة. بدلا من ذلك، يتم استخدام الذاكرة المتوفرة على النظام. للحد من ذاكرة PySpark UDFs، استخدم spark.databricks.pyspark.udf.isolation.memoryLimit مع الحد الأدنى من 100mالقيمة .
    • TimestampNTZ يتم الآن دعم نوع البيانات ك عمود تجميع مع تكوين أنظمة مجموعات سائلة. راجع استخدام التجميع السائل لجداول Delta.
    • [SPARK-47511][SQL] التعابير المتعارف عليها عن طريق إعادة تعيين المعرف
    • [SPARK-47509][SQL] حظر تعبيرات الاستعلام الفرعي في lambda ووظائف الترتيب الأعلى
    • [SPARK-46990][SQL] إصلاح تحميل ملفات Avro الفارغة المنبعثة من مراكز الأحداث
    • [SPARK-47638][PS] [CONNECT] تخطي التحقق من صحة اسم العمود في PS
    • تحديثات أمان نظام التشغيل.
  • 3 يناير 2024
    • [SPARK-46933] إضافة مقياس وقت تنفيذ الاستعلام إلى الموصلات التي تستخدم JDBCRDD.
    • [SPARK-46763] إصلاح فشل التأكيد في ReplaceDeduplicateWithAggregate للسمات المكررة.
    • [SPARK-46954] XML: التفاف InputStreamReader مع BufferedReader.
    • [SPARK-46655] تخطي اللحاق بسياق الاستعلام في DataFrame الأساليب.
    • [SPARK-44815] ذاكرة التخزين المؤقت df.schema لتجنب RPC إضافية.
    • [SPARK-46952] XML: حد حجم السجل التالف.
    • [SPARK-46794] إزالة الاستعلامات الفرعية من قيود LogicalRDD.
    • [SPARK-46736] الاحتفاظ بحقل رسالة فارغ في موصل protobuf.
    • [SPARK-45182] تجاهل إكمال المهمة من المرحلة القديمة بعد إعادة محاولة مرحلة الأصل غير المحدد كما هو محدد بواسطة المجموع الاختباري.
    • [SPARK-46414] استخدم prependBaseUri لعرض استيرادات javascript.
    • [SPARK-46383] تقليل استخدام كومة برامج التشغيل عن طريق تقليل عمر TaskInfo.accumulables().
    • [SPARK-46861] تجنب حالة التوقف التام في DAGScheduler.
    • [SPARK-46954] XML: تحسين بحث فهرس المخطط.
    • [SPARK-46676] يجب ألا يفشل dropDuplicatesWithinWatermark عند المتعارف عليه للخطة.
    • [SPARK-46644] تغيير الإضافة والدمج في SQLMetric لاستخدام isZero.
    • [SPARK-46731] إدارة مثيل موفر مخزن الحالة حسب مصدر بيانات الحالة - القارئ.
    • [SPARK-46677] إصلاح dataframe["*"] الدقة.
    • [SPARK-46610] يجب أن يطرح إنشاء جدول استثناء عندما لا تكون هناك قيمة لمفتاح في الخيارات.
    • [SPARK-46941] لا يمكن إدراج عقدة حد مجموعة نافذة لحساب أعلى k إذا كان يحتوي على SizeBasedWindowFunction.
    • [SPARK-45433] إصلاح استنتاج مخطط CSV/JSON عندما لا تتطابق الطوابع الزمنية مع تنسيق الطابع الزمني المحدد.
    • [SPARK-46930] إضافة دعم لبادئة مخصصة لحقول نوع الاتحاد في Avro.
    • [SPARK-46227] Backport إلى 14.3.
    • [SPARK-46822] احترام spark.sql.legacy.charVarcharAsString عند تحويل نوع jdbc إلى نوع المحفز في jdbc.
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 14.2

راجع Databricks Runtime 14.2.

  • 25 أبريل 2024
    • [SPARK-47704][SQL] فشل تحليل JSON مع "java.lang.ClassCastException" عند تمكين spark.sql.json.enablePartialResults
    • [SPARK-47828][CONNECT] [PYTHON] DataFrameWriterV2.overwrite فشل مع خطة غير صالحة
    • تحديثات أمان نظام التشغيل.
  • 9 أبريل 2024
    • بلا
    • [SPARK-47309][SQL] [XML] إضافة اختبارات وحدة استنتاج المخطط
    • [SPARK-46990][SQL] إصلاح تحميل ملفات Avro الفارغة المنبعثة من مراكز الأحداث
    • [SPARK-47638][PS] [CONNECT] تخطي التحقق من صحة اسم العمود في PS
    • [SPARK-47509][SQL] حظر تعبيرات الاستعلام الفرعي في lambda ووظائف الترتيب الأعلى
    • [SPARK-38708][SQL] ترقية عميل Hive Metastore إلى 3.1.3 ل Hive 3.1
    • تحديثات أمان نظام التشغيل.
  • 8 فبراير 2024
    • لا يتم دعم استعلامات موجز البيانات (CDF) على طرق العرض المجسدة في كتالوج Unity، وترجع محاولة تشغيل استعلام CDF باستخدام طريقة عرض مجسدة في كتالوج Unity خطأ. تدعم جداول دفق كتالوج Unity استعلامات CDF على الجداول غيرAPPLY CHANGES الموجودة في Databricks Runtime 14.1 والإحدث. استعلامات CDF غير مدعومة مع جداول دفق كتالوج Unity في Databricks Runtime 14.0 والإصدارات السابقة.
    • [SPARK-46930] إضافة دعم لبادئة مخصصة لحقول نوع الاتحاد في Avro.
    • [SPARK-46822] احترام spark.sql.legacy.charVarcharAsString عند تحويل نوع jdbc إلى نوع المحفز في jdbc.
    • [SPARK-46952] XML: حد حجم السجل التالف.
    • [SPARK-46644] تغيير الإضافة والدمج في SQLMetric لاستخدام isZero.
    • [SPARK-46861] تجنب حالة التوقف التام في DAGScheduler.
    • [SPARK-46794] إزالة الاستعلامات الفرعية من قيود LogicalRDD.
    • [SPARK-46941] لا يمكن إدراج عقدة حد مجموعة نافذة لحساب أعلى k إذا كان يحتوي على SizeBasedWindowFunction.
    • [SPARK-46933] إضافة مقياس وقت تنفيذ الاستعلام إلى الموصلات التي تستخدم JDBCRDD.
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2024
    • [SPARK-46382] XML: تحديث مستند ل ignoreSurroundingSpaces.
    • [SPARK-46382] XML: التقاط القيم المتداخلة بين العناصر.
    • [SPARK-46763] إصلاح فشل التأكيد في ReplaceDeduplicateWithAggregate للسمات المكررة.
    • Revert [SPARK-46769] تحسين استنتاج المخطط ذي الصلة بالطوابع الزمنية.
    • [SPARK-46677] إصلاح dataframe["*"] الدقة.
    • [SPARK-46382] XML: الافتراضي يتجاهل المساحات المتجولة إلى true.
    • [SPARK-46633] إصلاح قارئ Avro للتعامل مع الكتل ذات الطول الصفري.
    • [SPARK-45964] قم بإزالة ملحق sql الخاص في حزمة XML وJSON ضمن حزمة المحفز.
    • [SPARK-46581] تحديث التعليق على isZero في AccumulatorV2.
    • [SPARK-45912] تحسين واجهة برمجة تطبيقات XSDToSchema: قم بالتغيير إلى واجهة برمجة تطبيقات HDFS لإمكانية وصول ذوي الاحتياجات الخاصة إلى التخزين السحابي.
    • [SPARK-45182] تجاهل إكمال المهمة من المرحلة القديمة بعد إعادة محاولة مرحلة الأصل غير المحدد كما هو محدد بواسطة المجموع الاختباري.
    • [SPARK-46660] تقوم طلبات إعادة التتبع بتحديثات فعالية SessionHolder.
    • [SPARK-46610] يجب أن يطرح إنشاء جدول استثناء عندما لا تكون هناك قيمة لمفتاح في الخيارات.
    • [SPARK-46383] تقليل استخدام كومة برامج التشغيل عن طريق تقليل عمر TaskInfo.accumulables().
    • [SPARK-46769] تحسين استنتاج المخطط ذي الصلة بالطوابع الزمنية.
    • [SPARK-46684] إصلاح CoGroup.applyInPandas/السهم لتمرير الوسيطات بشكل صحيح.
    • [SPARK-46676] يجب ألا يفشل dropDuplicatesWithinWatermark عند المتعارف عليه للخطة.
    • [SPARK-45962] الخيار إزالة treatEmptyValuesAsNulls واستخدام nullValue بدلا من ذلك في XML.
    • [SPARK-46541] إصلاح مرجع العمود الغامض في الصلة الذاتية.
    • [SPARK-46599] XML: استخدم TypeCoercion.findTightestCommonType للتحقق من التوافق.
    • تحديثات أمان نظام التشغيل.
  • 17 يناير 2024
    • shuffle يتم تحديث عقدة خطة الشرح التي تم إرجاعها بواسطة استعلام Photon لإضافة causedBroadcastJoinBuildOOM=true العلامة عند حدوث خطأ نفاد الذاكرة أثناء التبديل العشوائي الذي يعد جزءا من صلة البث.
    • لتجنب زيادة زمن الانتقال عند الاتصال عبر TLSv1.3، يتضمن إصدار الصيانة هذا تصحيحا لتثبيت JDK 8 لإصلاح خطأ JDK JDK-8293562.
    • [SPARK-46261]DataFrame.withColumnsRenamed يجب أن تحافظ على ترتيب الإملاء/الخريطة.
    • [SPARK-46538] إصلاح مشكلة مرجع العمود الغامض في ALSModel.transform.
    • [SPARK-46145] لا تطرح spark.catalog.listTables استثناء عند عدم العثور على الجدول أو طريقة العرض.
    • [SPARK-46484] اجعل resolveOperators وظائف المساعد تحتفظ ب معرف الخطة.
    • [SPARK-46394] إصلاح مشكلات spark.catalog.listDatabases() على المخططات ذات الأحرف الخاصة عند spark.sql.legacy.keepCommandOutputSchema تعيينها إلى true.
    • [SPARK-46609] تجنب الانفجار الأسي في PartitioningPreservingUnaryExecNode.
    • [SPARK-46446] تعطيل الاستعلامات الفرعية باستخدام OFFSET المرتبطة لإصلاح خطأ التصحيح.
    • [SPARK-46152] XML: إضافة دعم DecimalType في استنتاج مخطط XML.
    • [SPARK-46602] النشر allowExisting في إنشاء طريقة العرض عندما لا يكون العرض/الجدول موجودا.
    • [SPARK-45814] اجعل مكالمة سهمConverters.createEmptyArrowBatch قريبة() لتجنب تسرب الذاكرة.
    • [SPARK-46058] إضافة علامة منفصلة ل privateKeyPassword.
    • [SPARK-46132] دعم كلمة مرور المفتاح لمفاتيح JKS ل RPC SSL.
    • [SPARK-46600] نقل التعليمات البرمجية المشتركة بين SqlConf وSqlApiConf إلى SqlApiConfHelper.
    • [SPARK-46478] قم بإعادة SPARK-43049 لاستخدام oracle varchar(255) للسلسلة.
    • [SPARK-46417] لا تفشل عند استدعاء hive.getTable و throwException خطأ.
    • [SPARK-46153] XML: إضافة دعم TimestampNTZType.
    • [BACKPORT] [[SPARK-46056]]https://issues.apache.org/jira/browse/SPARK-46056) إصلاح NPE للقراءة المتجهة Parquet بالقيمة الافتراضية byteArrayDecimalType.
    • [SPARK-46466] يجب ألا يقوم قارئ باركيه المتجه بإعادة قاعدة البيانات للطوابع الزمنية ntz.
    • [SPARK-46260]DataFrame.withColumnsRenamed يجب أن تحترم ترتيب الإملاء.
    • [SPARK-46036] إزالة فئة الخطأ من الدالة raise_error.
    • [SPARK-46294] تنظيف دلالات init مقابل القيمة الصفرية.
    • [SPARK-46173] تخطي trimAll call أثناء تحليل التاريخ.
    • [SPARK-46250] test_parity_listener deflake.
    • [SPARK-46587] XML: إصلاح تحويل عدد صحيح كبير ل XSD.
    • [SPARK-46396] يجب ألا يطرح استدلال الطابع الزمني استثناء.
    • [SPARK-46241] إصلاح روتين معالجة الأخطاء حتى لا يقع في الإعادة اللانهائية.
    • [SPARK-46355] XML: أغلق InputStreamReader عند اكتمال القراءة.
    • [SPARK-46370] إصلاح الخطأ عند الاستعلام من الجدول بعد تغيير الإعدادات الافتراضية للعمود.
    • [SPARK-46265] تجعل التأكيدات في AddArtifact RPC عميل الاتصال غير متوافق مع المجموعات القديمة.
    • [SPARK-46308] منع معالجة الأخطاء المتكررة.
    • [SPARK-46337] اجعل CTESubstitution الاحتفاظ ب PLAN_ID_TAG.
  • 14 ديسمبر 2023
    • [SPARK-46141] قم بتغيير الإعداد الافتراضي ل spark.sql.legacy.ctePrecedencePolicy إلى CORRECTED.
    • [SPARK-45730] اجعل ReloadingX509TrustManagerSuite أقل خفقان.
    • [SPARK-45852] التعامل بأمان مع خطأ الإعادة أثناء التسجيل.
    • [SPARK-45808] معالجة الأخطاء بشكل أفضل لاستثناءات SQL.
    • [SPARK-45920] يجب أن تكون المجموعة حسب الترتيبية غير متكررة.
    • العودة "[SPARK-45649] توحيد إطار عمل التحضير ل OffsetWindowFunctionFrame".
    • [SPARK-45733] دعم نهج إعادة المحاولة المتعددة.
    • [SPARK-45509] إصلاح السلوك المرجعي لعمود df ل Spark الاتصال.
    • [SPARK-45655] السماح بتعبيرات غير محددة داخل AggregateFunctions في CollectMetrics.
    • [SPARK-45905] يجب أن يحتفظ النوع الأقل شيوعا بين الأنواع العشرية بالأرقام المتكاملة أولا.
    • [SPARK-45136] تحسين ClosureCleaner مع دعم Ammonite.
    • [SPARK-46255] دعم النوع المعقد -> تحويل السلسلة.
    • [SPARK-45859] جعل كائنات UDF في ml.functions كسولة.
    • [SPARK-46028] جعل Column.__getitem__ عمود الإدخال يقبل.
    • [SPARK-45798] تأكيد معرف جلسة العمل من جانب الخادم.
    • [SPARK-45892] التحقق من صحة خطة محسن إعادة بناء التعليمات البرمجية validateSchemaOutput لفصل و validateExprIdUniqueness.
    • [SPARK-45844] تنفيذ حساسية حالة الأحرف ل XML.
    • [SPARK-45770] تقديم خطة DataFrameDropColumns ل Dataframe.drop.
    • [SPARK-44790] XML: to_xml التنفيذ والروابط ل python والاتصال وSQL.
    • [SPARK-45851] دعم نهج متعددة في عميل scala.
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2023
    • تثبيت حزمة جديدة، pyarrow-hotfix لمعالجة ثغرة أمنية في PyArrow RCE.
    • تم إصلاح مشكلة حيث تم تفسير التسطير السفلي الهارب في getColumns العمليات التي تنشأ من عملاء JDBC أو ODBC بشكل خاطئ على أنها أحرف بدل.
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • [SPARK-45852] عميل Python ل Spark الاتصال الآن يلتقط أخطاء الإعادة أثناء تحويل النص.
    • [SPARK-45808] معالجة الأخطاء المحسنة لاستثناءات SQL.
    • [SPARK-45920]GROUP BY الترتيبي لا يحل محل الترتيبي.
    • العودة [SPARK-45649].
    • [SPARK-45733] دعم إضافي لنهج إعادة المحاولة المتعددة.
    • [SPARK-45509] سلوك مرجع العمود الثابت df ل Spark الاتصال.
    • [SPARK-45655] السماح بتعبيرات غير محددة داخل AggregateFunctions في CollectMetrics.
    • [SPARK-45905] يحتفظ النوع الأقل شيوعا بين الأنواع العشرية الآن بالأرقام المتكاملة أولا.
    • [SPARK-45136] تحسين ClosureCleaner مع دعم Ammonite.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • [SPARK-46028]Column.__getitem__ يقبل أعمدة الإدخال.
    • [SPARK-45798] تأكيد معرف جلسة العمل من جانب الخادم.
    • [SPARK-45892] التحقق من صحة خطة محسن إعادة بناء التعليمات البرمجية validateSchemaOutput لفصل و validateExprIdUniqueness.
    • [SPARK-45844] تنفيذ حساسية حالة الأحرف ل XML.
    • [SPARK-45770] تم إصلاح دقة العمود باستخدام DataFrameDropColumns ل Dataframe.drop.
    • [SPARK-44790] تمت إضافة to_xml التنفيذ والروابط ل Python وSpark الاتصال وSQL.
    • [SPARK-45851] دعم إضافي لنهج متعددة في عميل Scala.
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 14.1

راجع Databricks Runtime 14.1.

  • 25 أبريل 2024
    • [SPARK-47704][SQL] فشل تحليل JSON مع "java.lang.ClassCastException" عند تمكين spark.sql.json.enablePartialResults
    • [SPARK-47828][CONNECT] [PYTHON] DataFrameWriterV2.overwrite فشل مع خطة غير صالحة
    • تحديثات أمان نظام التشغيل.
  • 9 أبريل 2024
    • بلا
    • [SPARK-47638][PS] [CONNECT] تخطي التحقق من صحة اسم العمود في PS
    • [SPARK-38708][SQL] ترقية عميل Hive Metastore إلى 3.1.3 ل Hive 3.1
    • [SPARK-47309][SQL] [XML] إضافة اختبارات وحدة استنتاج المخطط
    • [SPARK-47509][SQL] حظر تعبيرات الاستعلام الفرعي في lambda ووظائف الترتيب الأعلى
    • [SPARK-46990][SQL] إصلاح تحميل ملفات Avro الفارغة المنبعثة من مراكز الأحداث
    • تحديثات أمان نظام التشغيل.
  • 8 فبراير 2024
    • لا يتم دعم استعلامات موجز البيانات (CDF) على طرق العرض المجسدة في كتالوج Unity، وترجع محاولة تشغيل استعلام CDF باستخدام طريقة عرض مجسدة في كتالوج Unity خطأ. تدعم جداول دفق كتالوج Unity استعلامات CDF على الجداول غيرAPPLY CHANGES الموجودة في Databricks Runtime 14.1 والإحدث. استعلامات CDF غير مدعومة مع جداول دفق كتالوج Unity في Databricks Runtime 14.0 والإصدارات السابقة.
    • [SPARK-46952] XML: حد حجم السجل التالف.
    • [SPARK-45182] تجاهل إكمال المهمة من المرحلة القديمة بعد إعادة محاولة مرحلة الأصل غير المحدد كما هو محدد بواسطة المجموع الاختباري.
    • [SPARK-46794] إزالة الاستعلامات الفرعية من قيود LogicalRDD.
    • [SPARK-46933] إضافة مقياس وقت تنفيذ الاستعلام إلى الموصلات التي تستخدم JDBCRDD.
    • [SPARK-46861] تجنب حالة التوقف التام في DAGScheduler.
    • [SPARK-45582] تأكد من عدم استخدام مثيل المتجر بعد استدعاء التثبيت داخل تجميع تدفق وضع الإخراج.
    • [SPARK-46930] إضافة دعم لبادئة مخصصة لحقول نوع الاتحاد في Avro.
    • [SPARK-46941] لا يمكن إدراج عقدة حد مجموعة نافذة لحساب أعلى k إذا كان يحتوي على SizeBasedWindowFunction.
    • [SPARK-46396] يجب ألا يطرح استدلال الطابع الزمني استثناء.
    • [SPARK-46822] احترام spark.sql.legacy.charVarcharAsString عند تحويل نوع jdbc إلى نوع المحفز في jdbc.
    • [SPARK-45957] تجنب إنشاء خطة تنفيذ للأوامر غير القابلة للتنفيذ.
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2024
    • [SPARK-46684] إصلاح CoGroup.applyInPandas/السهم لتمرير الوسيطات بشكل صحيح.
    • [SPARK-46763] إصلاح فشل التأكيد في ReplaceDeduplicateWithAggregate للسمات المكررة.
    • [SPARK-45498] المتابعة: تجاهل إكمال المهمة من محاولات المرحلة القديمة.
    • [SPARK-46382] XML: تحديث مستند ل ignoreSurroundingSpaces.
    • [SPARK-46383] تقليل استخدام كومة برامج التشغيل عن طريق تقليل عمر TaskInfo.accumulables().
    • [SPARK-46382] XML: الافتراضي يتجاهل المساحات المتجولة إلى true.
    • [SPARK-46677] إصلاح dataframe["*"] الدقة.
    • [SPARK-46676] يجب ألا يفشل dropDuplicatesWithinWatermark عند المتعارف عليه للخطة.
    • [SPARK-46633] إصلاح قارئ Avro للتعامل مع الكتل ذات الطول الصفري.
    • [SPARK-45912] تحسين واجهة برمجة تطبيقات XSDToSchema: قم بالتغيير إلى واجهة برمجة تطبيقات HDFS لإمكانية وصول ذوي الاحتياجات الخاصة إلى التخزين السحابي.
    • [SPARK-46599] XML: استخدم TypeCoercion.findTightestCommonType للتحقق من التوافق.
    • [SPARK-46382] XML: التقاط القيم المتداخلة بين العناصر.
    • [SPARK-46769] تحسين استنتاج المخطط ذي الصلة بالطوابع الزمنية.
    • [SPARK-46610] يجب أن يطرح إنشاء جدول استثناء عندما لا تكون هناك قيمة لمفتاح في الخيارات.
    • [SPARK-45964] قم بإزالة ملحق sql الخاص في حزمة XML وJSON ضمن حزمة المحفز.
    • Revert [SPARK-46769] تحسين استنتاج المخطط ذي الصلة بالطوابع الزمنية.
    • [SPARK-45962] الخيار إزالة treatEmptyValuesAsNulls واستخدام nullValue بدلا من ذلك في XML.
    • [SPARK-46541] إصلاح مرجع العمود الغامض في الصلة الذاتية.
    • تحديثات أمان نظام التشغيل.
  • 17 يناير 2024
    • shuffle يتم تحديث عقدة خطة الشرح التي تم إرجاعها بواسطة استعلام Photon لإضافة causedBroadcastJoinBuildOOM=true العلامة عند حدوث خطأ نفاد الذاكرة أثناء التبديل العشوائي الذي يعد جزءا من صلة البث.
    • لتجنب زيادة زمن الانتقال عند الاتصال عبر TLSv1.3، يتضمن إصدار الصيانة هذا تصحيحا لتثبيت JDK 8 لإصلاح خطأ JDK JDK-8293562.
    • [SPARK-46538] إصلاح مشكلة مرجع العمود الغامض في ALSModel.transform.
    • [SPARK-46417] لا تفشل عند استدعاء hive.getTable و throwException خطأ.
    • [SPARK-46484] اجعل resolveOperators وظائف المساعد تحتفظ ب معرف الخطة.
    • [SPARK-46153] XML: إضافة دعم TimestampNTZType.
    • [SPARK-46152] XML: إضافة دعم DecimalType في استنتاج مخطط XML.
    • [SPARK-46145] لا تطرح spark.catalog.listTables استثناء عند عدم العثور على الجدول أو طريقة العرض.
    • [SPARK-46478] قم بإعادة SPARK-43049 لاستخدام oracle varchar(255) للسلسلة.
    • [SPARK-46394] إصلاح مشكلات spark.catalog.listDatabases() على المخططات ذات الأحرف الخاصة عند spark.sql.legacy.keepCommandOutputSchema تعيينها إلى true.
    • [SPARK-46337] اجعل CTESubstitution الاحتفاظ ب PLAN_ID_TAG.
    • [SPARK-46466] يجب ألا يقوم قارئ باركيه المتجه بإعادة قاعدة البيانات للطوابع الزمنية ntz.
    • [SPARK-46587] XML: إصلاح تحويل عدد صحيح كبير ل XSD.
    • [SPARK-45814] اجعل مكالمة سهمConverters.createEmptyArrowBatch قريبة() لتجنب تسرب الذاكرة.
    • [SPARK-46132] دعم كلمة مرور المفتاح لمفاتيح JKS ل RPC SSL.
    • [SPARK-46602] النشر allowExisting في إنشاء طريقة العرض عندما لا يكون العرض/الجدول موجودا.
    • [SPARK-46173] تخطي trimAll call أثناء تحليل التاريخ.
    • [SPARK-46355] XML: أغلق InputStreamReader عند اكتمال القراءة.
    • [SPARK-46600] نقل التعليمات البرمجية المشتركة بين SqlConf وSqlApiConf إلى SqlApiConfHelper.
    • [SPARK-46261]DataFrame.withColumnsRenamed يجب أن تحافظ على ترتيب الإملاء/الخريطة.
    • [SPARK-46056] إصلاح NPE للقراءة المتجهة Parquet بالقيمة الافتراضية byteArrayDecimalType.
    • [SPARK-46260]DataFrame.withColumnsRenamed يجب أن تحترم ترتيب الإملاء.
    • [SPARK-46250] test_parity_listener deflake.
    • [SPARK-46370] إصلاح الخطأ عند الاستعلام من الجدول بعد تغيير الإعدادات الافتراضية للعمود.
    • [SPARK-46609] تجنب الانفجار الأسي في PartitioningPreservingUnaryExecNode.
    • [SPARK-46058] إضافة علامة منفصلة ل privateKeyPassword.
  • 14 ديسمبر 2023
    • تم إصلاح مشكلة حيث تمت معالجة التسطير السفلي الهارب في عمليات getColumns التي تنشأ من عملاء JDBC أو ODBC بشكل غير صحيح وتفسيرها كأحرف بدل.
    • [SPARK-45509] إصلاح السلوك المرجعي لعمود df ل Spark الاتصال.
    • [SPARK-45844] تنفيذ حساسية حالة الأحرف ل XML.
    • [SPARK-46141] قم بتغيير الإعداد الافتراضي ل spark.sql.legacy.ctePrecedencePolicy إلى CORRECTED.
    • [SPARK-46028] جعل Column.__getitem__ عمود الإدخال يقبل.
    • [SPARK-46255] دعم النوع المعقد -> تحويل السلسلة.
    • [SPARK-45655] السماح بتعبيرات غير محددة داخل AggregateFunctions في CollectMetrics.
    • [SPARK-45433] إصلاح استنتاج مخطط CSV/JSON عندما لا تتطابق الطوابع الزمنية مع تنسيق الطابع الزمني المحدد.
    • [SPARK-45316] إضافة معلمات ignoreCorruptFiles/ignoreMissingFiles جديدة إلى HadoopRDD و NewHadoopRDD.
    • [SPARK-45852] التعامل بأمان مع خطأ الإعادة أثناء التسجيل.
    • [SPARK-45920] يجب أن تكون المجموعة حسب الترتيبية غير متكررة.
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2023
    • تثبيت حزمة جديدة، pyarrow-hotfix لمعالجة ثغرة أمنية في PyArrow RCE.
    • تم إصلاح مشكلة حيث تم تفسير التسطير السفلي الهارب في getColumns العمليات التي تنشأ من عملاء JDBC أو ODBC بشكل خاطئ على أنها أحرف بدل.
    • عند استيعاب بيانات CSV باستخدام التحميل التلقائي أو جداول البث، يتم الآن تقسيم ملفات CSV الكبيرة ويمكن معالجتها بالتوازي أثناء كل من استنتاج المخطط ومعالجة البيانات.
    • [SPARK-45892] التحقق من صحة خطة محسن إعادة بناء التعليمات البرمجية validateSchemaOutput لفصل و validateExprIdUniqueness.
    • [SPARK-45620] تستخدم واجهات برمجة التطبيقات المتعلقة ب Python UDF الآن camelCase.
    • [SPARK-44790] تمت إضافة to_xml التنفيذ والروابط ل Python وSpark الاتصال وSQL.
    • [SPARK-45770] تم إصلاح دقة العمود باستخدام DataFrameDropColumns ل Dataframe.drop.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • [SPARK-44784] جعل اختبار SBT hermetic.
    • تحديثات أمان نظام التشغيل.
  • 10 نوفمبر 2023
    • [SPARK-45545]SparkTransportConf يرث SSLOptions عند الإنشاء.
    • [SPARK-45250] دعم إضافي لملف تعريف موارد المهمة على مستوى المرحلة لمجموعات الغزل عند إيقاف تشغيل التخصيص الديناميكي.
    • [SPARK-44753] تمت إضافة قارئ وكاتب XML DataFrame ل PySpark SQL.
    • [SPARK-45396] إضافة إدخال مستند للوحدة النمطية PySpark.ml.connect .
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • [SPARK-45541] تمت إضافة SSLFactory.
    • [SPARK-45577] تم التصحيح UserDefinedPythonTableFunctionAnalyzeRunner لتمرير القيم المطوية من الوسيطات المسماة.
    • [SPARK-45562] جعل 'rowTag' خيارا مطلوبا.
    • [SPARK-45427] تمت إضافة إعدادات RPC SSL إلى SSLOptions و SparkTransportConf.
    • [SPARK-43380] تباطؤ ثابت في قراءة Avro.
    • [SPARK-45430]FramelessOffsetWindowFunction لم يعد يفشل عندما IGNORE NULLS و offset > rowCount.
    • [SPARK-45429] تمت إضافة فئات المساعد لاتصال SSL RPC.
    • [SPARK-45386] تم إصلاح مشكلة إرجاع StorageLevel.NONE 0 بشكل غير صحيح.
    • [SPARK-44219] تمت إضافة عمليات التحقق من الصحة لكل قاعدة لإعادة كتابة التحسين.
    • [SPARK-45543] تم إصلاح مشكلة كانت تتسبب InferWindowGroupLimit في حدوث مشكلة إذا لم يكن لوظائف النافذة الأخرى نفس إطار النافذة مثل الدالات المماثلة للرتبة.
    • تحديثات أمان نظام التشغيل.
  • 27 سبتمبر 2023
    • [SPARK-44823] تم التحديث black إلى 23.9.1 والتدقيق الخاطئ الثابت.
    • [SPARK-45339] يسجل PySpark الآن الأخطاء التي يعيد المحاولة.
    • Revert [SPARK-42946] بيانات حساسة منقحة متداخلة ضمن استبدالات متغيرة.
    • [SPARK-44551] التعليقات المحررة للمزامنة مع OSS.
    • [SPARK-45360] يدعم منشئ جلسة Spark التهيئة من SPARK_REMOTE.
    • [SPARK-45279] مرفق plan_id بجميع الخطط المنطقية.
    • [SPARK-45425] تم التعيين TINYINT إلى ShortType ل MsSqlServerDialect.
    • [SPARK-45419] تمت إزالة إدخال مخطط إصدار الملف للإصدارات الأكبر لتجنب إعادة استخدام rocksdb معرفات الملفات sst.
    • [SPARK-45488] دعم إضافي للقيمة في rowTag العنصر.
    • [SPARK-42205] تمت إزالة تسجيل في AccumulablesTask/Stage أحداث البدء في JsonProtocol سجلات الأحداث.
    • [SPARK-45426] دعم إضافي ل ReloadingX509TrustManager.
    • [SPARK-45256]DurationWriter يفشل عند كتابة قيم أكثر من السعة الأولية.
    • [SPARK-43380] إصلاح Avro مشكلات تحويل نوع البيانات دون التسبب في تراجع الأداء.
    • [SPARK-45182] دعم إضافي لمرحلة خريطة التبديل العشوائي مرة أخرى بحيث يمكن إعادة محاولة جميع مهام المرحلة عندما يكون إخراج المرحلة غير محدد.
    • [SPARK-45399] تمت إضافة خيارات XML باستخدام newOption.
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 13.3 LTS

راجع Databricks Runtime 13.3 LTS.

  • 25 أبريل 2024
    • [SPARK-44653][SQL] يجب ألا توقف اتحادات DataFrame غير التافهة التخزين المؤقت
    • إصلاحات الأخطاء المتنوعة.
  • 9 أبريل 2024
    • [SPARK-47509][SQL] حظر تعبيرات الاستعلام الفرعي في lambda ووظائف الترتيب الأعلى
    • تحديثات أمان نظام التشغيل.
  • 8 فبراير 2024
    • لا يتم دعم استعلامات موجز البيانات (CDF) على طرق العرض المجسدة في كتالوج Unity، وترجع محاولة تشغيل استعلام CDF باستخدام طريقة عرض مجسدة في كتالوج Unity خطأ. تدعم جداول دفق كتالوج Unity استعلامات CDF على الجداول غيرAPPLY CHANGES الموجودة في Databricks Runtime 14.1 والإحدث. استعلامات CDF غير مدعومة مع جداول دفق كتالوج Unity في Databricks Runtime 14.0 والإصدارات السابقة.
    • [SPARK-46794] إزالة الاستعلامات الفرعية من قيود LogicalRDD.
    • [SPARK-46933] إضافة مقياس وقت تنفيذ الاستعلام إلى الموصلات التي تستخدم JDBCRDD.
    • [SPARK-45582] تأكد من عدم استخدام مثيل المتجر بعد استدعاء التثبيت داخل تجميع تدفق وضع الإخراج.
    • [SPARK-46396] يجب ألا يطرح استدلال الطابع الزمني استثناء.
    • [SPARK-46861] تجنب حالة التوقف التام في DAGScheduler.
    • [SPARK-46941] لا يمكن إدراج عقدة حد مجموعة نافذة لحساب أعلى k إذا كان يحتوي على SizeBasedWindowFunction.
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2024
    • [SPARK-46610] يجب أن يطرح إنشاء جدول استثناء عندما لا تكون هناك قيمة لمفتاح في الخيارات.
    • [SPARK-46383] تقليل استخدام كومة الذاكرة المؤقتة لبرنامج التشغيل عن طريق تقليل عمر TaskInfo.accumulables().
    • [SPARK-46600] نقل التعليمات البرمجية المشتركة بين SqlConf وSqlApiConf إلى SqlApiConfHelper.
    • [SPARK-46676] يجب ألا يفشل dropDuplicatesWithinWatermark عند المتعارف عليه للخطة.
    • [SPARK-46763] إصلاح فشل التأكيد في ReplaceDeduplicateWithAggregate للسمات المكررة.
    • تحديثات أمان نظام التشغيل.
  • 17 يناير 2024
    • shuffle يتم تحديث عقدة خطة الشرح التي تم إرجاعها بواسطة استعلام Photon لإضافة causedBroadcastJoinBuildOOM=true العلامة عند حدوث خطأ نفاد الذاكرة أثناء التبديل العشوائي الذي يعد جزءا من صلة البث.
    • لتجنب زيادة زمن الانتقال عند الاتصال عبر TLSv1.3، يتضمن إصدار الصيانة هذا تصحيحا لتثبيت JDK 8 لإصلاح خطأ JDK JDK-8293562.
    • [SPARK-46058] إضافة علامة منفصلة ل privateKeyPassword.
    • [SPARK-46173] تخطي trimAll call أثناء تحليل التاريخ.
    • [SPARK-46370] إصلاح الخطأ عند الاستعلام من الجدول بعد تغيير الإعدادات الافتراضية للعمود.
    • [SPARK-46370] إصلاح الخطأ عند الاستعلام من الجدول بعد تغيير الإعدادات الافتراضية للعمود.
    • [SPARK-46370] إصلاح الخطأ عند الاستعلام من الجدول بعد تغيير الإعدادات الافتراضية للعمود.
    • [SPARK-46609] تجنب الانفجار الأسي في PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] دعم كلمة مرور المفتاح لمفاتيح JKS ل RPC SSL.
    • [SPARK-46602] النشر allowExisting في إنشاء طريقة العرض عندما لا يكون العرض/الجدول موجودا.
    • [SPARK-46249] طلب تأمين المثيل للحصول على مقاييس RocksDB لمنع السباق مع عمليات الخلفية.
    • [SPARK-46417] لا تفشل عند استدعاء hive.getTable و throwException خطأ.
    • [SPARK-46538] إصلاح مشكلة مرجع العمود الغامض في ALSModel.transform.
    • [SPARK-46478] قم بإعادة SPARK-43049 لاستخدام oracle varchar(255) للسلسلة.
    • [SPARK-46250] test_parity_listener deflake.
    • [SPARK-46394] إصلاح مشكلات spark.catalog.listDatabases() على المخططات ذات الأحرف الخاصة عند spark.sql.legacy.keepCommandOutputSchema تعيينها إلى true.
    • [SPARK-46056] إصلاح NPE للقراءة المتجهة Parquet بالقيمة الافتراضية byteArrayDecimalType.
    • [SPARK-46145] لا تطرح spark.catalog.listTables استثناء عند عدم العثور على الجدول أو طريقة العرض.
    • [SPARK-46466] يجب ألا يقوم قارئ باركيه المتجه بإعادة قاعدة البيانات للطوابع الزمنية ntz.
  • 14 ديسمبر 2023
    • تم إصلاح مشكلة حيث تمت معالجة التسطير السفلي الهارب في عمليات getColumns التي تنشأ من عملاء JDBC أو ODBC بشكل غير صحيح وتفسيرها كأحرف بدل.
    • [SPARK-45920] يجب أن تكون المجموعة حسب الترتيبية غير متكررة.
    • [SPARK-44582] تخطي المكرر على SMJ إذا تم تنظيفه.
    • [SPARK-45433] إصلاح استنتاج مخطط CSV/JSON عندما لا تتطابق الطوابع الزمنية مع تنسيق الطابع الزمني المحدد.
    • [SPARK-45655] السماح بتعبيرات غير محددة داخل AggregateFunctions في CollectMetrics.
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2023
    • تثبيت حزمة جديدة، pyarrow-hotfix لمعالجة ثغرة أمنية في PyArrow RCE.
    • تمت ترقية موصل Spark-snowflake إلى 2.12.0.
    • [SPARK-44846] تمت إزالة تعبيرات التجميع المعقدة بعد RemoveRedundantAggregates.
    • [SPARK-45544] دعم SSL المتكامل في TransportContext.
    • [SPARK-45892] التحقق من صحة خطة محسن إعادة بناء التعليمات البرمجية validateSchemaOutput لفصل و validateExprIdUniqueness.
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • تحديثات أمان نظام التشغيل.
  • 10 نوفمبر 2023
    • يتم دفع عوامل تصفية التقسيم على استعلامات تدفق Delta Lake لأسفل قبل تحديد المعدل لتحقيق استخدام أفضل.
    • استعلامات موجز البيانات التي تم تغييرها في جداول دفق كتالوج Unity وطرق العرض المجسدة لعرض رسائل الخطأ.
    • [SPARK-45545]SparkTransportConf يرث SSLOptions عند الإنشاء.
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • [SPARK-45427] تمت إضافة إعدادات RPC SSL إلى SSLOptions و SparkTransportConf.
    • [SPARK-45541] تمت إضافة SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction لم يعد يفشل عندما IGNORE NULLS و offset > rowCount.
    • [SPARK-45429] تمت إضافة فئات المساعد لاتصال SSL RPC.
    • [SPARK-44219] تمت إضافة عمليات تحقق إضافية لكل قاعدة لإعادة كتابة التحسين.
    • [SPARK-45543] تم إصلاح مشكلة كانت تتسبب InferWindowGroupLimit في حدوث مشكلة إذا لم يكن لوظائف النافذة الأخرى نفس إطار النافذة مثل الدالات المماثلة للرتبة.
    • تحديثات أمان نظام التشغيل.
  • 23 أكتوبر 2023
    • [SPARK-45256] تم إصلاح مشكلة فشل عند DurationWriter كتابة قيم أكثر من السعة الأولية.
    • [SPARK-45419] تجنب إعادة استخدام الملفات rocksdb sst في مثيل مختلف rocksdb عن طريق إزالة إدخالات مخطط إصدار الملف من الإصدارات الأكبر.
    • [SPARK-45426] دعم إضافي ل ReloadingX509TrustManager.
    • إصلاحات متنوعة.
  • 13 أكتوبر 2023
    • تمت ترقية تبعية Snowflake-jdbc من 3.13.29 إلى 3.13.33.
    • الدالة array_insert تستند إلى 1 للفهرسين الموجب والسالب، بينما كانت من قبل تستند إلى 0 للفهرس السالبة. يقوم الآن بإدراج عنصر جديد في نهاية صفائف الإدخال للفهرس -1. لاستعادة السلوك السابق، قم بتعيين spark.sql.legacy.negativeIndexInArrayInsert إلى true.
    • تم إصلاح مشكلة تتعلق بعدم تجاهل الملفات التالفة عند ignoreCorruptFiles تمكينها أثناء استنتاج مخطط CSV مع "المحمل التلقائي".
    • العودة [SPARK-42946].
    • [SPARK-42205] حدث بروتوكول JSON لإزالة تسجيل Accumulables في مهمة أو أحداث بدء مرحلة.
    • [SPARK-45178] الرجوع إلى تشغيل دفعة واحدة لمصادر Trigger.AvailableNow غير مدعومة بدلا من استخدام برنامج التضمين.
    • [SPARK-45316] إضافة معلمات ignoreCorruptFiles جديدة و ignoreMissingFiles إلى HadoopRDD و NewHadoopRDD.
    • [SPARK-44740] قيم بيانات التعريف الثابتة للبيانات الاصطناعية.
    • [SPARK-45360] تكوين منشئ جلسة Spark الذي تمت تهيئته من SPARK_REMOTE.
    • [SPARK-44551] التعليقات المحررة للمزامنة مع OSS.
    • [SPARK-45346] يحترم استنتاج مخطط Parquet الآن العلامات الحساسة لحالة الأحرف عند دمج المخطط.
    • [SPARK-44658]ShuffleStatus.getMapStatus يتم الآن إرجاع None بدلا من Some(null).
    • [SPARK-44840] تم إنشاؤه array_insert() على أساس 1 للفهرس السالبة.
  • 14 سبتمبر 2023
    • [SPARK-44873] دعم إضافي للأعمدة alter view المتداخلة في عميل Apache Hive.
    • [SPARK-44878] تم إيقاف تشغيل الحد الصارم لمدير RocksDB الكتابة لتجنب استثناء الإدراج عند اكتمال ذاكرة التخزين المؤقت.
  • 30 أغسطس 2023
    • تم تحسين أمر dbutils cp (dbutils.fs.cp) للنسخ بشكل أسرع. مع هذا التحسين، يمكن أن تستغرق عمليات النسخ ما يصل إلى 100 وقت أقل، اعتمادا على حجم الملف. تتوفر الميزة عبر جميع السحب وأنظمة الملفات التي يمكن الوصول إليها في Databricks، بما في ذلك وحدات تخزين كتالوج Unity وتركيبات DBFS.
    • [SPARK-44455] معرفات عرض الأسعار ذات الكواشف الخلفية في SHOW CREATE TABLE النتيجة.
    • [SPARK-44763] تم إصلاح مشكلة تظهر سلسلة كمضاعفة في الحساب الثنائي مع الفاصل الزمني.
    • [SPARK-44871] السلوك الثابت percentile_disc .
    • [SPARK-44714] سهولة تقييد دقة LCA فيما يتعلق بالاستعلامات.
    • [SPARK-44818] تم تهيئة تعارض ثابت لمقاطعة المهمة المعلقة التي تم إصدارها قبل taskThread .
    • [SPARK-44505] تمت إضافة تجاوز لدعم العمود في الفحص بحثا عن DSv2.
    • [SPARK-44479] تم إصلاح تحويل protobuf من نوع بنية فارغ.
    • [SPARK-44718] مطابقة ColumnVector التكوين الافتراضي لوضع الذاكرة مع OffHeapMemoryMode قيمة التكوين.
    • [SPARK-42941] دعم إضافي ل StreamingQueryListener في Python.
    • [SPARK-44558] تصدير مستوى سجل الاتصال Spark في PySpark.
    • [SPARK-44464] تم إصلاحه applyInPandasWithStatePythonRunner لإخراج الصفوف التي تحتوي على Null كقيمة العمود الأول.
    • [SPARK-44643] يتم التصحيح Row.__repr__ عندما يكون الحقل صفا فارغا.
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 12.2 LTS

راجع Databricks Runtime 12.2 LTS.

  • 25 أبريل 2024
    • تحديثات أمان نظام التشغيل.
  • 9 أبريل 2024
    • تحديثات أمان نظام التشغيل.
  • 13 فبراير 2024
    • [SPARK-46861] تجنب حالة التوقف التام في DAGScheduler.
    • [SPARK-46794] إزالة الاستعلامات الفرعية من قيود LogicalRDD.
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2024
    • [SPARK-46763] إصلاح فشل التأكيد في ReplaceDeduplicateWithAggregate للسمات المكررة.
    • تحديثات أمان نظام التشغيل.
  • 25 ديسمبر 2023
    • لتجنب زيادة زمن الانتقال عند الاتصال عبر TLSv1.3، يتضمن إصدار الصيانة هذا تصحيحا لتثبيت JDK 8 لإصلاح خطأ JDK JDK-8293562.
    • [SPARK-39440] إضافة تكوين لتعطيل المخطط الزمني للحدث.
    • [SPARK-46132] دعم كلمة مرور المفتاح لمفاتيح JKS ل RPC SSL.
    • [SPARK-46394] إصلاح مشكلات spark.catalog.listDatabases() على المخططات ذات الأحرف الخاصة عند spark.sql.legacy.keepCommandOutputSchema تعيينها إلى true.
    • [SPARK-46417] لا تفشل عند استدعاء hive.getTable و throwException خطأ.
    • [SPARK-43067] تصحيح موقع ملف مورد فئة الخطأ في موصل Kafka.
    • [SPARK-46249] طلب تأمين المثيل للحصول على مقاييس RocksDB لمنع السباق مع عمليات الخلفية.
    • [SPARK-46602] النشر allowExisting في إنشاء طريقة العرض عندما لا يكون العرض/الجدول موجودا.
    • [SPARK-46058] إضافة علامة منفصلة ل privateKeyPassword.
    • [SPARK-46145] لا تطرح spark.catalog.listTables استثناء عند عدم العثور على الجدول أو طريقة العرض.
    • [SPARK-46538] إصلاح مشكلة مرجع العمود الغامض في ALSModel.transform.
    • [SPARK-42852] قم بإعادة التغييرات ذات الصلة المسماةLambdaVariable من EquivalentExpressions.
  • 14 ديسمبر 2023
    • تم إصلاح مشكلة حيث تمت معالجة التسطير السفلي الهارب في عمليات getColumns التي تنشأ من عملاء JDBC أو ODBC بشكل غير صحيح وتفسيرها كأحرف بدل.
    • [SPARK-44582] تخطي المكرر على SMJ إذا تم تنظيفه.
    • [SPARK-45920] يجب أن تكون المجموعة حسب الترتيبية غير متكررة.
    • [SPARK-45655] السماح بتعبيرات غير محددة داخل AggregateFunctions في CollectMetrics.
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2023
    • تثبيت حزمة جديدة، pyarrow-hotfix لمعالجة ثغرة أمنية في PyArrow RCE.
    • تم إصلاح مشكلة حيث تم تفسير التسطير السفلي الهارب في getColumns العمليات التي تنشأ من عملاء JDBC أو ODBC بشكل خاطئ على أنها أحرف بدل.
    • [SPARK-42205] تمت إزالة مواصل التسجيل في Stage الأحداث وبدءها Task .
    • [SPARK-44846] تمت إزالة تعبيرات التجميع المعقدة بعد RemoveRedundantAggregates.
    • [SPARK-43718] تم إصلاح إمكانية القيم الخالية للمفاتيح في USING الصلات.
    • [SPARK-45544] دعم SSL المتكامل في TransportContext.
    • [SPARK-43973] تعرض واجهة مستخدم الدفق المنظم الآن الاستعلامات الفاشلة بشكل صحيح.
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • تحديثات أمان نظام التشغيل.
  • 14 نوفمبر 2023
    • يتم دفع عوامل تصفية التقسيم على استعلامات تدفق Delta Lake لأسفل قبل تحديد المعدل لتحقيق استخدام أفضل.
    • [SPARK-45545]SparkTransportConf يرث SSLOptions عند الإنشاء.
    • [SPARK-45427] تمت إضافة إعدادات RPC SSL إلى SSLOptions و SparkTransportConf.
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • [SPARK-45541] تمت إضافة SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction لم يعد يفشل عندما IGNORE NULLS و offset > rowCount.
    • [SPARK-45429] تمت إضافة فئات المساعد لاتصال SSL RPC.
    • تحديثات أمان نظام التشغيل.
  • 24 أكتوبر 2023
    • [SPARK-45426] دعم إضافي ل ReloadingX509TrustManager.
    • إصلاحات متنوعة.
  • 13 أكتوبر 2023
    • تمت ترقية تبعية Snowflake-jdbc من 3.13.29 إلى 3.13.33.
    • [SPARK-42553] تأكد من وحدة زمنية واحدة على الأقل بعد الفاصل الزمني.
    • [SPARK-45346] يحترم استنتاج مخطط Parquet العلامة الحساسة لحالة الأحرف عند دمج المخطط.
    • [SPARK-45178] الرجوع إلى تشغيل دفعة واحدة لمصادر Trigger.AvailableNow غير مدعومة بدلا من استخدام برنامج التضمين.
    • [SPARK-45084]StateOperatorProgress لاستخدام رقم قسم عشوائي دقيق وملائم.
  • 12 سبتمبر 2023
    • [SPARK-44873] تمت إضافة دعم للأعمدة alter view المتداخلة في عميل Apache Hive.
    • [SPARK-44718] مطابقة ColumnVector التكوين الافتراضي لوضع الذاكرة مع OffHeapMemoryMode قيمة التكوين.
    • [SPARK-43799] تمت إضافة خيار ثنائي واصف إلى واجهة برمجة تطبيقات PySpark Protobuf .
    • إصلاحات متنوعة.
  • 30 أغسطس 2023
    • [SPARK-44485] محسن TreeNode.generateTreeString.
    • [SPARK-44818] تم تهيئة تعارض ثابت لمقاطعة المهمة المعلقة التي تم إصدارها قبل taskThread .
    • [11.3-13.0] [[SPARK-44871]]https://issues.apache.org/jira/browse/SPARK-44871) السلوك الثابت percentile_disc .
    • [SPARK-44714] تخفيف تقييد دقة LCA فيما يتعلق بالاستعلامات.
    • تحديثات أمان نظام التشغيل.
  • 15 أغسطس 2023
    • [SPARK-44504] تقوم مهمة الصيانة بتنظيف الموفرين المحملين عند خطأ الإيقاف.
    • [SPARK-44464] تم إصلاحه applyInPandasWithStatePythonRunner لإخراج الصفوف التي تحتوي Null على قيمة العمود الأول.
    • تحديثات أمان نظام التشغيل.
  • 29 يوليو 2023
    • تم إصلاح مشكلة إرجاع dbutils.fs.ls() عند استدعاؤها INVALID_PARAMETER_VALUE.LOCATION_OVERLAP لمسار موقع تخزين تصادم مع موقع تخزين خارجي أو مدار آخر.
    • [SPARK-44199]CacheManager لم يعد يتم تحديث دون fileIndex داع.
    • تحديثات أمان نظام التشغيل.
  • 24 يوليو 2023
    • [SPARK-44337] تم إصلاح مشكلة حيث تسبب أي حقل تم تعيينه في Any.getDefaultInstance حدوث أخطاء تحليل.
    • [SPARK-44136] تم إصلاح مشكلة حيث StateManager يتم تحقيق ذلك في منفذ بدلا من برنامج التشغيل في FlatMapGroupsWithStateExec.
    • تحديثات أمان نظام التشغيل.
  • 23 يونيو 2023
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2023
    • الفوتونات approx_count_distinct.
    • تمت ترقية مكتبة Snowflake-jdbc إلى 3.13.29 لمعالجة مشكلة أمنية.
    • [SPARK-43779]ParseToDate يتم تحميل الآن EvalMode في مؤشر الترابط الرئيسي.
    • [SPARK-43156][SPARK-43098] اختبار خطأ عدد الاستعلامات الفرعية العددية الموسعة مع decorrelateInnerQuery إيقاف التشغيل.
    • تحديثات أمان نظام التشغيل.
  • 2 يونيو 2023
    • يقوم محلل JSON في failOnUnknownFields الوضع بإسقاط سجل في DROPMALFORMED الوضع ويفشل مباشرة في FAILFAST الوضع.
    • تحسين أداء التحديثات المتزايدة باستخدام SHALLOW CLONE Iceberg وParquet.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث كانت تنسيقات الملفات المصدر المختلفة غير متناسقة عندما لا يتضمن المخطط المتوفر أقساما مستنتجة. قد تتسبب هذه المشكلة في فشل غير متوقع عند قراءة الملفات ذات الأعمدة المفقودة في مخطط القسم المستنتج.
    • [SPARK-43404] تخطي إعادة استخدام الملف sst لنفس الإصدار من مخزن حالة RocksDB لتجنب خطأ عدم تطابق المعرف.
    • [SPARK-43413][11.3-13.0] قابلية خالية الاستعلام ListQuery الفرعي الثابتIN.
    • [SPARK-43522] تم إصلاح إنشاء اسم عمود البنية باستخدام فهرس الصفيف.
    • [SPARK-43541] نشر كافة Project العلامات في حل التعبيرات والأعمدة المفقودة.
    • [SPARK-43527] تم التصحيح catalog.listCatalogs في PySpark.
    • [SPARK-43123] لم تعد بيانات تعريف الحقل الداخلية تسرب إلى الكتالوجات.
    • [SPARK-43340] تم إصلاح حقل تتبع المكدس المفقود في سجلات الأحداث.
    • [SPARK-42444]DataFrame.drop يعالج الآن الأعمدة المكررة بشكل صحيح.
    • [SPARK-42937]PlanSubqueries يتم الآن تعيين InSubqueryExec#shouldBroadcast إلى true.
    • [SPARK-43286] تم تحديث aes_encrypt وضع CBC لإنشاء IVs عشوائية.
    • [SPARK-43378] أغلق كائنات الدفق بشكل صحيح في deserializeFromChunkedBuffer.
  • 17 مايو 2023
    • أصبحت عمليات فحص Parquet قوية الآن مقابل OOMs عند مسح الملفات ذات البنية الاستثنائية عن طريق ضبط حجم الدفعة ديناميكيا. يتم تحليل بيانات تعريف الملف لتقليل حجم الدفعة بشكل استباقي ويتم خفضها مرة أخرى في إعادة محاولة المهمة كشبكة أمان نهائية.
    • إذا تمت قراءة ملف Avro باستخدام الخيار فقط failOnUnknownFields\ أو مع "المحمل التلقائي" في failOnNewColumns\ وضع تطور المخطط، فستتم قراءة الأعمدة التي تحتوي على أنواع بيانات مختلفة بدلا null\ من طرح خطأ يفيد بأنه لا يمكن قراءة الملف. تفشل هذه القراءات الآن وتوصي المستخدمين باستخدام rescuedDataColumn\ الخيار .
    • يقوم التحميل التلقائي الآن بما يلي.
      • يقرأ و و و Byte بشكل صحيح، و لن يتم إنقاذه IntegerShortبشكل صحيح إذا تم توفير أحد أنواع البيانات هذه، ولكن ملف Avro يقترح أحد النوعين الآخرين.
      • يمنع أنواع الفواصل الزمنية للقراءة كنوع من الطوابع الزمنية أو التاريخ لتجنب الحصول على تواريخ تالفة.
      • يمنع أنواع القراءة Decimal بدقة أقل.
    • [SPARK-43172] يعرض المضيف والرمز المميز من عميل اتصال Spark.
    • [SPARK-43293]__qualified_access_only يتم تجاهلها في الأعمدة العادية.
    • [SPARK-43098] خطأ تصحيح COUNT ثابت عند تجميع الاستعلام الفرعي العددي حسب عبارة .
    • [SPARK-43085] دعم تعيين العمود DEFAULT لأسماء الجداول متعددة الأجزاء.
    • [SPARK-43190]ListQuery.childOutput متناسق الآن مع الإخراج الثانوي.
    • [SPARK-43192] تمت إزالة التحقق من صحة مجموعة عوامل المستخدم.
    • تحديثات أمان نظام التشغيل.
  • 25 أبريل 2023
    • إذا تمت قراءة ملف Parquet مع الخيار فقط failOnUnknownFields أو مع أداة التحميل التلقائي في failOnNewColumns وضع تطور المخطط، فستتم قراءة الأعمدة التي تحتوي على أنواع بيانات مختلفة بدلا null من طرح خطأ يفيد بأنه لا يمكن قراءة الملف. تفشل هذه القراءات الآن وتوصي المستخدمين باستخدام rescuedDataColumn الخيار .
    • يقوم أداة التحميل التلقائي الآن بقراءة أنواع و بشكل صحيح ولم يعد يقوم بإنقاذها IntegerShortByte إذا تم توفير أحد أنواع البيانات هذه. يقترح ملف Parquet أحد النوعين الآخرين. عند تمكين عمود البيانات الذي تم إنقاذه مسبقا، قد يؤدي عدم تطابق نوع البيانات إلى حفظ الأعمدة على الرغم من أنها قابلة للقراءة.
    • [SPARK-43009] ذات sql() معلمات مع Any ثوابت
    • [SPARK-42406] إنهاء الحقول المتكررة Protobuf عن طريق إسقاط الحقل
    • [SPARK-43038] دعم وضع CBC بواسطة aes_encrypt()/aes_decrypt()
    • [SPARK-42971] تغيير للطباعة workdir إذا كان appDirs فارغا عند معالجة العامل للحدث WorkDirCleanup
    • [SPARK-43018] إصلاح الخطأ لأوامر INSERT باستخدام القيم الحرفية للطوابع الزمنية
    • تحديثات أمان نظام التشغيل.
  • 11 أبريل 2023
    • دعم تنسيقات مصدر البيانات القديمة في SYNC الأمر .
    • إصلاح مشكلة في سلوك ٪autoreload في دفاتر الملاحظات خارج المستودع.
    • تم إصلاح مشكلة حيث يمكن أن ينتقل تطور مخطط التحميل التلقائي إلى حلقة فشل لا نهائية عند اكتشاف عمود جديد في مخطط كائن JSON متداخل.
    • [SPARK-42928] يجعل resolvePersistentFunction المزامنة.
    • [SPARK-42936] إصلاح مشكلة LCan عندما يمكن حل العبارة مباشرة بواسطة التجميع التابع لها.
    • [SPARK-42967]SparkListenerTaskStart.stageAttemptId إصلاحات عند بدء مهمة بعد إلغاء المرحلة.
    • تحديثات أمان نظام التشغيل.
  • 29 مارس 2023

    • يدعم Databricks SQL الآن تحديد القيم الافتراضية لأعمدة جداول Delta Lake، إما في وقت إنشاء الجدول أو بعد ذلك. يمكن أن تشير الأوامر اللاحقة و MERGE إلى القيمة الافتراضية لأي عمود باستخدام الكلمة الأساسية الصريحةDEFAULT.INSERTUPDATEDELETE بالإضافة إلى ذلك، إذا كان أي INSERT تعيين يحتوي على قائمة صريحة من أعمدة أقل من الجدول الهدف، فسيتم استبدال القيم الافتراضية المقابلة للعمود بالأعمدة المتبقية (أو NULL إذا لم يتم تحديد افتراضي).

      على سبيل المثال:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta;
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • يبدأ برنامج التحميل التلقائي الآن تنظيف سجل RocksDB متزامن واحد على الأقل للتدفقات Trigger.AvailableNow للتحقق من إمكانية تنظيف نقطة التحقق بانتظام لتدفقات التحميل التلقائي سريعة التشغيل. قد يتسبب هذا في أن تستغرق بعض التدفقات وقتا أطول قبل إيقاف تشغيلها، ولكنها ستوفر لك تكاليف التخزين وتحسن تجربة التحميل التلقائي في عمليات التشغيل المستقبلية.

    • يمكنك الآن تعديل جدول Delta لإضافة دعم إلى ميزات الجدول باستخدام DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] قم بزيادة lockAcquireTimeoutMs إلى دقيقتين للحصول على مخزن حالة RocksDB في Structure Streaming

    • [SPARK-42521] إضافة NULLs ل INSERTs مع قوائم محددة من قبل المستخدم من أعمدة أقل من الجدول الهدف

    • [SPARK-42702][SPARK-42623] دعم الاستعلام ذات المعلمات في الاستعلام الفرعي وCTE

    • [SPARK-42668] التقاط استثناء أثناء محاولة إغلاق الدفق المضغوط في إيقاف HDFSStateStoreProvider

    • [SPARK-42403] يجب أن يتعامل JsonProtocol مع سلاسل JSON الخالية

  • 8 مارس 2023
    • تم تحسين رسالة الخطأ "فشل تهيئة التكوين" لتوفير المزيد من السياق للعميل.
    • هناك تغيير في المصطلحات لإضافة ميزات إلى جدول Delta باستخدام خاصية الجدول. بناء الجملة المفضل الآن 'delta.feature.featureName'='supported' بدلا من 'delta.feature.featureName'='enabled'. للتوافق مع الإصدارات السابقة، لا يزال استخدام 'delta.feature.featureName'='enabled' يعمل وسيستمر في العمل.
    • بدءا من هذا الإصدار، من الممكن إنشاء/استبدال جدول بخاصية delta.ignoreProtocolDefaults جدول إضافية لتجاهل تكوينات Spark المتعلقة بالبروتوكول، والتي تتضمن إصدارات القارئ والكاتب الافتراضية وميزات الجدول المدعومة افتراضيا.
    • [SPARK-42070] تغيير القيمة الافتراضية لوسيطة الدالة Mask من -1 إلى NULL
    • [SPARK-41793] نتيجة غير صحيحة لإطارات النوافذ المعرفة بواسطة عبارة نطاق على الأرقام العشرية الهامة
    • [SPARK-42484] رسالة خطأ أفضل ل UnsafeRowUtils
    • [SPARK-42516] التقاط تكوين المنطقة الزمنية لجلسة العمل دائما أثناء إنشاء طرق العرض
    • [SPARK-42635] إصلاح تعبير TimestampAdd.
    • [SPARK-42622] إيقاف تشغيل الاستبدال في القيم
    • [SPARK-42534] إصلاح عبارة DB2Dialect Limit
    • [SPARK-42121] إضافة دوال قيم الجدول المضمنة posexplode posexplode_outer json_tuple والمكدس
    • [SPARK-42045] وضع ANSI SQL: يجب أن ترجع Round/Bround خطأ في تجاوز عدد صحيح صغير/صغير/كبير
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 11.3 LTS

راجع Databricks Runtime 11.3 LTS.

  • 25 أبريل 2024
    • تحديثات أمان نظام التشغيل.
  • 9 أبريل 2024
    • تحديثات أمان نظام التشغيل.
  • 13 فبراير 2024
    • [SPARK-46794] إزالة الاستعلامات الفرعية من قيود LogicalRDD.
    • [SPARK-46861] تجنب حالة التوقف التام في DAGScheduler.
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2024
    • تحديثات أمان نظام التشغيل.
  • 25 ديسمبر 2023
    • لتجنب زيادة زمن الانتقال عند الاتصال عبر TLSv1.3، يتضمن إصدار الصيانة هذا تصحيحا لتثبيت JDK 8 لإصلاح خطأ JDK JDK-8293562.
    • [SPARK-46058] إضافة علامة منفصلة ل privateKeyPassword.
    • [SPARK-46602] النشر allowExisting في إنشاء طريقة العرض عندما لا يكون العرض/الجدول موجودا.
    • [SPARK-46394] إصلاح مشكلات spark.catalog.listDatabases() على المخططات ذات الأحرف الخاصة عند spark.sql.legacy.keepCommandOutputSchema تعيينها إلى true.
    • [SPARK-46538] إصلاح مشكلة مرجع العمود الغامض في ALSModel.transform.
    • [SPARK-39440] إضافة تكوين لتعطيل المخطط الزمني للحدث.
    • [SPARK-46249] طلب تأمين المثيل للحصول على مقاييس RocksDB لمنع السباق مع عمليات الخلفية.
    • [SPARK-46132] دعم كلمة مرور المفتاح لمفاتيح JKS ل RPC SSL.
  • 14 ديسمبر 2023
    • تم إصلاح مشكلة حيث تمت معالجة التسطير السفلي الهارب في عمليات getColumns التي تنشأ من عملاء JDBC أو ODBC بشكل غير صحيح وتفسيرها كأحرف بدل.
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2023
    • تثبيت حزمة جديدة، pyarrow-hotfix لمعالجة ثغرة أمنية في PyArrow RCE.
    • تم إصلاح مشكلة حيث تم تفسير التسطير السفلي الهارب في getColumns العمليات التي تنشأ من عملاء JDBC أو ODBC بشكل خاطئ على أنها أحرف بدل.
    • [SPARK-43973] تعرض واجهة مستخدم الدفق المنظم الآن الاستعلامات الفاشلة بشكل صحيح.
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • [SPARK-45544] دعم SSL المتكامل في TransportContext.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • [SPARK-43718] تم إصلاح إمكانية القيم الخالية للمفاتيح في USING الصلات.
    • [SPARK-44846] تمت إزالة تعبيرات التجميع المعقدة بعد RemoveRedundantAggregates.
    • تحديثات أمان نظام التشغيل.
  • 14 نوفمبر 2023
    • يتم دفع عوامل تصفية التقسيم على استعلامات تدفق Delta Lake لأسفل قبل تحديد المعدل لتحقيق استخدام أفضل.
    • [SPARK-42205] تمت إزالة مواصل التسجيل في أحداث بدء المرحلة والمهمة.
    • [SPARK-45545]SparkTransportConf يرث SSLOptions عند الإنشاء.
    • إرجاع [SPARK-33861].
    • [SPARK-45541] تمت إضافة SSLFactory.
    • [SPARK-45429] تمت إضافة فئات المساعد لاتصال SSL RPC.
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • [SPARK-45430]FramelessOffsetWindowFunction لم يعد يفشل عندما IGNORE NULLS و offset > rowCount.
    • [SPARK-45427] تمت إضافة إعدادات RPC SSL إلى SSLOptions و SparkTransportConf.
    • تحديثات أمان نظام التشغيل.
  • 24 أكتوبر 2023
    • [SPARK-45426] دعم إضافي ل ReloadingX509TrustManager.
    • إصلاحات متنوعة.
  • 13 أكتوبر 2023
    • تمت ترقية تبعية Snowflake-jdbc من 3.13.29 إلى 3.13.33.
    • [SPARK-45178] الرجوع إلى تشغيل دفعة واحدة لمصادر Trigger.AvailableNow غير مدعومة بدلا من استخدام برنامج التضمين.
    • [SPARK-45084]StateOperatorProgress لاستخدام رقم قسم عشوائي دقيق وملائم.
    • [SPARK-45346] يحترم استنتاج مخطط Parquet الآن العلامة الحساسة لحالة الأحرف عند دمج مخطط.
    • تحديثات أمان نظام التشغيل.
  • 10 سبتمبر 2023
    • إصلاحات متنوعة.
  • 30 أغسطس 2023
    • [SPARK-44818] تم تهيئة تعارض ثابت لمقاطعة المهمة المعلقة التي تم إصدارها قبل taskThread .
    • [SPARK-44871][11.3-13.0] السلوك الثابت percentile_disc .
    • تحديثات أمان نظام التشغيل.
  • 15 أغسطس 2023
    • [SPARK-44485] محسن TreeNode.generateTreeString.
    • [SPARK-44504] تقوم مهمة الصيانة بتنظيف الموفرين المحملين عند خطأ الإيقاف.
    • [SPARK-44464] تم إصلاحه applyInPandasWithStatePythonRunner لإخراج الصفوف التي تحتوي Null على قيمة العمود الأول.
    • تحديثات أمان نظام التشغيل.
  • 27 يوليو 2023
    • تم إصلاح مشكلة إرجاع dbutils.fs.ls() عند استدعاؤها INVALID_PARAMETER_VALUE.LOCATION_OVERLAP لمسار موقع تخزين تصادم مع موقع تخزين خارجي أو مدار آخر.
    • [SPARK-44199]CacheManager لم يعد يتم تحديث دون fileIndex داع.
    • تحديثات أمان نظام التشغيل.
  • 24 يوليو 2023
    • [SPARK-44136] تم إصلاح مشكلة يمكن أن تتحقق فيها StateManager في المنفذ بدلا من برنامج التشغيل في FlatMapGroupsWithStateExec.
    • تحديثات أمان نظام التشغيل.
  • 23 يونيو 2023
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2023
    • الفوتونات approx_count_distinct.
    • تمت ترقية مكتبة Snowflake-jdbc إلى 3.13.29 لمعالجة مشكلة أمنية.
    • [SPARK-43779]ParseToDate يتم تحميل الآن EvalMode في مؤشر الترابط الرئيسي.
    • [SPARK-40862] دعم الاستعلامات الفرعية غير المجمعة في RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] اختبار خطأ عدد الاستعلامات الفرعية العددية الموسعة مع decorrelateInnerQuery إيقاف التشغيل.
    • [SPARK-43098] إصلاح خطأ عدد التصحيحات عندما يحتوي الاستعلام الفرعي العددي على عبارة تجميع حسب
    • تحديثات أمان نظام التشغيل.
  • 2 يونيو 2023
    • يقوم محلل JSON في failOnUnknownFields الوضع بإسقاط سجل في DROPMALFORMED الوضع ويفشل مباشرة في FAILFAST الوضع.
    • تحسين أداء التحديثات المتزايدة باستخدام SHALLOW CLONE Iceberg وParquet.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث كانت تنسيقات الملفات المصدر المختلفة غير متناسقة عندما لا يتضمن المخطط المتوفر أقساما مستنتجة. قد تتسبب هذه المشكلة في فشل غير متوقع عند قراءة الملفات ذات الأعمدة المفقودة في مخطط القسم المستنتج.
    • [SPARK-43404]تخطي إعادة استخدام الملف sst لنفس الإصدار من مخزن حالة RocksDB لتجنب خطأ عدم تطابق المعرف.
    • [SPARK-43527] تم التصحيح catalog.listCatalogs في PySpark.
    • [SPARK-43413][11.3-13.0] قابلية خالية الاستعلام ListQuery الفرعي الثابتIN.
    • [SPARK-43340] تم إصلاح حقل تتبع المكدس المفقود في سجلات الأحداث.

Databricks Runtime 10.4 LTS

راجع Databricks Runtime 10.4 LTS.

  • 25 أبريل 2024
    • تحديثات أمان نظام التشغيل.
  • 6 أبريل 2024
    • تحديثات أمان نظام التشغيل.
  • 13 فبراير 2024
    • [SPARK-46861] تجنب حالة التوقف التام في DAGScheduler.
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2024
    • تحديثات أمان نظام التشغيل.
  • 25 ديسمبر 2023
    • لتجنب زيادة زمن الانتقال عند الاتصال عبر TLSv1.3، يتضمن إصدار الصيانة هذا تصحيحا لتثبيت JDK 8 لإصلاح خطأ JDK JDK-8293562.
    • [SPARK-46058] إضافة علامة منفصلة ل privateKeyPassword.
    • [SPARK-46538] إصلاح مشكلة مرجع العمود الغامض في ALSModel.transform.
    • [SPARK-39440] إضافة تكوين لتعطيل المخطط الزمني للحدث.
    • [SPARK-46132] دعم كلمة مرور المفتاح لمفاتيح JKS ل RPC SSL.
  • 14 ديسمبر 2023
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2023
    • تثبيت حزمة جديدة، pyarrow-hotfix لمعالجة ثغرة أمنية في PyArrow RCE.
    • [SPARK-45544] دعم SSL المتكامل في TransportContext.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • [SPARK-43718] تم إصلاح إمكانية القيم الخالية للمفاتيح في USING الصلات.
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • [SPARK-42205] تمت إزالة مواصل التسجيل في أحداث بدء المرحلة والمهمة.
    • [SPARK-44846] تمت إزالة تعبيرات التجميع المعقدة بعد RemoveRedundantAggregates.
    • تحديثات أمان نظام التشغيل.
  • 14 نوفمبر 2023
    • [SPARK-45541] تمت إضافة SSLFactory.
    • [SPARK-45545]SparkTransportConf يرث SSLOptions عند الإنشاء.
    • [SPARK-45427] تمت إضافة إعدادات RPC SSL إلى SSLOptions و SparkTransportConf.
    • [SPARK-45429] تمت إضافة فئات المساعد لاتصال SSL RPC.
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • إرجاع [SPARK-33861].
    • تحديثات أمان نظام التشغيل.
  • 24 أكتوبر 2023
    • [SPARK-45426] دعم إضافي ل ReloadingX509TrustManager.
    • تحديثات أمان نظام التشغيل.
  • 13 أكتوبر 2023
    • [SPARK-45084]StateOperatorProgress لاستخدام رقم قسم عشوائي دقيق وملائم.
    • [SPARK-45178] الرجوع إلى تشغيل دفعة واحدة لمصادر Trigger.AvailableNow غير مدعومة بدلا من استخدام برنامج التضمين.
    • تحديثات أمان نظام التشغيل.
  • 10 سبتمبر 2023
    • إصلاحات متنوعة.
  • 30 أغسطس 2023
    • [SPARK-44818] تم تهيئة تعارض ثابت لمقاطعة المهمة المعلقة التي تم إصدارها قبل taskThread .
    • تحديثات أمان نظام التشغيل.
  • 15 أغسطس 2023
    • [SPARK-44504] تقوم مهمة الصيانة بتنظيف الموفرين المحملين عند خطأ الإيقاف.
    • [SPARK-43973] تظهر واجهة مستخدم الدفق المنظم الآن الاستعلامات الفاشلة بشكل صحيح.
    • تحديثات أمان نظام التشغيل.
  • 23 يونيو 2023
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2023
    • تمت ترقية مكتبة Snowflake-jdbc إلى 3.13.29 لمعالجة مشكلة أمنية.
    • [SPARK-43098] إصلاح خطأ عدد التصحيحات عندما يحتوي الاستعلام الفرعي العددي على عبارة تجميع حسب
    • [SPARK-40862] دعم الاستعلامات الفرعية غير المجمعة في RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] اختبار عدد الاستعلامات الفرعية العددية الموسعة مع decorrelateInnerQuery إيقاف التشغيل.
    • تحديثات أمان نظام التشغيل.
  • 2 يونيو 2023
    • يقوم محلل JSON في failOnUnknownFields الوضع بإسقاط سجل في DROPMALFORMED الوضع ويفشل مباشرة في FAILFAST الوضع.
    • تم إصلاح مشكلة في تحليل البيانات التي تم إنقاذها من JSON لمنع UnknownFieldException.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث كانت تنسيقات الملفات المصدر المختلفة غير متناسقة عندما لا يتضمن المخطط المتوفر أقساما مستنتجة. قد تتسبب هذه المشكلة في فشل غير متوقع عند قراءة الملفات ذات الأعمدة المفقودة في مخطط القسم المستنتج.
    • [SPARK-43404] تخطي إعادة استخدام الملف sst لنفس الإصدار من مخزن حالة RocksDB لتجنب خطأ عدم تطابق المعرف.
    • [SPARK-43413] قابلية خالية الاستعلام ListQuery الفرعي الثابتIN.
    • تحديثات أمان نظام التشغيل.
  • 17 مايو 2023
    • أصبحت عمليات فحص Parquet قوية الآن مقابل OOMs عند مسح الملفات ذات البنية الاستثنائية عن طريق ضبط حجم الدفعة ديناميكيا. يتم تحليل بيانات تعريف الملف لتقليل حجم الدفعة بشكل استباقي ويتم خفضها مرة أخرى في إعادة محاولة المهمة كشبكة أمان نهائية.
    • [SPARK-41520] تقسيم AND_OR نمط الشجرة لفصل AND و OR.
    • [SPARK-43190]ListQuery.childOutput متناسق الآن مع الإخراج الثانوي.
    • تحديثات أمان نظام التشغيل.
  • 25 أبريل 2023
    • [SPARK-42928] إجراء resolvePersistentFunction المزامنة.
    • تحديثات أمان نظام التشغيل.
  • 11 أبريل 2023
    • تم إصلاح مشكلة حيث يمكن أن ينتقل تطور مخطط التحميل التلقائي إلى حلقة فشل لا نهائية عند اكتشاف عمود جديد في مخطط كائن JSON متداخل.
    • [SPARK-42937]PlanSubqueries يتم الآن تعيين InSubqueryExec#shouldBroadcast إلى true.
    • [SPARK-42967] إصلاح SparkListenerTaskStart.stageAttemptId عند بدء مهمة بعد إلغاء المرحلة.
  • 29 مارس 2023
    • [SPARK-42668] التقاط استثناء أثناء محاولة إغلاق الدفق المضغوط في إيقاف HDFSStateStoreProvider
    • [SPARK-42635] إصلاح ...
    • تحديثات أمان نظام التشغيل.
  • 14 مارس 2023
    • [SPARK-41162] إصلاح الصلة المضادة وشبه المنضمة ذاتيا باستخدام التجميعات
    • [SPARK-33206] إصلاح حساب وزن ذاكرة التخزين المؤقت للفهرس العشوائي لملفات الفهرس الصغيرة
    • [SPARK-42484]UnsafeRowUtils تحسين رسالة الخطأ
    • إصلاحات متنوعة.
  • 28 فبراير 2023
    • دعم العمود الذي تم إنشاؤه ل yyyy-MM-dd date_format. يدعم هذا التغيير تقسيم القسم ل yyyy-MM-dd ك date_format في الأعمدة التي تم إنشاؤها.
    • يمكن للمستخدمين الآن قراءة وكتابة جداول Delta محددة تتطلب الإصدار 3 من Reader والإصدار 7 من Writer، باستخدام Databricks Runtime 9.1 LTS أو أحدث. للنجاح، يجب دعم ميزات الجدول المدرجة في بروتوكول الجداول بواسطة الإصدار الحالي من Databricks Runtime.
    • دعم العمود الذي تم إنشاؤه ل yyyy-MM-dd date_format. يدعم هذا التغيير تقسيم القسم ل yyyy-MM-dd ك date_format في الأعمدة التي تم إنشاؤها.
    • تحديثات أمان نظام التشغيل.
  • 16 فبراير 2023
    • [SPARK-30220] تمكين استخدام الاستعلامات الفرعية Exists/In خارج عقدة عامل التصفية
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2023
    • أنواع جداول JDBC أصبحت الآن خارجية بشكل افتراضي.
  • 18 يناير 2023
    • يقوم موصل Azure Synapse بإرجاع رسالة خطأ وصفية أكثر عندما يحتوي اسم العمود على أحرف غير صالحة مثل المسافات البيضاء أو الفواصل المنقوشة. في مثل هذه الحالات، سيتم إرجاع الرسالة التالية: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] مسح دفعة الكتابة بعد تثبيت مخزن حالة RocksDB
    • [SPARK-41199] إصلاح مشكلة المقاييس عند استخدام مصدر دفق DSv1 ومصدر دفق DSv2 المشترك
    • [SPARK-41198] إصلاح المقاييس في استعلام البث الذي لديه مصدر دفق CTE وDSv1.
    • [SPARK-41339] إغلاق وإعادة إنشاء دفعة كتابة RocksDB بدلا من مجرد مسح.
    • [SPARK-41732] تطبيق التقليم المستند إلى نمط الشجرة للقاعدة SessionWindowing.
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2022
    • يمكن للمستخدمين تكوين سلوك المسافات البيضاء البادئة واللاحقة عند كتابة البيانات باستخدام موصل Redshift. تمت إضافة الخيارات التالية للتحكم في معالجة المساحة البيضاء:
      • csvignoreleadingwhitespace، عند التعيين إلى true، يزيل المسافة البيضاء البادئة من القيم أثناء عمليات الكتابة عند tempformat تعيين إلى CSV أو CSV GZIP. يتم الاحتفاظ بالمسافات البيضاء عند تعيين التكوين إلى false. بشكل افتراضي، القيمة هي true.
      • csvignoretrailingwhitespace، عند التعيين إلى true، يزيل المسافة البيضاء اللاحقة من القيم أثناء عمليات الكتابة عند tempformat تعيين إلى CSV أو CSV GZIP. يتم الاحتفاظ بالمسافات البيضاء عند تعيين التكوين إلى false. بشكل افتراضي، القيمة هي true.
    • تم إصلاح مشكلة في تحليل JSON في "المحمل التلقائي" عند ترك كافة الأعمدة كسلاسل (cloudFiles.inferColumnTypes لم يتم تعيينها أو تعيينها إلى false) وتحتوي JSON على كائنات متداخلة.
    • تحديثات أمان نظام التشغيل.
  • 15 نوفمبر 2022
    • تمت ترقية نص Apache commons إلى 1.10.0.
    • [SPARK-40646] تم إصلاح تحليل JSON للبنى والخرائط والصفائف حتى عندما لا يتطابق جزء من السجل مع المخطط، فلا يزال من الممكن تحليل باقي السجل بشكل صحيح بدلا من إرجاع القيم الخالية. للاشتراك في السلوك المحسن، قم بتعيين spark.sql.json.enablePartialResults إلى true. يتم إيقاف تشغيل العلامة بشكل افتراضي للحفاظ على السلوك الأصلي.
    • [SPARK-40292] إصلاح أسماء الأعمدة في arrays_zip الدالة عند الإشارة إلى الصفائف من البنيات المتداخلة
    • تحديثات أمان نظام التشغيل.
  • 1 نوفمبر 2022
    • تم إصلاح مشكلة حيث إذا كان جدول Delta يحتوي على عمود معرف من قبل المستخدم باسم _change_type، ولكن تم إيقاف تشغيل موجز بيانات التغيير على هذا الجدول، فستملأ البيانات الموجودة في هذا العمود قيم NULL بشكل غير صحيح عند تشغيل MERGE.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث يمكن تكرار ملف في نفس الدفعة الصغيرة عند allowOverwrites تمكين
    • [SPARK-40697] إضافة ترك مساحة للأحرف من جانب القراءة لتغطية ملفات البيانات الخارجية
    • [SPARK-40596] ملء ExecutorDecommission بالرسائل في ExecutorDecommissionInfo
    • تحديثات أمان نظام التشغيل.
  • 18 أكتوبر 2022
    • تحديثات أمان نظام التشغيل.
  • 5 أكتوبر 2022
    • [SPARK-40468] إصلاح تشذيب العمود في CSV عند _corrupt_record تحديده.
    • تحديثات أمان نظام التشغيل.
  • 22 سبتمبر 2022
    • يمكن للمستخدمين تعيين spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) لإعادة تمكين القائمة المضمنة للتحميل التلقائي على ADLS Gen2. تم إيقاف تشغيل القائمة المضمنة مسبقا بسبب مشكلات في الأداء ولكن يمكن أن تؤدي إلى زيادة تكاليف التخزين للعملاء.
    • [SPARK-40315] إضافة hashCode() ل Literal of ArrayBasedMapData
    • [SPARK-40213] دعم تحويل قيمة ASCII للأحرف اللاتينية 1
    • [SPARK-40380] إصلاح الطي المستمر ل InvokeLike لتجنب القيم الحرفية غير القابلة للتسلسل المضمنة في الخطة
    • [SPARK-38404] تحسين دقة CTE عندما يشير CTE متداخل إلى CTE خارجي
    • [SPARK-40089] إصلاح الفرز لبعض الأنواع العشرية
    • [SPARK-39887] يجب أن تحتفظ RemoveRedundantAliases بأسماء مستعارة تجعل إخراج عقد الإسقاط فريدا
  • 6 سبتمبر 2022
    • [SPARK-40235] استخدم التأمين القابل للمقاطعة بدلا من المزامنة في Executor.updateDependencies().
    • [SPARK-40218] يجب أن تحتفظ GROUPING SETS بأعمدة التجميع.
    • [SPARK-39976] يجب أن يتعامل ArrayIntersect مع القيمة الخالية في التعبير الأيسر بشكل صحيح.
    • [SPARK-40053] أضف assume إلى حالات الإلغاء الديناميكية التي تتطلب بيئة وقت تشغيل Python.
    • [SPARK-35542] إصلاح: لا يمكن تحميل Bucketizer الذي تم إنشاؤه لأعمدة متعددة مع المعلمات splitsArray وinputCols وoutputCols بعد حفظه.
    • [SPARK-40079] إضافة التحقق من صحة Imputer inputCols لحالة الإدخال الفارغة.
  • 24 أغسطس 2022
    • [SPARK-39983] لا تقم بتخزين علاقات البث غير المتسلسلة مؤقتا على برنامج التشغيل.
    • [SPARK-39775] تعطيل التحقق من صحة القيم الافتراضية عند تحليل مخططات Avro.
    • [SPARK-39962] تطبيق الإسقاط عندما تكون سمات المجموعة فارغة
    • [SPARK-37643] عندما يكون charVarcharAsString صحيحا، يجب أن يتخطى استعلام دالة تقييم نوع بيانات char قاعدة rpadding.
    • تحديثات أمان نظام التشغيل.
  • 9 أغسطس 2022
    • [SPARK-39847] إصلاح حالة التعارض في RocksDBLoader.loadLibrary() إذا تمت مقاطعة مؤشر ترابط المتصل
    • [SPARK-39731] إصلاح المشكلة في مصادر بيانات CSV وJSON عند تحليل التواريخ بتنسيق "yyyyMMdd" باستخدام نهج محلل الوقت المصحح
    • تحديثات أمان نظام التشغيل.
  • 27 يوليو 2022
    • [SPARK-39625] إضافة Dataset.as(StructType).
    • [SPARK-39689]دعم حرفين lineSep في مصدر بيانات CSV.
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded يجب أن يكون مؤشر ترابط آمنا.
    • [SPARK-39570] يجب أن يسمح الجدول المضمن بتعبيرات بالاسم المستعار.
    • [SPARK-39702] تقليل حمل الذاكرة ل TransportCipher$EncryptedMessage باستخدام byteRawChannel مشترك.
    • [SPARK-39575] إضافة ByteBuffer#rewind بعد ByteBuffer#get in AvroDeserializer.
    • [SPARK-39476] تعطيل تحسين تحويل Unwrap عند التحويل من Long إلى Float/ Double أو من Integer إلى Float.
    • [SPARK-38868] لا تنشر استثناءات من دالة تقييم التصفية عند تحسين الصلات الخارجية.
    • تحديثات أمان نظام التشغيل.
  • 20 يوليو 2022
    • اجعل نتائج عملية Delta MERGE متسقة عندما يكون المصدر غير محدد.
    • [SPARK-39355] يستخدم عمود واحد مقتبس لإنشاء قاعدة بيانات غير محلولة.
    • [SPARK-39548] الأمر CreateView مع استعلام عبارة نافذة اضغط على تعريف نافذة غير صحيح لم يتم العثور على مشكلة.
    • [SPARK-39419] إصلاح ArraySort لطرح استثناء عندما يرجع المقارن قيمة خالية.
    • إيقاف تشغيل استخدام Loader التلقائي لواجهات برمجة التطبيقات السحابية المضمنة لقائمة الدليل على Azure.
    • تحديثات أمان نظام التشغيل.
  • 5 يوليو 2022
    • [SPARK-39376] إخفاء الأعمدة المكررة في توسيع نجمي للاسم المستعار للسعلام الفرعي من NATURAL/USING JOIN
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2022
    • [SPARK-39283] إصلاح حالة التوقف التام بين TaskMemoryManager وSableExternalSorter.SpillableIterator.
    • [SPARK-39285] يجب ألا يتحقق Spark من أسماء الحقول عند قراءة الملفات.
    • [SPARK-34096] تحسين الأداء nth_value تجاهل القيم الخالية عبر نافذة الإزاحة.
    • [SPARK-36718]isExtractOnly إصلاح التحقق في طي المشروع.
  • 2 يونيو 2022
    • [SPARK-39093] تجنب خطأ التحويل البرمجي ل codegen عند قسمة الفواصل الزمنية للشهر أو الفواصل الزمنية لليوم على جزء لا يتجزأ.
    • [SPARK-38990] تجنب NullPointerException عند تقييم تنسيق date_trunc/الاقتطاع كمرجع منضم.
    • تحديثات أمان نظام التشغيل.
  • 18 مايو 2022
    • إصلاح تسرب محتمل للذاكرة المضمنة في "المحمل التلقائي".
    • [SPARK-38918] يجب أن يقوم تشذيب العمود المتداخل بتصفية السمات التي لا تنتمي إلى العلاقة الحالية.
    • [SPARK-37593] قم بتقليل حجم الصفحة الافتراضية حسب LONG_ARRAY_OFFSET إذا تم استخدام G1GC و ON_HEAP.
    • [SPARK-39084] إصلاح df.rdd.isEmpty() باستخدام TaskContext لإيقاف المكرر عند إكمال المهمة.
    • [SPARK-32268] إضافة ColumnPruning في injectBloomFilter.
    • [SPARK-38974] تصفية الدالات المسجلة باسم قاعدة بيانات معين في دالات القائمة.
    • [SPARK-38931] إنشاء دليل dfs الجذر ل RocksDBFileManager مع عدد غير معروف من المفاتيح على نقطة التحقق 1.
    • تحديثات أمان نظام التشغيل.
  • 19 أبريل 2022
    • تمت ترقية Java AWS SDK من الإصدار 1.11.655 إلى 1.12.1899.
    • تم إصلاح مشكلة في المكتبات ذات نطاق دفتر الملاحظات التي لا تعمل في مهام دفق الدفعات.
    • [SPARK-38616] تعقب نص استعلام SQL في Catalyst TreeNode
    • تحديثات أمان نظام التشغيل.
  • 6 أبريل 2022
    • تتوفر الآن دوال Spark SQL التالية مع هذا الإصدار:
      • timestampadd() و dateadd(): إضافة مدة زمنية في وحدة محددة إلى تعبير طابع زمني.
      • timestampdiff() و datediff(): حساب الفرق الزمني بين تعبيرات الطابع الزمني في وحدة محددة.
    • تم ترقية Parquet-MR إلى 1.12.2
    • دعم محسن للمخططات الشاملة في ملفات parquet
    • [SPARK-38631] يستخدم التنفيذ المستند إلى Java لإلغاء التصويب في Utils.unpack.
    • [SPARK-38509][SPARK-38481] Cherry-pick ثلاثة timestmapadd/diff تغييرات.
    • [SPARK-38523] إصلاح الإشارة إلى عمود السجل التالف من CSV.
    • [SPARK-38237] السماح ClusteredDistribution لطلب مفاتيح التجميع الكاملة.
    • [SPARK-38437] تسلسل متساهل للتاريخ والوقت من مصدر البيانات.
    • [SPARK-38180] السماح بتعبيرات آمنة في دالات تقييم المساواة المترابطة.
    • [SPARK-38155] عدم السماح بتجميع مميز في الاستعلامات الفرعية الجانبية مع دالات تقييم غير معتمدة.
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 9.1 LTS

راجع Databricks Runtime 9.1 LTS.

  • 25 أبريل 2024
    • إصلاحات الأخطاء المتنوعة.
  • 9 أبريل 2024
    • تحديثات أمان نظام التشغيل.
  • 13 فبراير 2024
    • [SPARK-46861] تجنب حالة التوقف التام في DAGScheduler.
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2024
    • تحديثات أمان نظام التشغيل.
  • 25 ديسمبر 2023
    • لتجنب زيادة زمن الانتقال عند الاتصال عبر TLSv1.3، يتضمن إصدار الصيانة هذا تصحيحا لتثبيت JDK 8 لإصلاح خطأ JDK JDK-8293562.
    • [SPARK-46058] إضافة علامة منفصلة ل privateKeyPassword.
    • [SPARK-39440] إضافة تكوين لتعطيل المخطط الزمني للحدث.
    • [SPARK-46132] دعم كلمة مرور المفتاح لمفاتيح JKS ل RPC SSL.
  • 14 ديسمبر 2023
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2023
    • تثبيت حزمة جديدة، pyarrow-hotfix لمعالجة ثغرة أمنية في PyArrow RCE.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • [SPARK-45544] دعم SSL المتكامل في TransportContext.
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • تحديثات أمان نظام التشغيل.
  • 14 نوفمبر 2023
    • [SPARK-45545]SparkTransportConf يرث SSLOptions عند الإنشاء.
    • [SPARK-45429] تمت إضافة فئات المساعد لاتصال SSL RPC.
    • [SPARK-45427] تمت إضافة إعدادات RPC SSL إلى SSLOptions و SparkTransportConf.
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • [SPARK-45541] تمت إضافة SSLFactory.
    • [SPARK-42205] تمت إزالة مواصل التسجيل في أحداث بدء المرحلة والمهمة.
    • تحديثات أمان نظام التشغيل.
  • 24 أكتوبر 2023
    • [SPARK-45426] دعم إضافي ل ReloadingX509TrustManager.
    • تحديثات أمان نظام التشغيل.
  • 13 أكتوبر 2023
    • تحديثات أمان نظام التشغيل.
  • 10 سبتمبر 2023
    • إصلاحات متنوعة.
  • 30 أغسطس 2023
    • تحديثات أمان نظام التشغيل.
  • 15 أغسطس 2023
    • تحديثات أمان نظام التشغيل.
  • 23 يونيو 2023
    • تمت ترقية مكتبة Snowflake-jdbc إلى 3.13.29 لمعالجة مشكلة أمنية.
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2023
    • [SPARK-43098] إصلاح خطأ عدد التصحيحات عندما يحتوي الاستعلام الفرعي العددي على عبارة مجموعة حسب.
    • [SPARK-43156][SPARK-43098] توسيع اختبار خطأ عدد الاستعلامات الفرعية العددي مع decorrelateInnerQuery إيقاف التشغيل.
    • [SPARK-40862] دعم الاستعلامات الفرعية غير المجمعة في RewriteCorrelatedScalarSubquery.
    • تحديثات أمان نظام التشغيل.
  • 2 يونيو 2023
    • يقوم محلل JSON في failOnUnknownFields الوضع بإسقاط سجل في DROPMALFORMED الوضع ويفشل مباشرة في FAILFAST الوضع.
    • تم إصلاح مشكلة في تحليل البيانات التي تم إنقاذها من JSON لمنع UnknownFieldException.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث كانت تنسيقات الملفات المصدر المختلفة غير متناسقة عندما لا يتضمن المخطط المتوفر أقساما مستنتجة. قد تتسبب هذه المشكلة في فشل غير متوقع عند قراءة الملفات ذات الأعمدة المفقودة في مخطط القسم المستنتج.
    • [SPARK-37520] إضافة دالات startswith() السلسلة و endswith()
    • [SPARK-43413] قابلية خالية الاستعلام ListQuery الفرعي الثابتIN.
    • تحديثات أمان نظام التشغيل.
  • 17 مايو 2023
    • تحديثات أمان نظام التشغيل.
  • 25 أبريل 2023
    • تحديثات أمان نظام التشغيل.
  • 11 أبريل 2023
    • تم إصلاح مشكلة حيث يمكن أن ينتقل تطور مخطط التحميل التلقائي إلى حلقة فشل لا نهائية عند اكتشاف عمود جديد في مخطط كائن JSON متداخل.
    • [SPARK-42967] إصلاح SparkListenerTaskStart.stageAttemptId عند بدء مهمة بعد إلغاء المرحلة.
  • 29 مارس 2023
    • تحديثات أمان نظام التشغيل.
  • 14 مارس 2023
    • [SPARK-42484] رسالة خطأ محسنة ل UnsafeRowUtils.
    • إصلاحات متنوعة.
  • 28 فبراير 2023
    • يمكن للمستخدمين الآن قراءة وكتابة جداول Delta محددة تتطلب الإصدار 3 من Reader والإصدار 7 من Writer، باستخدام Databricks Runtime 9.1 LTS أو أحدث. للنجاح، يجب دعم ميزات الجدول المدرجة في بروتوكول الجداول بواسطة الإصدار الحالي من Databricks Runtime.
    • تحديثات أمان نظام التشغيل.
  • 16 فبراير 2023
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2023
    • أنواع جداول JDBC أصبحت الآن خارجية بشكل افتراضي.
  • 18 يناير 2023
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2022
    • تم إصلاح مشكلة في تحليل JSON في "المحمل التلقائي" عند ترك كافة الأعمدة كسلاسل (cloudFiles.inferColumnTypes لم يتم تعيينها أو تعيينها إلى false) وتحتوي JSON على كائنات متداخلة.
    • تحديثات أمان نظام التشغيل.
  • 15 نوفمبر 2022
    • تمت ترقية نص Apache commons إلى 1.10.0.
    • تحديثات أمان نظام التشغيل.
    • إصلاحات متنوعة.
  • 1 نوفمبر 2022
    • تم إصلاح مشكلة حيث إذا كان جدول Delta يحتوي على عمود معرف من قبل المستخدم باسم _change_type، ولكن تم إيقاف تشغيل موجز بيانات التغيير على هذا الجدول، فستملأ البيانات الموجودة في هذا العمود قيم NULL بشكل غير صحيح عند تشغيل MERGE.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث يمكن تكرار ملف في نفس الدفعة الصغيرة عند allowOverwrites تمكين
    • [SPARK-40596] ملء ExecutorDecommission بالرسائل في ExecutorDecommissionInfo
    • تحديثات أمان نظام التشغيل.
  • 18 أكتوبر 2022
    • تحديثات أمان نظام التشغيل.
  • 5 أكتوبر 2022
    • إصلاحات متنوعة.
    • تحديثات أمان نظام التشغيل.
  • 22 سبتمبر 2022
    • يمكن للمستخدمين تعيين spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") لإعادة تمكين القائمة المضمنة للتحميل التلقائي على ADLS Gen2. تم إيقاف تشغيل القائمة المضمنة مسبقا بسبب مشكلات في الأداء ولكن يمكن أن تؤدي إلى زيادة تكاليف التخزين للعملاء.
    • [SPARK-40315] إضافة hashCode() ل Literal of ArrayBasedMapData
    • [SPARK-40089] إصلاح الفرز لبعض الأنواع العشرية
    • [SPARK-39887] يجب أن تحتفظ RemoveRedundantAliases بأسماء مستعارة تجعل إخراج عقد الإسقاط فريدا
  • 6 سبتمبر 2022
    • [SPARK-40235] استخدام التأمين القابل للمقاطعة بدلا من المزامنة في Executor.updateDependencies()
    • [SPARK-35542] إصلاح: لا يمكن تحميل Bucketizer الذي تم إنشاؤه لأعمدة متعددة باستخدام المعلمات splitsArray وinputCols وoutputCols بعد حفظه
    • [SPARK-40079] إضافة التحقق من صحة Imputer inputCols لحالة الإدخال الفارغة
  • 24 أغسطس 2022
    • [SPARK-39666] استخدام UnsafeProjection.create لالاحترام spark.sql.codegen.factoryMode في ExpressionEncoder
    • [SPARK-39962] تطبيق الإسقاط عندما تكون سمات المجموعة فارغة
    • تحديثات أمان نظام التشغيل.
  • 9 أغسطس 2022
    • تحديثات أمان نظام التشغيل.
  • 27 يوليو 2022
    • اجعل نتائج عملية Delta MERGE متسقة عندما يكون المصدر غير محدد.
    • [SPARK-39689] دعم حرفين lineSep في مصدر بيانات CSV
    • [SPARK-39575] تمت الإضافة ByteBuffer#rewind بعد ByteBuffer#get في AvroDeserializer.
    • [SPARK-37392] تم إصلاح خطأ الأداء لمحسن المحفز.
    • تحديثات أمان نظام التشغيل.
  • 13 يوليو 2022
    • [SPARK-39419]ArraySort يطرح استثناء عندما يقوم المقارن بإرجاع قيمة خالية.
    • إيقاف تشغيل استخدام Loader التلقائي لواجهات برمجة التطبيقات السحابية المضمنة لقائمة الدليل على Azure.
    • تحديثات أمان نظام التشغيل.
  • 5 يوليو 2022
    • تحديثات أمان نظام التشغيل.
    • إصلاحات متنوعة.
  • 15 يونيو 2022
    • [SPARK-39283] إصلاح حالة التوقف التام بين TaskMemoryManager و UnsafeExternalSorter.SpillableIterator.
  • 2 يونيو 2022
    • [SPARK-34554]copy() تنفيذ الأسلوب في ColumnarMap.
    • تحديثات أمان نظام التشغيل.
  • 18 مايو 2022
    • تم إصلاح تسرب محتمل للذاكرة المضمنة في "المحمل التلقائي".
    • ترقية إصدار AWS SDK من 1.11.655 إلى 1.11.678.
    • [SPARK-38918] يجب أن يؤدي تشذيب الأعمدة المتداخلة إلى تصفية السمات التي لا تنتمي إلى العلاقة الحالية
    • [SPARK-39084] الإصلاح df.rdd.isEmpty() باستخدام TaskContext لإيقاف المكرر عند إكمال المهمة
    • تحديثات أمان نظام التشغيل.
  • 19 أبريل 2022
    • تحديثات أمان نظام التشغيل.
    • إصلاحات متنوعة.
  • 6 أبريل 2022
    • [SPARK-38631] يستخدم التنفيذ المستند إلى Java لإلغاء التصويب في Utils.unpack.
    • تحديثات أمان نظام التشغيل.
  • 22 مارس 2022
    • تغيير دليل العمل الحالي لدفاتر الملاحظات على مجموعات التزامن العالي مع تمكين التحكم في الوصول إلى الجدول أو تمرير بيانات الاعتماد إلى الدليل الرئيسي للمستخدم. في السابق، كان /databricks/driverالدليل النشط .
    • [SPARK-38437] تسلسل متساهل للتاريخ والوقت من مصدر البيانات
    • [SPARK-38180] السماح بتعبيرات آمنة في دالات تقييم المساواة المترابطة
    • [SPARK-38155] عدم السماح بتجميع مميز في الاستعلامات الفرعية الجانبية مع دالات تقييم غير معتمدة
    • [SPARK-27442] تمت إزالة حقل فحص عند قراءة البيانات أو كتابتها في parquet.
  • 14 مارس 2022
    • [SPARK-38236] يتم التعامل مع مسارات الملفات المطلقة المحددة في جدول الإنشاء/التغيير على أنها نسبية
    • [SPARK-34069] مقاطعة مؤشر ترابط المهمة إذا تم تعيين الخاصية SPARK_JOB_INTERRUPT_ON_CANCEL المحلية إلى true.
  • 23 فبراير 2022
    • [SPARK-37859] جداول SQL التي تم إنشاؤها باستخدام JDBC مع Spark 3.1 غير قابلة للقراءة باستخدام Spark 3.2.
  • 8 فبراير 2022
    • [SPARK-27442] تمت إزالة حقل فحص عند قراءة البيانات أو كتابتها في parquet.
    • تحديثات أمان نظام التشغيل.
  • 1 فبراير 2022
    • تحديثات أمان نظام التشغيل.
  • 26 يناير 2022
    • تم إصلاح مشكلة حيث يمكن تثبيت المعاملات المتزامنة على جداول Delta بترتيب غير قابل للتسلسل في ظل ظروف نادرة معينة.
    • تم إصلاح مشكلة حيث OPTIMIZE قد يفشل الأمر عند تمكين لهجة ANSI SQL.
  • 19 يناير 2022
    • إصلاحات طفيفة وتحسينات أمنية.
    • تحديثات أمان نظام التشغيل.
  • 4 نوفمبر 2021
    • تم إصلاح مشكلة قد تتسبب في فشل تدفقات الدفق المنظم باستخدام ArrayIndexOutOfBoundsException.
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: No FileSystem for scheme أو قد يتسبب في عدم سريان التعديلات sparkContext.hadoopConfiguration في الاستعلامات.
    • تمت ترقية الاتصال Apache Spark لمشاركة دلتا إلى 0.2.0.
  • 20 أكتوبر 2021
    • تمت ترقية موصل BigQuery من 0.18.1 إلى 0.22.2. يضيف هذا دعما لنوع BigNumeric.