تحديثات صيانة وقت تشغيل Databricks

تسرد هذه الصفحة تحديثات الصيانة الصادرة لإصدارات وقت تشغيل Databricks. لإضافة تحديث صيانة إلى نظام مجموعة موجود، أعد تشغيل نظام المجموعة.

ملاحظة

تحتوي هذه المقالة على مراجع إلى مصطلح القائمة البيضاء، وهو مصطلح لم يعد Azure Databricks يستخدمه. عند إزالة المصطلح من البرنامج، سنزيله من هذه المقالة.

إصدارات وقت تشغيل Databricks

تحديثات الصيانة حسب الإصدار:

للحصول على ملاحظات الإصدار الأصلية، اتبع الرابط الموجود أسفل العنوان الفرعي.

Databricks وقت التشغيل 10.3

راجع Databricks Runtime 10.3.

  • مارس 14, 2022
    • تحسين اكتشاف تعارض المعاملات للمعاملات الفارغة في بحيرة دلتا.
    • [SPARK-38185][SQL] إصلاح البيانات غير صحيحة إذا كانت الدالة التجميعية فارغة
    • [SPARK-38318][SQL] الانحدار عند استبدال طريقة عرض مجموعة بيانات
    • [SPARK-38236][SQL] يتم التعامل مع مسارات الملفات المطلقة المحددة في جدول الإنشاء/التغيير على أنها نسبية
    • [SPARK-35937][SQL] يجب أن يعمل حقل تاريخ الاستخراج من الطابع الزمني في وضع ANSI
    • [SPARK-34069][SQL] يجب احترام مهام حاجز القتل
    • [SPARK-37707][SQL] السماح بتعيين المخزن بين TimestampNTZ والتاريخ/الطابع الزمني
  • 23 فبراير 2022
    • [SPARK-27442][SQL] إزالة اسم حقل الاختيار عند قراءة / كتابة البيانات في الباركيه

Databricks وقت التشغيل 10.2

راجع Databricks Runtime 10.2.

  • مارس 14, 2022
    • تحسين اكتشاف تعارض المعاملات للمعاملات الفارغة في بحيرة دلتا.
    • [SPARK-38185][SQL] إصلاح البيانات غير صحيحة إذا كانت الدالة التجميعية فارغة
    • [SPARK-38318][SQL] الانحدار عند استبدال طريقة عرض مجموعة بيانات
    • [SPARK-38236][SQL] يتم التعامل مع مسارات الملفات المطلقة المحددة في جدول الإنشاء/التغيير على أنها نسبية
    • [SPARK-35937][SQL] يجب أن يعمل حقل تاريخ الاستخراج من الطابع الزمني في وضع ANSI
    • [SPARK-34069][SQL] يجب احترام مهام حاجز القتل
    • [SPARK-37707][SQL] السماح بتعيين المخزن بين TimestampNTZ والتاريخ/الطابع الزمني
  • 23 فبراير 2022
    • [SPARK-37577] [SQL] إصلاح ClassCastException: لا يمكن إرسال ArrayType إلى StructType لإنشاء التقليم
  • 8 فبراير 2022
    • [SPARK-27442][SQL] قم بإزالة اسم حقل التحقق عند قراءة / كتابة البيانات في الباركيه.
    • تحديثات أمان نظام التشغيل.
  • فبراير 1, 2022
    • تحديثات أمان نظام التشغيل.
  • يناير 26, 2022
    • تم إصلاح خطأ حيث يمكن أن تتم المعاملات المتزامنة على جداول Delta بترتيب غير قابل للتسلسل في ظل ظروف نادرة معينة.
    • تم إصلاح خطأ حيث قد يفشل الأمر OPTIMIZE عند تمكين لهجة SQL ANSI.
  • يناير ۱۹, ۲۰۲۲
    • تقديم دعم لتضمين بيانات الاعتماد المؤقتة في COPY INTO لتحميل بيانات المصدر دون الحاجة إلى أذونات SQL ANY_FILE
    • إصلاحات الأخطاء وتحسينات الأمان.
  • ديسمبر ۲۰, ۲۰۲۱
    • تم إصلاح خطأ نادر باستخدام التصفية المستندة إلى مؤشر عمود Parquet.

Databricks وقت التشغيل 10.1

راجع Databricks Runtime 10.1.

  • مارس 14, 2022
    • تحسين اكتشاف تعارض المعاملات للمعاملات الفارغة في بحيرة دلتا.
    • [SPARK-38185][SQL] إصلاح البيانات غير صحيحة إذا كانت الدالة التجميعية فارغة
    • [SPARK-38318][SQL] الانحدار عند استبدال طريقة عرض مجموعة بيانات
    • [SPARK-38236][SQL] يتم التعامل مع مسارات الملفات المطلقة المحددة في جدول الإنشاء/التغيير على أنها نسبية
    • [SPARK-35937][SQL] يجب أن يعمل حقل تاريخ الاستخراج من الطابع الزمني في وضع ANSI
    • [SPARK-34069][SQL] يجب احترام مهام حاجز القتل
    • [SPARK-37707][SQL] السماح بتعيين المخزن بين TimestampNTZ والتاريخ/الطابع الزمني
  • 23 فبراير 2022
    • [SPARK-37577] [SQL] إصلاح ClassCastException: لا يمكن إرسال ArrayType إلى StructType لإنشاء التقليم
  • 8 فبراير 2022
    • [SPARK-27442][SQL] قم بإزالة اسم حقل التحقق عند قراءة / كتابة البيانات في الباركيه.
    • تحديثات أمان نظام التشغيل.
  • فبراير 1, 2022
    • تحديثات أمان نظام التشغيل.
  • يناير 26, 2022
    • تم إصلاح خطأ حيث يمكن أن تتم المعاملات المتزامنة على جداول Delta بترتيب غير قابل للتسلسل في ظل ظروف نادرة معينة.
    • تم إصلاح خطأ حيث قد يفشل الأمر OPTIMIZE عند تمكين لهجة SQL ANSI.
  • يناير ۱۹, ۲۰۲۲
    • تقديم دعم لتضمين بيانات الاعتماد المؤقتة في COPY INTO لتحميل بيانات المصدر دون الحاجة إلى أذونات SQL ANY_FILE
    • تم إصلاح مشكلة نفاد الذاكرة مع التخزين المؤقت لنتيجة الاستعلام في ظل ظروف معينة.
    • تم إصلاح مشكلة تتعلق بقيام USE DATABASE مستخدم بتبديل الكتالوج الحالي إلى كتالوج غير افتراضي.
    • إصلاحات الأخطاء وتحسينات الأمان.
    • تحديثات أمان نظام التشغيل.
  • ديسمبر ۲۰, ۲۰۲۱
    • تم إصلاح خطأ نادر باستخدام التصفية المستندة إلى مؤشر عمود Parquet.

Databricks وقت التشغيل 10.0

راجع Databricks Runtime 10.0.

  • مارس 14, 2022
    • تحسين اكتشاف تعارض المعاملات للمعاملات الفارغة في بحيرة دلتا.
    • [SPARK-38185][SQL] إصلاح البيانات غير صحيحة إذا كانت الدالة التجميعية فارغة
    • [SPARK-38318][SQL] الانحدار عند استبدال طريقة عرض مجموعة بيانات
    • [SPARK-38236][SQL] يتم التعامل مع مسارات الملفات المطلقة المحددة في جدول الإنشاء/التغيير على أنها نسبية
    • [SPARK-35937][SQL] يجب أن يعمل حقل تاريخ الاستخراج من الطابع الزمني في وضع ANSI
    • [SPARK-34069][SQL] يجب احترام مهام حاجز القتل
    • [SPARK-37707][SQL] السماح بتعيين المخزن بين TimestampNTZ والتاريخ/الطابع الزمني
  • 23 فبراير 2022
    • [SPARK-37577] [SQL] إصلاح ClassCastException: لا يمكن إرسال ArrayType إلى StructType لإنشاء التقليم
  • 8 فبراير 2022
    • [SPARK-27442][SQL] قم بإزالة اسم حقل التحقق عند قراءة / كتابة البيانات في الباركيه.
    • [SPARK-36905][SQL] إصلاح طرق عرض الخلية المقروءة بدون أسماء أعمدة صريحة
    • [SPARK-37859][SQL] إصلاح المشكلة المتمثلة في أن الجداول SQL التي تم إنشاؤها باستخدام JDBC باستخدام Spark 3.1 غير قابلة للقراءة باستخدام الإصدار 3.2
    • تحديثات أمان نظام التشغيل.
  • فبراير 1, 2022
    • تحديثات أمان نظام التشغيل.
  • يناير 26, 2022
    • تم إصلاح خطأ حيث يمكن أن تتم المعاملات المتزامنة على جداول Delta بترتيب غير قابل للتسلسل في ظل ظروف نادرة معينة.
    • تم إصلاح خطأ حيث قد يفشل الأمر OPTIMIZE عند تمكين لهجة SQL ANSI.
  • يناير ۱۹, ۲۰۲۲
    • إصلاحات الأخطاء وتحسينات الأمان.
    • تحديثات أمان نظام التشغيل.
  • ديسمبر ۲۰, ۲۰۲۱
    • تم إصلاح خطأ نادر باستخدام التصفية المستندة إلى مؤشر عمود Parquet.
  • نوفمبر 9, 2021
    • تم تقديم علامات تكوين إضافية لتمكين التحكم الدقيق في سلوكيات ANSI.
  • نوفمبر 4, 2021
    • تم إصلاح خطأ قد يتسبب في فشل تدفقات البث الهيكلي باستخدام ArrayIndexOutOfBoundsException
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام مثل java.io.IOException: No FileSystem for scheme IOException أو قد تتسبب في عدم سريان التعديلات sparkContext.hadoopConfiguration في الاستعلامات.
    • تمت ترقية موصل Apache Spark لمشاركة دلتا إلى 0.2.0.
  • نوفمبر ۳۰, ۲۰۲۱
    • تم إصلاح مشكلة تتعلق بتحليل الطابع الزمني حيث تم اعتبار سلسلة منطقة زمنية بدون نقطتين غير صالحة.
    • تم إصلاح مشكلة نفاد الذاكرة مع التخزين المؤقت لنتيجة الاستعلام في ظل ظروف معينة.
    • تم إصلاح مشكلة تتعلق بقيام USE DATABASE مستخدم بتبديل الكتالوج الحالي إلى كتالوج غير افتراضي.

Databricks وقت التشغيل 9.1 LTS

راجع Databricks Runtime 9.1 LTS.

  • مارس 14, 2022
    • [SPARK-38236][SQL] يتم التعامل مع مسارات الملفات المطلقة المحددة في جدول الإنشاء/التغيير على أنها نسبية
    • [SPARK-34069][SQL] يجب احترام مهام حاجز القتل
  • 23 فبراير 2022
    • [SPARK-37859][SQL] لا تتحقق من وجود بيانات تعريف أثناء مقارنة المخطط
  • 8 فبراير 2022
    • [SPARK-27442][SQL] قم بإزالة اسم حقل التحقق عند قراءة / كتابة البيانات في الباركيه.
    • تحديثات أمان نظام التشغيل.
  • فبراير 1, 2022
    • تحديثات أمان نظام التشغيل.
  • يناير 26, 2022
    • تم إصلاح خطأ حيث يمكن أن تتم المعاملات المتزامنة على جداول Delta بترتيب غير قابل للتسلسل في ظل ظروف نادرة معينة.
    • تم إصلاح خطأ حيث قد يفشل الأمر OPTIMIZE عند تمكين لهجة SQL ANSI.
  • يناير ۱۹, ۲۰۲۲
    • إصلاحات الأخطاء وتحسينات الأمان.
    • تحديثات أمان نظام التشغيل.
  • نوفمبر 4, 2021
    • تم إصلاح خطأ قد يتسبب في فشل تدفقات البث الهيكلي باستخدام ArrayIndexOutOfBoundsException
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام مثل java.io.IOException: No FileSystem for scheme IOException أو قد تتسبب في عدم سريان التعديلات sparkContext.hadoopConfiguration في الاستعلامات.
    • تمت ترقية موصل Apache Spark لمشاركة دلتا إلى 0.2.0.
  • أكتوبر ۲۰, ۲۰۲۱
    • تمت ترقية موصل BigQuery من 0.18.1 إلى 0.22.2. هذا يضيف دعما لنوع BigNumeric.

Databricks وقت التشغيل 9.0 (غير مدعوم)

راجع Databricks Runtime 9.0 (غير مدعوم).

  • 8 فبراير 2022
    • تحديثات أمان نظام التشغيل.
  • فبراير 1, 2022
    • تحديثات أمان نظام التشغيل.
  • يناير 26, 2022
    • تم إصلاح خطأ حيث قد يفشل الأمر OPTIMIZE عند تمكين لهجة SQL ANSI.
  • يناير ۱۹, ۲۰۲۲
    • إصلاحات الأخطاء وتحسينات الأمان.
    • تحديثات أمان نظام التشغيل.
  • نوفمبر 4, 2021
    • تم إصلاح خطأ قد يتسبب في فشل تدفقات البث الهيكلي باستخدام ArrayIndexOutOfBoundsException
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام مثل java.io.IOException: No FileSystem for scheme IOException أو قد تتسبب في عدم سريان التعديلات sparkContext.hadoopConfiguration في الاستعلامات.
    • تمت ترقية موصل Apache Spark لمشاركة دلتا إلى 0.2.0.
  • سبتمبر ۲۲, ۲۰۲۱
    • تم إصلاح خطأ في صفيف Spark المصبوب باستخدام null to string
  • سبتمبر 15, 2021
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • سبتمبر 8, 2021
    • تمت إضافة دعم لاسم المخطط (databaseName.schemaName.tableName التنسيق) كاسم الجدول الهدف لموصل Azure Synapse.
    • تمت إضافة أنواع JDBC للهندسة والجغرافيا لدعم Spark SQL.
    • [SPARK-33527][SQL] وسعت وظيفة فك التشفير لتكون متسقة مع قواعد البيانات السائدة.
    • [SPARK-36532][CORE][3.1] تم إصلاح حالة الجمود لتجنبها executorsconnected لمنع تعليق إيقاف تشغيل المنفذ.
  • أغسطس 25, 2021
    • تمت ترقية مكتبة برامج التشغيل SQL Server إلى 9.2.1.jre8.
    • تمت ترقية موصل ندفة الثلج إلى 2.9.0.
    • تم إصلاح الارتباط المعطل إلى أفضل دفتر ملاحظات تجريبي على صفحة تجربة AutoML.

Databricks وقت التشغيل 8.4 (غير مدعوم)

راجع Databricks Runtime 8.4 (غير مدعوم).

  • يناير ۱۹, ۲۰۲۲
    • تحديثات أمان نظام التشغيل.
  • نوفمبر 4, 2021
    • تم إصلاح خطأ قد يتسبب في فشل تدفقات البث الهيكلي باستخدام ArrayIndexOutOfBoundsException
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام مثل java.io.IOException: No FileSystem for scheme IOException أو قد تتسبب في عدم سريان التعديلات sparkContext.hadoopConfiguration في الاستعلامات.
    • تمت ترقية موصل Apache Spark لمشاركة دلتا إلى 0.2.0.
  • سبتمبر ۲۲, ۲۰۲۱
    • تمت ترقية برنامج تشغيل Spark JDBC إلى 2.6.19.1030
    • [SPARK-36734][SQL] ترقية ORC إلى 1.5.1
  • سبتمبر 15, 2021
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • تحديثات أمان نظام التشغيل.
  • سبتمبر 8, 2021
    • [SPARK-36532][CORE][3.1] تم إصلاح حالة الجمود لتجنبها executorsconnected لمنع تعليق إيقاف تشغيل المنفذ.
  • أغسطس 25, 2021
    • تمت ترقية مكتبة برامج التشغيل SQL Server إلى 9.2.1.jre8.
    • تمت ترقية موصل ندفة الثلج إلى 2.9.0.
    • يعمل على إصلاح خطأ في تمرير بيانات الاعتماد ناتج عن تحسين الجلب المسبق الجديد ل Parquet، حيث قد لا يتم العثور على بيانات اعتماد مرور المستخدم أثناء الوصول إلى الملف.
  • أغسطس ۱۱, ۲۰۲۱
    • يعمل على إصلاح مشكلة عدم توافق RocksDB التي تمنع وقت تشغيل Databricks الأقدم 8.4. يعمل هذا على إصلاح التوافق الأمامي للمحمل COPY INTOالتلقائي وتطبيقات البث ذات الحالة.
    • يعمل على إصلاح خطأ عند استخدام "المحمل التلقائي" لقراءة ملفات CSV مع ملفات رأس غير متطابقة. إذا لم تتطابق أسماء الأعمدة، ملء العمود ب nulls. الآن ، إذا تم توفير مخطط ، فإنه يفترض أن المخطط هو نفسه ولن يحفظ حالات عدم تطابق الأعمدة إلا إذا تم تمكين أعمدة البيانات التي تم إنقاذها.
    • يضيف خيارا جديدا يتم استدعاؤه externalDataSource إلى موصل Azure Synapse لإزالة CONTROL متطلبات الإذن على قاعدة البيانات لقراءة PolyBase.
  • يوليو ۲۹, ۲۰۲۱
    • [SPARK-36034] [BUILD] تاريخ إعادة القاعدة في المرشحات التي تم دفعها لأسفل إلى الباركيه
    • [SPARK-36163][BUILD] نشر خصائص JDBC الصحيحة في موفر موصل JDBC وإضافة خيار

Databricks وقت التشغيل 8.3 (غير مدعوم)

راجع Databricks Runtime 8.3 (غير مدعوم).

  • يناير ۱۹, ۲۰۲۲
    • تحديثات أمان نظام التشغيل.
  • نوفمبر 4, 2021
    • تم إصلاح خطأ قد يتسبب في فشل تدفقات البث الهيكلي باستخدام ArrayIndexOutOfBoundsException
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام مثل java.io.IOException: No FileSystem for scheme IOException أو قد تتسبب في عدم سريان التعديلات sparkContext.hadoopConfiguration في الاستعلامات.
  • سبتمبر ۲۲, ۲۰۲۱
    • تمت ترقية برنامج تشغيل Spark JDBC إلى 2.6.19.1030
  • سبتمبر 15, 2021
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • تحديثات أمان نظام التشغيل.
  • سبتمبر 8, 2021
    • [SPARK-35700][SQL] [WARMFIX] قراءة جدول char/varchar orc عند إنشائه وكتابته بواسطة أنظمة خارجية.
    • [SPARK-36532][CORE][3.1] تم إصلاح حالة الجمود لتجنبها executorsconnected لمنع تعليق إيقاف تشغيل المنفذ.
  • أغسطس 25, 2021
    • تمت ترقية مكتبة برامج التشغيل SQL Server إلى 9.2.1.jre8.
    • تمت ترقية موصل ندفة الثلج إلى 2.9.0.
    • يعمل على إصلاح خطأ في تمرير بيانات الاعتماد ناتج عن تحسين الجلب المسبق الجديد ل Parquet، حيث قد لا يتم العثور على بيانات اعتماد مرور المستخدم أثناء الوصول إلى الملف.
  • أغسطس ۱۱, ۲۰۲۱
    • يعمل على إصلاح خطأ عند استخدام "المحمل التلقائي" لقراءة ملفات CSV مع ملفات رأس غير متطابقة. إذا لم تتطابق أسماء الأعمدة، ملء العمود ب nulls. الآن ، إذا تم توفير مخطط ، فإنه يفترض أن المخطط هو نفسه ولن يحفظ حالات عدم تطابق الأعمدة إلا إذا تم تمكين أعمدة البيانات التي تم إنقاذها.
  • يوليو ۲۹, ۲۰۲۱
    • ترقية موصل Databricks Snowflake Spark إلى 2.9.0-spark-3.1
    • [SPARK-36034] [BUILD] تاريخ إعادة القاعدة في المرشحات التي تم دفعها لأسفل إلى الباركيه
    • [SPARK-36163][BUILD] نشر خصائص JDBC الصحيحة في موفر موصل JDBC وإضافة خيار
  • يوليو 14، 2021
    • تم إصلاح مشكلة عند استخدام أسماء الأعمدة ذات النقاط في موصل Azure Synapse.
    • تم database.schema.table تقديم تنسيق لموصل Synapse.
    • تمت إضافة دعم لتوفير databaseName.schemaName.tableName التنسيق كجدول مستهدف بدلا من فقط schemaName.tableName أو tableName.
  • يونيو 15, 2021
    • تم إصلاح خطأ NoSuchElementException في Delta Lake الأمثل للكتابات التي يمكن أن تحدث عند كتابة كميات كبيرة من البيانات ومواجهة خسائر المنفذ
    • إضافة SQL CREATE GROUPDROP GROUPو ALTER GROUP، SHOW GROUPSو ، و SHOW USERS الأوامر. لمعرفة التفاصيل، يرجى الاطلاع على بياناتالأمان وإظهار كشوف الحساب.

Databricks وقت التشغيل 8.2 (غير مدعوم)

راجع Databricks Runtime 8.2 (غير مدعوم).

  • سبتمبر ۲۲, ۲۰۲۱

    • تحديثات أمان نظام التشغيل.
  • سبتمبر 15, 2021

    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • سبتمبر 8, 2021

    • [SPARK-35700][SQL] [WARMFIX] قراءة جدول char/varchar orc عند إنشائه وكتابته بواسطة أنظمة خارجية.
    • [SPARK-36532][CORE][3.1] تم إصلاح حالة الجمود لتجنبها executorsconnected لمنع تعليق إيقاف تشغيل المنفذ.
  • أغسطس 25, 2021

    • تمت ترقية موصل ندفة الثلج إلى 2.9.0.
  • أغسطس ۱۱, ۲۰۲۱

    • [SPARK-36034][SQL] إعادة تشغيل datetime في مرشحات مدفوعة لأسفل إلى الباركيه.
  • يوليو ۲۹, ۲۰۲۱

    • ترقية موصل Databricks Snowflake Spark إلى 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] نشر خصائص JDBC الصحيحة في موفر موصل JDBC وإضافة خيار
  • يوليو 14، 2021

    • تم إصلاح مشكلة عند استخدام أسماء الأعمدة ذات النقاط في موصل Azure Synapse.
    • تم database.schema.table تقديم تنسيق لموصل Synapse.
    • تمت إضافة دعم لتوفير databaseName.schemaName.tableName التنسيق كجدول مستهدف بدلا من فقط schemaName.tableName أو tableName.
    • تم إصلاح خطأ يمنع المستخدمين من السفر عبر الزمن إلى الإصدارات القديمة المتوفرة باستخدام جداول Delta.
  • يونيو 15, 2021

    • إصلاح خطأ في عمليات الكتابة المحسنة NoSuchElementException في Delta Lake والتي يمكن أن تحدث عند كتابة كميات كبيرة من البيانات ومواجهة خسائر المنفذ
  • 26 مايو 2021

    • تم تحديث Python باستخدام تصحيح أمان لإصلاح ثغرة أمنية في Python (CVE-2021-3177).
  • أبريل 30, 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227] [BUILD] تحديث المحلل لحزم الشرارة في SparkSubmit
    • [SPARK-34245] [CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
    • تم إصلاح مشكلة OOM عندما يقوم المحمل التلقائي بالإبلاغ عن مقاييس تقدم البث المنظم.

Databricks وقت التشغيل 8.1 (غير مدعوم)

راجع Databricks Runtime 8.1 (غير مدعوم).

  • سبتمبر ۲۲, ۲۰۲۱

    • تحديثات أمان نظام التشغيل.
  • سبتمبر 15, 2021

    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • سبتمبر 8, 2021

    • [SPARK-35700][SQL] [WARMFIX] قراءة جدول char/varchar orc عند إنشائه وكتابته بواسطة أنظمة خارجية.
    • [SPARK-36532][CORE][3.1] تم إصلاح حالة الجمود لتجنبها executorsconnected لمنع تعليق إيقاف تشغيل المنفذ.
  • أغسطس 25, 2021

    • تمت ترقية موصل ندفة الثلج إلى 2.9.0.
  • أغسطس ۱۱, ۲۰۲۱

    • [SPARK-36034][SQL] إعادة تشغيل datetime في مرشحات مدفوعة لأسفل إلى الباركيه.
  • يوليو ۲۹, ۲۰۲۱

    • ترقية موصل Databricks Snowflake Spark إلى 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] نشر خصائص JDBC الصحيحة في موفر موصل JDBC وإضافة خيار
  • يوليو 14، 2021

    • تم إصلاح مشكلة عند استخدام أسماء الأعمدة ذات النقاط في موصل Azure Synapse.
    • تم إصلاح خطأ يمنع المستخدمين من السفر عبر الزمن إلى الإصدارات القديمة المتوفرة باستخدام جداول Delta.
  • يونيو 15, 2021

    • إصلاح خطأ في عمليات الكتابة المحسنة NoSuchElementException في Delta Lake والتي يمكن أن تحدث عند كتابة كميات كبيرة من البيانات ومواجهة خسائر المنفذ
  • 26 مايو 2021

    • تم تحديث Python باستخدام تصحيح أمان لإصلاح ثغرة أمنية في Python (CVE-2021-3177).
  • أبريل 30, 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227] [BUILD] تحديث المحلل لحزم الشرارة في SparkSubmit
    • تم إصلاح مشكلة OOM عندما يقوم المحمل التلقائي بالإبلاغ عن مقاييس تقدم البث المنظم.
  • أبريل ۲۷, ۲۰۲۱

    • [SPARK-34245] [CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
    • [SPARK-34856][SQL] وضع ANSI: السماح بأنواع معقدة الإرسال كنوع سلسلة
    • [سبارك-35014] إصلاح نمط التجميع المادي لعدم إعادة كتابة التعبيرات القابلة للطي
    • [SPARK-34769][SQL] AnsiTypeCoercion: إرجاع أضيق نوع قابل للتحويل بين TypeCollection
    • [SPARK-34614][SQL] وضع ANSI: صب السلسلة إلى المنطقية سوف يلقي استثناء على خطأ التحليل
    • [SPARK-33794][SQL] وضع ANSI: إصلاح تعبير NextDay لإلقاء وقت التشغيل IllegalArgumentException عند تلقي إدخال غير صالح ضمن

Databricks وقت التشغيل 8.0 (غير مدعوم)

راجع Databricks Runtime 8.0 (غير مدعوم).

  • سبتمبر 15, 2021

    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • أغسطس 25, 2021

    • تمت ترقية موصل ندفة الثلج إلى 2.9.0.
  • أغسطس ۱۱, ۲۰۲۱

    • [SPARK-36034][SQL] إعادة تشغيل datetime في مرشحات مدفوعة لأسفل إلى الباركيه.
  • يوليو ۲۹, ۲۰۲۱

    • [SPARK-36163][BUILD] نشر خصائص JDBC الصحيحة في موفر موصل JDBC وإضافة خيار
  • يوليو 14، 2021

    • تم إصلاح مشكلة عند استخدام أسماء الأعمدة ذات النقاط في موصل Azure Synapse.
    • تم إصلاح خطأ يمنع المستخدمين من السفر عبر الزمن إلى الإصدارات القديمة المتوفرة باستخدام جداول Delta.
  • 26 مايو 2021

    • تم تحديث Python باستخدام تصحيح أمان لإصلاح ثغرة أمنية في Python (CVE-2021-3177).
  • أبريل 30, 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227] [BUILD] تحديث المحلل لحزم الشرارة في SparkSubmit
    • [SPARK-34245] [CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
  • مارس 24, 2021

    • [SPARK-34681][SQL] إصلاح الخلل لاتصال التجزئة الخارجية المختلطة بالكامل عند إنشاء الجانب الأيسر بحالة غير متساوية
    • [سبارك-34534] إصلاح ترتيب blockIds عند استخدام FetchShuffleBlocks لجلب الكتل
    • [SPARK-34613][SQL] لا يلتقط عرض Fix تعطيل تكوين التلميح
  • 9 مارس 2021

    • [SPARK-34543][SQL] احترم التكوين أثناء حل مواصفات القسم في الإصدار 1SET LOCATION
    • [SPARK-34392][SQL] دعم ZoneOffset +h:mm في DateTimeUtils. جيت زونيد
    • [واجهة المستخدم] إصلاح ارتباط href الخاص ب Spark DAG Visualization
    • [SPARK-34436][SQL] دعم DPP مثل أي / كل التعبير

Databricks وقت التشغيل 7.6 (غير مدعوم)

راجع Databricks Runtime 7.6 (غير مدعوم).

  • أغسطس ۱۱, ۲۰۲۱
    • [SPARK-36034][SQL] إعادة تشغيل datetime في مرشحات مدفوعة لأسفل إلى الباركيه.
  • يوليو ۲۹, ۲۰۲۱
    • [SPARK-32998][BUILD] إضافة القدرة على تجاوز عمليات إعادة الشراء عن بعد الافتراضية باستخدام الريبو الداخلي فقط
  • يوليو 14، 2021
    • تم إصلاح خطأ يمنع المستخدمين من السفر عبر الزمن إلى الإصدارات القديمة المتوفرة باستخدام جداول Delta.
  • 26 مايو 2021
    • تم تحديث Python باستخدام تصحيح أمان لإصلاح ثغرة أمنية في Python (CVE-2021-3177).
  • أبريل 30, 2021
    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227] [BUILD] تحديث المحلل لحزم الشرارة في SparkSubmit
    • [SPARK-34245] [CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
  • مارس 24, 2021
    • [SPARK-34768][SQL] احترم حجم المخزن المؤقت الافتراضي للإدخال في Univocity
    • [سبارك-34534] إصلاح ترتيب blockIds عند استخدام FetchShuffleBlocks لجلب الكتل
  • 9 مارس 2021
    • (Azure فقط) تم إصلاح خطأ محمل تلقائي يمكن أن يتسبب في NullPointerException عند استخدام Databricks Runtime 7.6 لتشغيل دفق محمل تلقائي قديم تم إنشاؤه في Databricks Runtime 7.2
    • [واجهة المستخدم] إصلاح ارتباط href الخاص ب Spark DAG Visualization
    • لا يتم التعامل مع SparkPlan غير معروف عقدة ورقة بشكل صحيح في SizeInBytesOnlyStatsSparkPlanVisitor
    • استعادة مخطط الإخراج الخاص ب SHOW DATABASES
    • [دلتا] [8.0, 7.6] خطأ حسابي ثابت في منطق الضبط التلقائي لحجم الملف
    • تعطيل التحقق من عدم الصلاحية لملفات جدول Delta في ذاكرة التخزين المؤقت Delta
    • [SQL] استخدم مفتاح بناء التقليم الديناميكي الصحيح عند وجود تلميح ربط النطاق
    • تعطيل دعم نوع char في مسار التعليمات البرمجية غير SQL
    • تجنب NPE في DataFrameReader.schema
    • إصلاح NPE عندما لا تحتوي استجابة EventGridClient على كيان
    • إصلاح خطأ في دفق مغلق للقراءة في Azure Auto Loader
    • [SQL] لا تقم بإنشاء نصيحة رقم القسم العشوائي عند تمكين AOS
  • فبراير 24, 2021
    • تمت ترقية موصل Spark BigQuery إلى الإصدار 0.18 ، والذي يقدم العديد من إصلاحات الأخطاء ودعم مكررات Arrow و Avro.
    • تم إصلاح مشكلة صحة كانت تتسبب في قيام Spark بإرجاع نتائج غير صحيحة عندما تختلف الدقة العشرية والمقياس العشري لملف Parquet عن مخطط Spark.
    • تم إصلاح مشكلة فشل القراءة في Microsoft SQL Server الجداول التي تحتوي على أنواع البيانات المكانية، عن طريق إضافة دعم أنواع JDBC الهندسية والجغرافية ل Spark SQL.
    • قدم تكوينا spark.databricks.hive.metastore.init.reloadFunctions.enabledجديدا . يتحكم هذا التكوين في تهيئة Hive المضمنة. عند التعيين إلى true، يقوم Azure Databricks بإعادة تحميل جميع الوظائف من جميع قواعد البيانات التي يمتلكها المستخدمون .FunctionRegistry هذا هو السلوك الافتراضي في Hive Metastore. عند التعيين إلى false، يقوم Azure Databricks بتعطيل هذه العملية للتحسين.
    • [سبارك-34212] تم إصلاح المشكلات المتعلقة بقراءة البيانات العشرية من ملفات Parquet.
    • [SPARK-34260][SQL] إصلاح UnresolvedException عند إنشاء طريقة عرض مؤقتة مرتين.

Databricks وقت التشغيل 7.5 (غير مدعوم)

راجع Databricks Runtime 7.5 (غير مدعوم).

  • 26 مايو 2021
    • تم تحديث Python باستخدام تصحيح أمان لإصلاح ثغرة أمنية في Python (CVE-2021-3177).
  • أبريل 30, 2021
    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227] [BUILD] تحديث المحلل لحزم الشرارة في SparkSubmit
    • [SPARK-34245] [CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
  • مارس 24, 2021
    • [SPARK-34768][SQL] احترم حجم المخزن المؤقت الافتراضي للإدخال في Univocity
    • [سبارك-34534] إصلاح ترتيب blockIds عند استخدام FetchShuffleBlocks لجلب الكتل
  • 9 مارس 2021
    • (Azure فقط) تم إصلاح خطأ محمل تلقائي يمكن أن يتسبب في NullPointerException عند استخدام Databricks Runtime 7.5 لتشغيل دفق محمل تلقائي قديم تم إنشاؤه في Databricks Runtime 7.2.
    • [واجهة المستخدم] إصلاح ارتباط href الخاص ب Spark DAG Visualization
    • لا يتم التعامل مع SparkPlan غير معروف عقدة ورقة بشكل صحيح في SizeInBytesOnlyStatsSparkPlanVisitor
    • استعادة مخطط الإخراج الخاص ب SHOW DATABASES
    • تعطيل التحقق من عدم الصلاحية لملفات جدول Delta في ذاكرة التخزين المؤقت Delta
    • [SQL] استخدم مفتاح بناء التقليم الديناميكي الصحيح عند وجود تلميح ربط النطاق
    • تعطيل دعم نوع char في مسار التعليمات البرمجية غير SQL
    • تجنب NPE في DataFrameReader.schema
    • إصلاح NPE عندما لا تحتوي استجابة EventGridClient على كيان
    • إصلاح خطأ في دفق مغلق للقراءة في Azure Auto Loader
  • فبراير 24, 2021
    • تمت ترقية موصل Spark BigQuery إلى الإصدار 0.18 ، والذي يقدم العديد من إصلاحات الأخطاء ودعم مكررات Arrow و Avro.
    • تم إصلاح مشكلة صحة كانت تتسبب في قيام Spark بإرجاع نتائج غير صحيحة عندما تختلف الدقة العشرية والمقياس العشري لملف Parquet عن مخطط Spark.
    • تم إصلاح مشكلة فشل القراءة في Microsoft SQL Server الجداول التي تحتوي على أنواع البيانات المكانية، عن طريق إضافة دعم أنواع JDBC الهندسية والجغرافية ل Spark SQL.
    • قدم تكوينا spark.databricks.hive.metastore.init.reloadFunctions.enabledجديدا . يتحكم هذا التكوين في تهيئة Hive المضمنة. عند التعيين إلى true، يقوم Azure Databricks بإعادة تحميل جميع الوظائف من جميع قواعد البيانات التي يمتلكها المستخدمون .FunctionRegistry هذا هو السلوك الافتراضي في Hive Metastore. عند التعيين إلى false، يقوم Azure Databricks بتعطيل هذه العملية للتحسين.
    • [سبارك-34212] تم إصلاح المشكلات المتعلقة بقراءة البيانات العشرية من ملفات Parquet.
    • [SPARK-34260][SQL] إصلاح UnresolvedException عند إنشاء طريقة عرض مؤقتة مرتين.
  • فبراير 4, 2021
    • تم إصلاح الانحدار الذي يمنع التنفيذ التزايدي لاستعلام يقوم بتعيين حد عمومي مثل SELECT * FROM table LIMIT nrows. تمت تجربة الانحدار من قبل المستخدمين الذين يقومون بتشغيل الاستعلامات عبر ODBC / JDBC مع تمكين تسلسل السهم.
    • تم تقديم عمليات التحقق من وقت الكتابة إلى عميل Hive لمنع تلف بيانات التعريف في مخزن Metastore الخاص ب Hive لجداول Delta.
    • تم إصلاح الانحدار الذي تسبب في فشل بدء تشغيل DBFS FUSE عندما تحتوي تكوينات متغير بيئة نظام المجموعة على بناء جملة bash غير صالح.
  • يناير ۲۰, ۲۰۲۱
    • تم إصلاح انحدار في إصدار الصيانة بتاريخ 12 يناير 2021 والذي يمكن أن يتسبب في حدوث AnalysisException غير صحيح ويقول إن العمود غامض في الانضمام الذاتي. يحدث هذا الانحدار عندما ينضم مستخدم إلى DataFrame مع DataFrame المشتق (ما يسمى الانضمام الذاتي) بالشروط التالية:
      • يحتوي هذان الإطاران على أعمدة مشتركة، ولكن لا يحتوي إخراج الانضمام الذاتي على أعمدة مشتركة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستبعد DataFrame المشتق بعض الأعمدة عبر التحديد أو groupBy أو النافذة.
      • يشير شرط الانضمام أو التحويل التالي بعد Dataframe المرتبط إلى الأعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)
  • 12 يناير 2021
    • قم بترقية Azure Storage SDK من 2.3.8 إلى 2.3.9.
    • [SPARK-33593][SQL] حصل قارئ المتجهات على بيانات غير صحيحة مع قيمة القسم الثنائي
    • [SPARK-33480][SQL] بتحديث رسالة الخطأ الخاصة بالتحقق من طول إدراج جدول char/varchar

Databricks وقت التشغيل 7.3 LTS

راجع Databricks Runtime 7.3 LTS.

  • مارس 14, 2022

    • إزالة الفئات الضعيفة من log4j 1.2.17 jar
    • إصلاحات الأخطاء المتنوعة.
  • 23 فبراير 2022

    • [SPARK-37859][SQL] لا تتحقق من وجود بيانات تعريف أثناء مقارنة المخطط
  • 8 فبراير 2022

    • ترقية أوبونتو JDK إلى 1.8.0.312.
    • تحديثات أمان نظام التشغيل.
  • فبراير 1, 2022

    • تحديثات أمان نظام التشغيل.
  • يناير 26, 2022

    • تم إصلاح خطأ حيث قد يفشل الأمر OPTIMIZE عند تمكين لهجة SQL ANSI.
  • يناير ۱۹, ۲۰۲۲

    • تتم إزالة قناة Conda الافتراضية من 7.3 مل LTS
    • تحديثات أمان نظام التشغيل.
  • ديسمبر 7, 2021

    • تحديثات أمان نظام التشغيل.
  • نوفمبر 4, 2021

    • تم إصلاح خطأ قد يتسبب في فشل تدفقات البث الهيكلي باستخدام ArrayIndexOutOfBoundsException
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام مثل java.io.IOException: No FileSystem for scheme IOException أو قد تتسبب في عدم سريان التعديلات sparkContext.hadoopConfiguration في الاستعلامات.
  • سبتمبر 15, 2021

    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • تحديثات أمان نظام التشغيل.
  • سبتمبر 8, 2021

    • [SPARK-35700][SQL] [WARMFIX] قراءة جدول char/varchar orc عند إنشائه وكتابته بواسطة أنظمة خارجية.
    • [SPARK-36532][CORE][3.1] تم إصلاح حالة الجمود لتجنبها executorsconnected لمنع تعليق إيقاف تشغيل المنفذ.
  • أغسطس 25, 2021

    • تمت ترقية موصل ندفة الثلج إلى 2.9.0.
  • يوليو ۲۹, ۲۰۲۱

    • [SPARK-36034] [BUILD] تاريخ إعادة القاعدة في المرشحات التي تم دفعها لأسفل إلى الباركيه
    • [SPARK-34508] [BUILD] تخطي إذا كانت الشبكة معطلة
  • يوليو 14، 2021

    • التنسيق المقدم database.schema.table لموصل Azure Synapse.
    • تمت إضافة دعم لتوفير databaseName.schemaName.tableName التنسيق كجدول مستهدف بدلا من فقط schemaName.tableName أو tableName.
    • تم إصلاح خطأ يمنع المستخدمين من السفر عبر الزمن إلى الإصدارات القديمة المتوفرة باستخدام جداول Delta.
  • يونيو 15, 2021

    • إصلاح خطأ في عمليات الكتابة المحسنة NoSuchElementException في Delta Lake والتي يمكن أن تحدث عند كتابة كميات كبيرة من البيانات ومواجهة خسائر المنفذ
    • تم تحديث Python باستخدام تصحيح أمان لإصلاح ثغرة أمنية في Python (CVE-2021-3177).
  • أبريل 30, 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227] [BUILD] تحديث المحلل لحزم الشرارة في SparkSubmit
    • [SPARK-34245] [CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
    • [SPARK-35045][SQL] إضافة خيار داخلي للتحكم في المخزن المؤقت للإدخال في univocity
  • مارس 24, 2021

    • [SPARK-34768][SQL] احترم حجم المخزن المؤقت الافتراضي للإدخال في Univocity
    • [سبارك-34534] إصلاح ترتيب blockIds عند استخدام FetchShuffleBlocks لجلب الكتل
    • [SPARK-33118][SQL] فشل إنشاء جدول مؤقت مع الموقع
  • 9 مارس 2021

    • يتم الآن تمكين برنامج تشغيل نظام ملفات Azure Blob المحدث ل Azure Data Lake Storage Gen2 بشكل افتراضي. يجلب تحسينات متعددة في الاستقرار.
    • إصلاح فاصل المسار على Windows لdatabricks-connect get-jar-dir
    • [واجهة المستخدم] إصلاح ارتباط href الخاص ب Spark DAG Visualization
    • [DBCONNECT] إضافة دعم ل FlatMapCoGroupsInPandas في Databricks الاتصال 7.3
    • استعادة مخطط الإخراج الخاص ب SHOW DATABASES
    • [SQL] استخدم مفتاح بناء التقليم الديناميكي الصحيح عند وجود تلميح ربط النطاق
    • تعطيل التحقق من عدم الصلاحية لملفات جدول Delta في ذاكرة التخزين المؤقت Delta
    • [SQL] لا تقم بإنشاء نصيحة رقم القسم العشوائي عند تمكين AOS
  • فبراير 24, 2021

    • تمت ترقية موصل Spark BigQuery إلى الإصدار 0.18 ، والذي يقدم العديد من إصلاحات الأخطاء ودعم مكررات Arrow و Avro.
    • تم إصلاح مشكلة صحة كانت تتسبب في قيام Spark بإرجاع نتائج غير صحيحة عندما تختلف الدقة العشرية والمقياس العشري لملف Parquet عن مخطط Spark.
    • تم إصلاح مشكلة فشل القراءة في Microsoft SQL Server الجداول التي تحتوي على أنواع البيانات المكانية، عن طريق إضافة دعم أنواع JDBC الهندسية والجغرافية ل Spark SQL.
    • قدم تكوينا spark.databricks.hive.metastore.init.reloadFunctions.enabledجديدا . يتحكم هذا التكوين في تهيئة Hive المضمنة. عند التعيين إلى true، يقوم Azure Databricks بإعادة تحميل جميع الوظائف من جميع قواعد البيانات التي يمتلكها المستخدمون .FunctionRegistry هذا هو السلوك الافتراضي في Hive Metastore. عند التعيين إلى false، يقوم Azure Databricks بتعطيل هذه العملية للتحسين.
    • [سبارك-34212] تم إصلاح المشكلات المتعلقة بقراءة البيانات العشرية من ملفات Parquet.
    • [SPARK-33579][UI] إصلاح صفحة فارغة للمنفذ خلف الوكيل.
    • [SPARK-20044][UI] دعم Spark UI خلف الوكيل العكسي الأمامي باستخدام بادئة مسار.
    • [SPARK-33277][PYSPARK][SQL] استخدم ContextAwareIterator للتوقف عن الاستهلاك بعد انتهاء المهمة.
  • فبراير 4, 2021

    • تم إصلاح الانحدار الذي يمنع التنفيذ التزايدي لاستعلام يقوم بتعيين حد عمومي مثل SELECT * FROM table LIMIT nrows. تمت تجربة الانحدار من قبل المستخدمين الذين يقومون بتشغيل الاستعلامات عبر ODBC / JDBC مع تمكين تسلسل السهم.
    • تم إصلاح الانحدار الذي تسبب في فشل بدء تشغيل DBFS FUSE عندما تحتوي تكوينات متغير بيئة نظام المجموعة على بناء جملة bash غير صالح.
  • يناير ۲۰, ۲۰۲۱

    • تم إصلاح انحدار في إصدار الصيانة بتاريخ 12 يناير 2021 والذي يمكن أن يتسبب في حدوث AnalysisException غير صحيح ويقول إن العمود غامض في الانضمام الذاتي. يحدث هذا الانحدار عندما ينضم مستخدم إلى DataFrame مع DataFrame المشتق (ما يسمى الانضمام الذاتي) بالشروط التالية:
      • يحتوي هذان الإطاران على أعمدة مشتركة، ولكن لا يحتوي إخراج الانضمام الذاتي على أعمدة مشتركة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستبعد DataFrame المشتق بعض الأعمدة عبر التحديد أو groupBy أو النافذة.
      • يشير شرط الانضمام أو التحويل التالي بعد Dataframe المرتبط إلى الأعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)
  • 12 يناير 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-33593][SQL] حصل قارئ المتجهات على بيانات غير صحيحة مع قيمة القسم الثنائي
    • [SPARK-33677][SQL] تخطي قاعدة LikeSimplification إذا كان النمط يحتوي على أي escapeChar
    • [SPARK-33592][ML] [PYTHON] قد تفقد معلمات Pyspark ML Validator في estimatorParamMaps بعد الحفظ وإعادة التحميل
    • [SPARK-33071] [SPARK-33536] [SQL] تجنب تغيير dataset_id LogicalPlan في الانضمام () لعدم كسر DetectAmbiguousSelfJoin
  • 8 ديسمبر 2020

    • [SPARK-33587] [CORE] قتل المنفذ على أخطاء فادحة متداخلة
    • [SPARK-27421] [SQL] إصلاح عامل التصفية لعمود int وفئة القيمة java.lang.String عند تشذيب عمود القسم
    • [SPARK-33316][SQL] قدم مستخدم الدعم مخطط Avro غير قابل للإلغاء لمخطط محفز غير قابل للإلغاء في كتابة Avro
    • تم إطلاق Spark Jobs باستخدام Databricks الاتصال يمكن أن يتوقف إلى أجل غير مسمى مع Executor$TaskRunner.$anonfun$copySessionState تتبع مكدس المنفذ
    • تحديثات أمان نظام التشغيل.
  • ديسمبر ۱, ۲۰۲۰

    • [SPARK-33404][SQL][3.0] إصلاح النتائج غير الصحيحة في التعبير
    • [SPARK-33339] [PYTHON] سيتم تعليق تطبيق Pyspark بسبب خطأ غير استثناء
    • [SPARK-33183][SQL] [الإصلاح العاجل] إصلاح قاعدة محسن القضاء على الفرز وإضافة قاعدة فعلية لإزالة الأنواع الزائدة عن الحاجة
    • [SPARK-33371] [PYTHON] [3.0] تحديث setup.py واختبارات Python 3.9
    • [SPARK-33391][SQL] element_at مع CreateArray لا يحترمون فهرسا واحدا قائما.
    • [SPARK-33306][SQL] هناك حاجة إلى المنطقة الزمنية عند إرسال التاريخ إلى السلسلة
    • [SPARK-33260][SQL] إصلاح النتائج غير الصحيحة من SortExec عندما يكون sortOrder هو Stream
  • نوفمبر 5، 2020

  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • يمكنك القراءة والكتابة من DBFS باستخدام حامل FUSE في /dbfs/ عندما تكون على نظام مجموعة تم تمكين تمرير بيانات اعتماد عالية التزامن. يتم دعم الحوامل العادية ولكن الحوامل التي تحتاج إلى بيانات اعتماد المرور غير مدعومة بعد.
    • [SPARK-32999][SQL] استخدم Utils.getSimpleName لتجنب ضرب اسم الفصل المشوه في TreeNode
    • [SPARK-32585][SQL] دعم تعداد سكالا في ScalaReflection
    • دلائل القوائم الثابتة في حامل FUSE التي تحتوي على أسماء ملفات بأحرف XML غير صالحة
    • حامل FUSE لم يعد يستخدم ListMultipartUploads
  • سبتمبر ۲۹, ۲۰۲۰

    • [SPARK-32718][SQL] إزالة الكلمات الرئيسية غير الضرورية لوحدات الفاصل الزمني
    • [SPARK-32635] [SQL] إصلاح الانتشار القابل للطي
    • إضافة تكوين spark.shuffle.io.decoder.consolidateThresholdجديد . قم بتعيين قيمة التكوين لتخطي Long.MAX_VALUE دمج Netty FrameBuffers ، مما يمنع في حالات الزاوية java.lang.IndexOutOfBoundsException .

Databricks وقت التشغيل 6.4 الدعم الموسع

راجع Databricks Runtime 6.4 (غير مدعوم) و Databricks Runtime 6.4 Extended Support.

  • مارس 14, 2022

    • إزالة الفئات الضعيفة من log4j 1.2.17 jar
    • إصلاحات الأخطاء المتنوعة.
  • 23 فبراير 2022

    • إصلاحات الأخطاء المتنوعة.
  • 8 فبراير 2022

    • ترقية أوبونتو JDK إلى 1.8.0.312.
    • تحديثات أمان نظام التشغيل.
  • فبراير 1, 2022

    • تحديثات أمان نظام التشغيل.
  • يناير 26, 2022

    • تم إصلاح خطأ حيث قد يفشل الأمر OPTIMIZE عند تمكين لهجة SQL ANSI.
  • يناير ۱۹, ۲۰۲۲

    • تحديثات أمان نظام التشغيل.
  • ديسمبر 8, 2021

    • تحديثات أمان نظام التشغيل.
  • سبتمبر ۲۲, ۲۰۲۱

    • تحديثات أمان نظام التشغيل.
  • يونيو 15, 2021

    • [SPARK-35576][SQL] قم بتنقيح المعلومات الحساسة في نتيجة الأمر تعيين
  • يونيو 7, 2021

    • أضف تكوينا جديدا يسمى spark.sql.maven.additionalRemoteRepositories، تكوين سلسلة محدد بفاصلة لمرآة maven الإضافية الاختيارية عن بعد. القيمة افتراضية إلى https://maven-central.storage-download.googleapis.com/maven2/.
  • أبريل 30, 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227] [BUILD] تحديث المحلل لحزم الشرارة في SparkSubmit
  • 9 مارس 2021

    • منفذ HADOOP-17215 إلى برنامج تشغيل نظام ملفات Azure Blob (دعم الكتابة فوق الشرطية).
    • إصلاح فاصل المسار على Windows لdatabricks-connect get-jar-dir
    • تمت إضافة دعم لإصدارات Metastore من Hive 2.3.5 و 2.3.6 و 2.3.7
    • السهم "totalResultsCollected" تم الإبلاغ عنه بشكل غير صحيح بعد الانسكاب
  • فبراير 24, 2021

    • قدم تكوينا spark.databricks.hive.metastore.init.reloadFunctions.enabledجديدا . يتحكم هذا التكوين في تهيئة Hive المضمنة. عند التعيين إلى true، يقوم Azure Databricks بإعادة تحميل جميع الوظائف من جميع قواعد البيانات التي يمتلكها المستخدمون .FunctionRegistry هذا هو السلوك الافتراضي في Hive Metastore. عند التعيين إلى false، يقوم Azure Databricks بتعطيل هذه العملية للتحسين.
  • فبراير 4, 2021

    • تم إصلاح الانحدار الذي يمنع التنفيذ التزايدي لاستعلام يقوم بتعيين حد عمومي مثل SELECT * FROM table LIMIT nrows. تمت تجربة الانحدار من قبل المستخدمين الذين يقومون بتشغيل الاستعلامات عبر ODBC / JDBC مع تمكين تسلسل السهم.
    • تم إصلاح الانحدار الذي تسبب في فشل بدء تشغيل DBFS FUSE عندما تحتوي تكوينات متغير بيئة نظام المجموعة على بناء جملة bash غير صالح.
  • 12 يناير 2021

    • تحديثات أمان نظام التشغيل.
  • 8 ديسمبر 2020

    • [SPARK-27421] [SQL] إصلاح عامل التصفية لعمود int وفئة القيمة java.lang.String عند تشذيب عمود القسم
    • [SPARK-33183][SQL] قاعدة Fix Optimizer EliminatSorts وإضافة قاعدة فعلية لإزالة الأنواع الزائدة عن الحاجة
    • [وقت التشغيل 6.4 مل GPU] لقد قمنا مسبقا بتثبيت إصدار غير صحيح (2.7.8-1 + cuda11.1) من NCCL. يقوم هذا الإصدار بتصحيحه إلى 2.4.8-1 + cuda10.0 المتوافق مع CUDA 10.0.
    • تحديثات أمان نظام التشغيل.
  • ديسمبر ۱, ۲۰۲۰

    • [SPARK-33260][SQL] إصلاح النتائج غير الصحيحة من SortExec عندما يكون sortOrder هو Stream
    • [SPARK-32635] [SQL] إصلاح الانتشار القابل للطي
  • نوفمبر 3، 2020

    • تمت ترقية إصدار Java من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح قفل ABFS و WASB فيما يتعلق ب UserGroupInformation.getCurrentUser()
    • إصلاح خطأ حلقة لا نهائية من قارئ Avro عند قراءة وحدات البايت MAGIC.
  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL][2.4] استخدم Utils.getSimpleName لتجنب ضرب اسم الفصل المشوه في TreeNode
    • دلائل القوائم الثابتة في حامل FUSE التي تحتوي على أسماء ملفات بأحرف XML غير صالحة
    • حامل FUSE لم يعد يستخدم ListMultipartUploads
  • سبتمبر 24، 2020

    • تم إصلاح قيد سابق حيث لا يزال المرور عبر المجموعة القياسية يقيد استخدامات مستخدم تنفيذ نظام الملفات. الآن سيتمكن المستخدمون من الوصول إلى أنظمة الملفات المحلية دون قيود.
    • تحديثات أمان نظام التشغيل.
  • 8 سبتمبر 2020

    • تم إنشاء معلمة جديدة ل Azure Synapse Analytics، maxbinlength. تستخدم هذه المعلمة للتحكم في طول عمود أعمدة BinaryType، ويتم ترجمتها إلى VARBINARY(maxbinlength). يمكن ضبطه باستخدام .option("maxbinlength", n)، حيث 0 < n <= 8000.
    • قم بتحديث Azure Storage SDK إلى 8.6.4 وتمكين TCP من البقاء على قيد الحياة على الاتصالات التي أجراها برنامج تشغيل WASB
  • أغسطس ۲۵, ۲۰۲۰

    • دقة سمة غامضة ثابتة في الدمج الذاتي
  • أغسطس ۱۸, ۲۰۲۰

    • [SPARK-32431][SQL] تحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • تم إصلاح حالة تعارض في موصل AQS عند استخدام Trigger.Once.
  • 11 أغسطس، 2020

    • [SPARK-28676] [CORE] تجنب التسجيل المفرط من ContextCleaner
  • أغسطس 3, 2020

    • يمكنك الآن استخدام دالة تحويل LDA على نظام مجموعة ممكن من خلال المرور.
    • تحديثات أمان نظام التشغيل.
  • يوليو 7، 2020

    • تمت ترقية إصدار Java من 1.8.0_232 إلى 1.8.0_252.
  • أبريل ۲۱, ۲۰۲۰

    • [SPARK-31312][SQL] مثيل فئة ذاكرة التخزين المؤقت لمثيل UDF في HiveFunctionWrapper
  • أبريل 7، 2020

    • لحل مشكلة تتعلق ب pandas udf لا يعمل مع PyArrow 0.15.0 والإصدارات الأحدث، أضفنا متغير بيئة (ARROW_PRE_0_15_IPC_FORMAT=1) لتمكين دعم هذه الإصدارات من PyArrow. راجع الإرشادات الواردة في [SPARK-29367].
  • 10 مارس 2020

    • يتم الآن استخدام القياس التلقائي المحسن بشكل افتراضي على المجموعات متعددة الأغراض على خطة Azure Databricks Premium.
    • يتم تحديث موصل ندفة الثلج (spark-snowflake_2.11) المضمن في وقت تشغيل Databricks إلى الإصدار 2.5.9. snowflake-jdbc إلى الإصدار 3.12.0.

Databricks وقت التشغيل 5.5 LTS (غير مدعوم)

راجع Databricks Runtime 5.5 LTS (غير مدعوم) و Databricks Runtime 5.5 Extended Support (غير مدعوم).

  • ديسمبر 8, 2021

    • تحديثات أمان نظام التشغيل.
  • سبتمبر ۲۲, ۲۰۲۱

    • تحديثات أمان نظام التشغيل.
  • أغسطس 25, 2021

    • خفض مستوى بعض حزم python التي تمت ترقيتها مسبقا في إصدار الدعم الموسع 5.5 ML للحفاظ على تكافؤ أفضل مع 5.5 ML LTS (مهمل الآن). راجع [_]/release-notes/runtime/5.5xml.md) للاطلاع على الاختلافات المحدثة بين الإصدارين.
  • يونيو 15, 2021

    • [SPARK-35576][SQL] قم بتنقيح المعلومات الحساسة في نتيجة الأمر تعيين
  • يونيو 7, 2021

    • أضف تكوينا جديدا يسمى spark.sql.maven.additionalRemoteRepositories، تكوين سلسلة محدد بفاصلة لمرآة maven الإضافية الاختيارية عن بعد. القيمة افتراضية إلى https://maven-central.storage-download.googleapis.com/maven2/.
  • أبريل 30, 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227] [BUILD] تحديث المحلل لحزم الشرارة في SparkSubmit
  • 9 مارس 2021

    • منفذ HADOOP-17215 إلى برنامج تشغيل نظام ملفات Azure Blob (دعم الكتابة فوق الشرطية).
  • فبراير 24, 2021

    • قدم تكوينا spark.databricks.hive.metastore.init.reloadFunctions.enabledجديدا . يتحكم هذا التكوين في تهيئة Hive المضمنة. عند التعيين إلى true، يقوم Azure Databricks بإعادة تحميل جميع الوظائف من جميع قواعد البيانات التي يمتلكها المستخدمون .FunctionRegistry هذا هو السلوك الافتراضي في Hive Metastore. عند التعيين إلى false، يقوم Azure Databricks بتعطيل هذه العملية للتحسين.
  • 12 يناير 2021

  • 8 ديسمبر 2020

    • [SPARK-27421] [SQL] إصلاح عامل التصفية لعمود int وفئة القيمة java.lang.String عند تشذيب عمود القسم
    • تحديثات أمان نظام التشغيل.
  • ديسمبر ۱, ۲۰۲۰

    • [SPARK-33260][SQL] إصلاح النتائج غير الصحيحة من SortExec عندما يكون sortOrder هو Stream
    • [SPARK-32635] [SQL] إصلاح الانتشار القابل للطي
  • أكتوبر ۲۹, ۲۰۲۰

    • تمت ترقية إصدار Java من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح قفل ABFS و WASB فيما يتعلق ب UserGroupInformation.getCurrentUser()
    • إصلاح خطأ حلقة لا نهائية من قارئ Avro عند قراءة وحدات البايت MAGIC.
  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL][2.4] استخدم Utils.getSimpleName لتجنب ضرب اسم الفصل المشوه في TreeNode
  • سبتمبر 24، 2020

    • تحديثات أمان نظام التشغيل.
  • 8 سبتمبر 2020

    • تم إنشاء معلمة جديدة ل Azure Synapse Analytics، maxbinlength. تستخدم هذه المعلمة للتحكم في طول عمود أعمدة BinaryType، ويتم ترجمتها إلى VARBINARY(maxbinlength). يمكن ضبطه باستخدام .option("maxbinlength", n)، حيث 0 < n <= 8000.
  • أغسطس ۱۸, ۲۰۲۰

    • [SPARK-32431][SQL] تحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • تم إصلاح حالة تعارض في موصل AQS عند استخدام Trigger.Once.
  • 11 أغسطس، 2020

    • [SPARK-28676] [CORE] تجنب التسجيل المفرط من ContextCleaner
  • أغسطس 3, 2020

    • تحديثات أمان نظام التشغيل
  • يوليو 7، 2020

    • تمت ترقية إصدار Java من 1.8.0_232 إلى 1.8.0_252.
  • أبريل ۲۱, ۲۰۲۰

    • [SPARK-31312][SQL] مثيل فئة ذاكرة التخزين المؤقت لمثيل UDF في HiveFunctionWrapper
  • أبريل 7، 2020

    • لحل مشكلة تتعلق ب pandas udf لا يعمل مع PyArrow 0.15.0 والإصدارات الأحدث، أضفنا متغير بيئة (ARROW_PRE_0_15_IPC_FORMAT=1) لتمكين دعم هذه الإصدارات من PyArrow. راجع الإرشادات الواردة في [SPARK-29367].
  • مارس 25, 2020

    • يتم تحديث موصل ندفة الثلج (spark-snowflake_2.11) المضمن في وقت تشغيل Databricks إلى الإصدار 2.5.9. snowflake-jdbc إلى الإصدار 3.12.0.
  • 10 مارس 2020

    • يخضع إخراج الوظيفة، مثل إخراج السجل المنبعث إلى stdout، لحد حجم 20 ميغابايت. إذا كان إجمالي الناتج بحجم أكبر، إلغاء التشغيل ووضع علامة عليه على أنه فاشل. لتجنب مواجهة هذا الحد، يمكنك منع إرجاع stdout من برنامج التشغيل إلى عن طريق تعيين spark.databricks.driver.disableScalaOutput تكوين Spark إلى true. بشكل افتراضي ، تكون قيمة العلم هي false. تتحكم العلامة في إخراج الخلية لمهام Scala JAR وأجهزة Scala المحمولة. إذا تم تمكين العلامة، فلن يقوم Spark بإرجاع نتائج تنفيذ المهمة إلى العميل. لا تؤثر العلامة على البيانات المكتوبة في ملفات سجل الكتلة. يوصى بتعيين هذه العلامة فقط للمجموعات التلقائية لمهام JAR، لأنها ستؤدي إلى تعطيل نتائج دفتر الملاحظات.
  • فبراير ۱۸, ۲۰۲۰

    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 يجب أن يلقي استثناء
    • يحتوي تمرير بيانات الاعتماد باستخدام ADLS Gen2 على تدهور في الأداء بسبب المعالجة المحلية لمؤشر الترابط غير الصحيحة عند تمكين الجلب المسبق لعميل ADLS. يقوم هذا الإصدار بتعطيل الجلب المسبق ل ADLS Gen2 عند تمكين تمرير بيانات الاعتماد حتى نحصل على إصلاح مناسب.
  • يناير ۲۸, ۲۰۲۰

    • [SPARK-30447][SQL] مشكلة إبطال الانتشار المستمر.
  • 14 يناير 2020

    • تمت ترقية إصدار Java من 1.8.0_222 إلى 1.8.0_232.
  • نوفمبر ۱۹, ۲۰۱۹

    • [SPARK-29743] [SQL] عينة يجب تعيين needCopyResult إلى true إذا كانت حاجة طفلهاCopyResult صحيحة
    • تمت ترقية الإصدار R عن غير قصد إلى 3.6.1 من 3.6.0. قمنا بتخفيضه مرة أخرى إلى 3.6.0.
  • نوفمبر 5، 2019

    • تمت ترقية إصدار Java من 1.8.0_212 إلى 1.8.0_222.
  • أكتوبر ۲۳, ۲۰۱۹

    • [SPARK-29244] [CORE] منع الصفحة المحررة في BytesToBytesMap مجانا مرة أخرى
  • 8 أكتوبر 2019

    • تغييرات جانب الخادم للسماح لبرنامج تشغيل Simba Apache Spark ODBC بإعادة الاتصال والمتابعة بعد فشل الاتصال أثناء جلب النتائج (يتطلب إصدار برنامج تشغيل Simba Apache Spark ODBC 2.6.10).
    • تم إصلاح مشكلة تؤثر على استخدام Optimize الأوامر مع مجموعات تمكين ACL للجدول.
    • تم إصلاح مشكلة فشل pyspark.ml المكتبات بسبب خطأ Scala UDF المحظور على الجدول ACL ومجموعات تمكين تمرير بيانات الاعتماد.
    • طرق SerDe و SerDeUtil المسموح بها لتمرير بيانات الاعتماد.
    • تم إصلاح NullPointerException عند التحقق من رمز الخطأ في عميل WASB.
  • سبتمبر ۲۴, ۲۰۱۹

    • تحسين استقرار كاتب الباركيه.
    • تم إصلاح المشكلة المتمثلة في أن استعلام التوفير الذي تم إلغاؤه قبل بدء التنفيذ قد يكون عالقا في حالة البدء.
  • سبتمبر ۱۰, ۲۰۱۹

    • إضافة مكرر آمن لمؤشر الترابط إلى BytesToBytesMap
    • [SPARK-27992][SPARK-28881] السماح ل Python بالانضمام إلى مؤشر ترابط الاتصال لنشر الأخطاء
    • تم إصلاح خطأ يؤثر على استعلامات تجميع عمومية معينة.
    • تحسين تنقيح بيانات الاعتماد.
    • [SPARK-27330] [SS] دعم مهمة إجهاض في كل كاتب
    • [سبارك-28642] إخفاء بيانات الاعتماد في إظهار إنشاء جدول
    • [SPARK-28699][SQL] تعطيل باستخدام فرز الجذر ل ShuffleExchangeExec في حالة إعادة التقسيم
  • أغسطس ۲۷, ۲۰۱۹

    • [SPARK-20906][SQL]السماح بالمخطط المحدد من قبل المستخدم في واجهة برمجة التطبيقات to_avro مع سجل المخطط
    • [SPARK-27838][SQL] قدم مستخدم الدعم مخطط avro غير قابل للإلغاء لمخطط محفز غير قابل للإلغاء بدون أي سجل فارغ
    • تحسين السفر عبر الزمن في بحيرة دلتا
    • تم إصلاح مشكلة تؤثر على تعبير معين transform
    • يدعم متغيرات البث عند تمكين عزل العملية
  • 13 أغسطس، 2019

    • يجب أن يتحقق مصدر تدفق Delta من أحدث بروتوكول لجدول
    • [سبارك-28260] إضافة حالة مغلقة إلى حالة التنفيذ
    • [SPARK-28489][SS]إصلاح خطأ أن KafkaOffsetRangeCalculator.getRanges قد تسقط الإزاحات
  • يوليو ۳۰, ۲۰۱۹

    • [SPARK-28015][SQL] يستهلك Check stringToDate() الإدخال الكامل لتنسيقات yyyy وyyyy-[m]m
    • [SPARK-28308][CORE] يجب أن يكون الجزء الفرعي الثاني من التقويم مبطنا قبل التحليل
    • [سبارك-27485] يجب أن يتعامل EnsureRequirements.reorder مع التعبيرات المكررة بأمان
    • [SPARK-28355][CORE] [PYTHON] استخدم Spark conf للعتبة التي يتم فيها ضغط UDF عن طريق البث

دعم داتابريك لايت 2.4 الموسع

راجع Databricks Light 2.4 (غير مدعوم) و Databricks Light 2.4 Extended Support.

  • مارس 14, 2022

    • إصلاحات الأخطاء المتنوعة.
  • 23 فبراير 2022

    • إصلاحات الأخطاء المتنوعة.
  • 8 فبراير 2022

    • ترقية أوبونتو JDK إلى 1.8.0.312.
    • تحديثات أمان نظام التشغيل.
  • فبراير 1, 2022

    • تحديثات أمان نظام التشغيل.
  • يناير ۱۹, ۲۰۲۲

    • تحديثات أمان نظام التشغيل.
  • سبتمبر ۲۲, ۲۰۲۱

    • تحديثات أمان نظام التشغيل.
  • أبريل 30, 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227] [BUILD] تحديث المحلل لحزم الشرارة في SparkSubmit
  • 12 يناير 2021

    • تحديثات أمان نظام التشغيل.
  • 8 ديسمبر 2020

    • [SPARK-27421] [SQL] إصلاح عامل التصفية لعمود int وفئة القيمة java.lang.String عند تشذيب عمود القسم
    • تحديثات أمان نظام التشغيل.
  • ديسمبر ۱, ۲۰۲۰

  • [SPARK-33260][SQL] إصلاح النتائج غير الصحيحة من SortExec عندما يكون sortOrder هو Stream

  • نوفمبر 3، 2020

    • تمت ترقية إصدار Java من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح قفل ABFS و WASB فيما يتعلق ب UserGroupInformation.getCurrentUser()
  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.

Databricks وقت التشغيل 7.4 (غير مدعوم)

راجع Databricks Runtime 7.4 (غير مدعوم).

  • أبريل 30, 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227] [BUILD] تحديث المحلل لحزم الشرارة في SparkSubmit
    • [SPARK-34245] [CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
    • [SPARK-35045][SQL] إضافة خيار داخلي للتحكم في المخزن المؤقت للإدخال في univocity وتكوين لحجم المخزن المؤقت للإدخال CSV
  • مارس 24, 2021

    • [SPARK-34768][SQL] احترم حجم المخزن المؤقت الافتراضي للإدخال في Univocity
    • [سبارك-34534] إصلاح ترتيب blockIds عند استخدام FetchShuffleBlocks لجلب الكتل
  • 9 مارس 2021

    • يتم الآن تمكين برنامج تشغيل نظام ملفات Azure Blob المحدث ل Azure Data Lake Storage Gen2 بشكل افتراضي. يجلب تحسينات متعددة في الاستقرار.
    • [ES-67926] [واجهة المستخدم] إصلاح ارتباط href الخاص ب Spark DAG Visualization
    • [ES-65064] استعادة مخطط الإخراج الخاص ب SHOW DATABASES
    • [SC-70522] [SQL] استخدم مفتاح بناء التقليم الديناميكي الصحيح عند وجود تلميح ربط النطاق
    • [SC-35081] تعطيل التحقق من عدم الصلاحية لملفات جدول Delta في ذاكرة التخزين المؤقت Delta
    • [SC-70640] إصلاح NPE عندما لا تحتوي استجابة EventGridClient على كيان
    • [SC-70220] [SQL] لا تقم بإنشاء نصيحة رقم القسم العشوائي عند تمكين AOS
  • فبراير 24, 2021

    • تمت ترقية موصل Spark BigQuery إلى الإصدار 0.18 ، والذي يقدم العديد من إصلاحات الأخطاء ودعم مكررات Arrow و Avro.
    • تم إصلاح مشكلة صحة كانت تتسبب في قيام Spark بإرجاع نتائج غير صحيحة عندما تختلف الدقة العشرية والمقياس العشري لملف Parquet عن مخطط Spark.
    • تم إصلاح مشكلة فشل القراءة في Microsoft SQL Server الجداول التي تحتوي على أنواع البيانات المكانية، عن طريق إضافة دعم أنواع JDBC الهندسية والجغرافية ل Spark SQL.
    • قدم تكوينا spark.databricks.hive.metastore.init.reloadFunctions.enabledجديدا . يتحكم هذا التكوين في تهيئة Hive المضمنة. عند التعيين إلى true، يقوم Azure Databricks بإعادة تحميل جميع الوظائف من جميع قواعد البيانات التي يمتلكها المستخدمون .FunctionRegistry هذا هو السلوك الافتراضي في Hive Metastore. عند التعيين إلى false، يقوم Azure Databricks بتعطيل هذه العملية للتحسين.
    • [سبارك-34212] تم إصلاح المشكلات المتعلقة بقراءة البيانات العشرية من ملفات Parquet.
    • [SPARK-33579][UI] إصلاح صفحة فارغة للمنفذ خلف الوكيل.
    • [SPARK-20044][UI] دعم Spark UI خلف الوكيل العكسي الأمامي باستخدام بادئة مسار.
    • [SPARK-33277][PYSPARK][SQL] استخدم ContextAwareIterator للتوقف عن الاستهلاك بعد انتهاء المهمة.
  • فبراير 4, 2021

    • تم إصلاح الانحدار الذي يمنع التنفيذ التزايدي لاستعلام يقوم بتعيين حد عمومي مثل SELECT * FROM table LIMIT nrows. تمت تجربة الانحدار من قبل المستخدمين الذين يقومون بتشغيل الاستعلامات عبر ODBC / JDBC مع تمكين تسلسل السهم.
    • تم إصلاح الانحدار الذي تسبب في فشل بدء تشغيل DBFS FUSE عندما تحتوي تكوينات متغير بيئة نظام المجموعة على بناء جملة bash غير صالح.
  • يناير ۲۰, ۲۰۲۱

    • تم إصلاح انحدار في إصدار الصيانة بتاريخ 12 يناير 2021 والذي يمكن أن يتسبب في حدوث AnalysisException غير صحيح ويقول إن العمود غامض في الانضمام الذاتي. يحدث هذا الانحدار عندما ينضم مستخدم إلى DataFrame مع DataFrame المشتق (ما يسمى الانضمام الذاتي) بالشروط التالية:
      • يحتوي هذان الإطاران على أعمدة مشتركة، ولكن لا يحتوي إخراج الانضمام الذاتي على أعمدة مشتركة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستبعد DataFrame المشتق بعض الأعمدة عبر التحديد أو groupBy أو النافذة.
      • يشير شرط الانضمام أو التحويل التالي بعد Dataframe المرتبط إلى الأعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)
  • 12 يناير 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-33593][SQL] حصل قارئ المتجهات على بيانات غير صحيحة مع قيمة القسم الثنائي
    • [SPARK-33677][SQL] تخطي قاعدة LikeSimplification إذا كان النمط يحتوي على أي escapeChar
    • [SPARK-33071] [SPARK-33536] [SQL] تجنب تغيير dataset_id LogicalPlan في الانضمام () لعدم كسر DetectAmbiguousSelfJoin
  • 8 ديسمبر 2020

    • [SPARK-33587] [CORE] قتل المنفذ على أخطاء فادحة متداخلة
    • [SPARK-27421] [SQL] إصلاح عامل التصفية لعمود int وفئة القيمة java.lang.String عند تشذيب عمود القسم
    • [SPARK-33316][SQL] قدم مستخدم الدعم مخطط Avro غير قابل للإلغاء لمخطط محفز غير قابل للإلغاء في كتابة Avro
    • تحديثات أمان نظام التشغيل.
  • ديسمبر ۱, ۲۰۲۰

    • [SPARK-33404][SQL][3.0] إصلاح النتائج غير الصحيحة في التعبير
    • [SPARK-33339] [PYTHON] سيتم تعليق تطبيق Pyspark بسبب خطأ غير استثناء
    • [SPARK-33183][SQL] [الإصلاح العاجل] إصلاح قاعدة محسن القضاء على الفرز وإضافة قاعدة فعلية لإزالة الأنواع الزائدة عن الحاجة
    • [SPARK-33371] [PYTHON] [3.0] تحديث setup.py واختبارات Python 3.9
    • [SPARK-33391][SQL] element_at مع CreateArray لا يحترمون فهرسا واحدا قائما.
    • [SPARK-33306][SQL] هناك حاجة إلى المنطقة الزمنية عند إرسال التاريخ إلى السلسلة
    • [SPARK-33260][SQL] إصلاح النتائج غير الصحيحة من SortExec عندما يكون sortOrder هو Stream
    • [SPARK-33272][SQL] تقليم تعيين السمات في QueryPlan.transformUpWithNewOutput

Databricks وقت التشغيل 7.2 (غير مدعوم)

راجع Databricks Runtime 7.2 (غير مدعوم).

  • فبراير 4, 2021

    • تم إصلاح الانحدار الذي يمنع التنفيذ التزايدي لاستعلام يقوم بتعيين حد عمومي مثل SELECT * FROM table LIMIT nrows. تمت تجربة الانحدار من قبل المستخدمين الذين يقومون بتشغيل الاستعلامات عبر ODBC / JDBC مع تمكين تسلسل السهم.
    • تم إصلاح الانحدار الذي تسبب في فشل بدء تشغيل DBFS FUSE عندما تحتوي تكوينات متغير بيئة نظام المجموعة على بناء جملة bash غير صالح.
  • يناير ۲۰, ۲۰۲۱

    • تم إصلاح انحدار في إصدار الصيانة بتاريخ 12 يناير 2021 والذي يمكن أن يتسبب في حدوث AnalysisException غير صحيح ويقول إن العمود غامض في الانضمام الذاتي. يحدث هذا الانحدار عندما ينضم مستخدم إلى DataFrame مع DataFrame المشتق (ما يسمى الانضمام الذاتي) بالشروط التالية:
      • يحتوي هذان الإطاران على أعمدة مشتركة، ولكن لا يحتوي إخراج الانضمام الذاتي على أعمدة مشتركة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستبعد DataFrame المشتق بعض الأعمدة عبر التحديد أو groupBy أو النافذة.
      • يشير شرط الانضمام أو التحويل التالي بعد Dataframe المرتبط إلى الأعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)
  • 12 يناير 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-33593][SQL] حصل قارئ المتجهات على بيانات غير صحيحة مع قيمة القسم الثنائي
    • [SPARK-33677][SQL] تخطي قاعدة LikeSimplification إذا كان النمط يحتوي على أي escapeChar
    • [SPARK-33071] [SPARK-33536] [SQL] تجنب تغيير dataset_id LogicalPlan في الانضمام () لعدم كسر DetectAmbiguousSelfJoin
  • 8 ديسمبر 2020

    • [SPARK-27421] [SQL] إصلاح عامل التصفية لعمود int وفئة القيمة java.lang.String عند تشذيب عمود القسم
    • [SPARK-33404][SQL] إصلاح النتائج غير الصحيحة في التعبير
    • [SPARK-33339] [PYTHON] سيتم تعليق تطبيق Pyspark بسبب خطأ غير استثناء
    • [SPARK-33183][SQL] قاعدة Fix Optimizer EliminatSorts وإضافة قاعدة فعلية لإزالة الأنواع الزائدة عن الحاجة
    • [SPARK-33391][SQL] element_at مع CreateArray لا يحترمون فهرسا واحدا قائما.
    • تحديثات أمان نظام التشغيل.
  • ديسمبر ۱, ۲۰۲۰

    • [SPARK-33306][SQL] هناك حاجة إلى المنطقة الزمنية عند إرسال التاريخ إلى السلسلة
    • [SPARK-33260][SQL] إصلاح النتائج غير الصحيحة من SortExec عندما يكون sortOrder هو Stream
  • نوفمبر 3، 2020

    • تمت ترقية إصدار Java من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح قفل ABFS و WASB فيما يتعلق ب UserGroupInformation.getCurrentUser()
    • إصلاح خطأ حلقة لا نهائية من قارئ Avro عند قراءة وحدات البايت MAGIC.
  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL] استخدم Utils.getSimpleName لتجنب ضرب اسم الفصل المشوه في TreeNode
    • دلائل القوائم الثابتة في حامل FUSE التي تحتوي على أسماء ملفات بأحرف XML غير صالحة
    • حامل FUSE لم يعد يستخدم ListMultipartUploads
  • سبتمبر ۲۹, ۲۰۲۰

    • [SPARK-28863] [SQL] [WARMFIX] تقديم بالفعلمحسنة لمنع إعادة تحليل V1FallbackWriters
    • [SPARK-32635] [SQL] إصلاح الانتشار القابل للطي
    • إضافة تكوين spark.shuffle.io.decoder.consolidateThresholdجديد . قم بتعيين قيمة التكوين لتخطي Long.MAX_VALUE دمج Netty FrameBuffers ، مما يمنع في حالات الزاوية java.lang.IndexOutOfBoundsException .
  • سبتمبر 24، 2020

    • [SPARK-32764][SQL] -0.0 يجب أن يساوي 0.0
    • [SPARK-32753][SQL] انسخ العلامات فقط إلى عقدة بدون علامات عند تحويل الخطط
    • [SPARK-32659][SQL] إصلاح مشكلة البيانات الخاصة بتقليم القسم الديناميكي المدرج على النوع غير الذري
    • تحديثات أمان نظام التشغيل.
  • 8 سبتمبر 2020

    • تم إنشاء معلمة جديدة ل Azure Synapse Analytics، maxbinlength. تستخدم هذه المعلمة للتحكم في طول عمود أعمدة BinaryType، ويتم ترجمتها إلى VARBINARY(maxbinlength). يمكن ضبطه باستخدام .option("maxbinlength", n)، حيث 0 < n <= 8000.

Databricks وقت التشغيل 7.1 (غير مدعوم)

راجع Databricks Runtime 7.1 (غير مدعوم).

  • فبراير 4, 2021

    • تم إصلاح الانحدار الذي تسبب في فشل بدء تشغيل DBFS FUSE عندما تحتوي تكوينات متغير بيئة نظام المجموعة على بناء جملة bash غير صالح.
  • يناير ۲۰, ۲۰۲۱

    • تم إصلاح انحدار في إصدار الصيانة بتاريخ 12 يناير 2021 والذي يمكن أن يتسبب في حدوث AnalysisException غير صحيح ويقول إن العمود غامض في الانضمام الذاتي. يحدث هذا الانحدار عندما ينضم مستخدم إلى DataFrame مع DataFrame المشتق (ما يسمى الانضمام الذاتي) بالشروط التالية:
      • يحتوي هذان الإطاران على أعمدة مشتركة، ولكن لا يحتوي إخراج الانضمام الذاتي على أعمدة مشتركة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستبعد DataFrame المشتق بعض الأعمدة عبر التحديد أو groupBy أو النافذة.
      • يشير شرط الانضمام أو التحويل التالي بعد Dataframe المرتبط إلى الأعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)
  • 12 يناير 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-33593][SQL] حصل قارئ المتجهات على بيانات غير صحيحة مع قيمة القسم الثنائي
    • [SPARK-33677][SQL] تخطي قاعدة LikeSimplification إذا كان النمط يحتوي على أي escapeChar
    • [SPARK-33071] [SPARK-33536] [SQL] تجنب تغيير dataset_id LogicalPlan في الانضمام () لعدم كسر DetectAmbiguousSelfJoin
  • 8 ديسمبر 2020

    • [SPARK-27421] [SQL] إصلاح عامل التصفية لعمود int وفئة القيمة java.lang.String عند تشذيب عمود القسم
    • تم إطلاق Spark Jobs باستخدام Databricks الاتصال يمكن أن يتوقف إلى أجل غير مسمى مع Executor$TaskRunner.$anonfun$copySessionState تتبع مكدس المنفذ
    • تحديثات أمان نظام التشغيل.
  • ديسمبر ۱, ۲۰۲۰

    • [SPARK-33404][SQL][3.0] إصلاح النتائج غير الصحيحة في التعبير
    • [SPARK-33339] [PYTHON] سيتم تعليق تطبيق Pyspark بسبب خطأ غير استثناء
    • [SPARK-33183][SQL] [الإصلاح العاجل] إصلاح قاعدة محسن القضاء على الفرز وإضافة قاعدة فعلية لإزالة الأنواع الزائدة عن الحاجة
    • [SPARK-33371] [PYTHON] [3.0] تحديث setup.py واختبارات Python 3.9
    • [SPARK-33391][SQL] element_at مع CreateArray لا يحترمون فهرسا واحدا قائما.
    • [SPARK-33306][SQL] هناك حاجة إلى المنطقة الزمنية عند إرسال التاريخ إلى السلسلة
  • نوفمبر 3، 2020

    • تمت ترقية إصدار Java من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح قفل ABFS و WASB فيما يتعلق ب UserGroupInformation.getCurrentUser()
    • إصلاح خطأ حلقة لا نهائية من قارئ Avro عند قراءة وحدات البايت MAGIC.
  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL] استخدم Utils.getSimpleName لتجنب ضرب اسم الفصل المشوه في TreeNode
    • دلائل القوائم الثابتة في حامل FUSE التي تحتوي على أسماء ملفات بأحرف XML غير صالحة
    • حامل FUSE لم يعد يستخدم ListMultipartUploads
  • سبتمبر ۲۹, ۲۰۲۰

    • [SPARK-28863] [SQL] [WARMFIX] تقديم بالفعلمحسنة لمنع إعادة تحليل V1FallbackWriters
    • [SPARK-32635] [SQL] إصلاح الانتشار القابل للطي
    • إضافة تكوين spark.shuffle.io.decoder.consolidateThresholdجديد . قم بتعيين قيمة التكوين لتخطي Long.MAX_VALUE دمج Netty FrameBuffers ، مما يمنع في حالات الزاوية java.lang.IndexOutOfBoundsException .
  • سبتمبر 24، 2020

    • [SPARK-32764][SQL] -0.0 يجب أن يساوي 0.0
    • [SPARK-32753][SQL] انسخ العلامات فقط إلى عقدة بدون علامات عند تحويل الخطط
    • [SPARK-32659][SQL] إصلاح مشكلة البيانات الخاصة بتقليم القسم الديناميكي المدرج على النوع غير الذري
    • تحديثات أمان نظام التشغيل.
  • 8 سبتمبر 2020

    • تم إنشاء معلمة جديدة ل Azure Synapse Analytics، maxbinlength. تستخدم هذه المعلمة للتحكم في طول عمود أعمدة BinaryType، ويتم ترجمتها إلى VARBINARY(maxbinlength). يمكن ضبطه باستخدام .option("maxbinlength", n)، حيث 0 < n <= 8000.
  • أغسطس ۲۵, ۲۰۲۰

    • [SPARK-32159][SQL] إصلاح التكامل بين وUnresolvedMapObjects
    • [SPARK-32559][SQL] إصلاح منطق القطع في ، والذي لم يتعامل مع الأحرف غير ASCII بشكل صحيح
    • [SPARK-32543][R] إزالة الاستخدام في SparkR
    • [SPARK-32091][CORE] تجاهل خطأ المهلة عند إزالة الكتل على المنفذ المفقود
    • تم إصلاح مشكلة تؤثر على موصل Azure Synapse مع بيانات اعتماد MSI
    • دقة سمة غامضة ثابتة في الدمج الذاتي
  • أغسطس ۱۸, ۲۰۲۰

    • [SPARK-32594][SQL] إصلاح تسلسل التواريخ المدرجة في جداول الخلية
    • [SPARK-32237][SQL] حل تلميح في CTE
    • [SPARK-32431][SQL] تحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • [SPARK-32467][UI] تجنب ترميز عنوان URL مرتين على إعادة توجيه https
    • تم إصلاح حالة تعارض في موصل AQS عند استخدام Trigger.Once.
  • 11 أغسطس، 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight يجب أن يعيد كتابة السمات فقط لعقد السلف لخطة الصراع
    • [SPARK-32234][SQL] تفشل أوامر Spark SQL في تحديد جداول ORC
  • أغسطس 3, 2020

    • يمكنك الآن استخدام دالة تحويل LDA على نظام مجموعة ممكن من خلال المرور.

Databricks وقت التشغيل 7.0 (غير مدعوم)

راجع Databricks Runtime 7.0 (غير مدعوم).

  • فبراير 4, 2021

    • تم إصلاح الانحدار الذي تسبب في فشل بدء تشغيل DBFS FUSE عندما تحتوي تكوينات متغير بيئة نظام المجموعة على بناء جملة bash غير صالح.
  • يناير ۲۰, ۲۰۲۱

    • تم إصلاح انحدار في إصدار الصيانة بتاريخ 12 يناير 2021 والذي يمكن أن يتسبب في حدوث AnalysisException غير صحيح ويقول إن العمود غامض في الانضمام الذاتي. يحدث هذا الانحدار عندما ينضم مستخدم إلى DataFrame مع DataFrame المشتق (ما يسمى الانضمام الذاتي) بالشروط التالية:
      • يحتوي هذان الإطاران على أعمدة مشتركة، ولكن لا يحتوي إخراج الانضمام الذاتي على أعمدة مشتركة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستبعد DataFrame المشتق بعض الأعمدة عبر التحديد أو groupBy أو النافذة.
      • يشير شرط الانضمام أو التحويل التالي بعد Dataframe المرتبط إلى الأعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)
  • 12 يناير 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-33593][SQL] حصل قارئ المتجهات على بيانات غير صحيحة مع قيمة القسم الثنائي
    • [SPARK-33677][SQL] تخطي قاعدة LikeSimplification إذا كان النمط يحتوي على أي escapeChar
    • [SPARK-33071] [SPARK-33536] [SQL] تجنب تغيير dataset_id LogicalPlan في الانضمام () لعدم كسر DetectAmbiguousSelfJoin
  • 8 ديسمبر 2020

    • [SPARK-27421] [SQL] إصلاح عامل التصفية لعمود int وفئة القيمة java.lang.String عند تشذيب عمود القسم
    • [SPARK-33404][SQL] إصلاح النتائج غير الصحيحة في التعبير
    • [SPARK-33339] [PYTHON] سيتم تعليق تطبيق Pyspark بسبب خطأ غير استثناء
    • [SPARK-33183][SQL] قاعدة Fix Optimizer EliminatSorts وإضافة قاعدة فعلية لإزالة الأنواع الزائدة عن الحاجة
    • [SPARK-33391][SQL] element_at مع CreateArray لا يحترمون فهرسا واحدا قائما.
    • تحديثات أمان نظام التشغيل.
  • ديسمبر ۱, ۲۰۲۰

    • [SPARK-33306][SQL] هناك حاجة إلى المنطقة الزمنية عند إرسال التاريخ إلى السلسلة
  • نوفمبر 3، 2020

    • تمت ترقية إصدار Java من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح قفل ABFS و WASB فيما يتعلق ب UserGroupInformation.getCurrentUser()
    • إصلاح خطأ حلقة لا نهائية من قارئ Avro عند قراءة وحدات البايت MAGIC.
  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL] استخدم Utils.getSimpleName لتجنب ضرب اسم الفصل المشوه في TreeNode
    • دلائل القوائم الثابتة في حامل FUSE التي تحتوي على أسماء ملفات بأحرف XML غير صالحة
    • حامل FUSE لم يعد يستخدم ListMultipartUploads
  • سبتمبر ۲۹, ۲۰۲۰

    • [SPARK-28863] [SQL] [WARMFIX] تقديم بالفعلمحسنة لمنع إعادة تحليل V1FallbackWriters
    • [SPARK-32635] [SQL] إصلاح الانتشار القابل للطي
    • إضافة تكوين spark.shuffle.io.decoder.consolidateThresholdجديد . قم بتعيين قيمة التكوين لتخطي Long.MAX_VALUE دمج Netty FrameBuffers ، مما يمنع في حالات الزاوية java.lang.IndexOutOfBoundsException .
  • سبتمبر 24، 2020

    • [SPARK-32764][SQL] -0.0 يجب أن يساوي 0.0
    • [SPARK-32753][SQL] انسخ العلامات فقط إلى عقدة بدون علامات عند تحويل الخطط
    • [SPARK-32659][SQL] إصلاح مشكلة البيانات الخاصة بتقليم القسم الديناميكي المدرج على النوع غير الذري
    • تحديثات أمان نظام التشغيل.
  • 8 سبتمبر 2020

    • تم إنشاء معلمة جديدة ل Azure Synapse Analytics، maxbinlength. تستخدم هذه المعلمة للتحكم في طول عمود أعمدة BinaryType، ويتم ترجمتها إلى VARBINARY(maxbinlength). يمكن ضبطه باستخدام .option("maxbinlength", n)، حيث 0 < n <= 8000.
  • أغسطس ۲۵, ۲۰۲۰

    • [SPARK-32159][SQL] إصلاح التكامل بين وUnresolvedMapObjects
    • [SPARK-32559][SQL] إصلاح منطق القطع في ، والذي لم يتعامل مع الأحرف غير ASCII بشكل صحيح
    • [SPARK-32543][R] إزالة الاستخدام في SparkR
    • [SPARK-32091][CORE] تجاهل خطأ المهلة عند إزالة الكتل على المنفذ المفقود
    • تم إصلاح مشكلة تؤثر على موصل Azure Synapse مع بيانات اعتماد MSI
    • دقة سمة غامضة ثابتة في الدمج الذاتي
  • أغسطس ۱۸, ۲۰۲۰

    • [SPARK-32594][SQL] إصلاح تسلسل التواريخ المدرجة في جداول الخلية
    • [SPARK-32237][SQL] حل تلميح في CTE
    • [SPARK-32431][SQL] تحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • [SPARK-32467][UI] تجنب ترميز عنوان URL مرتين على إعادة توجيه https
    • تم إصلاح حالة تعارض في موصل AQS عند استخدام Trigger.Once.
  • 11 أغسطس، 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight يجب أن يعيد كتابة السمات فقط لعقد السلف لخطة الصراع
    • [SPARK-32234][SQL] تفشل أوامر Spark SQL في تحديد جداول ORC
    • يمكنك الآن استخدام دالة تحويل LDA على نظام مجموعة ممكن من خلال المرور.

Databricks وقت التشغيل 6.6 (غير مدعوم)

راجع Databricks Runtime 6.6 (غير مدعوم).

  • ديسمبر ۱, ۲۰۲۰

    • [SPARK-33260][SQL] إصلاح النتائج غير الصحيحة من SortExec عندما يكون sortOrder هو Stream
    • [SPARK-32635] [SQL] إصلاح الانتشار القابل للطي
  • نوفمبر 3، 2020

    • تمت ترقية إصدار Java من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح قفل ABFS و WASB فيما يتعلق ب UserGroupInformation.getCurrentUser()
    • إصلاح خطأ حلقة لا نهائية من قارئ Avro عند قراءة وحدات البايت MAGIC.
  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL][2.4] استخدم Utils.getSimpleName لتجنب ضرب اسم الفصل المشوه في TreeNode
    • دلائل القوائم الثابتة في حامل FUSE التي تحتوي على أسماء ملفات بأحرف XML غير صالحة
    • حامل FUSE لم يعد يستخدم ListMultipartUploads
  • سبتمبر 24، 2020

    • تحديثات أمان نظام التشغيل.
  • 8 سبتمبر 2020

    • تم إنشاء معلمة جديدة ل Azure Synapse Analytics، maxbinlength. تستخدم هذه المعلمة للتحكم في طول عمود أعمدة BinaryType، ويتم ترجمتها إلى VARBINARY(maxbinlength). يمكن ضبطه باستخدام .option("maxbinlength", n)، حيث 0 < n <= 8000.
    • قم بتحديث Azure Storage SDK إلى 8.6.4 وتمكين TCP من البقاء على قيد الحياة على الاتصالات التي أجراها برنامج تشغيل WASB
  • أغسطس ۲۵, ۲۰۲۰

    • دقة سمة غامضة ثابتة في الدمج الذاتي
  • أغسطس ۱۸, ۲۰۲۰

    • [SPARK-32431][SQL] تحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • تم إصلاح حالة تعارض في موصل AQS عند استخدام Trigger.Once.
  • 11 أغسطس، 2020

    • [SPARK-28676] [CORE] تجنب التسجيل المفرط من ContextCleaner
    • [SPARK-31967][UI] الرجوع إلى vis.js 4.21.0 لإصلاح انحدار وقت تحميل واجهة مستخدم المهام
  • أغسطس 3, 2020

    • يمكنك الآن استخدام دالة تحويل LDA على نظام مجموعة ممكن من خلال المرور.
    • تحديثات أمان نظام التشغيل.

Databricks وقت التشغيل 6.5 (غير مدعوم)

راجع Databricks Runtime 6.5 (غير مدعوم).

  • سبتمبر 24، 2020
    • تم إصلاح قيد سابق حيث لا يزال المرور عبر المجموعة القياسية يقيد استخدامات مستخدم تنفيذ نظام الملفات. الآن سيتمكن المستخدمون من الوصول إلى أنظمة الملفات المحلية دون قيود.
    • تحديثات أمان نظام التشغيل.
  • 8 سبتمبر 2020
    • تم إنشاء معلمة جديدة ل Azure Synapse Analytics، maxbinlength. تستخدم هذه المعلمة للتحكم في طول عمود أعمدة BinaryType، ويتم ترجمتها إلى VARBINARY(maxbinlength). يمكن ضبطه باستخدام .option("maxbinlength", n)، حيث 0 < n <= 8000.
    • قم بتحديث Azure Storage SDK إلى 8.6.4 وتمكين TCP من البقاء على قيد الحياة على الاتصالات التي أجراها برنامج تشغيل WASB
  • أغسطس ۲۵, ۲۰۲۰
    • دقة سمة غامضة ثابتة في الدمج الذاتي
  • أغسطس ۱۸, ۲۰۲۰
    • [SPARK-32431][SQL] تحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • تم إصلاح حالة تعارض في موصل AQS عند استخدام Trigger.Once.
  • 11 أغسطس، 2020
    • [SPARK-28676] [CORE] تجنب التسجيل المفرط من ContextCleaner
  • أغسطس 3, 2020
    • يمكنك الآن استخدام دالة تحويل LDA على نظام مجموعة ممكن من خلال المرور.
    • تحديثات أمان نظام التشغيل.
  • يوليو 7، 2020
    • تمت ترقية إصدار Java من 1.8.0_242 إلى 1.8.0_252.
  • أبريل ۲۱, ۲۰۲۰
    • [SPARK-31312][SQL] مثيل فئة ذاكرة التخزين المؤقت لمثيل UDF في HiveFunctionWrapper

Databricks وقت التشغيل 6.3 (غير مدعوم)

راجع Databricks Runtime 6.3 (غير مدعوم).

  • يوليو 7، 2020
    • تمت ترقية إصدار Java من 1.8.0_232 إلى 1.8.0_252.
  • أبريل ۲۱, ۲۰۲۰
    • [SPARK-31312][SQL] مثيل فئة ذاكرة التخزين المؤقت لمثيل UDF في HiveFunctionWrapper
  • أبريل 7، 2020
    • لحل مشكلة تتعلق ب pandas udf لا يعمل مع PyArrow 0.15.0 والإصدارات الأحدث، أضفنا متغير بيئة (ARROW_PRE_0_15_IPC_FORMAT=1) لتمكين دعم هذه الإصدارات من PyArrow. راجع الإرشادات الواردة في [SPARK-29367].
  • 10 مارس 2020
    • يتم تحديث موصل ندفة الثلج (spark-snowflake_2.11) المضمن في وقت تشغيل Databricks إلى الإصدار 2.5.9. snowflake-jdbc إلى الإصدار 3.12.0.
  • فبراير ۱۸, ۲۰۲۰
    • يحتوي تمرير بيانات الاعتماد باستخدام ADLS Gen2 على تدهور في الأداء بسبب المعالجة المحلية لمؤشر الترابط غير الصحيحة عند تمكين الجلب المسبق لعميل ADLS. يقوم هذا الإصدار بتعطيل الجلب المسبق ل ADLS Gen2 عند تمكين تمرير بيانات الاعتماد حتى نحصل على إصلاح مناسب.
  • 11 فبراير 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 يجب أن يلقي استثناء
    • [SPARK-30447][SQL] مشكلة إبطال الانتشار المستمر
    • [SPARK-28152][SQL] إضافة مستند قديم لتعيين MsSqlServerDialect الرقمي القديم
    • السماح بإدراج دالة الكتابة فوق القائمة بحيث يمكن ل MLModels توسيع MLWriter استدعاء الدالة.

Databricks وقت التشغيل 6.2 (غير مدعوم)

راجع Databricks Runtime 6.2 (غير مدعوم).

  • أبريل ۲۱, ۲۰۲۰
    • [SPARK-31312][SQL] مثيل فئة ذاكرة التخزين المؤقت لمثيل UDF في HiveFunctionWrapper
  • أبريل 7، 2020
    • لحل مشكلة تتعلق ب pandas udf لا يعمل مع PyArrow 0.15.0 والإصدارات الأحدث، أضفنا متغير بيئة (ARROW_PRE_0_15_IPC_FORMAT=1) لتمكين دعم هذه الإصدارات من PyArrow. راجع الإرشادات الواردة في [SPARK-29367].
  • مارس 25, 2020
    • يخضع إخراج الوظيفة، مثل إخراج السجل المنبعث إلى stdout، لحد حجم 20 ميغابايت. إذا كان إجمالي الناتج بحجم أكبر، إلغاء التشغيل ووضع علامة عليه على أنه فاشل. لتجنب مواجهة هذا الحد، يمكنك منع إرجاع stdout من برنامج التشغيل إلى عن طريق تعيين spark.databricks.driver.disableScalaOutput تكوين Spark إلى true. بشكل افتراضي ، تكون قيمة العلم هي false. تتحكم العلامة في إخراج الخلية لمهام Scala JAR وأجهزة Scala المحمولة. إذا تم تمكين العلامة، فلن يقوم Spark بإرجاع نتائج تنفيذ المهمة إلى العميل. لا تؤثر العلامة على البيانات المكتوبة في ملفات سجل الكتلة. يوصى بتعيين هذه العلامة فقط للمجموعات التلقائية لمهام JAR، لأنها ستؤدي إلى تعطيل نتائج دفتر الملاحظات.
  • 10 مارس 2020
    • يتم تحديث موصل ندفة الثلج (spark-snowflake_2.11) المضمن في وقت تشغيل Databricks إلى الإصدار 2.5.9. snowflake-jdbc إلى الإصدار 3.12.0.
  • فبراير ۱۸, ۲۰۲۰
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 يجب أن يلقي استثناء
    • يحتوي تمرير بيانات الاعتماد باستخدام ADLS Gen2 على تدهور في الأداء بسبب المعالجة المحلية لمؤشر الترابط غير الصحيحة عند تمكين الجلب المسبق لعميل ADLS. يقوم هذا الإصدار بتعطيل الجلب المسبق ل ADLS Gen2 عند تمكين تمرير بيانات الاعتماد حتى نحصل على إصلاح مناسب.
  • يناير ۲۸, ۲۰۲۰
    • دالة الكتابة فوق ML Model Writers المدرجة في القائمة المسموح بها للمجموعات التي تم تمكينها لتمرير بيانات الاعتماد، بحيث يمكن لحفظ النموذج استخدام وضع الكتابة فوق في مجموعات مرور بيانات الاعتماد.
    • [SPARK-30447][SQL] مشكلة إبطال الانتشار المستمر.
    • [SPARK-28152][SQL] أضف مستندا قديما للتعيين الرقمي MsSqlServerDialect القديم.
  • 14 يناير 2020
    • تمت ترقية إصدار Java من 1.8.0_222 إلى 1.8.0_232.
  • 10 ديسمبر 2019
    • [SPARK-29904][SQL] تحليل الطوابع الزمنية بدقة ميكروثانية بواسطة مصادر بيانات JSON/CSV.

Databricks وقت التشغيل 6.1 (غير مدعوم)

راجع Databricks Runtime 6.1 (غير مدعوم).

  • أبريل 7، 2020
    • لحل مشكلة تتعلق ب pandas udf لا يعمل مع PyArrow 0.15.0 والإصدارات الأحدث، أضفنا متغير بيئة (ARROW_PRE_0_15_IPC_FORMAT=1) لتمكين دعم هذه الإصدارات من PyArrow. راجع الإرشادات الواردة في [SPARK-29367].
  • مارس 25, 2020
    • يخضع إخراج الوظيفة، مثل إخراج السجل المنبعث إلى stdout، لحد حجم 20 ميغابايت. إذا كان إجمالي الناتج بحجم أكبر، إلغاء التشغيل ووضع علامة عليه على أنه فاشل. لتجنب مواجهة هذا الحد، يمكنك منع إرجاع stdout من برنامج التشغيل إلى عن طريق تعيين spark.databricks.driver.disableScalaOutput تكوين Spark إلى true. بشكل افتراضي ، تكون قيمة العلم هي false. تتحكم العلامة في إخراج الخلية لمهام Scala JAR وأجهزة Scala المحمولة. إذا تم تمكين العلامة، فلن يقوم Spark بإرجاع نتائج تنفيذ المهمة إلى العميل. لا تؤثر العلامة على البيانات المكتوبة في ملفات سجل الكتلة. يوصى بتعيين هذه العلامة فقط للمجموعات التلقائية لمهام JAR، لأنها ستؤدي إلى تعطيل نتائج دفتر الملاحظات.
  • 10 مارس 2020
    • يتم تحديث موصل ندفة الثلج (spark-snowflake_2.11) المضمن في وقت تشغيل Databricks إلى الإصدار 2.5.9. snowflake-jdbc إلى الإصدار 3.12.0.
  • فبراير ۱۸, ۲۰۲۰
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 يجب أن يلقي استثناء
    • يحتوي تمرير بيانات الاعتماد باستخدام ADLS Gen2 على تدهور في الأداء بسبب المعالجة المحلية لمؤشر الترابط غير الصحيحة عند تمكين الجلب المسبق لعميل ADLS. يقوم هذا الإصدار بتعطيل الجلب المسبق ل ADLS Gen2 عند تمكين تمرير بيانات الاعتماد حتى نحصل على إصلاح مناسب.
  • يناير ۲۸, ۲۰۲۰
    • [SPARK-30447][SQL] مشكلة إبطال الانتشار المستمر.
    • [SPARK-28152][SQL] أضف مستندا قديما للتعيين الرقمي MsSqlServerDialect القديم.
  • 14 يناير 2020
    • تمت ترقية إصدار Java من 1.8.0_222 إلى 1.8.0_232.
  • نوفمبر 7، 2019
  • نوفمبر 5، 2019
    • تم إصلاح خطأ في DBFS FUSE للتعامل مع نقاط التحميل الموجودة // في مسارها.
    • [سبارك-29081] استبدال المكالمات إلى SerializationUtils.clone على الخصائص مع تنفيذ أسرع
    • [SPARK-29244] [CORE] منع الصفحة المحررة في BytesToBytesMap مجانا مرة أخرى
    • (6.1 مل) تم تثبيت إصدار mkl من المكتبة 2019.4 عن غير قصد. قمنا بتخفيضه إلى إصدار mkl 2019.3 لمطابقة Anaconda Distribution 2019.03.

Databricks وقت التشغيل 6.0 (غير مدعوم)

راجع Databricks Runtime 6.0 (غير مدعوم).

  • مارس 25, 2020
    • يخضع إخراج الوظيفة، مثل إخراج السجل المنبعث إلى stdout، لحد حجم 20 ميغابايت. إذا كان إجمالي الناتج بحجم أكبر، إلغاء التشغيل ووضع علامة عليه على أنه فاشل. لتجنب مواجهة هذا الحد، يمكنك منع إرجاع stdout من برنامج التشغيل إلى عن طريق تعيين spark.databricks.driver.disableScalaOutput تكوين Spark إلى true. بشكل افتراضي ، تكون قيمة العلم هي false. تتحكم العلامة في إخراج الخلية لمهام Scala JAR وأجهزة Scala المحمولة. إذا تم تمكين العلامة، فلن يقوم Spark بإرجاع نتائج تنفيذ المهمة إلى العميل. لا تؤثر العلامة على البيانات المكتوبة في ملفات سجل الكتلة. يوصى بتعيين هذه العلامة فقط للمجموعات التلقائية لمهام JAR، لأنها ستؤدي إلى تعطيل نتائج دفتر الملاحظات.
  • فبراير ۱۸, ۲۰۲۰
    • يحتوي تمرير بيانات الاعتماد باستخدام ADLS Gen2 على تدهور في الأداء بسبب المعالجة المحلية لمؤشر الترابط غير الصحيحة عند تمكين الجلب المسبق لعميل ADLS. يقوم هذا الإصدار بتعطيل الجلب المسبق ل ADLS Gen2 عند تمكين تمرير بيانات الاعتماد حتى نحصل على إصلاح مناسب.
  • 11 فبراير 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 يجب أن يلقي استثناء
  • يناير ۲۸, ۲۰۲۰
    • [SPARK-30447][SQL] مشكلة إبطال الانتشار المستمر.
    • [SPARK-28152][SQL] أضف مستندا قديما للتعيين الرقمي MsSqlServerDialect القديم.
  • 14 يناير 2020
    • تمت ترقية إصدار Java من 1.8.0_222 إلى 1.8.0_232.
  • نوفمبر ۱۹, ۲۰۱۹
    • [SPARK-29743] [SQL] عينة يجب تعيين needCopyResult إلى true إذا كانت حاجة طفلهاCopyResult صحيحة
  • نوفمبر 5، 2019
    • dbutils.tensorboard.start() يدعم الآن TensorBoard 2.0 (إذا تم تثبيته يدويا).
    • تم إصلاح خطأ في DBFS FUSE للتعامل مع نقاط التحميل الموجودة // في مسارها.
    • [سبارك-29081] استبدال المكالمات إلى SerializationUtils.clone على الخصائص مع تنفيذ أسرع
  • أكتوبر ۲۳, ۲۰۱۹
    • [SPARK-29244] [CORE] منع الصفحة المحررة في BytesToBytesMap مجانا مرة أخرى
  • 8 أكتوبر 2019
    • تغييرات جانب الخادم للسماح لبرنامج تشغيل Simba Apache Spark ODBC بإعادة الاتصال والمتابعة بعد فشل الاتصال أثناء جلب النتائج (يتطلب إصدار برنامج تشغيل Simba Apache Spark ODBC 2.6.10).
    • تم إصلاح مشكلة تؤثر على استخدام Optimize الأوامر مع مجموعات تمكين ACL للجدول.
    • تم إصلاح مشكلة فشل pyspark.ml المكتبات بسبب خطأ Scala UDF المحظور على الجدول ACL ومجموعات تمكين تمرير بيانات الاعتماد.
    • طرق SerDe/SerDeUtil المدرجة في القائمة المسموح بها لتمرير بيانات الاعتماد.
    • تم إصلاح NullPointerException عند التحقق من رمز الخطأ في عميل WASB.
    • تم إصلاح المشكلة المتمثلة في عدم إعادة توجيه بيانات اعتماد المستخدم إلى الوظائف التي تم إنشاؤها بواسطة dbutils.notebook.run().

Databricks وقت التشغيل 5.4 ML (غير مدعوم)

راجع Databricks Runtime 5.4 for التعلم الآلي (غير مدعوم).

  • 18 يونيو، 2019
    • معالجة محسنة لعمليات التشغيل النشطة ل MLflow في تكامل Hyperopt
    • الرسائل المحسنة في Hyperopt
    • الحزمة المحدثة markdown من 3.1 إلى 3.1.1

Databricks وقت التشغيل 5.4 (غير مدعوم)

راجع Databricks Runtime 5.4 (غير مدعوم).

  • نوفمبر ۱۹, ۲۰۱۹
    • [SPARK-29743] [SQL] عينة يجب تعيين needCopyResult إلى true إذا كانت حاجة طفلهاCopyResult صحيحة
  • 8 أكتوبر 2019
    • تغييرات من جانب الخادم للسماح لبرنامج تشغيل Simba Apache Spark ODBC بإعادة الاتصال والمتابعة بعد فشل الاتصال أثناء جلب النتائج (يتطلب تحديث برنامج تشغيل Simba Apache Spark ODBC إلى الإصدار 2.6.10).
    • تم إصلاح NullPointerException عند التحقق من رمز الخطأ في عميل WASB.
  • سبتمبر ۱۰, ۲۰۱۹
    • إضافة مكرر آمن لمؤشر الترابط إلى BytesToBytesMap
    • تم إصلاح خطأ يؤثر على استعلامات تجميع عمومية معينة.
    • [SPARK-27330] [SS] دعم مهمة إجهاض في كل كاتب
    • [سبارك-28642] إخفاء بيانات الاعتماد في إظهار إنشاء جدول
    • [SPARK-28699][SQL] تعطيل باستخدام فرز الجذر ل ShuffleExchangeExec في حالة إعادة التقسيم
    • [SPARK-28699] [CORE] إصلاح حالة زاوية لإجهاض مرحلة غير محددة
  • أغسطس ۲۷, ۲۰۱۹
    • تم إصلاح مشكلة تؤثر على تعبيرات معينة transform
  • 13 أغسطس، 2019
    • يجب أن يتحقق مصدر تدفق Delta من أحدث بروتوكول لجدول
    • [SPARK-28489][SS]إصلاح خطأ أن KafkaOffsetRangeCalculator.getRanges قد تسقط الإزاحات
  • يوليو ۳۰, ۲۰۱۹
    • [SPARK-28015][SQL] يستهلك Check stringToDate() الإدخال الكامل لتنسيقات yyyy وyyyy-[m]m
    • [SPARK-28308][CORE] يجب أن يكون الجزء الفرعي الثاني من التقويم مبطنا قبل التحليل
    • [سبارك-27485] يجب أن يتعامل EnsureRequirements.reorder مع التعبيرات المكررة بأمان
  • يوليو ۲, ۲۰۱۹
    • تمت ترقية snappy-java من 1.1.7.1 إلى 1.1.7.3.
  • 18 يونيو، 2019
    • معالجة محسنة لعمليات التشغيل النشطة MLflow في تكامل MLlib
    • رسالة Databricks Advisor المحسنة المتعلقة باستخدام ذاكرة التخزين المؤقت ل Delta
    • إصلاح خطأ يؤثر على استخدام وظائف الترتيب الأعلى
    • تم إصلاح خطأ يؤثر على استعلامات بيانات تعريف Delta

Databricks وقت التشغيل 5.3 (غير مدعوم)

راجع Databricks Runtime 5.3 (غير مدعوم).

  • نوفمبر 7، 2019
    • [SPARK-29743][SQL] عينة يجب تعيين needCopyResult إلى true إذا كانت حاجة طفلهاCopyResult صحيحة
  • 8 أكتوبر 2019
    • تغييرات من جانب الخادم للسماح لبرنامج تشغيل Simba Apache Spark ODBC بإعادة الاتصال والمتابعة بعد فشل الاتصال أثناء جلب النتائج (يتطلب تحديث برنامج تشغيل Simba Apache Spark ODBC إلى الإصدار 2.6.10).
    • تم إصلاح NullPointerException عند التحقق من رمز الخطأ في عميل WASB.
  • سبتمبر ۱۰, ۲۰۱۹
    • إضافة مكرر آمن لمؤشر الترابط إلى BytesToBytesMap
    • تم إصلاح خطأ يؤثر على استعلامات تجميع عمومية معينة.
    • [SPARK-27330] [SS] دعم مهمة إجهاض في كل كاتب
    • [سبارك-28642] إخفاء بيانات الاعتماد في إظهار إنشاء جدول
    • [SPARK-28699][SQL] تعطيل باستخدام فرز الجذر ل ShuffleExchangeExec في حالة إعادة التقسيم
    • [SPARK-28699] [CORE] إصلاح حالة زاوية لإجهاض مرحلة غير محددة
  • أغسطس ۲۷, ۲۰۱۹
    • تم إصلاح مشكلة تؤثر على تعبيرات معينة transform
  • 13 أغسطس، 2019
    • يجب أن يتحقق مصدر تدفق Delta من أحدث بروتوكول لجدول
    • [SPARK-28489][SS]إصلاح خطأ أن KafkaOffsetRangeCalculator.getRanges قد تسقط الإزاحات
  • يوليو ۳۰, ۲۰۱۹
    • [SPARK-28015][SQL] يستهلك Check stringToDate() الإدخال الكامل لتنسيقات yyyy وyyyy-[m]m
    • [SPARK-28308][CORE] يجب أن يكون الجزء الفرعي الثاني من التقويم مبطنا قبل التحليل
    • [سبارك-27485] يجب أن يتعامل EnsureRequirements.reorder مع التعبيرات المكررة بأمان
  • 18 يونيو، 2019
    • رسالة Databricks Advisor المحسنة المتعلقة باستخدام ذاكرة التخزين المؤقت ل Delta
    • إصلاح خطأ يؤثر على استخدام وظائف الترتيب الأعلى
    • تم إصلاح خطأ يؤثر على استعلامات بيانات تعريف Delta
  • مايو 28, 2019
    • تحسين استقرار دلتا
    • تحمل IOExceptions عند قراءة ملف دلتا LAST_CHECKPOINT
      • تمت إضافة استرداد إلى فشل تثبيت المكتبة
  • 7 مايو 2019
    • منفذ HADOOP-15778 (ABFS: إصلاح الاختناق من جانب العميل للقراءة) إلى موصل Azure Data Lake Storage Gen2
    • منفذ HADOOP-16040 (ABFS: إصلاح الأخطاء لتكوين التسامحOobAppends) إلى موصل Azure Data Lake Storage Gen2
    • تم إصلاح خطأ يؤثر على قوائم التحكم في الوصول (ACL) في الجدول
    • تم إصلاح حالة تعارض عند تحميل ملف المجموع الاختباري لسجل دلتا
    • منطق ثابت للكشف عن تعارض دلتا لعدم تحديد "إدراج + الكتابة فوق" كعملية "إلحاق" نقية
    • تأكد من عدم تعطيل ذاكرة التخزين المؤقت Delta عند تمكين قوائم التحكم في الوصول (ACL) للجدول
    • [سبارك-27494] [SS] لا تعمل المفاتيح/القيم الفارغة في الإصدار 2 من مصدر Kafka
    • [سبارك-27446] [R] استخدم مستند الشرارة الموجود إذا كان متوفرا.
    • [سبارك-27454] [سبارك-27454] [مل] [SQL] فشل مصدر بيانات صور Spark عند مواجهة بعض الصور غير القانونية
    • [سبارك-27160] [SQL] إصلاح DecimalType عند إنشاء مرشحات orc
    • [سبارك-27338] [الأساسية] إصلاح الجمود بين UnsafeExternalSorter و TaskMemoryManager

Databricks وقت التشغيل 5.2 (غير مدعوم)

راجع Databricks Runtime 5.2 (غير مدعوم).

  • سبتمبر ۱۰, ۲۰۱۹
    • إضافة مكرر آمن لمؤشر الترابط إلى BytesToBytesMap
    • تم إصلاح خطأ يؤثر على استعلامات تجميع عمومية معينة.
    • [SPARK-27330] [SS] دعم مهمة إجهاض في كل كاتب
    • [سبارك-28642] إخفاء بيانات الاعتماد في إظهار إنشاء جدول
    • [SPARK-28699][SQL] تعطيل باستخدام فرز الجذر ل ShuffleExchangeExec في حالة إعادة التقسيم
    • [SPARK-28699] [CORE] إصلاح حالة زاوية لإجهاض مرحلة غير محددة
  • أغسطس ۲۷, ۲۰۱۹
    • تم إصلاح مشكلة تؤثر على تعبيرات معينة transform
  • 13 أغسطس، 2019
    • يجب أن يتحقق مصدر تدفق Delta من أحدث بروتوكول لجدول
    • [SPARK-28489][SS]إصلاح خطأ أن KafkaOffsetRangeCalculator.getRanges قد تسقط الإزاحات
  • يوليو ۳۰, ۲۰۱۹
    • [SPARK-28015][SQL] يستهلك Check stringToDate() الإدخال الكامل لتنسيقات yyyy وyyyy-[m]m
    • [SPARK-28308][CORE] يجب أن يكون الجزء الفرعي الثاني من التقويم مبطنا قبل التحليل
    • [سبارك-27485] يجب أن يتعامل EnsureRequirements.reorder مع التعبيرات المكررة بأمان
  • يوليو ۲, ۲۰۱۹
    • تحمل IOExceptions عند قراءة ملف دلتا LAST_CHECKPOINT
  • 18 يونيو، 2019
    • رسالة Databricks Advisor المحسنة المتعلقة باستخدام ذاكرة التخزين المؤقت ل Delta
    • إصلاح خطأ يؤثر على استخدام وظائف الترتيب الأعلى
    • تم إصلاح خطأ يؤثر على استعلامات بيانات تعريف Delta
  • مايو 28, 2019
    • تمت إضافة استرداد إلى فشل تثبيت المكتبة
  • 7 مايو 2019
    • منفذ HADOOP-15778 (ABFS: إصلاح الاختناق من جانب العميل للقراءة) إلى موصل Azure Data Lake Storage Gen2
    • منفذ HADOOP-16040 (ABFS: إصلاح الأخطاء لتكوين التسامحOobAppends) إلى موصل Azure Data Lake Storage Gen2
    • تم إصلاح حالة تعارض عند تحميل ملف المجموع الاختباري لسجل دلتا
    • منطق ثابت للكشف عن تعارض دلتا لعدم تحديد "إدراج + الكتابة فوق" كعملية "إلحاق" نقية
    • تأكد من عدم تعطيل ذاكرة التخزين المؤقت Delta عند تمكين قوائم التحكم في الوصول (ACL) للجدول
    • [سبارك-27494] [SS] لا تعمل المفاتيح/القيم الفارغة في الإصدار 2 من مصدر Kafka
    • [سبارك-27454] [سبارك-27454] [مل] [SQL] فشل مصدر بيانات صور Spark عند مواجهة بعض الصور غير القانونية
    • [سبارك-27160] [SQL] إصلاح DecimalType عند إنشاء مرشحات orc
    • [سبارك-27338] [الأساسية] إصلاح الجمود بين UnsafeExternalSorter و TaskMemoryManager
  • مارس 26, 2019
    • تجنب تضمين الإزاحات المعتمدة على النظام الأساسي حرفيا في التعليمات البرمجية التي تم إنشاؤها على مراحل كاملة
    • [SPARK-26665] [CORE] إصلاح خطأ قد يتوقف BlockTransferService.fetchBlockSync إلى الأبد.
    • [SPARK-27134][SQL] لا تعمل array_distinct الدالة بشكل صحيح مع الأعمدة التي تحتوي على صفيف.
    • [SPARK-24669][SQL] إبطال الجداول في حالة تعاقب قاعدة بيانات DROP.
    • [SPARK-26572][SQL] إصلاح تقييم نتائج الترميز المجمعة.
    • تم إصلاح خطأ يؤثر على بعض PythonUDFs.
  • فبراير 26، 2019
    • [SPARK-26864][SQL] قد يؤدي الاستعلام إلى إرجاع نتيجة غير صحيحة عند استخدام python udf كشرط ارتباط شبه يساري.
    • [SPARK-26887][PYTHON] قم بإنشاء datetime.date مباشرة بدلا من إنشاء datetime64 كبيانات وسيطة.
    • تم إصلاح خطأ يؤثر على خادم JDBC/ODBC.
    • تم إصلاح خطأ يؤثر على PySpark.
    • استبعاد الملفات المخفية عند إنشاء HadoopRDD.
    • تم إصلاح خطأ في Delta تسبب في حدوث مشكلات في التسلسل.
  • فبراير ۱۲, ۲۰۱۹
    • تم إصلاح مشكلة تؤثر على استخدام Delta مع نقاط تحميل Azure ADLS Gen2.
    • تم إصلاح مشكلة احتمال كسر بروتوكول شبكة Spark منخفض المستوى عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عند spark.network.crypto.enabled تعيينه إلى true).
  • يناير ۳۰, ۲۰۱۹
    • تم إصلاح StackOverflowError عند وضع تلميح صلة منحرفة على العلاقة المخزنة مؤقتا.
    • تم إصلاح عدم الاتساق بين RDD المخزن مؤقتا لذاكرة التخزين المؤقت SQL وخطته المادية، مما يؤدي إلى نتيجة غير صحيحة.
    • [SPARK-26706][SQL] إصلاح ل ByteType.
    • [SPARK-26709][SQL] لا يعالج OptimizeMetadataOnlyQuery السجلات الفارغة بشكل صحيح.
    • يجب أن تتجنب مصادر بيانات CSV/JSON مسارات التشابك عند استنتاج المخطط.
    • استنتاج القيد الثابت على عامل تشغيل النافذة.
    • تم إصلاح مشكلة تؤثر على تثبيت مكتبات البيض مع تمكين ACL للجدول في المجموعات.

Databricks وقت التشغيل 5.1 (غير مدعوم)

راجع Databricks Runtime 5.1 (غير مدعوم).

  • 13 أغسطس، 2019
    • يجب أن يتحقق مصدر تدفق Delta من أحدث بروتوكول لجدول
    • [SPARK-28489][SS]إصلاح خطأ أن KafkaOffsetRangeCalculator.getRanges قد تسقط الإزاحات
  • يوليو ۳۰, ۲۰۱۹
    • [SPARK-28015][SQL] يستهلك Check stringToDate() الإدخال الكامل لتنسيقات yyyy وyyyy-[m]m
    • [SPARK-28308][CORE] يجب أن يكون الجزء الفرعي الثاني من التقويم مبطنا قبل التحليل
    • [سبارك-27485] يجب أن يتعامل EnsureRequirements.reorder مع التعبيرات المكررة بأمان
  • يوليو ۲, ۲۰۱۹
    • تحمل IOExceptions عند قراءة ملف دلتا LAST_CHECKPOINT
  • 18 يونيو، 2019
    • إصلاح خطأ يؤثر على استخدام وظائف الترتيب الأعلى
    • تم إصلاح خطأ يؤثر على استعلامات بيانات تعريف Delta
  • مايو 28, 2019
    • تمت إضافة استرداد إلى فشل تثبيت المكتبة
  • 7 مايو 2019
    • منفذ HADOOP-15778 (ABFS: إصلاح الاختناق من جانب العميل للقراءة) إلى موصل Azure Data Lake Storage Gen2
    • منفذ HADOOP-16040 (ABFS: إصلاح الأخطاء لتكوين التسامحOobAppends) إلى موصل Azure Data Lake Storage Gen2
    • تم إصلاح حالة تعارض عند تحميل ملف المجموع الاختباري لسجل دلتا
    • منطق ثابت للكشف عن تعارض دلتا لعدم تحديد "إدراج + الكتابة فوق" كعملية "إلحاق" نقية
    • [سبارك-27494] [SS] لا تعمل المفاتيح/القيم الفارغة في الإصدار 2 من مصدر Kafka
    • [سبارك-27454] [سبارك-27454] [مل] [SQL] فشل مصدر بيانات صور Spark عند مواجهة بعض الصور غير القانونية
    • [سبارك-27160] [SQL] إصلاح DecimalType عند إنشاء مرشحات orc
    • [سبارك-27338] [الأساسية] إصلاح الجمود بين UnsafeExternalSorter و TaskMemoryManager
  • مارس 26, 2019
    • تجنب تضمين الإزاحات المعتمدة على النظام الأساسي حرفيا في التعليمات البرمجية التي تم إنشاؤها على مراحل كاملة
    • تم إصلاح خطأ يؤثر على بعض PythonUDFs.
  • فبراير 26، 2019
    • [SPARK-26864][SQL] قد يؤدي الاستعلام إلى إرجاع نتيجة غير صحيحة عند استخدام python udf كشرط ارتباط شبه يساري.
    • تم إصلاح خطأ يؤثر على خادم JDBC/ODBC.
    • استبعاد الملفات المخفية عند إنشاء HadoopRDD.
  • فبراير ۱۲, ۲۰۱۹
    • تم إصلاح مشكلة تؤثر على تثبيت مكتبات البيض مع تمكين ACL للجدول في المجموعات.
    • تم إصلاح عدم الاتساق بين RDD المخزن مؤقتا لذاكرة التخزين المؤقت SQL وخطته المادية، مما يؤدي إلى نتيجة غير صحيحة.
    • [SPARK-26706][SQL] إصلاح ل ByteType.
    • [SPARK-26709][SQL] لا يعالج OptimizeMetadataOnlyQuery السجلات الفارغة بشكل صحيح.
    • استنتاج القيد الثابت على عامل تشغيل النافذة.
    • تم إصلاح مشكلة احتمال كسر بروتوكول شبكة Spark منخفض المستوى عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عند spark.network.crypto.enabled تعيينه إلى true).
  • يناير ۳۰, ۲۰۱۹
    • تم إصلاح مشكلة يمكن أن تتسبب df.rdd.count() في إرجاع إجابة غير صحيحة لحالات معينة مع UDT.
    • تم إصلاح مشكلة تؤثر على تثبيت غرف العجلات.
    • [سبارك-26267] أعد المحاولة عند اكتشاف إزاحات غير صحيحة من كافكا.
    • تم إصلاح خطأ يؤثر على مصادر دفق ملفات متعددة في استعلام دفق.
    • تم إصلاح StackOverflowError عند وضع تلميح صلة منحرفة على العلاقة المخزنة مؤقتا.
    • تم إصلاح عدم الاتساق بين RDD المخزن مؤقتا لذاكرة التخزين المؤقت SQL وخطته المادية، مما يؤدي إلى نتيجة غير صحيحة.
  • يناير 8، 2019
    • تم إصلاح المشكلة التي تسببت في حدوث الخطأ org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352] يجب ألا تؤدي إعادة ترتيب الانضمام إلى تغيير ترتيب سمات الإخراج.
    • [سبارك-26366] يجب أن يعتبر ReplaceExceptWithFilter NULL خطأ.
    • تحسين الاستقرار لبحيرة دلتا.
    • تم تمكين بحيرة دلتا.
    • تم إصلاح المشكلة التي تسببت في فشل الوصول إلى Azure Data Lake Storage Gen2 عند تمكين Azure AD Credential Passthrough ل Azure Data Lake Storage Gen1.
    • تم الآن تمكين ذاكرة التخزين المؤقت IO Databricks لأنواع مثيلات عامل سلسلة Ls لجميع مستويات التسعير.

Databricks وقت التشغيل 5.0 (غير مدعوم)

راجع Databricks Runtime 5.0 (غير مدعوم).

  • 18 يونيو، 2019
    • إصلاح خطأ يؤثر على استخدام وظائف الترتيب الأعلى
  • 7 مايو 2019
    • تم إصلاح حالة تعارض عند تحميل ملف المجموع الاختباري لسجل دلتا
    • منطق ثابت للكشف عن تعارض دلتا لعدم تحديد "إدراج + الكتابة فوق" كعملية "إلحاق" نقية
    • [سبارك-27494] [SS] لا تعمل المفاتيح/القيم الفارغة في الإصدار 2 من مصدر Kafka
    • [سبارك-27454] [سبارك-27454] [مل] [SQL] فشل مصدر بيانات صور Spark عند مواجهة بعض الصور غير القانونية
    • [سبارك-27160] [SQL] إصلاح DecimalType عند إنشاء مرشحات orc
      • [سبارك-27338] [الأساسية] إصلاح الجمود بين UnsafeExternalSorter و TaskMemoryManager
  • مارس 26, 2019
    • تجنب تضمين الإزاحات المعتمدة على النظام الأساسي حرفيا في التعليمات البرمجية التي تم إنشاؤها على مراحل كاملة
    • تم إصلاح خطأ يؤثر على بعض PythonUDFs.
  • مارس ۱۲, ۲۰۱۹
    • [SPARK-26864][SQL] قد يؤدي الاستعلام إلى إرجاع نتيجة غير صحيحة عند استخدام python udf كشرط ارتباط شبه يساري.
  • فبراير 26، 2019
    • تم إصلاح خطأ يؤثر على خادم JDBC/ODBC.
    • استبعاد الملفات المخفية عند إنشاء HadoopRDD.
  • فبراير ۱۲, ۲۰۱۹
    • تم إصلاح عدم الاتساق بين RDD المخزن مؤقتا لذاكرة التخزين المؤقت SQL وخطته المادية، مما يؤدي إلى نتيجة غير صحيحة.
    • [SPARK-26706][SQL] إصلاح ل ByteType.
    • [SPARK-26709][SQL] لا يعالج OptimizeMetadataOnlyQuery السجلات الفارغة بشكل صحيح.
    • استنتاج القيد الثابت على عامل تشغيل النافذة.
    • تم إصلاح مشكلة احتمال كسر بروتوكول شبكة Spark منخفض المستوى عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عند spark.network.crypto.enabled تعيينه إلى true).
  • يناير ۳۰, ۲۰۱۹
    • تم إصلاح مشكلة يمكن أن تتسبب df.rdd.count() في إرجاع إجابة غير صحيحة لحالات معينة مع UDT.
    • [سبارك-26267] أعد المحاولة عند اكتشاف إزاحات غير صحيحة من كافكا.
    • تم إصلاح خطأ يؤثر على مصادر دفق ملفات متعددة في استعلام دفق.
    • تم إصلاح StackOverflowError عند وضع تلميح صلة منحرفة على العلاقة المخزنة مؤقتا.
    • تم إصلاح عدم الاتساق بين RDD المخزن مؤقتا لذاكرة التخزين المؤقت SQL وخطته المادية، مما يؤدي إلى نتيجة غير صحيحة.
  • يناير 8، 2019
    • تم إصلاح المشكلة التي تسببت في حدوث الخطأ org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352] يجب ألا تؤدي إعادة ترتيب الانضمام إلى تغيير ترتيب سمات الإخراج.
    • [سبارك-26366] يجب أن يعتبر ReplaceExceptWithFilter NULL خطأ.
    • تحسين الاستقرار لبحيرة دلتا.
    • تم تمكين بحيرة دلتا.
    • تم الآن تمكين ذاكرة التخزين المؤقت IO Databricks لأنواع مثيلات عامل سلسلة Ls لجميع مستويات التسعير.
  • ديسمبر ۱۸, ۲۰۱۸
    • [سبارك-26293] استثناء الإرسال عند وجود Python UDF في الاستعلام الفرعي
    • تم إصلاح مشكلة تؤثر على استعلامات معينة باستخدام الانضمام والحد.
    • بيانات الاعتماد المنقحة من أسماء RDD في Spark UI
  • ديسمبر 6، 2018
    • تم إصلاح مشكلة كانت تتسبب في نتيجة استعلام غير صحيحة عند استخدام orderBy متبوعة مباشرة ب groupBy مع مفتاح المجموعة حسب كجزء بادئ من مفتاح الفرز حسب.
    • تمت ترقية موصل ندفة الثلج ل Spark من 2.4.9.2-spark_2.4_pre_release إلى 2.4.10.
    • تجاهل الملفات التالفة فقط بعد إعادة محاولة واحدة أو أكثر عند spark.sql.files.ignoreCorruptFiles تمكين أو spark.sql.files.ignoreMissingFiles وضع علامة.
    • تم إصلاح مشكلة تؤثر على بعض استعلامات الاتحاد الذاتي.
    • تم إصلاح خطأ في خادم التوفير حيث يتم تسريب الجلسات في بعض الأحيان عند إلغائها.
    • [سبارك-26307] تم إصلاح CTAS عند إدراج جدول مقسم باستخدام Hive SerDe.
    • [سبارك-26147] فشل Python UDFs في حالة الانضمام حتى عند استخدام أعمدة من جانب واحد فقط من الانضمام
    • [سبارك-26211] إصلاح InSet للثنائي والبنية والمصفوفة مع فارغة.
    • [SPARK-26181] طريقة غير صحيحةColumnStatsMap.
    • تم إصلاح مشكلة تؤثر على تثبيت Python Wheels في البيئات التي لا تتوفر فيها إمكانية الوصول إلى الإنترنت.
  • 20 نوفمبر 2018
    • تم إصلاح مشكلة كانت تتسبب في عدم إمكانية استخدام دفتر ملاحظات بعد إلغاء استعلام دفق.
    • تم إصلاح مشكلة تؤثر على استعلامات معينة باستخدام وظائف النافذة.
    • تم إصلاح مشكلة تؤثر على دفق من دلتا مع تغييرات متعددة في المخطط.
    • تم إصلاح مشكلة تؤثر على استعلامات تجميع معينة باستخدام وصلات Semi/Anti اليسرى.

Databricks وقت التشغيل 4.3 (غير مدعوم)

راجع Databricks Runtime 4.3 (غير مدعوم).

  • أبريل 9، 2019

    • [SPARK-26665] [CORE] إصلاح خطأ يمكن أن يتسبب في تعليق BlockTransferService.fetchBlockSync إلى الأبد.
    • [SPARK-24669][SQL] إبطال الجداول في حالة تعاقب قاعدة بيانات DROP.
  • مارس ۱۲, ۲۰۱۹

    • تم إصلاح خطأ يؤثر على إنشاء التعليمات البرمجية.
    • تم إصلاح خطأ يؤثر على دلتا.
  • فبراير 26، 2019

    • تم إصلاح خطأ يؤثر على خادم JDBC/ODBC.
  • فبراير ۱۲, ۲۰۱۹

    • [SPARK-26709][SQL] لا يعالج OptimizeMetadataOnlyQuery السجلات الفارغة بشكل صحيح.
    • استبعاد الملفات المخفية عند إنشاء HadoopRDD.
    • تحويل مرشح الباركيه الثابت ل IN المسند عندما تكون قيمته فارغة.
    • تم إصلاح مشكلة احتمال كسر بروتوكول شبكة Spark منخفض المستوى عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عند spark.network.crypto.enabled تعيينه إلى true).
  • يناير ۳۰, ۲۰۱۹

    • تم إصلاح مشكلة يمكن أن تتسبب df.rdd.count() في إرجاع إجابة غير صحيحة لحالات معينة مع UDT.
    • تم إصلاح عدم الاتساق بين RDD المخزن مؤقتا لذاكرة التخزين المؤقت SQL وخطته المادية، مما يؤدي إلى نتيجة غير صحيحة.
  • يناير 8، 2019

    • تم إصلاح المشكلة التي تسببت في حدوث الخطأ org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • بيانات الاعتماد المنقحة من أسماء RDD في Spark UI
    • [SPARK-26352] يجب ألا تؤدي إعادة ترتيب الانضمام إلى تغيير ترتيب سمات الإخراج.
    • [سبارك-26366] يجب أن يعتبر ReplaceExceptWithFilter NULL خطأ.
    • تم تمكين بحيرة دلتا.
    • تم الآن تمكين ذاكرة التخزين المؤقت IO Databricks لأنواع مثيلات عامل سلسلة Ls لجميع مستويات التسعير.
  • ديسمبر ۱۸, ۲۰۱۸

    • [سبارك-25002] Avro: مراجعة مساحة اسم سجل الإخراج.
    • تم إصلاح مشكلة تؤثر على استعلامات معينة باستخدام الانضمام والحد.
    • [سبارك-26307] تم إصلاح CTAS عند إدراج جدول مقسم باستخدام Hive SerDe.
    • تجاهل الملفات التالفة فقط بعد إعادة محاولة واحدة أو أكثر عند spark.sql.files.ignoreCorruptFiles تمكين أو spark.sql.files.ignoreMissingFiles وضع علامة.
    • [SPARK-26181] طريقة غير صحيحةColumnStatsMap.
    • تم إصلاح مشكلة تؤثر على تثبيت Python Wheels في البيئات التي لا تتوفر فيها إمكانية الوصول إلى الإنترنت.
    • تم إصلاح مشكلة في الأداء في محلل الاستعلام.
    • تم إصلاح مشكلة في PySpark تسببت في فشل إجراءات DataFrame بسبب الخطأ "تم رفض الاتصال".
    • تم إصلاح مشكلة تؤثر على بعض استعلامات الاتحاد الذاتي.
  • 20 نوفمبر 2018

    • [SPARK-17916][SPARK-25241]إصلاح السلسلة الفارغة التي يتم تحليلها على أنها فارغة عند تعيين nullValue.
    • [سبارك-25387] إصلاح NPE الناجم عن إدخال CSV غير صحيح.
    • تم إصلاح مشكلة تؤثر على استعلامات تجميع معينة باستخدام وصلات Semi/Anti اليسرى.
  • نوفمبر 6، 2018

    • [سبارك-25741] لا يتم عرض عناوين URL الطويلة بشكل صحيح في واجهة مستخدم الويب.
    • [سبارك-25714] إصلاح معالجة فارغة في قاعدة المحسن التبسيط المنطقي.
    • تم إصلاح مشكلة تؤثر على تنظيف الكائنات المؤقتة في موصل Synapse Analytics.
    • [سبارك-25816] إصلاح دقة السمة في المستخلصات المتداخلة.
  • أكتوبر ۱٦, ۲۰۱۸

    • تم إصلاح خطأ يؤثر على إخراج التشغيل SHOW CREATE TABLE على جداول دلتا.
    • تم إصلاح خطأ يؤثر على Union العملية.
  • سبتمبر ۲۵, ۲۰۱۸

    • [SPARK-25368][SQL] يرجع استدلال القيد غير الصحيح نتيجة خاطئة.
    • [SPARK-25402][SQL] معالجة فارغة في التبسيط المنطقي.
    • تم إصلاحه NotSerializableException في مصدر بيانات Avro.
  • سبتمبر ۱۱, ۲۰۱۸

    • [SPARK-25214][SS] إصلاح المشكلة المتمثلة في أن مصدر Kafka v2 قد يعيد السجلات المكررة عندما .
    • [SPARK-24987] [SS] إصلاح تسرب المستهلك كافكا عندما لا توجد تعويضات جديدة للمقالةPartition.
    • يجب أن يعالج تقليل عامل التصفية القيمة الفارغة بشكل صحيح.
    • تحسين استقرار محرك التنفيذ.
  • أغسطس ۲۸, ۲۰۱۸

    • تم إصلاح خطأ في الأمر Delta Lake Delete من شأنه حذف الصفوف التي يتم تقييم الحالة فيها إلى فارغ بشكل غير صحيح.
    • [سبارك-25142] إضافة رسائل خطأ عندما يتعذر على عامل Python فتح المقبس في .
  • أغسطس ۲۳, ۲۰۱۸

    • [SPARK-23935] خريطةالزيارات السريعة .
    • تم إصلاح مشكلة الخريطة الفارغة في قارئ Parquet.
    • [SPARK-25051][SQL] يجب ألا تتوقف قابلية الإصلاح عند AnalysisBarrier.
    • [سبارك-25081] تم إصلاح خطأ حيث قد يصل ShuffleExternalSorter إلى صفحة ذاكرة تم إصدارها عندما يفشل الانسكاب في تخصيص الذاكرة.
    • تم إصلاح التفاعل بين Databricks Delta و Pyspark مما قد يتسبب في فشل قراءة عابر.
    • [SPARK-25084]"التوزيع بواسطة" على أعمدة متعددة (التفاف بين قوسين) قد يؤدي إلى مشكلة codegen.
    • [سبارك-25096] قم بتخفيف قابلية الإبطال إذا كان القالب قابلا للإبطال بالقوة.
    • خفض العدد الافتراضي لمؤشرات الترابط المستخدمة بواسطة الأمر Delta Lake Optimize، مما يقلل من النفقات العامة للذاكرة ويلتزم بالبيانات بشكل أسرع.
    • [سبارك-25114] إصلاح RecordBinaryComparator عند الطرح بين كلمتين قابل للقسمة على عدد صحيح.MAX_VALUE.
    • تنقيح المدير السري الثابت عندما ينجح الأمر جزئيا.

Databricks وقت التشغيل 4.2 (غير مدعوم)

راجع Databricks Runtime 4.2 (غير مدعوم).

  • فبراير 26، 2019

    • تم إصلاح خطأ يؤثر على خادم JDBC/ODBC.
  • فبراير ۱۲, ۲۰۱۹

    • [SPARK-26709][SQL] لا يعالج OptimizeMetadataOnlyQuery السجلات الفارغة بشكل صحيح.
    • استبعاد الملفات المخفية عند إنشاء HadoopRDD.
    • تحويل مرشح الباركيه الثابت ل IN المسند عندما تكون قيمته فارغة.
    • تم إصلاح مشكلة احتمال كسر بروتوكول شبكة Spark منخفض المستوى عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عند spark.network.crypto.enabled تعيينه إلى true).
  • يناير ۳۰, ۲۰۱۹

    • تم إصلاح مشكلة يمكن أن تتسبب df.rdd.count() في إرجاع إجابة غير صحيحة لحالات معينة مع UDT.
  • يناير 8، 2019

    • تم إصلاح المشكلة التي تسببت في حدوث الخطأ org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • بيانات الاعتماد المنقحة من أسماء RDD في Spark UI
    • [SPARK-26352] يجب ألا تؤدي إعادة ترتيب الانضمام إلى تغيير ترتيب سمات الإخراج.
    • [سبارك-26366] يجب أن يعتبر ReplaceExceptWithFilter NULL خطأ.
    • تم تمكين بحيرة دلتا.
    • تم الآن تمكين ذاكرة التخزين المؤقت IO Databricks لأنواع مثيلات عامل سلسلة Ls لجميع مستويات التسعير.
  • ديسمبر ۱۸, ۲۰۱۸

    • [سبارك-25002] Avro: مراجعة مساحة اسم سجل الإخراج.
    • تم إصلاح مشكلة تؤثر على استعلامات معينة باستخدام الانضمام والحد.
    • [سبارك-26307] تم إصلاح CTAS عند إدراج جدول مقسم باستخدام Hive SerDe.
    • تجاهل الملفات التالفة فقط بعد إعادة محاولة واحدة أو أكثر عند spark.sql.files.ignoreCorruptFiles تمكين أو spark.sql.files.ignoreMissingFiles وضع علامة.
    • [SPARK-26181] طريقة غير صحيحةColumnStatsMap.
    • تم إصلاح مشكلة تؤثر على تثبيت Python Wheels في البيئات التي لا تتوفر فيها إمكانية الوصول إلى الإنترنت.
    • تم إصلاح مشكلة في الأداء في محلل الاستعلام.
    • تم إصلاح مشكلة في PySpark تسببت في فشل إجراءات DataFrame بسبب الخطأ "تم رفض الاتصال".
    • تم إصلاح مشكلة تؤثر على بعض استعلامات الاتحاد الذاتي.
  • 20 نوفمبر 2018

    • [SPARK-17916][SPARK-25241]إصلاح السلسلة الفارغة التي يتم تحليلها على أنها فارغة عند تعيين nullValue.
    • تم إصلاح مشكلة تؤثر على استعلامات تجميع معينة باستخدام وصلات Semi/Anti اليسرى.
  • نوفمبر 6، 2018

    • [سبارك-25741] لا يتم عرض عناوين URL الطويلة بشكل صحيح في واجهة مستخدم الويب.
    • [سبارك-25714] إصلاح معالجة فارغة في قاعدة المحسن التبسيط المنطقي.
  • أكتوبر ۱٦, ۲۰۱۸

    • تم إصلاح خطأ يؤثر على إخراج التشغيل SHOW CREATE TABLE على جداول دلتا.
    • تم إصلاح خطأ يؤثر على Union العملية.
  • سبتمبر ۲۵, ۲۰۱۸

    • [SPARK-25368][SQL] يرجع استدلال القيد غير الصحيح نتيجة خاطئة.
    • [SPARK-25402][SQL] معالجة فارغة في التبسيط المنطقي.
    • تم إصلاحه NotSerializableException في مصدر بيانات Avro.
  • سبتمبر ۱۱, ۲۰۱۸

    • [SPARK-25214][SS] إصلاح المشكلة المتمثلة في أن مصدر Kafka v2 قد يعيد السجلات المكررة عندما .
    • [SPARK-24987] [SS] إصلاح تسرب المستهلك كافكا عندما لا توجد تعويضات جديدة للمقالةPartition.
    • يجب أن يعالج تقليل عامل التصفية القيمة الفارغة بشكل صحيح.
  • أغسطس ۲۸, ۲۰۱۸

    • تم إصلاح خطأ في الأمر Delta Lake Delete من شأنه حذف الصفوف التي يتم تقييم الحالة فيها إلى فارغ بشكل غير صحيح.
  • أغسطس ۲۳, ۲۰۱۸

    • ثابت NoClassDefError للقطة دلتا
    • [SPARK-23935] خريطةالزيارات السريعة .
    • [SPARK-24957][SQL] المتوسط مع العلامة العشرية متبوعا بالتجميع يؤدي إلى إرجاع نتيجة خاطئة. قد يتم إرجاع النتائج غير الصحيحة ل AVERAGE. سيتم تجاوز CAST المضاف في عامل التشغيل Average إذا كانت نتيجة Divide هي نفس النوع الذي تم الإرسال إليه.
    • [سبارك-25081] تم إصلاح خطأ حيث قد يصل ShuffleExternalSorter إلى صفحة ذاكرة تم إصدارها عندما يفشل الانسكاب في تخصيص الذاكرة.
    • تم إصلاح التفاعل بين Databricks Delta و Pyspark مما قد يتسبب في فشل قراءة عابر.
    • [سبارك-25114] إصلاح RecordBinaryComparator عند الطرح بين كلمتين قابل للقسمة على عدد صحيح.MAX_VALUE.
    • [SPARK-25084]"التوزيع بواسطة" على أعمدة متعددة (التفاف بين قوسين) قد يؤدي إلى مشكلة codegen.
    • [SPARK-24934][SQL] الأنواع المدعومة من القائمة المسموح بها صراحة في الحدود العليا/السفلية لتقليم قسم الذاكرة. عند استخدام أنواع البيانات المعقدة في عوامل تصفية الاستعلام مقابل البيانات المخزنة مؤقتا، يقوم Spark دائما بإرجاع مجموعة نتائج فارغة. يقوم التقليم المستند إلى الإحصائيات في الذاكرة بإنشاء نتائج غير صحيحة، لأنه يتم تعيين null للحدود العليا/السفلية للأنواع المعقدة. الإصلاح هو عدم استخدام التقليم المستند إلى الإحصائيات في الذاكرة للأنواع المعقدة.
    • تنقيح المدير السري الثابت عندما ينجح الأمر جزئيا.
    • تم إصلاح مشكلة الخريطة الفارغة في قارئ Parquet.
  • أغسطس ۲, ۲۰۱۸

    • تمت إضافة واجهة برمجة تطبيقات writeStream.table في بايثون.
    • تم إصلاح مشكلة تؤثر على نقاط تفتيش دلتا.
    • [SPARK-24867][SQL] أضف AnalysisBarrier إلى DataFrameWriter. لا يتم استخدام ذاكرة التخزين المؤقت SQL عند استخدام DataFrameWriter لكتابة DataFrame باستخدام UDF. هذا انحدار ناتج عن التغييرات التي أجريناها في AnalysisBarrier ، حيث لا تكون جميع قواعد Analyzer غير فعالة.
    • تم إصلاح مشكلة قد تتسبب mergeInto في ظهور أمر ينتج عنه نتائج غير صحيحة.
    • تحسين الاستقرار عند الوصول إلى Azure Data Lake Storage Gen1.
    • [سبارك-24809] قد يؤدي تسلسل LongHashedRelation في المنفذ إلى حدوث خطأ في البيانات.
    • [SPARK-24878][SQL] إصلاح الدالة العكسية لنوع الصفيف من النوع البدائي الذي يحتوي على فارغ.
  • يوليو ۱۱, ۲۰۱۸

    • تم إصلاح خطأ في تنفيذ الاستعلام من شأنه أن يتسبب في تجميعات على أعمدة عشرية بدقة مختلفة لإرجاع نتائج غير صحيحة في بعض الحالات.
    • تم إصلاح خطأ NullPointerException تم طرحه أثناء عمليات التجميع المتقدمة مثل مجموعات التجميع.

Databricks وقت التشغيل 4.1 ML (غير مدعوم)

راجع Databricks Runtime 4.1 ML (غير مدعوم).

  • يوليو ۳۱, ۲۰۱۸
    • تمت إضافة Azure Synapse Analytics إلى ML Runtime 4.1
    • تم إصلاح خطأ قد يتسبب في نتائج استعلام غير صحيحة عندما يختلف اسم عمود قسم مستخدم في مسند عن حالة هذا العمود في مخطط الجدول.
    • تم إصلاح خطأ يؤثر على محرك تنفيذ Spark SQL.
    • تم إصلاح خطأ يؤثر على إنشاء التعليمات البرمجية.
    • تم إصلاح خطأ (java.lang.NoClassDefFoundError) يؤثر على بحيرة دلتا.
    • تحسين معالجة الأخطاء في بحيرة دلتا.
    • تم إصلاح خطأ تسبب في تجميع إحصائيات تخطي البيانات غير الصحيحة لأعمدة السلسلة المكونة من 32 حرفا أو أكثر.

Databricks وقت التشغيل 4.1 (غير مدعوم)

راجع Databricks Runtime 4.1 (غير مدعوم).

  • يناير 8، 2019

    • [سبارك-26366] يجب أن يعتبر ReplaceExceptWithFilter NULL خطأ.
    • تم تمكين بحيرة دلتا.
  • ديسمبر ۱۸, ۲۰۱۸

    • [سبارك-25002] Avro: مراجعة مساحة اسم سجل الإخراج.
    • تم إصلاح مشكلة تؤثر على استعلامات معينة باستخدام الانضمام والحد.
    • [سبارك-26307] تم إصلاح CTAS عند إدراج جدول مقسم باستخدام Hive SerDe.
    • تجاهل الملفات التالفة فقط بعد إعادة محاولة واحدة أو أكثر عند spark.sql.files.ignoreCorruptFiles تمكين أو spark.sql.files.ignoreMissingFiles وضع علامة.
    • تم إصلاح مشكلة تؤثر على تثبيت Python Wheels في البيئات التي لا تتوفر فيها إمكانية الوصول إلى الإنترنت.
    • تم إصلاح مشكلة في PySpark تسببت في فشل إجراءات DataFrame بسبب الخطأ "تم رفض الاتصال".
    • تم إصلاح مشكلة تؤثر على بعض استعلامات الاتحاد الذاتي.
  • 20 نوفمبر 2018

    • [SPARK-17916][SPARK-25241]إصلاح السلسلة الفارغة التي يتم تحليلها على أنها فارغة عند تعيين nullValue.
    • تم إصلاح مشكلة تؤثر على استعلامات تجميع معينة باستخدام وصلات Semi/Anti اليسرى.
  • نوفمبر 6، 2018

    • [سبارك-25741] لا يتم عرض عناوين URL الطويلة بشكل صحيح في واجهة مستخدم الويب.
    • [سبارك-25714] إصلاح معالجة فارغة في قاعدة المحسن التبسيط المنطقي.
  • أكتوبر ۱٦, ۲۰۱۸

    • تم إصلاح خطأ يؤثر على إخراج التشغيل SHOW CREATE TABLE على جداول دلتا.
    • تم إصلاح خطأ يؤثر على Union العملية.
  • سبتمبر ۲۵, ۲۰۱۸

    • [SPARK-25368][SQL] يرجع استدلال القيد غير الصحيح نتيجة خاطئة.
    • [SPARK-25402][SQL] معالجة فارغة في التبسيط المنطقي.
    • تم إصلاحه NotSerializableException في مصدر بيانات Avro.
  • سبتمبر ۱۱, ۲۰۱۸

    • [SPARK-25214][SS] إصلاح المشكلة المتمثلة في أن مصدر Kafka v2 قد يعيد السجلات المكررة عندما .
    • [SPARK-24987] [SS] إصلاح تسرب المستهلك كافكا عندما لا توجد تعويضات جديدة للمقالةPartition.
    • يجب أن يعالج تقليل عامل التصفية القيمة الفارغة بشكل صحيح.
  • أغسطس ۲۸, ۲۰۱۸

    • تم إصلاح خطأ في الأمر Delta Lake Delete من شأنه حذف الصفوف التي يتم تقييم الحالة فيها إلى فارغ بشكل غير صحيح.
    • [SPARK-25084]"التوزيع بواسطة" على أعمدة متعددة (التفاف بين قوسين) قد يؤدي إلى مشكلة codegen.
    • [سبارك-25114] إصلاح RecordBinaryComparator عند الطرح بين كلمتين قابل للقسمة على عدد صحيح.MAX_VALUE.
  • أغسطس ۲۳, ۲۰۱۸

    • تم إصلاح NoClassDefError للقطة دلتا.
    • [SPARK-24957][SQL] المتوسط مع العلامة العشرية متبوعا بالتجميع يؤدي إلى إرجاع نتيجة خاطئة. قد يتم إرجاع النتائج غير الصحيحة ل AVERAGE. سيتم تجاوز CAST المضاف في عامل التشغيل Average إذا كانت نتيجة Divide هي نفس النوع الذي تم الإرسال إليه.
    • تم إصلاح مشكلة الخريطة الفارغة في قارئ Parquet.
    • [SPARK-24934][SQL] الأنواع المدعومة من القائمة المسموح بها صراحة في الحدود العليا/السفلية لتقليم قسم الذاكرة. عند استخدام أنواع البيانات المعقدة في عوامل تصفية الاستعلام مقابل البيانات المخزنة مؤقتا، يقوم Spark دائما بإرجاع مجموعة نتائج فارغة. يقوم التقليم المستند إلى الإحصائيات في الذاكرة بإنشاء نتائج غير صحيحة، لأنه يتم تعيين null للحدود العليا/السفلية للأنواع المعقدة. الإصلاح هو عدم استخدام التقليم المستند إلى الإحصائيات في الذاكرة للأنواع المعقدة.
    • [سبارك-25081] تم إصلاح خطأ حيث قد يصل ShuffleExternalSorter إلى صفحة ذاكرة تم إصدارها عندما يفشل الانسكاب في تخصيص الذاكرة.
    • تم إصلاح التفاعل بين Databricks Delta و Pyspark مما قد يتسبب في فشل قراءة عابر.
    • تنقيح المدير السري الثابت عند نجاح الأمر جزئيا
  • أغسطس ۲, ۲۰۱۸

    • [SPARK-24613][SQL] تعذر مطابقة ذاكرة التخزين المؤقت مع UDF مع ذاكرة التخزين المؤقت التابعة اللاحقة. يلف الخطة المنطقية باستخدام AnalysisBarrier لتجميع خطة التنفيذ في CacheManager ، لتجنب تحليل الخطة مرة أخرى. هذا هو أيضا انحدار سبارك 2.3.
    • تم إصلاح مشكلة موصل Synapse Analytics التي تؤثر على تحويل المنطقة الزمنية لكتابة بيانات DateType.
    • تم إصلاح مشكلة تؤثر على نقاط تفتيش دلتا.
    • تم إصلاح مشكلة قد تتسبب mergeInto في ظهور أمر ينتج عنه نتائج غير صحيحة.
    • [SPARK-24867][SQL] أضف AnalysisBarrier إلى DataFrameWriter. لا يتم استخدام ذاكرة التخزين المؤقت SQL عند استخدام DataFrameWriter لكتابة DataFrame باستخدام UDF. هذا انحدار ناتج عن التغييرات التي أجريناها في AnalysisBarrier ، حيث لا تكون جميع قواعد Analyzer غير فعالة.
    • [سبارك-24809] قد يؤدي تسلسل LongHashedRelation في المنفذ إلى حدوث خطأ في البيانات.
  • يوليو ۱۱, ۲۰۱۸

    • تم إصلاح خطأ في تنفيذ الاستعلام من شأنه أن يتسبب في تجميعات على أعمدة عشرية بدقة مختلفة لإرجاع نتائج غير صحيحة في بعض الحالات.
    • تم إصلاح خطأ NullPointerException تم طرحه أثناء عمليات التجميع المتقدمة مثل مجموعات التجميع.
  • 28 يونيو، 2018

    • تم إصلاح خطأ قد يتسبب في نتائج استعلام غير صحيحة عندما يختلف اسم عمود قسم مستخدم في مسند عن حالة هذا العمود في مخطط الجدول.
  • يونيو 7, 2018

    • تم إصلاح خطأ يؤثر على محرك تنفيذ Spark SQL.
    • تم إصلاح خطأ يؤثر على إنشاء التعليمات البرمجية.
    • تم إصلاح خطأ (java.lang.NoClassDefFoundError) يؤثر على بحيرة دلتا.
    • تحسين معالجة الأخطاء في بحيرة دلتا.
  • مايو 17, 2018

    • تم إصلاح خطأ تسبب في تجميع إحصائيات تخطي البيانات غير الصحيحة لأعمدة السلسلة المكونة من 32 حرفا أو أكثر.

Databricks وقت التشغيل 4.0 (غير مدعوم)

راجع Databricks Runtime 4.0 (غير مدعوم).

  • نوفمبر 6، 2018

    • [سبارك-25714] إصلاح معالجة فارغة في قاعدة المحسن التبسيط المنطقي.
  • أكتوبر ۱٦, ۲۰۱۸

    • تم إصلاح خطأ يؤثر على Union العملية.
  • سبتمبر ۲۵, ۲۰۱۸

    • [SPARK-25368][SQL] يرجع استدلال القيد غير الصحيح نتيجة خاطئة.
    • [SPARK-25402][SQL] معالجة فارغة في التبسيط المنطقي.
    • تم إصلاحه NotSerializableException في مصدر بيانات Avro.
  • سبتمبر ۱۱, ۲۰۱۸

    • يجب أن يعالج تقليل عامل التصفية القيمة الفارغة بشكل صحيح.
  • أغسطس ۲۸, ۲۰۱۸

    • تم إصلاح خطأ في الأمر Delta Lake Delete من شأنه حذف الصفوف التي يتم تقييم الحالة فيها إلى فارغ بشكل غير صحيح.
  • أغسطس ۲۳, ۲۰۱۸

    • تم إصلاح مشكلة الخريطة الفارغة في قارئ Parquet.
    • تنقيح المدير السري الثابت عند نجاح الأمر جزئيا
    • تم إصلاح التفاعل بين Databricks Delta و Pyspark مما قد يتسبب في فشل قراءة عابر.
    • [سبارك-25081] تم إصلاح خطأ حيث قد يصل ShuffleExternalSorter إلى صفحة ذاكرة تم إصدارها عندما يفشل الانسكاب في تخصيص الذاكرة.
    • [سبارك-25114] إصلاح RecordBinaryComparator عند الطرح بين كلمتين قابل للقسمة على عدد صحيح.MAX_VALUE.
  • أغسطس ۲, ۲۰۱۸

    • [سبارك-24452] تجنب الفائض المحتمل في إضافة int أو متعددة.
    • [سبارك-24588] يجب أن يتطلب الانضمام المتدفق HashClusteredPartitioning من الأطفال.
    • تم إصلاح مشكلة قد تتسبب mergeInto في ظهور أمر ينتج عنه نتائج غير صحيحة.
    • [SPARK-24867][SQL] أضف AnalysisBarrier إلى DataFrameWriter. لا يتم استخدام ذاكرة التخزين المؤقت SQL عند استخدام DataFrameWriter لكتابة DataFrame باستخدام UDF. هذا انحدار ناتج عن التغييرات التي أجريناها في AnalysisBarrier ، حيث لا تكون جميع قواعد Analyzer غير فعالة.
    • [سبارك-24809] قد يؤدي تسلسل LongHashedRelation في المنفذ إلى حدوث خطأ في البيانات.
  • 28 يونيو، 2018

    • تم إصلاح خطأ قد يتسبب في نتائج استعلام غير صحيحة عندما يختلف اسم عمود قسم مستخدم في مسند عن حالة هذا العمود في مخطط الجدول.
  • يونيو 7, 2018

    • تم إصلاح خطأ يؤثر على محرك تنفيذ Spark SQL.
    • تحسين معالجة الأخطاء في بحيرة دلتا.
  • مايو 17, 2018

    • إصلاحات الأخطاء للإدارة السرية Databricks.
    • تحسين الاستقرار في قراءة البيانات المخزنة في Azure Data Lake Store.
    • تم إصلاح خطأ يؤثر على التخزين المؤقت RDD.
    • تم إصلاح خطأ يؤثر على Null-safe Equal في Spark SQL.
  • أبريل ۲۴, ۲۰۱۸

    • تمت ترقية Azure Data Lake Store SDK من 2.0.11 إلى 2.2.8 لتحسين استقرار الوصول إلى Azure Data Lake Store.
    • تم إصلاح خطأ يؤثر على إدراج الكتابة الفوقية إلى جداول Hive المقسمة عندما spark.databricks.io.hive.fastwriter.enabled يكون false.
    • تم إصلاح مشكلة فشل تسلسل المهام.
    • تحسين استقرار بحيرة دلتا.
  • مارس 14, 2018

    • منع تحديثات البيانات الوصفية غير الضرورية عند الكتابة في Delta Lake.
    • تم إصلاح مشكلة ناجمة عن حالة تعارض يمكن أن تؤدي في حالات نادرة إلى فقدان بعض ملفات الإخراج.

Databricks وقت التشغيل 3.5 LTS (غير مدعوم)

راجع Databricks Runtime 3.5 LTS (غير مدعوم).

  • نوفمبر 7، 2019

    • [SPARK-29743][SQL] عينة يجب تعيين needCopyResult إلى true إذا كانت حاجة طفلهاCopyResult صحيحة
  • 8 أكتوبر 2019

    • تغييرات من جانب الخادم للسماح لبرنامج تشغيل Simba Apache Spark ODBC بإعادة الاتصال والمتابعة بعد فشل الاتصال أثناء جلب النتائج (يتطلب تحديث برنامج تشغيل Simba Apache Spark ODBC إلى الإصدار 2.6.10).
  • سبتمبر ۱۰, ۲۰۱۹

    • [SPARK-28699][SQL] تعطيل باستخدام فرز الجذر ل ShuffleExchangeExec في حالة إعادة التقسيم
  • أبريل 9، 2019

    • [SPARK-26665] [CORE] إصلاح خطأ يمكن أن يتسبب في تعليق BlockTransferService.fetchBlockSync إلى الأبد.
  • فبراير ۱۲, ۲۰۱۹

    • تم إصلاح مشكلة احتمال كسر بروتوكول شبكة Spark منخفض المستوى عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عند spark.network.crypto.enabled تعيينه إلى true).
  • يناير ۳۰, ۲۰۱۹

    • تم إصلاح مشكلة يمكن أن تتسبب df.rdd.count() في إرجاع إجابة غير صحيحة لحالات معينة مع UDT.
  • ديسمبر ۱۸, ۲۰۱۸

    • تجاهل الملفات التالفة فقط بعد إعادة محاولة واحدة أو أكثر عند spark.sql.files.ignoreCorruptFiles تمكين أو spark.sql.files.ignoreMissingFiles وضع علامة.
    • تم إصلاح مشكلة تؤثر على بعض استعلامات الاتحاد الذاتي.
  • 20 نوفمبر 2018

    • [سبارك-25816] دقة سمة ثابتة في المستخلصات المتداخلة.
  • نوفمبر 6، 2018

    • [سبارك-25714] إصلاح معالجة فارغة في قاعدة المحسن التبسيط المنطقي.
  • أكتوبر ۱٦, ۲۰۱۸

    • تم إصلاح خطأ يؤثر على Union العملية.
  • سبتمبر ۲۵, ۲۰۱۸

    • [SPARK-25402][SQL] معالجة فارغة في التبسيط المنطقي.
    • تم إصلاحه NotSerializableException في مصدر بيانات Avro.
  • سبتمبر ۱۱, ۲۰۱۸

    • يجب أن يعالج تقليل عامل التصفية القيمة الفارغة بشكل صحيح.
  • أغسطس ۲۸, ۲۰۱۸

    • تم إصلاح خطأ في الأمر Delta Lake Delete من شأنه حذف الصفوف التي يتم تقييم الحالة فيها إلى فارغ بشكل غير صحيح.
    • [سبارك-25114] إصلاح RecordBinaryComparator عند الطرح بين كلمتين قابل للقسمة على عدد صحيح.MAX_VALUE.
  • أغسطس ۲۳, ۲۰۱۸

    • [سبارك-24809] قد يؤدي تسلسل LongHashedRelation في المنفذ إلى حدوث خطأ في البيانات.
    • تم إصلاح مشكلة الخريطة الفارغة في قارئ Parquet.
    • [سبارك-25081] تم إصلاح خطأ حيث قد يصل ShuffleExternalSorter إلى صفحة ذاكرة تم إصدارها عندما يفشل الانسكاب في تخصيص الذاكرة.
    • تم إصلاح التفاعل بين Databricks Delta و Pyspark مما قد يتسبب في فشل قراءة عابر.
  • 28 يونيو، 2018

    • تم إصلاح خطأ قد يتسبب في نتائج استعلام غير صحيحة عندما يختلف اسم عمود قسم مستخدم في مسند عن حالة هذا العمود في مخطط الجدول.
  • 28 يونيو، 2018

    • تم إصلاح خطأ قد يتسبب في نتائج استعلام غير صحيحة عندما يختلف اسم عمود قسم مستخدم في مسند عن حالة هذا العمود في مخطط الجدول.
  • يونيو 7, 2018

    • تم إصلاح خطأ يؤثر على محرك تنفيذ Spark SQL.
    • تحسين معالجة الأخطاء في بحيرة دلتا.
  • مايو 17, 2018

    • تحسين الاستقرار في قراءة البيانات المخزنة في Azure Data Lake Store.
    • تم إصلاح خطأ يؤثر على التخزين المؤقت RDD.
    • تم إصلاح خطأ يؤثر على Null-safe Equal في Spark SQL.
    • تم إصلاح خطأ يؤثر على بعض التجميعات في استعلامات البث.
  • أبريل ۲۴, ۲۰۱۸

    • تمت ترقية Azure Data Lake Store SDK من 2.0.11 إلى 2.2.8 لتحسين استقرار الوصول إلى Azure Data Lake Store.
    • تم إصلاح خطأ يؤثر على إدراج الكتابة الفوقية إلى جداول Hive المقسمة عندما spark.databricks.io.hive.fastwriter.enabled يكون false.
    • تم إصلاح مشكلة فشل تسلسل المهام.
  • مارس ۰۹, ۲۰۱۸

    • تم إصلاح مشكلة ناجمة عن حالة تعارض يمكن أن تؤدي في حالات نادرة إلى فقدان بعض ملفات الإخراج.
  • مارس ۰۱, ۲۰۱۸

    • تحسين كفاءة التعامل مع التدفقات التي يمكن أن تستغرق وقتا طويلا للتوقف.
    • تم إصلاح مشكلة تؤثر على الإكمال التلقائي ل Python.
    • تصحيحات أمان Ubuntu التطبيقية.
    • تم إصلاح مشكلة تؤثر على استعلامات معينة باستخدام Python UDFs ووظائف النافذة.
    • تم إصلاح مشكلة تؤثر على استخدام UDFs على مجموعة مع تمكين التحكم في الوصول إلى الجدول.
  • يناير ۲۹, ۲۰۱۸

    • تم إصلاح مشكلة تؤثر على معالجة الجداول المخزنة في وحدة تخزين Azure Blob.
    • التجميع الثابت بعد الإسقاطيتكرر على DataFrame الفارغ.

Databricks وقت التشغيل 3.4 (غير مدعوم)

راجع Databricks Runtime 3.4 (غير مدعوم).

  • يونيو 7, 2018

    • تم إصلاح خطأ يؤثر على محرك تنفيذ Spark SQL.
    • تحسين معالجة الأخطاء في بحيرة دلتا.
  • مايو 17, 2018

    • تحسين الاستقرار في قراءة البيانات المخزنة في Azure Data Lake Store.
    • تم إصلاح خطأ يؤثر على التخزين المؤقت RDD.
    • تم إصلاح خطأ يؤثر على Null-safe Equal في Spark SQL.
  • أبريل ۲۴, ۲۰۱۸

    • تم إصلاح خطأ يؤثر على إدراج الكتابة الفوقية إلى جداول Hive المقسمة عندما spark.databricks.io.hive.fastwriter.enabled يكون false.
  • مارس ۰۹, ۲۰۱۸

    • تم إصلاح مشكلة ناجمة عن حالة تعارض يمكن أن تؤدي في حالات نادرة إلى فقدان بعض ملفات الإخراج.
  • ديسمبر ۱۳, ۲۰۱۷

    • تم إصلاح مشكلة تؤثر على UDFs في Scala.
    • تم إصلاح مشكلة تؤثر على استخدام فهرس تخطي البيانات في جداول مصادر البيانات المخزنة في مسارات غير DBFS.
  • ديسمبر ۰۷, ۲۰۱۷

    • تحسين ثبات المراوغة.

إصدارات وقت تشغيل Databricks غير المدعومة

للحصول على ملاحظات الإصدار الأصلية، اتبع الرابط الموجود أسفل العنوان الفرعي.