مشاركة عبر

تحديثات الصيانة لوقت تشغيل Databricks (مؤرشف)

  • مقالة

تسرد هذه الصفحة المؤرشفة تحديثات الصيانة الصادرة لإصدارات وقت تشغيل Databricks التي لم تعد مدعومة. لإضافة تحديث صيانة إلى نظام مجموعة موجود، أعد تشغيل نظام المجموعة.

هام

تم إيقاف هذه الوثائق وقد لا يتم تحديثها. وصلت المنتجات أو الخدمات أو التقنيات المذكورة في هذا المحتوى إلى نهاية الدعم. راجع إصدارات ملاحظات إصدار Databricks Runtime والتوافق.

إشعار

تحتوي هذه المقالة على مراجع لمصطلح القائمة البيضاء، وهو مصطلح لا يستخدمه Azure Databricks. عند إزالة المصطلح من البرنامج، سنزيله من هذه المقالة.

إصدارات وقت تشغيل Databricks

تحديثات الصيانة حسب الإصدار:

للحصول على تحديثات الصيانة على إصدارات وقت تشغيل Databricks المدعومة، راجع تحديثات صيانة وقت تشغيل Databricks.

Databricks Runtime 15.0

راجع Databricks Runtime 15.0 (EoS).

  • 30 مايو 2024
  • 25 أبريل 2024
    • [SPARK-47786] يجب ألا تصبح SELECT DISTINCT () بنية SELECT DISTINCT () (العودة إلى السلوك السابق)
    • [SPARK-47802][SQL] العودة () من معنى البنية () إلى المعنى *
    • [SPARK-47509][SQL] حظر تعبيرات الاستعلام الفرعي في lambda ووظائف الترتيب الأعلى
    • [SPARK-47722] انتظر حتى ينتهي عمل خلفية RocksDB قبل الإغلاق
    • [SPARK-47081][CONNECT] [متابعة] تحسين قابلية استخدام معالج التقدم
    • [SPARK-47694][CONNECT] جعل الحد الأقصى لحجم الرسالة قابلا للتكوين على جانب العميل
    • [SPARK-47669][SQL] [CONNECT] [PYTHON] جمع Column.try_cast
    • [SPARK-47664][PYTHON] [CONNECT] [Cherry-pick-15.0] التحقق من صحة اسم العمود باستخدام المخطط المخزن مؤقتا
    • [SPARK-47818][CONNECT] [Cherry-pick-15.0] تقديم ذاكرة التخزين المؤقت للخطة في SparkConnectPlanner لتحسين أداء طلبات التحليل
    • [SPARK-47704][SQL] فشل تحليل JSON مع "java.lang.ClassCastException" عند تمكين spark.sql.json.enablePartialResults
    • [SPARK-47755][CONNECT] يجب أن يفشل Pivot عندما يكون عدد القيم المميزة كبيرا جدا
    • [SPARK-47713][SQL] [CONNECT] إصلاح فشل الانضمام الذاتي
    • [SPARK-47812][CONNECT] دعم تسلسل SparkSession لعامل ForEachBatch
    • [SPARK-47828][CONNECT] [PYTHON] DataFrameWriterV2.overwrite فشل مع خطة غير صالحة
    • [SPARK-47862][PYTHON] [CONNECT] إصلاح إنشاء ملفات proto
    • [SPARK-47800][SQL] إنشاء أسلوب جديد للمعرف لتحويل tableIdentifier
    • تحديثات أمان نظام التشغيل.
  • 3 أبريل 2024
    • (تغيير السلوك) لضمان سلوك متسق عبر أنواع الحوسبة، تطابق PySpark UDFs على المجموعات المشتركة الآن سلوك UDFs على أنظمة المجموعات المعينة دون عزل. يتضمن هذا التحديث التغييرات التالية التي قد تؤدي إلى قطع التعليمات البرمجية الموجودة:
      • لم تعد UDFs ذات string نوع إرجاع تحول ضمنيا القيم غيرstring إلى string قيم. في السابق، كانت UDFs ذات نوع str الإرجاع تقوم بتضمين القيمة المرجعة مع دالة str() بغض النظر عن نوع البيانات الفعلي للقيمة التي تم إرجاعها.
      • لم تعد UDFs ذات timestamp أنواع العائدات تطبق ضمنيا تحويلا إلى timestamp باستخدام timezone.
      • لم تعد تكوينات spark.databricks.sql.externalUDF.* نظام مجموعة Spark تنطبق على PySpark UDFs على المجموعات المشتركة.
      • لم يعد تكوين spark.databricks.safespark.externalUDF.plan.limit نظام مجموعة Spark يؤثر على PySpark UDFs، مما يزيل قيود المعاينة العامة البالغة 5 UDFs لكل استعلام ل PySpark UDFs.
      • لم يعد تكوين spark.databricks.safespark.sandbox.size.default.mib نظام مجموعة Spark ينطبق على PySpark UDFs على المجموعات المشتركة. بدلا من ذلك، يتم استخدام الذاكرة المتوفرة على النظام. للحد من ذاكرة PySpark UDFs، استخدم spark.databricks.pyspark.udf.isolation.memoryLimit مع الحد الأدنى من 100mالقيمة .
    • TimestampNTZ يتم الآن دعم نوع البيانات ك عمود تجميع مع تكوين أنظمة مجموعات سائلة. راجع استخدام التجميع السائل لجداول Delta.
    • [SPARK-47218][SQL] XML: تجاهل علامات الصف التي تم التعليق عليها في رمز XML المميز
    • [SPARK-46990][SQL] إصلاح تحميل ملفات Avro الفارغة المنبعثة من مراكز الأحداث
    • [SPARK-47033][SQL] إصلاح EXECUTE IMMEDIATE USING لا يتعرف على أسماء متغيرات جلسة العمل
    • [SPARK-47368][SQL] إزالة التحقق من تكوين inferTimestampNTZ في ParquetRowConverter
    • [SPARK-47561][SQL] إصلاح مشكلات ترتيب قاعدة المحلل حول الاسم المستعار
    • [SPARK-47638][PS] [CONNECT] تخطي التحقق من صحة اسم العمود في PS
    • [SPARK-46906][BACKPORT] [SS] إضافة فحص لتغيير عامل التشغيل ذي الحالة للبث
    • [SPARK-47569][SQL] عدم السماح بمقارنة المتغير.
    • [SPARK-47241][SQL] إصلاح مشكلات ترتيب القواعد ل ExtractGenerator
    • [SPARK-47218] [SQL] XML: تم تغيير SchemaOfXml للفشل في وضع DROPMALFORMED
    • [SPARK-47300][SQL] quoteIfNeeded يجب أن يبدأ معرف عرض الأسعار بأرقام
    • [SPARK-47009][SQL] [ترتيب] تمكين إنشاء دعم الجدول للترتر
    • [SPARK-47322][PYTHON] [CONNECT] جعل withColumnsRenamed معالجة تكرار أسماء الأعمدة متسقة مع withColumnRenamed
    • [SPARK-47544][PYTHON] أسلوب منشئ SparkSession غير متوافق مع visual studio code intellisense
    • [SPARK-47511][SQL] التعابير المتعارف عليها عن طريق إعادة تعيين المعرف
    • [SPARK-47385] إصلاح مرمزات المجموعة باستخدام إدخالات الخيار.
    • [SPARK-47200][SS] فئة الخطأ لخطأ دالة مستخدم متلقي دفعة Foreach
    • [SPARK-47135][SS] تنفيذ فئات الخطأ لاستثناءات فقدان بيانات Kafka
    • [SPARK-38708][SQL] ترقية عميل Hive Metastore إلى 3.1.3 ل Hive 3.1
    • [SPARK-47305][SQL] إصلاح PruneFilters لوضع علامة isStreaming ل LocalRelation بشكل صحيح عندما تحتوي الخطة على كل من الدفعة والتدفق
    • [SPARK-47380][CONNECT] تأكد من جانب الخادم أن SparkSession هو نفسه
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 14.0

راجع Databricks Runtime 14.0 (EoS).

  • 8 فبراير 2024
    • [SPARK-46396] يجب ألا يطرح استدلال الطابع الزمني استثناء.
    • [SPARK-46794] إزالة الاستعلامات الفرعية من قيود LogicalRDD.
    • [SPARK-45182] تجاهل إكمال المهمة من المرحلة القديمة بعد إعادة محاولة مرحلة الأصل غير المحدد كما هو محدد بواسطة المجموع الاختباري.
    • [SPARK-46933] إضافة مقياس وقت تنفيذ الاستعلام إلى الموصلات التي تستخدم JDBCRDD.
    • [SPARK-45957] تجنب إنشاء خطة تنفيذ للأوامر غير القابلة للتنفيذ.
    • [SPARK-46861] تجنب حالة التوقف التام في DAGScheduler.
    • [SPARK-46930] إضافة دعم لبادئة مخصصة لحقول نوع الاتحاد في Avro.
    • [SPARK-46941] لا يمكن إدراج عقدة حد مجموعة نافذة لحساب أعلى k إذا كان يحتوي على SizeBasedWindowFunction.
    • [SPARK-45582] تأكد من عدم استخدام مثيل المتجر بعد استدعاء التثبيت داخل تجميع تدفق وضع الإخراج.
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2024
    • [SPARK-46541] إصلاح مرجع العمود الغامض في الصلة الذاتية.
    • [SPARK-46676] يجب ألا يفشل dropDuplicatesWithinWatermark عند المتعارف عليه للخطة.
    • [SPARK-46769] تحسين استنتاج المخطط ذي الصلة بالطوابع الزمنية.
    • [SPARK-45498] المتابعة: تجاهل إكمال المهمة من محاولات المرحلة القديمة.
    • Revert [SPARK-46769] تحسين استنتاج المخطط ذي الصلة بالطوابع الزمنية.
    • [SPARK-46383] تقليل استخدام كومة برامج التشغيل عن طريق تقليل عمر TaskInfo.accumulables().
    • [SPARK-46633] إصلاح قارئ Avro للتعامل مع الكتل ذات الطول الصفري.
    • [SPARK-46677] إصلاح dataframe["*"] الدقة.
    • [SPARK-46684] إصلاح CoGroup.applyInPandas/السهم لتمرير الوسيطات بشكل صحيح.
    • [SPARK-46763] إصلاح فشل التأكيد في ReplaceDeduplicateWithAggregate للسمات المكررة.
    • [SPARK-46610] يجب أن يطرح إنشاء جدول استثناء عندما لا تكون هناك قيمة لمفتاح في الخيارات.
    • تحديثات أمان نظام التشغيل.
  • 17 يناير 2024
    • shuffle يتم تحديث عقدة خطة الشرح التي تم إرجاعها بواسطة استعلام Photon لإضافة causedBroadcastJoinBuildOOM=true العلامة عند حدوث خطأ نفاد الذاكرة أثناء التبديل العشوائي الذي يعد جزءا من صلة البث.
    • لتجنب زيادة زمن الانتقال عند الاتصال عبر TLSv1.3، يتضمن إصدار الصيانة هذا تصحيحا لتثبيت JDK 8 لإصلاح خطأ JDK JDK-8293562.
    • [SPARK-46394] إصلاح مشكلات spark.catalog.listDatabases() على المخططات ذات الأحرف الخاصة عند spark.sql.legacy.keepCommandOutputSchema تعيينها إلى true.
    • [SPARK-46250] test_parity_listener deflake.
    • [SPARK-45814] اجعل مكالمة سهمConverters.createEmptyArrowBatch قريبة() لتجنب تسرب الذاكرة.
    • [SPARK-46173] تخطي trimAll call أثناء تحليل التاريخ.
    • [SPARK-46484] اجعل resolveOperators وظائف المساعد تحتفظ ب معرف الخطة.
    • [SPARK-46466] يجب ألا يقوم قارئ باركيه المتجه بإعادة قاعدة البيانات للطوابع الزمنية ntz.
    • [SPARK-46056] إصلاح NPE للقراءة المتجهة Parquet بالقيمة الافتراضية byteArrayDecimalType.
    • [SPARK-46058] إضافة علامة منفصلة ل privateKeyPassword.
    • [SPARK-46478] قم بإعادة SPARK-43049 لاستخدام oracle varchar(255) للسلسلة.
    • [SPARK-46132] دعم كلمة مرور المفتاح لمفاتيح JKS ل RPC SSL.
    • [SPARK-46417] لا تفشل عند استدعاء hive.getTable و throwException خطأ.
    • [SPARK-46261] DataFrame.withColumnsRenamed يجب أن تحافظ على ترتيب الإملاء/الخريطة.
    • [SPARK-46370] إصلاح الخطأ عند الاستعلام من الجدول بعد تغيير الإعدادات الافتراضية للعمود.
    • [SPARK-46609] تجنب الانفجار الأسي في PartitioningPreservingUnaryExecNode.
    • [SPARK-46600] نقل التعليمات البرمجية المشتركة بين SqlConf وSqlApiConf إلى SqlApiConfHelper.
    • [SPARK-46538] إصلاح مشكلة مرجع العمود الغامض في ALSModel.transform.
    • [SPARK-46337] اجعل CTESubstitution الاحتفاظ ب PLAN_ID_TAG.
    • [SPARK-46602] النشر allowExisting في إنشاء طريقة العرض عندما لا يكون العرض/الجدول موجودا.
    • [SPARK-46260] DataFrame.withColumnsRenamed يجب أن تحترم ترتيب الإملاء.
    • [SPARK-46145] لا تطرح spark.catalog.listTables استثناء عند عدم العثور على الجدول أو طريقة العرض.
  • 14 ديسمبر 2023
    • تم إصلاح مشكلة حيث تمت معالجة التسطير السفلي الهارب في عمليات getColumns التي تنشأ من عملاء JDBC أو ODBC بشكل غير صحيح وتفسيرها كأحرف بدل.
    • [SPARK-46255] دعم النوع المعقد -> تحويل السلسلة.
    • [SPARK-46028] جعل Column.__getitem__ عمود الإدخال يقبل.
    • [SPARK-45920] يجب أن تكون المجموعة حسب الترتيبية غير متكررة.
    • [SPARK-45433] إصلاح استنتاج مخطط CSV/JSON عندما لا تتطابق الطوابع الزمنية مع تنسيق الطابع الزمني المحدد.
    • [SPARK-45509] إصلاح السلوك المرجعي لعمود df ل Spark Connect.
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2023
    • تثبيت حزمة جديدة، pyarrow-hotfix لمعالجة ثغرة أمنية في PyArrow RCE.
    • تم إصلاح مشكلة حيث تم تفسير التسطير السفلي الهارب في getColumns العمليات التي تنشأ من عملاء JDBC أو ODBC بشكل خاطئ على أنها أحرف بدل.
    • عند استيعاب بيانات CSV باستخدام التحميل التلقائي أو جداول البث، يتم الآن تقسيم ملفات CSV الكبيرة ويمكن معالجتها بالتوازي أثناء كل من استنتاج المخطط ومعالجة البيانات.
    • تمت ترقية موصل Spark-snowflake إلى 2.12.0.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • العودة [SPARK-45592].
    • [SPARK-45892] التحقق من صحة خطة محسن إعادة بناء التعليمات البرمجية validateSchemaOutput لفصل و validateExprIdUniqueness.
    • [SPARK-45592] تم إصلاح مشكلة التصحيح في AQE مع InMemoryTableScanExec.
    • [SPARK-45620] تستخدم واجهات برمجة التطبيقات المتعلقة ب Python UDF الآن camelCase.
    • [SPARK-44784] جعل اختبار SBT hermetic.
    • [SPARK-45770] تم إصلاح دقة العمود باستخدام DataFrameDropColumns ل Dataframe.drop.
    • [SPARK-45544] دعم SSL المتكامل في TransportContext.
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • تحديثات أمان نظام التشغيل.
  • 10 نوفمبر 2023
    • استعلامات موجز البيانات التي تم تغييرها في جداول دفق كتالوج Unity وطرق العرض المجسدة لعرض رسائل الخطأ.
    • [SPARK-45545] SparkTransportConf يرث SSLOptions عند الإنشاء.
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • [SPARK-45427] تمت إضافة إعدادات RPC SSL إلى SSLOptions و SparkTransportConf.
    • [SPARK-45541] تمت إضافة SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction لم يعد يفشل عندما IGNORE NULLS و offset > rowCount.
    • [SPARK-45429] تمت إضافة فئات المساعد لاتصال SSL RPC.
    • [SPARK-44219] تمت إضافة عمليات تحقق إضافية لكل قاعدة لإعادة كتابة التحسين.
    • [SPARK-45543] تم إصلاح مشكلة حيث InferWindowGroupLimit تم إنشاء خطأ إذا لم يكن لوظائف النافذة الأخرى نفس إطار النافذة مثل الدالات المماثلة للرتبة.
    • تحديثات أمان نظام التشغيل.
  • 23 أكتوبر 2023
    • [SPARK-45426] دعم إضافي ل ReloadingX509TrustManager.
    • [SPARK-45396] إضافة إدخال مستند للوحدة PySpark.ml.connect النمطية، وإضافته Evaluator إلى __all__ في ml.connect.
    • [SPARK-45256] تم إصلاح مشكلة فشل عند DurationWriter كتابة قيم أكثر من السعة الأولية.
    • [SPARK-45279] مرفق plan_id بجميع الخطط المنطقية.
    • [SPARK-45250] دعم إضافي لملف تعريف موارد المهمة على مستوى المرحلة لمجموعات الغزل عند إيقاف تشغيل التخصيص الديناميكي.
    • [SPARK-45182] دعم إضافي لمرحلة خريطة التبديل العشوائي مرة أخرى بحيث يمكن إعادة محاولة جميع مهام المرحلة عندما يكون إخراج المرحلة غير محدد.
    • [SPARK-45419] تجنب إعادة استخدام الملفات rocksdb sst في مثيل مختلف rocksdb عن طريق إزالة إدخالات مخطط إصدار الملف من الإصدارات الأكبر.
    • [SPARK-45386] تم إصلاح مشكلة إرجاع StorageLevel.NONE 0 بشكل غير صحيح.
    • تحديثات أمان نظام التشغيل.
  • 13 أكتوبر 2023
    • تمت ترقية تبعية Snowflake-jdbc من 3.13.29 إلى 3.13.33.
    • الدالة array_insert تستند إلى 1 للفهرسين الموجب والسالب، بينما كانت من قبل تستند إلى 0 للفهرس السالبة. يقوم الآن بإدراج عنصر جديد في نهاية صفائف الإدخال للفهرس -1. لاستعادة السلوك السابق، قم بتعيين spark.sql.legacy.negativeIndexInArrayInsert إلى true.
    • لم يعد Azure Databricks يتجاهل الملفات التالفة عند تمكين ignoreCorruptFilesاستنتاج مخطط CSV مع "المحمل التلقائي".
    • [SPARK-45227] تم إصلاح مشكلة مؤشر ترابط أمان دقيقة مع CoarseGrainedExecutorBackend.
    • [SPARK-44658] ShuffleStatus.getMapStatus يجب أن ترجع None بدلا من Some(null).
    • [SPARK-44910] Encoders.bean لا يدعم الفئات الفائقة مع وسيطات النوع العام.
    • [SPARK-45346] يحترم استنتاج مخطط Parquet العلامات الحساسة لحالة الأحرف عند دمج المخطط.
    • العودة [SPARK-42946].
    • [SPARK-42205] حدث بروتوكول JSON لإزالة تسجيل Accumulables في مهمة أو أحداث بدء مرحلة.
    • [SPARK-45360] يدعم منشئ جلسة Spark التهيئة من SPARK_REMOTE.
    • [SPARK-45316] إضافة معلمات ignoreCorruptFiles/ignoreMissingFiles جديدة إلى HadoopRDD و NewHadoopRDD.
    • [SPARK-44909] تخطي تشغيل خادم تدفق سجل موزع الشعلة عندما لا يكون متوفرا.
    • [SPARK-45084] StateOperatorProgress يستخدم الآن رقم قسم التبديل العشوائي الدقيق.
    • [SPARK-45371] تم إصلاح مشكلات التظليل في عميل Spark Connect Scala.
    • [SPARK-45178] الرجوع إلى تشغيل دفعة واحدة لمصادر Trigger.AvailableNow غير مدعومة بدلا من استخدام برنامج التضمين.
    • [SPARK-44840] إنشاء array_insert() مستند إلى 1 للفهرس السالبة.
    • [SPARK-44551] التعليقات المحررة للمزامنة مع OSS.
    • [SPARK-45078] تقوم ArrayInsert الدالة الآن بإجراء تحويل صريح عندما لا يساوي نوع العنصر نوع المكون المشتق.
    • [SPARK-45339] يسجل PySpark الآن أخطاء إعادة المحاولة.
    • [SPARK-45057] تجنب الحصول على تأمين القراءة عندما keepReadLock يكون خطأ.
    • [SPARK-44908] تم إصلاح وظيفة المعلمة عبر المدقق foldCol .
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 13.1

راجع Databricks Runtime 13.1 (EoS).

  • 29 نوفمبر 2023
    • تم إصلاح مشكلة حيث تم تفسير التسطير السفلي الهارب في getColumns العمليات التي تنشأ من عملاء JDBC أو ODBC بشكل خاطئ على أنها أحرف بدل.
    • [SPARK-44846] تمت إزالة تعبيرات التجميع المعقدة بعد RemoveRedundantAggregates.
    • [SPARK-43802] تم إصلاح مشكلة فشل codegen للتعبيرات unhex و unbase64.
    • [SPARK-43718] تم إصلاح إمكانية القيم الخالية للمفاتيح في USING الصلات.
    • تحديثات أمان نظام التشغيل.
  • 14 نوفمبر 2023
    • يتم دفع عوامل تصفية التقسيم على استعلامات تدفق Delta Lake لأسفل قبل تحديد المعدل لتحقيق استخدام أفضل.
    • استعلامات موجز البيانات التي تم تغييرها في جداول دفق كتالوج Unity وطرق العرض المجسدة لعرض رسائل الخطأ.
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • [SPARK-45430] FramelessOffsetWindowFunction لم يعد يفشل عندما IGNORE NULLS و offset > rowCount.
    • [SPARK-45543] تم إصلاح مشكلة كانت تتسبب InferWindowGroupLimit في حدوث مشكلة إذا لم يكن لوظائف النافذة الأخرى نفس إطار النافذة مثل الدالات المماثلة للرتبة.
    • تحديثات أمان نظام التشغيل.
  • 24 أكتوبر 2023
    • [SPARK-43799] تمت إضافة خيار ثنائي واصف إلى واجهة برمجة تطبيقات PySpark Protobuf .
    • العودة [SPARK-42946].
    • [SPARK-45346] يحترم استنتاج مخطط Parquet الآن العلامة الحساسة لحالة الأحرف عند دمج مخطط.
    • تحديثات أمان نظام التشغيل.
  • 13 أكتوبر 2023
    • تمت ترقية تبعية Snowflake-jdbc من 3.13.29 إلى 3.13.33.
    • لم يعد تجاهل الملفات التالفة عند ignoreCorruptFiles تمكينها أثناء استدلال مخطط CSV مع المحمل التلقائي.
    • [SPARK-44658] ShuffleStatus.getMapStatus إرجاع None بدلا من Some(null).
    • [SPARK-45178] الرجوع إلى تشغيل دفعة واحدة لمصادر Trigger.AvailableNow غير مدعومة بدلا من استخدام برنامج التضمين.
    • [SPARK-42205] حدث بروتوكول JSON لإزالة تسجيل Accumulables في مهمة أو أحداث بدء مرحلة.
    • تحديثات أمان نظام التشغيل.
  • 12 سبتمبر 2023
    • [SPARK-44718] مطابقة ColumnVector التكوين الافتراضي لوضع الذاكرة مع OffHeapMemoryMode قيمة التكوين.
    • تم إيقاف تشغيل SPARK-44878 حد صارم لمدير RocksDB الكتابة لتجنب استثناء الإدراج عند اكتمال ذاكرة التخزين المؤقت.
    • إصلاحات متنوعة.
  • 30 أغسطس 2023
    • [SPARK-44871] تم إصلاح سلوك percentile_disc.
    • [SPARK-44714] سهولة تقييد دقة LCA فيما يتعلق بالاستعلامات.
    • [SPARK-44245] PySpark.sql.dataframe sample() اختبارات المستند الآن توضيحية فقط.
    • [SPARK-44818] تم تهيئة تعارض ثابت لمقاطعة المهمة المعلقة التي تم إصدارها قبل taskThread .
    • تحديثات أمان نظام التشغيل.
  • 15 أغسطس 2023
    • [SPARK-44485] محسن TreeNode.generateTreeString.
    • [SPARK-44643] يتم إصلاحه Row.__repr__ عندما يكون الصف فارغا.
    • [SPARK-44504] تقوم مهمة الصيانة الآن بتنظيف الموفرين المحملين عند خطأ الإيقاف.
    • [SPARK-44479] تم إصلاح protobuf التحويل من نوع بنية فارغ.
    • [SPARK-44464] تم إصلاحه applyInPandasWithStatePythonRunner لإخراج الصفوف التي تحتوي Null على قيمة العمود الأول.
    • إصلاحات متنوعة.
  • 27 يوليو 2023
    • تم إصلاح مشكلة إرجاع dbutils.fs.ls() عند استدعاؤها INVALID_PARAMETER_VALUE.LOCATION_OVERLAP لمسار موقع تخزين تصادم مع موقع تخزين خارجي أو مدار آخر.
    • [SPARK-44199] CacheManager لم يعد يتم تحديث دون fileIndex داع.
    • [SPARK-44448] تم إصلاح خطأ في النتائج الخاطئة من DenseRankLimitIterator و InferWindowGroupLimit.
    • تحديثات أمان نظام التشغيل.
  • 24 يوليو 2023
    • إرجاع [SPARK-42323].
    • [SPARK-41848] تم إصلاح مشكلة الجدولة الزائدة للمهمة مع TaskResourceProfile.
    • [SPARK-44136] تم إصلاح مشكلة حيث StateManager يتم تحقيق ذلك في منفذ بدلا من برنامج التشغيل في FlatMapGroupsWithStateExec.
    • [SPARK-44337] تم إصلاح مشكلة حيث تسبب أي حقل تم تعيينه في Any.getDefaultInstance حدوث أخطاء تحليل.
    • تحديثات أمان نظام التشغيل.
  • 27 يونيو 2023
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2023
    • الفوتونات approx_count_distinct.
    • يقوم محلل JSON في failOnUnknownFields الوضع الآن بإسقاط السجل في DROPMALFORMED الوضع ويفشل مباشرة في FAILFAST الوضع.
    • تمت ترقية مكتبة Snowflake-jdbc إلى 3.13.29 لمعالجة مشكلة أمنية.
    • PubSubRecord يتم تخزين حقل السمات ك JSON بدلا من السلسلة من خريطة Scala لإجراء تسلسل وإلغاء تسلسل أكثر وضوحا.
    • يقوم EXPLAIN EXTENDED الأمر الآن بإرجاع أهلية ذاكرة التخزين المؤقت للنتيجة للاستعلام.
    • تحسين أداء التحديثات المتزايدة باستخدام SHALLOW CLONE Iceberg وParquet.
    • [SPARK-43032] إصلاح أخطاء Python SQM.
    • [SPARK-43404]تخطي إعادة استخدام الملف sst لنفس الإصدار من مخزن حالة RocksDB لتجنب خطأ عدم تطابق المعرف.
    • [SPARK-43340] معالجة حقل تتبع المكدس المفقود في سجلات الأحداث.
    • [SPARK-43527] تم التصحيح catalog.listCatalogs في PySpark.
    • [SPARK-43541] نشر كافة Project العلامات في حل التعبيرات والأعمدة المفقودة.
    • [SPARK-43300] NonFateSharingCache برنامج تضمين لذاكرة التخزين المؤقت ل Guava.
    • [SPARK-43378] أغلق كائنات الدفق بشكل صحيح في deserializeFromChunkedBuffer.
    • [SPARK-42852] NamedLambdaVariable إرجاع التغييرات ذات الصلة من EquivalentExpressions.
    • [SPARK-43779] ParseToDate يتم تحميل الآن EvalMode في مؤشر الترابط الرئيسي.
    • [SPARK-43413] إصلاح IN قابلية خالية الاستعلام ListQuery الفرعي.
    • [SPARK-43889] أضف التحقق من اسم __dir__() العمود لتصفية أسماء الأعمدة المعرضة للخطأ.
    • [SPARK-43043] تحسين أداء MapOutputTracker.updateMapOutput
    • [SPARK-43522] تم إصلاح إنشاء اسم عمود البنية باستخدام فهرس الصفيف.
    • [SPARK-43457] وكيل مستخدم Augument مع إصدارات نظام التشغيل وPython وSpark.
    • [SPARK-43286] تم تحديث aes_encrypt وضع CBC لإنشاء IVs عشوائية.
    • [SPARK-42851] حماية EquivalentExpressions.addExpr() مع supportedExpression().
    • العودة [SPARK-43183].
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 12.2 LTS

راجع Databricks Runtime 12.2 LTS.

  • 29 نوفمبر 2023
    • تم إصلاح مشكلة حيث تم تفسير التسطير السفلي الهارب في getColumns العمليات التي تنشأ من عملاء JDBC أو ODBC بشكل خاطئ على أنها أحرف بدل.
    • [SPARK-42205] تمت إزالة مواصل التسجيل في Stage الأحداث وبدءها Task .
    • [SPARK-44846] تمت إزالة تعبيرات التجميع المعقدة بعد RemoveRedundantAggregates.
    • [SPARK-43718] تم إصلاح إمكانية القيم الخالية للمفاتيح في USING الصلات.
    • [SPARK-45544] دعم SSL المتكامل في TransportContext.
    • [SPARK-43973] تعرض واجهة مستخدم الدفق المنظم الآن الاستعلامات الفاشلة بشكل صحيح.
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • تحديثات أمان نظام التشغيل.
  • 14 نوفمبر 2023
    • يتم دفع عوامل تصفية التقسيم على استعلامات تدفق Delta Lake لأسفل قبل تحديد المعدل لتحقيق استخدام أفضل.
    • [SPARK-45545] SparkTransportConf يرث SSLOptions عند الإنشاء.
    • [SPARK-45427] تمت إضافة إعدادات RPC SSL إلى SSLOptions و SparkTransportConf.
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • [SPARK-45541] تمت إضافة SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction لم يعد يفشل عندما IGNORE NULLS و offset > rowCount.
    • [SPARK-45429] تمت إضافة فئات المساعد لاتصال SSL RPC.
    • تحديثات أمان نظام التشغيل.
  • 24 أكتوبر 2023
    • [SPARK-45426] دعم إضافي ل ReloadingX509TrustManager.
    • إصلاحات متنوعة.
  • 13 أكتوبر 2023
    • تمت ترقية تبعية Snowflake-jdbc من 3.13.29 إلى 3.13.33.
    • [SPARK-42553] تأكد من وحدة زمنية واحدة على الأقل بعد الفاصل الزمني.
    • [SPARK-45346] يحترم استنتاج مخطط Parquet العلامة الحساسة لحالة الأحرف عند دمج المخطط.
    • [SPARK-45178] الرجوع إلى تشغيل دفعة واحدة لمصادر Trigger.AvailableNow غير مدعومة بدلا من استخدام برنامج التضمين.
    • [SPARK-45084] StateOperatorProgress لاستخدام رقم قسم عشوائي دقيق وملائم.
  • 12 سبتمبر 2023
    • [SPARK-44873] تمت إضافة دعم للأعمدة alter view المتداخلة في عميل Apache Hive.
    • [SPARK-44718] مطابقة ColumnVector التكوين الافتراضي لوضع الذاكرة مع OffHeapMemoryMode قيمة التكوين.
    • [SPARK-43799] تمت إضافة خيار ثنائي واصف إلى واجهة برمجة تطبيقات PySpark Protobuf .
    • إصلاحات متنوعة.
  • 30 أغسطس 2023
    • [SPARK-44485] محسن TreeNode.generateTreeString.
    • [SPARK-44818] تم تهيئة تعارض ثابت لمقاطعة المهمة المعلقة التي تم إصدارها قبل taskThread .
    • [SPARK-44871][11.3-13.0] السلوك الثابت percentile_disc .
    • [SPARK-44714] تخفيف تقييد دقة LCA فيما يتعلق بالاستعلامات.
    • تحديثات أمان نظام التشغيل.
  • 15 أغسطس 2023
    • [SPARK-44504] تقوم مهمة الصيانة بتنظيف الموفرين المحملين عند خطأ الإيقاف.
    • [SPARK-44464] تم إصلاحه applyInPandasWithStatePythonRunner لإخراج الصفوف التي تحتوي Null على قيمة العمود الأول.
    • تحديثات أمان نظام التشغيل.
  • 29 يوليو 2023
    • تم إصلاح مشكلة إرجاع dbutils.fs.ls() عند استدعاؤها INVALID_PARAMETER_VALUE.LOCATION_OVERLAP لمسار موقع تخزين تصادم مع موقع تخزين خارجي أو مدار آخر.
    • [SPARK-44199] CacheManager لم يعد يتم تحديث دون fileIndex داع.
    • تحديثات أمان نظام التشغيل.
  • 24 يوليو 2023
    • [SPARK-44337] تم إصلاح مشكلة حيث تسبب أي حقل تم تعيينه في Any.getDefaultInstance حدوث أخطاء تحليل.
    • [SPARK-44136] تم إصلاح مشكلة حيث StateManager يتم تحقيق ذلك في منفذ بدلا من برنامج التشغيل في FlatMapGroupsWithStateExec.
    • تحديثات أمان نظام التشغيل.
  • 23 يونيو 2023
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2023
    • الفوتونات approx_count_distinct.
    • تمت ترقية مكتبة Snowflake-jdbc إلى 3.13.29 لمعالجة مشكلة أمنية.
    • [SPARK-43779] ParseToDate يتم تحميل الآن EvalMode في مؤشر الترابط الرئيسي.
    • [SPARK-43156][SPARK-43098] اختبار خطأ عدد الاستعلامات الفرعية العددية الموسعة مع decorrelateInnerQuery إيقاف التشغيل.
    • تحديثات أمان نظام التشغيل.
  • 2 يونيو 2023
    • يقوم محلل JSON في failOnUnknownFields الوضع بإسقاط سجل في DROPMALFORMED الوضع ويفشل مباشرة في FAILFAST الوضع.
    • تحسين أداء التحديثات المتزايدة باستخدام SHALLOW CLONE Iceberg وParquet.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث كانت تنسيقات الملفات المصدر المختلفة غير متناسقة عندما لا يتضمن المخطط المتوفر أقساما مستنتجة. قد تتسبب هذه المشكلة في فشل غير متوقع عند قراءة الملفات ذات الأعمدة المفقودة في مخطط القسم المستنتج.
    • [SPARK-43404] تخطي إعادة استخدام الملف sst لنفس الإصدار من مخزن حالة RocksDB لتجنب خطأ عدم تطابق المعرف.
    • [SPARK-43413][11.3-13.0] قابلية خالية الاستعلام ListQuery الفرعي الثابتIN.
    • [SPARK-43522] تم إصلاح إنشاء اسم عمود البنية باستخدام فهرس الصفيف.
    • [SPARK-43541] نشر كافة Project العلامات في حل التعبيرات والأعمدة المفقودة.
    • [SPARK-43527] تم التصحيح catalog.listCatalogs في PySpark.
    • [SPARK-43123] لم تعد بيانات تعريف الحقل الداخلية تسرب إلى الكتالوجات.
    • [SPARK-43340] تم إصلاح حقل تتبع المكدس المفقود في سجلات الأحداث.
    • [SPARK-42444] DataFrame.drop يعالج الآن الأعمدة المكررة بشكل صحيح.
    • [SPARK-42937] PlanSubqueries يتم الآن تعيين InSubqueryExec#shouldBroadcast إلى true.
    • [SPARK-43286] تم تحديث aes_encrypt وضع CBC لإنشاء IVs عشوائية.
    • [SPARK-43378] أغلق كائنات الدفق بشكل صحيح في deserializeFromChunkedBuffer.
  • 17 مايو 2023
    • أصبحت عمليات فحص Parquet قوية الآن مقابل OOMs عند مسح الملفات ذات البنية الاستثنائية عن طريق ضبط حجم الدفعة ديناميكيا. يتم تحليل بيانات تعريف الملف لتقليل حجم الدفعة بشكل استباقي ويتم خفضها مرة أخرى في إعادة محاولة المهمة كشبكة أمان نهائية.
    • إذا تمت قراءة ملف Avro باستخدام الخيار فقط failOnUnknownFields\ أو مع "المحمل التلقائي" في failOnNewColumns\ وضع تطور المخطط، فستتم قراءة الأعمدة التي تحتوي على أنواع بيانات مختلفة بدلا null\ من طرح خطأ يفيد بأنه لا يمكن قراءة الملف. تفشل هذه القراءات الآن وتوصي المستخدمين باستخدام rescuedDataColumn\ الخيار .
    • يقوم التحميل التلقائي الآن بما يلي.
      • يقرأ و و و Byte بشكل صحيح، و لن يتم إنقاذه IntegerShortبشكل صحيح إذا تم توفير أحد أنواع البيانات هذه، ولكن ملف Avro يقترح أحد النوعين الآخرين.
      • يمنع أنواع الفواصل الزمنية للقراءة كنوع من الطوابع الزمنية أو التاريخ لتجنب الحصول على تواريخ تالفة.
      • يمنع أنواع القراءة Decimal بدقة أقل.
    • [SPARK-43172] يعرض المضيف والرمز المميز من عميل اتصال Spark.
    • [SPARK-43293] __qualified_access_only يتم تجاهلها في الأعمدة العادية.
    • [SPARK-43098] خطأ تصحيح COUNT ثابت عند تجميع الاستعلام الفرعي العددي حسب عبارة .
    • [SPARK-43085] دعم تعيين العمود DEFAULT لأسماء الجداول متعددة الأجزاء.
    • [SPARK-43190] ListQuery.childOutput متناسق الآن مع الإخراج الثانوي.
    • [SPARK-43192] تمت إزالة التحقق من صحة مجموعة عوامل المستخدم.
    • تحديثات أمان نظام التشغيل.
  • 25 أبريل 2023
    • إذا تمت قراءة ملف Parquet مع الخيار فقط failOnUnknownFields أو مع أداة التحميل التلقائي في failOnNewColumns وضع تطور المخطط، فستتم قراءة الأعمدة التي تحتوي على أنواع بيانات مختلفة بدلا null من طرح خطأ يفيد بأنه لا يمكن قراءة الملف. تفشل هذه القراءات الآن وتوصي المستخدمين باستخدام rescuedDataColumn الخيار .
    • يقوم أداة التحميل التلقائي الآن بقراءة أنواع و بشكل صحيح ولم يعد يقوم بإنقاذها IntegerShortByte إذا تم توفير أحد أنواع البيانات هذه. يقترح ملف Parquet أحد النوعين الآخرين. عند تمكين عمود البيانات الذي تم إنقاذه مسبقا، قد يؤدي عدم تطابق نوع البيانات إلى حفظ الأعمدة على الرغم من أنها قابلة للقراءة.
    • [SPARK-43009] ذات sql() معلمات مع Any ثوابت
    • [SPARK-42406] إنهاء الحقول المتكررة Protobuf عن طريق إسقاط الحقل
    • [SPARK-43038] دعم وضع CBC بواسطة aes_encrypt()/aes_decrypt()
    • [SPARK-42971] تغيير للطباعة workdir إذا كان appDirs فارغا عند معالجة العامل للحدث WorkDirCleanup
    • [SPARK-43018] إصلاح الخطأ لأوامر INSERT باستخدام القيم الحرفية للطوابع الزمنية
    • تحديثات أمان نظام التشغيل.
  • 11 أبريل 2023
    • دعم تنسيقات مصدر البيانات القديمة في SYNC الأمر .
    • إصلاح مشكلة في سلوك ٪autoreload في دفاتر الملاحظات خارج المستودع.
    • تم إصلاح مشكلة حيث يمكن أن ينتقل تطور مخطط التحميل التلقائي إلى حلقة فشل لا نهائية عند اكتشاف عمود جديد في مخطط كائن JSON متداخل.
    • [SPARK-42928] يجعل resolvePersistentFunction المزامنة.
    • [SPARK-42936] إصلاح مشكلة LCan عندما يمكن حل العبارة مباشرة بواسطة التجميع التابع لها.
    • [SPARK-42967] SparkListenerTaskStart.stageAttemptId إصلاحات عند بدء مهمة بعد إلغاء المرحلة.
    • تحديثات أمان نظام التشغيل.
  • 29 مارس 2023

    • يدعم Databricks SQL الآن تحديد القيم الافتراضية لأعمدة جداول Delta Lake، إما في وقت إنشاء الجدول أو بعد ذلك. يمكن أن تشير الأوامر اللاحقة و MERGE إلى القيمة الافتراضية لأي عمود باستخدام الكلمة الأساسية الصريحةDEFAULT.INSERTUPDATEDELETE بالإضافة إلى ذلك، إذا كان أي INSERT تعيين يحتوي على قائمة صريحة من أعمدة أقل من الجدول الهدف، استبدال القيم الافتراضية المقابلة للعمود بالأعمدة المتبقية (أو NULL إذا لم يتم تحديد افتراضي).

      على سبيل المثال:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • يبدأ برنامج التحميل التلقائي الآن تنظيف سجل RocksDB متزامن واحد على الأقل للتدفقات Trigger.AvailableNow للتحقق من إمكانية تنظيف نقطة التحقق بانتظام لتدفقات التحميل التلقائي سريعة التشغيل. قد يتسبب هذا في أن تستغرق بعض التدفقات وقتا أطول قبل إيقاف تشغيلها، ولكنها ستوفر لك تكاليف التخزين وتحسن تجربة التحميل التلقائي في عمليات التشغيل المستقبلية.

    • يمكنك الآن تعديل جدول Delta لإضافة دعم إلى ميزات الجدول باستخدام DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] قم بزيادة lockAcquireTimeoutMs إلى دقيقتين للحصول على مخزن حالة RocksDB في Structure Streaming

    • [SPARK-42521] إضافة NULLs ل INSERTs مع قوائم محددة من قبل المستخدم من أعمدة أقل من الجدول الهدف

    • [SPARK-42702][SPARK-42623] دعم الاستعلام ذات المعلمات في الاستعلام الفرعي وCTE

    • [SPARK-42668] التقاط استثناء أثناء محاولة إغلاق الدفق المضغوط في إيقاف HDFSStateStoreProvider

    • [SPARK-42403] يجب أن يتعامل JsonProtocol مع سلاسل JSON الخالية

  • 8 مارس 2023
    • تم تحسين رسالة الخطأ "فشل تهيئة التكوين" لتوفير المزيد من السياق للعميل.
    • هناك تغيير في المصطلحات لإضافة ميزات إلى جدول Delta باستخدام خاصية الجدول. بناء الجملة المفضل الآن 'delta.feature.featureName'='supported' بدلا من 'delta.feature.featureName'='enabled'. للتوافق مع الإصدارات السابقة، لا يزال استخدام 'delta.feature.featureName'='enabled' يعمل وسيستمر في العمل.
    • بدءا من هذا الإصدار، من الممكن إنشاء/استبدال جدول بخاصية delta.ignoreProtocolDefaults جدول إضافية لتجاهل تكوينات Spark المتعلقة بالبروتوكول، والتي تتضمن إصدارات القارئ والكاتب الافتراضية وميزات الجدول المدعومة افتراضيا.
    • [SPARK-42070] تغيير القيمة الافتراضية لوسيطة الدالة Mask من -1 إلى NULL
    • [SPARK-41793] نتيجة غير صحيحة لإطارات النوافذ المعرفة بواسطة عبارة نطاق على الأرقام العشرية الهامة
    • [SPARK-42484] رسالة خطأ أفضل ل UnsafeRowUtils
    • [SPARK-42516] التقاط تكوين المنطقة الزمنية لجلسة العمل دائما أثناء إنشاء طرق العرض
    • [SPARK-42635] إصلاح تعبير TimestampAdd.
    • [SPARK-42622] إيقاف تشغيل الاستبدال في القيم
    • [SPARK-42534] إصلاح عبارة DB2Dialect Limit
    • [SPARK-42121] إضافة دوال قيم الجدول المضمنة posexplode posexplode_outer json_tuple والمكدس
    • [SPARK-42045] وضع ANSI SQL: يجب أن ترجع Round/Bround خطأ في تجاوز عدد صحيح صغير/صغير/كبير
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 11.3 LTS

راجع Databricks Runtime 11.3 LTS.

  • 29 نوفمبر 2023
    • تم إصلاح مشكلة حيث تم تفسير التسطير السفلي الهارب في getColumns العمليات التي تنشأ من عملاء JDBC أو ODBC بشكل خاطئ على أنها أحرف بدل.
    • [SPARK-43973] تعرض واجهة مستخدم الدفق المنظم الآن الاستعلامات الفاشلة بشكل صحيح.
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • [SPARK-45544] دعم SSL المتكامل في TransportContext.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • [SPARK-43718] تم إصلاح إمكانية القيم الخالية للمفاتيح في USING الصلات.
    • [SPARK-44846] تمت إزالة تعبيرات التجميع المعقدة بعد RemoveRedundantAggregates.
    • تحديثات أمان نظام التشغيل.
  • 14 نوفمبر 2023
    • يتم دفع عوامل تصفية التقسيم على استعلامات تدفق Delta Lake لأسفل قبل تحديد المعدل لتحقيق استخدام أفضل.
    • [SPARK-42205] تمت إزالة مواصل التسجيل في أحداث بدء المرحلة والمهمة.
    • [SPARK-45545] SparkTransportConf يرث SSLOptions عند الإنشاء.
    • إرجاع [SPARK-33861].
    • [SPARK-45541] تمت إضافة SSLFactory.
    • [SPARK-45429] تمت إضافة فئات المساعد لاتصال SSL RPC.
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • [SPARK-45430] FramelessOffsetWindowFunction لم يعد يفشل عندما IGNORE NULLS و offset > rowCount.
    • [SPARK-45427] تمت إضافة إعدادات RPC SSL إلى SSLOptions و SparkTransportConf.
    • تحديثات أمان نظام التشغيل.
  • 24 أكتوبر 2023
    • [SPARK-45426] دعم إضافي ل ReloadingX509TrustManager.
    • إصلاحات متنوعة.
  • 13 أكتوبر 2023
    • تمت ترقية تبعية Snowflake-jdbc من 3.13.29 إلى 3.13.33.
    • [SPARK-45178] الرجوع إلى تشغيل دفعة واحدة لمصادر Trigger.AvailableNow غير مدعومة بدلا من استخدام برنامج التضمين.
    • [SPARK-45084] StateOperatorProgress لاستخدام رقم قسم عشوائي دقيق وملائم.
    • [SPARK-45346] يحترم استنتاج مخطط Parquet الآن العلامة الحساسة لحالة الأحرف عند دمج مخطط.
    • تحديثات أمان نظام التشغيل.
  • 10 سبتمبر 2023
    • إصلاحات متنوعة.
  • 30 أغسطس 2023
    • [SPARK-44818] تم تهيئة تعارض ثابت لمقاطعة المهمة المعلقة التي تم إصدارها قبل taskThread .
    • [SPARK-44871][11.3-13.0] السلوك الثابت percentile_disc .
    • تحديثات أمان نظام التشغيل.
  • 15 أغسطس 2023
    • [SPARK-44485] محسن TreeNode.generateTreeString.
    • [SPARK-44504] تقوم مهمة الصيانة بتنظيف الموفرين المحملين عند خطأ الإيقاف.
    • [SPARK-44464] تم إصلاحه applyInPandasWithStatePythonRunner لإخراج الصفوف التي تحتوي Null على قيمة العمود الأول.
    • تحديثات أمان نظام التشغيل.
  • 27 يوليو 2023
    • تم إصلاح مشكلة إرجاع dbutils.fs.ls() عند استدعاؤها INVALID_PARAMETER_VALUE.LOCATION_OVERLAP لمسار موقع تخزين تصادم مع موقع تخزين خارجي أو مدار آخر.
    • [SPARK-44199] CacheManager لم يعد يتم تحديث دون fileIndex داع.
    • تحديثات أمان نظام التشغيل.
  • 24 يوليو 2023
    • [SPARK-44136] تم إصلاح مشكلة يمكن أن تتحقق فيها StateManager في المنفذ بدلا من برنامج التشغيل في FlatMapGroupsWithStateExec.
    • تحديثات أمان نظام التشغيل.
  • 23 يونيو 2023
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2023
    • الفوتونات approx_count_distinct.
    • تمت ترقية مكتبة Snowflake-jdbc إلى 3.13.29 لمعالجة مشكلة أمنية.
    • [SPARK-43779] ParseToDate يتم تحميل الآن EvalMode في مؤشر الترابط الرئيسي.
    • [SPARK-40862] دعم الاستعلامات الفرعية غير المجمعة في RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] اختبار خطأ عدد الاستعلامات الفرعية العددية الموسعة مع decorrelateInnerQuery إيقاف التشغيل.
    • [SPARK-43098] إصلاح خطأ عدد التصحيحات عندما يحتوي الاستعلام الفرعي العددي على عبارة تجميع حسب
    • تحديثات أمان نظام التشغيل.
  • 2 يونيو 2023
    • يقوم محلل JSON في failOnUnknownFields الوضع بإسقاط سجل في DROPMALFORMED الوضع ويفشل مباشرة في FAILFAST الوضع.
    • تحسين أداء التحديثات المتزايدة باستخدام SHALLOW CLONE Iceberg وParquet.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث كانت تنسيقات الملفات المصدر المختلفة غير متناسقة عندما لا يتضمن المخطط المتوفر أقساما مستنتجة. قد تتسبب هذه المشكلة في فشل غير متوقع عند قراءة الملفات ذات الأعمدة المفقودة في مخطط القسم المستنتج.
    • [SPARK-43404]تخطي إعادة استخدام الملف sst لنفس الإصدار من مخزن حالة RocksDB لتجنب خطأ عدم تطابق المعرف.
    • [SPARK-43527] تم التصحيح catalog.listCatalogs في PySpark.
    • [SPARK-43413][11.3-13.0] قابلية خالية الاستعلام ListQuery الفرعي الثابتIN.
    • [SPARK-43340] تم إصلاح حقل تتبع المكدس المفقود في سجلات الأحداث.

Databricks Runtime 10.4 LTS

راجع Databricks Runtime 10.4 LTS.

  • 29 نوفمبر 2023
    • [SPARK-45544] دعم SSL المتكامل في TransportContext.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • [SPARK-43718] تم إصلاح إمكانية القيم الخالية للمفاتيح في USING الصلات.
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • [SPARK-42205] تمت إزالة مواصل التسجيل في أحداث بدء المرحلة والمهمة.
    • [SPARK-44846] تمت إزالة تعبيرات التجميع المعقدة بعد RemoveRedundantAggregates.
    • تحديثات أمان نظام التشغيل.
  • 14 نوفمبر 2023
    • [SPARK-45541] تمت إضافة SSLFactory.
    • [SPARK-45545] SparkTransportConf يرث SSLOptions عند الإنشاء.
    • [SPARK-45427] تمت إضافة إعدادات RPC SSL إلى SSLOptions و SparkTransportConf.
    • [SPARK-45429] تمت إضافة فئات المساعد لاتصال SSL RPC.
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • إرجاع [SPARK-33861].
    • تحديثات أمان نظام التشغيل.
  • 24 أكتوبر 2023
    • [SPARK-45426] دعم إضافي ل ReloadingX509TrustManager.
    • تحديثات أمان نظام التشغيل.
  • 13 أكتوبر 2023
    • [SPARK-45084] StateOperatorProgress لاستخدام رقم قسم عشوائي دقيق وملائم.
    • [SPARK-45178] الرجوع إلى تشغيل دفعة واحدة لمصادر Trigger.AvailableNow غير مدعومة بدلا من استخدام برنامج التضمين.
    • تحديثات أمان نظام التشغيل.
  • 10 سبتمبر 2023
    • إصلاحات متنوعة.
  • 30 أغسطس 2023
    • [SPARK-44818] تم تهيئة تعارض ثابت لمقاطعة المهمة المعلقة التي تم إصدارها قبل taskThread .
    • تحديثات أمان نظام التشغيل.
  • 15 أغسطس 2023
    • [SPARK-44504] تقوم مهمة الصيانة بتنظيف الموفرين المحملين عند خطأ الإيقاف.
    • [SPARK-43973] تظهر واجهة مستخدم الدفق المنظم الآن الاستعلامات الفاشلة بشكل صحيح.
    • تحديثات أمان نظام التشغيل.
  • 23 يونيو 2023
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2023
    • تمت ترقية مكتبة Snowflake-jdbc إلى 3.13.29 لمعالجة مشكلة أمنية.
    • [SPARK-43098] إصلاح خطأ عدد التصحيحات عندما يحتوي الاستعلام الفرعي العددي على عبارة تجميع حسب
    • [SPARK-40862] دعم الاستعلامات الفرعية غير المجمعة في RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] اختبار عدد الاستعلامات الفرعية العددية الموسعة مع decorrelateInnerQuery إيقاف التشغيل.
    • تحديثات أمان نظام التشغيل.
  • 2 يونيو 2023
    • يقوم محلل JSON في failOnUnknownFields الوضع بإسقاط سجل في DROPMALFORMED الوضع ويفشل مباشرة في FAILFAST الوضع.
    • تم إصلاح مشكلة في تحليل البيانات التي تم إنقاذها من JSON لمنع UnknownFieldException.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث كانت تنسيقات الملفات المصدر المختلفة غير متناسقة عندما لا يتضمن المخطط المتوفر أقساما مستنتجة. قد تتسبب هذه المشكلة في فشل غير متوقع عند قراءة الملفات ذات الأعمدة المفقودة في مخطط القسم المستنتج.
    • [SPARK-43404] تخطي إعادة استخدام الملف sst لنفس الإصدار من مخزن حالة RocksDB لتجنب خطأ عدم تطابق المعرف.
    • [SPARK-43413] قابلية خالية الاستعلام ListQuery الفرعي الثابتIN.
    • تحديثات أمان نظام التشغيل.
  • 17 مايو 2023
    • أصبحت عمليات فحص Parquet قوية الآن مقابل OOMs عند مسح الملفات ذات البنية الاستثنائية عن طريق ضبط حجم الدفعة ديناميكيا. يتم تحليل بيانات تعريف الملف لتقليل حجم الدفعة بشكل استباقي ويتم خفضها مرة أخرى في إعادة محاولة المهمة كشبكة أمان نهائية.
    • [SPARK-41520] تقسيم AND_OR نمط الشجرة لفصل AND و OR.
    • [SPARK-43190] ListQuery.childOutput متناسق الآن مع الإخراج الثانوي.
    • تحديثات أمان نظام التشغيل.
  • 25 أبريل 2023
    • [SPARK-42928] إجراء resolvePersistentFunction المزامنة.
    • تحديثات أمان نظام التشغيل.
  • 11 أبريل 2023
    • تم إصلاح مشكلة حيث يمكن أن ينتقل تطور مخطط التحميل التلقائي إلى حلقة فشل لا نهائية عند اكتشاف عمود جديد في مخطط كائن JSON متداخل.
    • [SPARK-42937] PlanSubqueries يتم الآن تعيين InSubqueryExec#shouldBroadcast إلى true.
    • [SPARK-42967] إصلاح SparkListenerTaskStart.stageAttemptId عند بدء مهمة بعد إلغاء المرحلة.
  • 29 مارس 2023
    • [SPARK-42668] التقاط استثناء أثناء محاولة إغلاق الدفق المضغوط في إيقاف HDFSStateStoreProvider
    • [SPARK-42635] إصلاح ...
    • تحديثات أمان نظام التشغيل.
  • 14 مارس 2023
    • [SPARK-41162] إصلاح الصلة المضادة وشبه المنضمة ذاتيا باستخدام التجميعات
    • [SPARK-33206] إصلاح حساب وزن ذاكرة التخزين المؤقت للفهرس العشوائي لملفات الفهرس الصغيرة
    • [SPARK-42484] UnsafeRowUtils تحسين رسالة الخطأ
    • إصلاحات متنوعة.
  • 28 فبراير 2023
    • دعم العمود الذي تم إنشاؤه ل yyyy-MM-dd date_format. يدعم هذا التغيير تقسيم القسم ل yyyy-MM-dd ك date_format في الأعمدة التي تم إنشاؤها.
    • يمكن للمستخدمين الآن قراءة وكتابة جداول Delta محددة تتطلب الإصدار 3 من Reader والإصدار 7 من Writer، باستخدام Databricks Runtime 9.1 LTS أو أحدث. للنجاح، يجب دعم ميزات الجدول المدرجة في بروتوكول الجداول بواسطة الإصدار الحالي من Databricks Runtime.
    • دعم العمود الذي تم إنشاؤه ل yyyy-MM-dd date_format. يدعم هذا التغيير تقسيم القسم ل yyyy-MM-dd ك date_format في الأعمدة التي تم إنشاؤها.
    • تحديثات أمان نظام التشغيل.
  • 16 فبراير 2023
    • [SPARK-30220] تمكين استخدام الاستعلامات الفرعية Exists/In خارج عقدة عامل التصفية
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2023
    • أنواع جداول JDBC أصبحت الآن خارجية بشكل افتراضي.
  • 18 يناير 2023
    • يقوم موصل Azure Synapse بإرجاع رسالة خطأ وصفية أكثر عندما يحتوي اسم العمود على أحرف غير صالحة مثل المسافات البيضاء أو الفواصل المنقوشة. في مثل هذه الحالات، سيتم إرجاع الرسالة التالية: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] مسح دفعة الكتابة بعد تثبيت مخزن حالة RocksDB
    • [SPARK-41199] إصلاح مشكلة المقاييس عند استخدام مصدر دفق DSv1 ومصدر دفق DSv2 المشترك
    • [SPARK-41198] إصلاح المقاييس في استعلام الدفق التي تحتوي على مصدر دفق CTE وDSv1
    • [SPARK-41339] إغلاق وإعادة إنشاء دفعة كتابة RocksDB بدلا من مجرد مسح
    • [SPARK-41732] تطبيق التقليم المستند إلى نمط الشجرة للقاعدة SessionWindowing
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2022
    • يمكن للمستخدمين تكوين سلوك المسافات البيضاء البادئة واللاحقة عند كتابة البيانات باستخدام موصل Redshift. تمت إضافة الخيارات التالية للتحكم في معالجة المساحة البيضاء:
      • csvignoreleadingwhitespace، عند التعيين إلى true، يزيل المسافة البيضاء البادئة من القيم أثناء عمليات الكتابة عند tempformat تعيين إلى CSV أو CSV GZIP. يتم الاحتفاظ بالمسافات البيضاء عند تعيين التكوين إلى false. بشكل افتراضي، القيمة هي true.
      • csvignoretrailingwhitespace، عند التعيين إلى true، يزيل المسافة البيضاء اللاحقة من القيم أثناء عمليات الكتابة عند tempformat تعيين إلى CSV أو CSV GZIP. يتم الاحتفاظ بالمسافات البيضاء عند تعيين التكوين إلى false. بشكل افتراضي، القيمة هي true.
    • تم إصلاح مشكلة في تحليل JSON في "المحمل التلقائي" عند ترك كافة الأعمدة كسلاسل (cloudFiles.inferColumnTypes لم يتم تعيينها أو تعيينها إلى false) وتحتوي JSON على كائنات متداخلة.
    • تحديثات أمان نظام التشغيل.
  • 15 نوفمبر 2022
    • تمت ترقية نص Apache commons إلى 1.10.0.
    • [SPARK-40646] تم إصلاح تحليل JSON للبنى والخرائط والصفائف حتى عندما لا يتطابق جزء من السجل مع المخطط، فلا يزال من الممكن تحليل باقي السجل بشكل صحيح بدلا من إرجاع القيم الخالية. للاشتراك في السلوك المحسن، قم بتعيين spark.sql.json.enablePartialResults إلى true. يتم إيقاف تشغيل العلامة بشكل افتراضي للحفاظ على السلوك الأصلي.
    • [SPARK-40292] إصلاح أسماء الأعمدة في arrays_zip الدالة عند الإشارة إلى الصفائف من البنيات المتداخلة
    • تحديثات أمان نظام التشغيل.
  • 1 نوفمبر 2022
    • تم إصلاح مشكلة حيث إذا كان جدول Delta يحتوي على عمود معرف من قبل المستخدم باسم _change_type، ولكن تم إيقاف تشغيل موجز بيانات التغيير على هذا الجدول، فستملأ البيانات الموجودة في هذا العمود قيم NULL بشكل غير صحيح عند تشغيل MERGE.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث يمكن تكرار ملف في نفس الدفعة الصغيرة عند allowOverwrites تمكين
    • [SPARK-40697] إضافة ترك مساحة للأحرف من جانب القراءة لتغطية ملفات البيانات الخارجية
    • [SPARK-40596] ملء ExecutorDecommission بالرسائل في ExecutorDecommissionInfo
    • تحديثات أمان نظام التشغيل.
  • 18 أكتوبر 2022
    • تحديثات أمان نظام التشغيل.
  • 5 أكتوبر 2022
    • [SPARK-40468] إصلاح تشذيب العمود في CSV عند _corrupt_record تحديده.
    • تحديثات أمان نظام التشغيل.
  • 22 سبتمبر 2022
    • يمكن للمستخدمين تعيين spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) لإعادة تمكين القائمة المضمنة للتحميل التلقائي على ADLS Gen2. تم إيقاف تشغيل القائمة المضمنة مسبقا بسبب مشكلات في الأداء ولكن يمكن أن تؤدي إلى زيادة تكاليف التخزين للعملاء.
    • [SPARK-40315] إضافة hashCode() ل Literal of ArrayBasedMapData
    • [SPARK-40213] دعم تحويل قيمة ASCII للأحرف اللاتينية 1
    • [SPARK-40380] إصلاح الطي المستمر ل InvokeLike لتجنب القيم الحرفية غير القابلة للتسلسل المضمنة في الخطة
    • [SPARK-38404] تحسين دقة CTE عندما يشير CTE متداخل إلى CTE خارجي
    • [SPARK-40089] إصلاح الفرز لبعض الأنواع العشرية
    • [SPARK-39887] يجب أن تحتفظ RemoveRedundantAliases بأسماء مستعارة تجعل إخراج عقد الإسقاط فريدا
  • 6 سبتمبر 2022
    • [SPARK-40235] استخدام التأمين القابل للمقاطعة بدلا من المزامنة في Executor.updateDependencies()
    • [SPARK-40218] يجب أن تحتفظ GROUPING SETS بأعمدة التجميع
    • [SPARK-39976] يجب أن يتعامل ArrayIntersect مع القيمة الخالية في التعبير الأيسر بشكل صحيح
    • [SPARK-40053] إضافة assume إلى حالات الإلغاء الديناميكية التي تتطلب بيئة وقت تشغيل Python
    • [SPARK-35542] إصلاح: لا يمكن تحميل Bucketizer الذي تم إنشاؤه لأعمدة متعددة باستخدام المعلمات splitsArray وinputCols وoutputCols بعد حفظه
    • [SPARK-40079] إضافة التحقق من صحة Imputer inputCols لحالة الإدخال الفارغة
  • 24 أغسطس 2022
    • [SPARK-39983] لا تقم بتخزين علاقات البث غير المتسلسلة مؤقتا على برنامج التشغيل
    • [SPARK-39775] تعطيل التحقق من صحة القيم الافتراضية عند تحليل مخططات Avro
    • [SPARK-39962] تطبيق الإسقاط عندما تكون سمات المجموعة فارغة
    • [SPARK-37643] عندما يكون charVarcharAsString صحيحا، بالنسبة لاستعلام دالة تقييم نوع بيانات char يجب تخطي قاعدة rpadding
    • تحديثات أمان نظام التشغيل.
  • 9 أغسطس 2022
    • [SPARK-39847] إصلاح حالة التعارض في RocksDBLoader.loadLibrary() إذا تمت مقاطعة مؤشر ترابط المتصل
    • [SPARK-39731] إصلاح المشكلة في مصادر بيانات CSV وJSON عند تحليل التواريخ بتنسيق "yyyyMMdd" باستخدام نهج محلل الوقت المصحح
    • تحديثات أمان نظام التشغيل.
  • 27 يوليو 2022
    • [SPARK-39625] إضافة Dataset.as(StructType)
    • [SPARK-39689]دعم حرفين lineSep في مصدر بيانات CSV
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded يجب أن يكون مؤشر ترابط آمنا
    • [SPARK-39570] يجب أن يسمح الجدول المضمن بتعبيرات بالاسم المستعار
    • [SPARK-39702] تقليل حمل الذاكرة ل TransportCipher$EncryptedMessage باستخدام byteRawChannel مشترك
    • [SPARK-39575] إضافة ByteBuffer#rewind بعد ByteBuffer#get in AvroDeserializer
    • [SPARK-39476] تعطيل تحسين تحويل Unwrap عند التحويل من Long إلى Float/ Double أو من Integer إلى Float
    • [SPARK-38868] لا تنشر استثناءات من دالة تقييم التصفية عند تحسين الصلات الخارجية
    • تحديثات أمان نظام التشغيل.
  • 20 يوليو 2022
    • اجعل نتائج عملية Delta MERGE متسقة عندما يكون المصدر غير محدد.
    • [SPARK-39355] يستخدم عمود واحد مقتبس لإنشاء قاعدة بيانات غير محلولة
    • [SPARK-39548] الأمر CreateView مع استعلام عبارة نافذة اضغط على تعريف نافذة غير صحيح لم يتم العثور على مشكلة
    • [SPARK-39419] إصلاح ArraySort لطرح استثناء عندما يرجع المقارن قيمة خالية
    • إيقاف تشغيل استخدام Loader التلقائي لواجهات برمجة التطبيقات السحابية المضمنة لقائمة الدليل على Azure.
    • تحديثات أمان نظام التشغيل.
  • 5 يوليو 2022
    • [SPARK-39376] إخفاء الأعمدة المكررة في توسيع نجمي للاسم المستعار للسعلام الفرعي من NATURAL/USING JOIN
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2022
    • [SPARK-39283] إصلاح حالة التوقف التام بين TaskMemoryManager وSableExternalSorter.SpillableIterator
    • [SPARK-39285] يجب ألا يتحقق Spark من أسماء الحقول عند قراءة الملفات
    • [SPARK-34096] تحسين الأداء nth_value تجاهل القيم الخالية عبر نافذة الإزاحة
    • [SPARK-36718] isExtractOnly إصلاح التحقق في "مشروع الطي"
  • 2 يونيو 2022
    • [SPARK-39093] تجنب خطأ التحويل البرمجي ل codegen عند قسمة فواصل السنة الشهرية أو الفواصل الزمنية لوقت اليوم على جزء لا يتجزأ
    • [SPARK-38990] تجنب NullPointerException عند تقييم تنسيق date_trunc/الاقتطاع كمرجع مرتبط
    • تحديثات أمان نظام التشغيل.
  • 18 مايو 2022
    • إصلاح تسرب محتمل للذاكرة المضمنة في "المحمل التلقائي".
    • [SPARK-38918] يجب أن يؤدي تشذيب الأعمدة المتداخلة إلى تصفية السمات التي لا تنتمي إلى العلاقة الحالية
    • [SPARK-37593] تقليل حجم الصفحة الافتراضية حسب LONG_ARRAY_OFFSET إذا تم استخدام G1GC ON_HEAP
    • [SPARK-39084] إصلاح df.rdd.isEmpty() باستخدام TaskContext لإيقاف المكرر عند إكمال المهمة
    • [SPARK-32268] إضافة ColumnPruning في injectBloomFilter
    • [SPARK-38974] تصفية الدالات المسجلة باسم قاعدة بيانات معين في دالات القائمة
    • [SPARK-38931] إنشاء دليل dfs الجذر ل RocksDBFileManager مع عدد غير معروف من المفاتيح على نقطة التحقق 1
    • تحديثات أمان نظام التشغيل.
  • 19 أبريل 2022
    • تمت ترقية Java AWS SDK من الإصدار 1.11.655 إلى 1.12.1899.
    • تم إصلاح مشكلة في المكتبات ذات نطاق دفتر الملاحظات التي لا تعمل في مهام دفق الدفعات.
    • [SPARK-38616] تعقب نص استعلام SQL في Catalyst TreeNode
    • تحديثات أمان نظام التشغيل.
  • 6 أبريل 2022
    • تتوفر الآن دوال Spark SQL التالية مع هذا الإصدار:
      • timestampadd() و dateadd(): إضافة مدة زمنية في وحدة محددة إلى تعبير طابع زمني.
      • timestampdiff() و datediff(): حساب الفرق الزمني بين تعبيرات الطابع الزمني في وحدة محددة.
    • تم ترقية Parquet-MR إلى 1.12.2
    • دعم محسن للمخططات الشاملة في ملفات parquet
    • [SPARK-38631] يستخدم التنفيذ المستند إلى Java لإلغاء التصويب في Utils.unpack
    • [SPARK-38509][SPARK-38481] Cherry-pick ثلاثة timestmapadd/diff تغييرات.
    • [SPARK-38523] إصلاح الإشارة إلى عمود السجل التالف من CSV
    • [SPARK-38237] السماح ClusteredDistribution لطلب مفاتيح التجميع الكاملة
    • [SPARK-38437] تسلسل متساهل للتاريخ والوقت من مصدر البيانات
    • [SPARK-38180] السماح بتعبيرات آمنة في دالات تقييم المساواة المترابطة
    • [SPARK-38155] عدم السماح بتجميع مميز في الاستعلامات الفرعية الجانبية مع دالات تقييم غير معتمدة
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 9.1 LTS

راجع Databricks Runtime 9.1 LTS.

  • 29 نوفمبر 2023
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • [SPARK-45544] دعم SSL المتكامل في TransportContext.
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • تحديثات أمان نظام التشغيل.
  • 14 نوفمبر 2023
    • [SPARK-45545] SparkTransportConf يرث SSLOptions عند الإنشاء.
    • [SPARK-45429] تمت إضافة فئات المساعد لاتصال SSL RPC.
    • [SPARK-45427] تمت إضافة إعدادات RPC SSL إلى SSLOptions و SparkTransportConf.
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • [SPARK-45541] تمت إضافة SSLFactory.
    • [SPARK-42205] تمت إزالة مواصل التسجيل في أحداث بدء المرحلة والمهمة.
    • تحديثات أمان نظام التشغيل.
  • 24 أكتوبر 2023
    • [SPARK-45426] دعم إضافي ل ReloadingX509TrustManager.
    • تحديثات أمان نظام التشغيل.
  • 13 أكتوبر 2023
    • تحديثات أمان نظام التشغيل.
  • 10 سبتمبر 2023
    • إصلاحات متنوعة.
  • 30 أغسطس 2023
    • تحديثات أمان نظام التشغيل.
  • 15 أغسطس 2023
    • تحديثات أمان نظام التشغيل.
  • 23 يونيو 2023
    • تمت ترقية مكتبة Snowflake-jdbc إلى 3.13.29 لمعالجة مشكلة أمنية.
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2023
    • [SPARK-43098] إصلاح خطأ عدد التصحيحات عندما يحتوي الاستعلام الفرعي العددي على عبارة تجميع حسب
    • [SPARK-43156][SPARK-43098] توسيع اختبار خطأ عدد الاستعلامات الفرعية العددي مع decorrelateInnerQuery إيقاف التشغيل.
    • [SPARK-40862] دعم الاستعلامات الفرعية غير المجمعة في RewriteCorrelatedScalarSubquery
    • تحديثات أمان نظام التشغيل.
  • 2 يونيو 2023
    • يقوم محلل JSON في failOnUnknownFields الوضع بإسقاط سجل في DROPMALFORMED الوضع ويفشل مباشرة في FAILFAST الوضع.
    • تم إصلاح مشكلة في تحليل البيانات التي تم إنقاذها من JSON لمنع UnknownFieldException.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث كانت تنسيقات الملفات المصدر المختلفة غير متناسقة عندما لا يتضمن المخطط المتوفر أقساما مستنتجة. قد تتسبب هذه المشكلة في فشل غير متوقع عند قراءة الملفات ذات الأعمدة المفقودة في مخطط القسم المستنتج.
    • [SPARK-37520] إضافة دالات startswith() السلسلة و endswith()
    • [SPARK-43413] قابلية خالية الاستعلام ListQuery الفرعي الثابتIN.
    • تحديثات أمان نظام التشغيل.
  • 17 مايو 2023
    • تحديثات أمان نظام التشغيل.
  • 25 أبريل 2023
    • تحديثات أمان نظام التشغيل.
  • 11 أبريل 2023
    • تم إصلاح مشكلة حيث يمكن أن ينتقل تطور مخطط التحميل التلقائي إلى حلقة فشل لا نهائية عند اكتشاف عمود جديد في مخطط كائن JSON متداخل.
    • [SPARK-42967] إصلاح SparkListenerTaskStart.stageAttemptId عند بدء مهمة بعد إلغاء المرحلة.
  • 29 مارس 2023
    • تحديثات أمان نظام التشغيل.
  • 14 مارس 2023
    • [SPARK-42484] رسالة خطأ محسنة ل UnsafeRowUtils.
    • إصلاحات متنوعة.
  • 28 فبراير 2023
    • يمكن للمستخدمين الآن قراءة وكتابة جداول Delta محددة تتطلب الإصدار 3 من Reader والإصدار 7 من Writer، باستخدام Databricks Runtime 9.1 LTS أو أحدث. للنجاح، يجب دعم ميزات الجدول المدرجة في بروتوكول الجداول بواسطة الإصدار الحالي من Databricks Runtime.
    • تحديثات أمان نظام التشغيل.
  • 16 فبراير 2023
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2023
    • أنواع جداول JDBC أصبحت الآن خارجية بشكل افتراضي.
  • 18 يناير 2023
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2022
    • تم إصلاح مشكلة في تحليل JSON في "المحمل التلقائي" عند ترك كافة الأعمدة كسلاسل (cloudFiles.inferColumnTypes لم يتم تعيينها أو تعيينها إلى false) وتحتوي JSON على كائنات متداخلة.
    • تحديثات أمان نظام التشغيل.
  • 15 نوفمبر 2022
    • تمت ترقية نص Apache commons إلى 1.10.0.
    • تحديثات أمان نظام التشغيل.
    • إصلاحات متنوعة.
  • 1 نوفمبر 2022
    • تم إصلاح مشكلة حيث إذا كان جدول Delta يحتوي على عمود معرف من قبل المستخدم باسم _change_type، ولكن تم إيقاف تشغيل موجز بيانات التغيير على هذا الجدول، فستملأ البيانات الموجودة في هذا العمود قيم NULL بشكل غير صحيح عند تشغيل MERGE.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث يمكن تكرار ملف في نفس الدفعة الصغيرة عند allowOverwrites تمكين
    • [SPARK-40596] ملء ExecutorDecommission بالرسائل في ExecutorDecommissionInfo
    • تحديثات أمان نظام التشغيل.
  • 18 أكتوبر 2022
    • تحديثات أمان نظام التشغيل.
  • 5 أكتوبر 2022
    • إصلاحات متنوعة.
    • تحديثات أمان نظام التشغيل.
  • 22 سبتمبر 2022
    • يمكن للمستخدمين تعيين spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") لإعادة تمكين القائمة المضمنة للتحميل التلقائي على ADLS Gen2. تم إيقاف تشغيل القائمة المضمنة مسبقا بسبب مشكلات في الأداء ولكن يمكن أن تؤدي إلى زيادة تكاليف التخزين للعملاء.
    • [SPARK-40315] إضافة hashCode() ل Literal of ArrayBasedMapData
    • [SPARK-40089] إصلاح الفرز لبعض الأنواع العشرية
    • [SPARK-39887] يجب أن تحتفظ RemoveRedundantAliases بأسماء مستعارة تجعل إخراج عقد الإسقاط فريدا
  • 6 سبتمبر 2022
    • [SPARK-40235] استخدام التأمين القابل للمقاطعة بدلا من المزامنة في Executor.updateDependencies()
    • [SPARK-35542] إصلاح: لا يمكن تحميل Bucketizer الذي تم إنشاؤه لأعمدة متعددة باستخدام المعلمات splitsArray وinputCols وoutputCols بعد حفظه
    • [SPARK-40079] إضافة التحقق من صحة Imputer inputCols لحالة الإدخال الفارغة
  • 24 أغسطس 2022
    • [SPARK-39666] استخدام UnsafeProjection.create لالاحترام spark.sql.codegen.factoryMode في ExpressionEncoder
    • [SPARK-39962] تطبيق الإسقاط عندما تكون سمات المجموعة فارغة
    • تحديثات أمان نظام التشغيل.
  • 9 أغسطس 2022
    • تحديثات أمان نظام التشغيل.
  • 27 يوليو 2022
    • اجعل نتائج عملية Delta MERGE متسقة عندما يكون المصدر غير محدد.
    • [SPARK-39689] دعم حرفين lineSep في مصدر بيانات CSV
    • [SPARK-39575] تمت الإضافة ByteBuffer#rewind بعد ByteBuffer#get في AvroDeserializer.
    • [SPARK-37392] تم إصلاح خطأ الأداء لمحسن المحفز.
    • تحديثات أمان نظام التشغيل.
  • 13 يوليو 2022
    • [SPARK-39419] ArraySort يطرح استثناء عندما يقوم المقارن بإرجاع قيمة خالية.
    • إيقاف تشغيل استخدام Loader التلقائي لواجهات برمجة التطبيقات السحابية المضمنة لقائمة الدليل على Azure.
    • تحديثات أمان نظام التشغيل.
  • 5 يوليو 2022
    • تحديثات أمان نظام التشغيل.
    • إصلاحات متنوعة.
  • 15 يونيو 2022
    • [SPARK-39283] إصلاح حالة التوقف التام بين TaskMemoryManager و UnsafeExternalSorter.SpillableIterator.
  • 2 يونيو 2022
    • [SPARK-34554] copy() تنفيذ الأسلوب في ColumnarMap.
    • تحديثات أمان نظام التشغيل.
  • 18 مايو 2022
    • تم إصلاح تسرب محتمل للذاكرة المضمنة في "المحمل التلقائي".
    • ترقية إصدار AWS SDK من 1.11.655 إلى 1.11.678.
    • [SPARK-38918] يجب أن يؤدي تشذيب الأعمدة المتداخلة إلى تصفية السمات التي لا تنتمي إلى العلاقة الحالية
    • [SPARK-39084] الإصلاح df.rdd.isEmpty() باستخدام TaskContext لإيقاف المكرر عند إكمال المهمة
    • تحديثات أمان نظام التشغيل.
  • 19 أبريل 2022
    • تحديثات أمان نظام التشغيل.
    • إصلاحات متنوعة.
  • 6 أبريل 2022
    • [SPARK-38631] يستخدم التنفيذ المستند إلى Java لإلغاء التصويب في Utils.unpack
    • تحديثات أمان نظام التشغيل.
  • 22 مارس 2022
    • تغيير دليل العمل الحالي لدفاتر الملاحظات على مجموعات التزامن العالي مع تمكين التحكم في الوصول إلى الجدول أو تمرير بيانات الاعتماد إلى الدليل الرئيسي للمستخدم. في السابق، كان /databricks/driverالدليل النشط .
    • [SPARK-38437] تسلسل متساهل للتاريخ والوقت من مصدر البيانات
    • [SPARK-38180] السماح بتعبيرات آمنة في دالات تقييم المساواة المترابطة
    • [SPARK-38155] عدم السماح بتجميع مميز في الاستعلامات الفرعية الجانبية مع دالات تقييم غير معتمدة
    • [SPARK-27442] تمت إزالة حقل فحص عند قراءة البيانات أو كتابتها في parquet.
  • 14 مارس 2022
    • [SPARK-38236] يتم التعامل مع مسارات الملفات المطلقة المحددة في جدول الإنشاء/التغيير على أنها نسبية
    • [SPARK-34069] مقاطعة مؤشر ترابط المهمة إذا تم تعيين الخاصية SPARK_JOB_INTERRUPT_ON_CANCEL المحلية إلى true.
  • 23 فبراير 2022
    • [SPARK-37859] جداول SQL التي تم إنشاؤها باستخدام JDBC مع Spark 3.1 غير قابلة للقراءة باستخدام Spark 3.2.
  • 8 فبراير 2022
    • [SPARK-27442] تمت إزالة حقل فحص عند قراءة البيانات أو كتابتها في parquet.
    • تحديثات أمان نظام التشغيل.
  • 1 فبراير 2022
    • تحديثات أمان نظام التشغيل.
  • 26 يناير 2022
    • تم إصلاح مشكلة حيث يمكن تثبيت المعاملات المتزامنة على جداول Delta بترتيب غير قابل للتسلسل في ظل ظروف نادرة معينة.
    • تم إصلاح مشكلة حيث OPTIMIZE قد يفشل الأمر عند تمكين لهجة ANSI SQL.
  • 19 يناير 2022
    • إصلاحات طفيفة وتحسينات أمنية.
    • تحديثات أمان نظام التشغيل.
  • 4 نوفمبر 2021
    • تم إصلاح مشكلة قد تتسبب في فشل تدفقات الدفق المنظم باستخدام ArrayIndexOutOfBoundsException.
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: No FileSystem for scheme أو قد يتسبب في عدم سريان التعديلات sparkContext.hadoopConfiguration في الاستعلامات.
    • تمت ترقية موصل Apache Spark لمشاركة دلتا إلى 0.2.0.
  • 20 أكتوبر 2021
    • تمت ترقية موصل BigQuery من 0.18.1 إلى 0.22.2. يضيف هذا دعما لنوع BigNumeric.

Databricks Runtime 13.0 (EoS)

راجع Databricks Runtime 13.0 (EoS).

  • 13 اكتوبر 2023

    • تمت ترقية تبعية Snowflake-jdbc من 3.13.29 إلى 3.13.33.
    • [SPARK-42553][SQL] تأكد من وحدة زمنية واحدة على الأقل بعد الفاصل الزمني.
    • [SPARK-45178] الرجوع إلى تشغيل دفعة واحدة لمصادر Trigger.AvailableNow غير مدعومة بدلا من استخدام برنامج التضمين.
    • [SPARK-44658][CORE] ShuffleStatus.getMapStatus إرجاع None بدلا من Some(null).
    • [SPARK-42205][CORE] إزالة تسجيل Accumulables في أحداث بدء المهمة/المرحلة في JsonProtocol.
    • تحديثات أمان نظام التشغيل.

  • 12 سبتمبر 2023

    • [SPARK-44485][SQL] تحسين TreeNode.generateTreeString.
    • [SPARK-44718][SQL] مطابقة ColumnVector التكوين الافتراضي لوضع الذاكرة مع OffHeapMemoryMode قيمة التكوين.
    • إصلاحات الأخطاء المتنوعة.

  • 30 أغسطس 2023

    • [SPARK-44818][Backport] تم تهيئة تعارض ثابت لمقاطعة المهمة المعلقة التي تم إصدارها قبل taskThread .
    • [SPARK-44714] سهولة تقييد دقة LCA فيما يتعلق بالاستعلامات.
    • [SPARK-44245][PYTHON] pyspark.sql.dataframe sample() doctests الآن توضيحية فقط.
    • [SPARK-44871][11.3-13.0] [SQL] السلوك الثابت percentile_disc .
    • تحديثات أمان نظام التشغيل.

  • 15 أغسطس 2023

    • [SPARK-44643][SQL] [PYTHON] إصلاح Row.__repr__ عندما يكون الصف فارغا.
    • [SPARK-44504][Backport] تقوم مهمة الصيانة بتنظيف الموفرين المحملين عند خطأ الإيقاف.
    • [SPARK-44479][CONNECT] [PYTHON] تم إصلاح protobuf التحويل من نوع بنية فارغ.
    • [SPARK-44464][SS] تم إصلاحه applyInPandasWithStatePythonRunner لإخراج الصفوف التي تحتوي على Null قيمة العمود الأول.
    • إصلاحات الأخطاء المتنوعة.

  • 29 يوليو 2023

    • تم إصلاح الخطأ الذي dbutils.fs.ls() تم إرجاعه عند استدعاؤه INVALID_PARAMETER_VALUE.LOCATION_OVERLAP لمسار موقع تخزين تصادم مع موقع تخزين خارجي أو مدار آخر.
    • [SPARK-44199] CacheManager لم يعد يتم تحديث دون fileIndex داع.
    • تحديثات أمان نظام التشغيل.

  • 24 يوليو 2023

    • [SPARK-44337][PROTOBUF] تم إصلاح مشكلة حيث تسبب أي حقل تم تعيينه في Any.getDefaultInstance حدوث أخطاء تحليل.
    • [SPARK-44136] [SS] تم إصلاح مشكلة حيث StateManager يتم تحقيق ذلك في المنفذ بدلا من برنامج التشغيل في FlatMapGroupsWithStateExec.
    • إرجاع [SPARK-42323][SQL] تعيين الاسم إلى _LEGACY_ERROR_TEMP_2332.
    • تحديثات أمان نظام التشغيل.

  • 23 يونيو 2023

    • تحديثات أمان نظام التشغيل.

  • 15 يونيو 2023

    • الفوتونات approx_count_distinct.
    • تمت ترقية مكتبة Snowflake-jdbc إلى 3.13.29 لمعالجة مشكلة أمنية.
    • [SPARK-43156][SPARK-43098][SQL] توسيع اختبار خطأ عدد الاستعلامات الفرعية العددي مع تعطيل decorrelateInnerQuery
    • [SPARK-43779][SQL] ParseToDate يتم تحميل الآن EvalMode في مؤشر الترابط الرئيسي.
    • [SPARK-42937][SQL] PlanSubqueries يجب تعيين InSubqueryExec#shouldBroadcast إلى true
    • تحديثات أمان نظام التشغيل.

  • 2 يونيو 2023

    • يقوم محلل JSON في failOnUnknownFields الوضع بإسقاط سجل في DROPMALFORMED الوضع ويفشل مباشرة في FAILFAST الوضع.
    • تحسين أداء التحديث التزايدي باستخدام SHALLOW CLONE Iceberg وParquet.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث كانت تنسيقات الملفات المصدر المختلفة غير متناسقة عندما لا يتضمن المخطط المتوفر أقساما مستنتجة. قد تتسبب هذه المشكلة في فشل غير متوقع عند قراءة الملفات ذات الأعمدة المفقودة في مخطط القسم المستنتج.
    • [SPARK-43404][Backport] تخطي إعادة استخدام ملف sst لنفس الإصدار من مخزن حالة RocksDB لتجنب خطأ عدم تطابق المعرف.
    • [SPARK-43340][CORE] تم إصلاح حقل تتبع المكدس المفقود في سجلات الأحداث.
    • [SPARK-43300][CORE] NonFateSharingCache برنامج تضمين لذاكرة التخزين المؤقت ل Guava.
    • [SPARK-43378][CORE] أغلق كائنات الدفق بشكل صحيح في deserializeFromChunkedBuffer.
    • [SPARK-16484][SQL] استخدم سجلات 8 بت لتمثيل DataSketches.
    • [SPARK-43522][SQL] تم إصلاح إنشاء اسم عمود البنية باستخدام فهرس الصفيف.
    • [SPARK-43413][11.3-13.0] [SQL] قابلية خالية الاستعلام ListQuery الفرعي الثابتIN.
    • [SPARK-43043][CORE] أداء محسن MapOutputTracker.updateMapOutput .
    • [SPARK-16484][SQL] دعم إضافي ل DataSketches HllSketch.
    • [SPARK-43123][SQL] لم تعد بيانات تعريف الحقل الداخلية تسرب إلى الكتالوجات.
    • [SPARK-42851][SQL] حماية EquivalentExpressions.addExpr() مع supportedExpression().
    • [SPARK-43336][SQL] الصب بين Timestamp و TimestampNTZ يتطلب المنطقة الزمنية.
    • [SPARK-43286][SQL] تم تحديث aes_encrypt وضع CBC لإنشاء IVs عشوائية.
    • [SPARK-42852][SQL] تم إرجاع NamedLambdaVariable التغييرات ذات الصلة من EquivalentExpressions.
    • [SPARK-43541][SQL] نشر كافة Project العلامات في حل التعبيرات والأعمدة المفقودة.
    • [SPARK-43527][PYTHON] تم التصحيح catalog.listCatalogs في PySpark.
    • تحديثات أمان نظام التشغيل.

  • 31 مايو 2023

    • تم توسيع دعم الكتابة المحسن الافتراضي لجداول Delta المسجلة في كتالوج Unity ليشمل CTAS عبارات وعمليات INSERT للجداول المقسمة. يتوافق هذا السلوك مع الإعدادات الافتراضية في مستودعات SQL. راجع عمليات الكتابة المحسنة ل Delta Lake على Azure Databricks.

  • 17 مايو 2023

    • تم إصلاح الانحدار حيث _metadata.file_path وإرجاع _metadata.file_name سلاسل منسقة بشكل غير صحيح. على سبيل المثال، يتم الآن تمثيل مسار بمسافات بدلا s3://test-bucket/some%20directory/some%20data.csv من s3://test-bucket/some directory/some data.csv.
    • أصبحت عمليات فحص Parquet قوية الآن مقابل OOMs عند مسح الملفات ذات البنية الاستثنائية عن طريق ضبط حجم الدفعة ديناميكيا. يتم تحليل بيانات تعريف الملف لتقليل حجم الدفعة بشكل استباقي ويتم خفضها مرة أخرى في إعادة محاولة المهمة كشبكة أمان نهائية.
      • إذا تمت قراءة ملف Avro باستخدام الخيار فقط failOnUnknownFields\ أو مع "المحمل التلقائي" في failOnNewColumns\ وضع تطور المخطط، فستتم قراءة الأعمدة التي تحتوي على أنواع بيانات مختلفة بدلا null\ من طرح خطأ يفيد بأنه لا يمكن قراءة الملف. تفشل هذه القراءات الآن وتوصي المستخدمين باستخدام rescuedDataColumn\ الخيار .
    • يقوم التحميل التلقائي الآن بما يلي.
      • يقرأ بشكل صحيح ولم يعد ينقذ Integer، Short، والأنواع Byte إذا تم توفير أحد أنواع البيانات هذه، ولكن ملف Avro يقترح أحد النوعين الآخرين.
      • يمنع أنواع الفواصل الزمنية للقراءة كنوع من التاريخ أو الطابع الزمني لتجنب الحصول على تواريخ تالفة.
      • يمنع أنواع القراءة Decimal بدقة أقل.
    • [SPARK-43172] [CONNECT] يعرض المضيف والرمز المميز من عميل اتصال Spark.
    • [SPARK-43293][SQL] __qualified_access_only يتم تجاهلها في الأعمدة العادية.
    • [SPARK-43098][SQL] خطأ تصحيح COUNT ثابت عند تجميع الاستعلام الفرعي العددي حسب عبارة .
    • [SPARK-43085][SQL] دعم تعيين العمود DEFAULT لأسماء الجداول متعددة الأجزاء.
    • [SPARK-43190][SQL] ListQuery.childOutput متناسق الآن مع الإخراج الثانوي.
    • [SPARK-43192] [CONNECT] تمت إزالة التحقق من صحة مجموعة عوامل المستخدم.

  • 25 أبريل 2023

    • يمكنك تعديل جدول Delta لإضافة دعم لميزة جدول Delta باستخدام DeltaTable.addFeatureSupport(feature_name).
    • SYNC يدعم الأمر الآن تنسيقات مصدر البيانات القديمة.
    • إصلاح خطأ حيث قد يؤدي استخدام تنسيق Python قبل تشغيل أي أوامر أخرى في دفتر ملاحظات Python إلى فقدان مسار دفتر الملاحظات من sys.path.
    • يدعم Azure Databricks الآن تحديد القيم الافتراضية لأعمدة جداول Delta. INSERTUPDATEDELETEيمكن أن تشير الأوامر و و إلى MERGE القيمة الافتراضية للعمود باستخدام الكلمة الأساسية الصريحةDEFAULT. بالنسبة للأوامر INSERT التي تحتوي على قائمة صريحة بأعمدة أقل من الجدول الهدف، يتم استبدال القيم الافتراضية للعمود المقابل بالأعمدة المتبقية (أو NULL إذا لم يتم تحديد افتراضي).

  • إصلاح خطأ حيث تعذر استخدام محطة الويب الطرفية للوصول إلى الملفات لبعض /Workspace المستخدمين.

    • إذا تمت قراءة ملف Parquet مع الخيار فقط failOnUnknownFields أو مع أداة التحميل التلقائي في failOnNewColumns وضع تطور المخطط، فستتم قراءة الأعمدة التي تحتوي على أنواع بيانات مختلفة بدلا null من طرح خطأ يفيد بأنه لا يمكن قراءة الملف. تفشل هذه القراءات الآن وتوصي المستخدمين باستخدام rescuedDataColumn الخيار .
    • يقوم "المحمل التلقائي" الآن بقراءة الأنواع ، ولم يعد يقوم بإنقاذهاIntegerShortByte، إذا تم توفير أحد أنواع البيانات هذه. يقترح ملف Parquet أحد النوعين الآخرين. عندما تم تمكين عمود البيانات الذي تم إنقاذه مسبقا، سيؤدي عدم تطابق نوع البيانات إلى إنقاذ الأعمدة على الرغم من أنها قابلة للقراءة.
    • تم إصلاح خطأ حيث يمكن أن ينتقل تطور مخطط التحميل التلقائي إلى حلقة فشل لا نهائية، عند اكتشاف عمود جديد في مخطط كائن JSON متداخل.
    • [SPARK-42794][SS] قم بزيادة lockAcquireTimeoutMs إلى دقيقتين للحصول على مخزن حالة RocksDB في Structure Streaming.
    • [SPARK-39221][SQL] اجعل المعلومات الحساسة منقحة بشكل صحيح لعلامة تبويب مهمة/مرحلة الخادم.
    • [SPARK-42971][CORE] قم بالتغيير للطباعة workdir إذا كانت appDirs فارغة عند معالجة العامل للحدث WorkDirCleanup .
    • [SPARK-42936][SQL] إصلاح خطأ LCA عندما يمكن حل عبارة having مباشرة بواسطة التجميع التابع لها.
    • [SPARK-43018][SQL] إصلاح الخطأ للأوامر INSERT ذات القيم الحرفية للطوابع الزمنية.
    • إرجاع [SPARK-42754][SQL][UI] إصلاح مشكلة التوافق مع الإصدارات السابقة في تشغيل SQL المتداخل.
    • العودة [SPARK-41498] نشر بيانات التعريف من خلال Union.
    • [SPARK-43038][SQL] دعم وضع CBC بواسطة aes_encrypt()/aes_decrypt().
    • [SPARK-42928][SQL] إجراء resolvePersistentFunction المزامنة.
    • [SPARK-42521][SQL] إضافة NULL قيم ل INSERT مع قوائم محددة من قبل المستخدم من أعمدة أقل من الجدول الهدف.
    • [SPARK-41391][SQL] اسم groupBy.agg(count_distinct) عمود الإخراج غير صحيح.
    • [SPARK-42548][SQL] أضف ReferenceAllColumns لتخطي سمات إعادة الكتابة.
    • [SPARK-42423][SQL] إضافة بدء كتلة ملف عمود بيانات التعريف وطولها.
    • [SPARK-42796][SQL] دعم الوصول إلى الأعمدة TimestampNTZ في CachedBatch.
    • [SPARK-42266][PYTHON] قم بإزالة الدليل الأصل في shell.py تشغيل عند استخدام IPython.
    • [SPARK-43011][SQL] array_insert يجب أن تفشل مع فهرس 0.
    • [SPARK-41874][CONNECT] [PYTHON] الدعم SameSemantics في Spark Connect.
    • [SPARK-42702][SPARK-42623][SQL] دعم الاستعلام ذات المعلمات في الاستعلام الفرعي وCTE.
    • [SPARK-42967][CORE] إصلاح SparkListenerTaskStart.stageAttemptId وقت بدء مهمة بعد إلغاء المرحلة.
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 12.1 (EoS)

راجع Databricks Runtime 12.1 (EoS).

  • 23 يونيو 2023

    • تحديثات أمان نظام التشغيل.

  • 15 يونيو 2023

    • الفوتونات approx_count_distinct.
    • تمت ترقية مكتبة Snowflake-jdbc إلى 3.13.29 لمعالجة مشكلة أمنية.
    • [SPARK-43779][SQL] ParseToDate يتم تحميل الآن EvalMode في مؤشر الترابط الرئيسي.
    • [SPARK-43156][SPARK-43098][SQL] توسيع اختبار خطأ عدد الاستعلامات الفرعية العددي مع تعطيل decorrelateInnerQuery
    • تحديثات أمان نظام التشغيل.

  • 2 يونيو 2023

    • يقوم محلل JSON في failOnUnknownFields الوضع بإسقاط سجل في DROPMALFORMED الوضع ويفشل مباشرة في FAILFAST الوضع.
    • تحسين أداء التحديث التزايدي باستخدام SHALLOW CLONE Iceberg وParquet.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث كانت تنسيقات الملفات المصدر المختلفة غير متناسقة عندما لا يتضمن المخطط المتوفر أقساما مستنتجة. قد تتسبب هذه المشكلة في فشل غير متوقع عند قراءة الملفات ذات الأعمدة المفقودة في مخطط القسم المستنتج.
    • [SPARK-43404][Backport] تخطي إعادة استخدام ملف sst لنفس الإصدار من مخزن حالة RocksDB لتجنب خطأ عدم تطابق المعرف.
    • [SPARK-43413][11.3-13.0] [SQL] قابلية خالية الاستعلام ListQuery الفرعي الثابتIN.
    • [SPARK-43522][SQL] تم إصلاح إنشاء اسم عمود البنية باستخدام فهرس الصفيف.
    • [SPARK-42444][PYTHON] DataFrame.drop يعالج الآن الأعمدة المكررة بشكل صحيح.
    • [SPARK-43541][SQL] نشر كافة Project العلامات في حل التعبيرات والأعمدة المفقودة.
    • [SPARK-43340][CORE] تم إصلاح حقل تتبع المكدس المفقود في سجلات الأحداث.
    • [SPARK-42937][SQL] PlanSubqueries يتم الآن تعيين InSubqueryExec#shouldBroadcast إلى true.
    • [SPARK-43527][PYTHON] تم التصحيح catalog.listCatalogs في PySpark.
    • [SPARK-43378][CORE] أغلق كائنات الدفق بشكل صحيح في deserializeFromChunkedBuffer.

  • 17 مايو 2023

    • أصبحت عمليات فحص Parquet قوية الآن مقابل OOMs عند مسح الملفات ذات البنية الاستثنائية عن طريق ضبط حجم الدفعة ديناميكيا. يتم تحليل بيانات تعريف الملف لتقليل حجم الدفعة بشكل استباقي ويتم خفضها مرة أخرى في إعادة محاولة المهمة كشبكة أمان نهائية.
    • إذا تمت قراءة ملف Avro باستخدام الخيار فقط failOnUnknownFields\ أو مع "المحمل التلقائي" في failOnNewColumns\ وضع تطور المخطط، فستتم قراءة الأعمدة التي تحتوي على أنواع بيانات مختلفة بدلا null\ من طرح خطأ يفيد بأنه لا يمكن قراءة الملف. تفشل هذه القراءات الآن وتوصي المستخدمين باستخدام rescuedDataColumn\ الخيار .
    • يقوم التحميل التلقائي الآن بما يلي.
      • يقرأ بشكل صحيح ولم يعد ينقذ Integer، Short، والأنواع Byte إذا تم توفير أحد أنواع البيانات هذه، ولكن ملف Avro يقترح أحد النوعين الآخرين.
      • يمنع أنواع الفواصل الزمنية للقراءة كنوع من التاريخ أو الطابع الزمني لتجنب الحصول على تواريخ تالفة.
      • يمنع أنواع القراءة Decimal بدقة أقل.
    • [SPARK-43098][SQL] خطأ تصحيح COUNT ثابت عند تجميع الاستعلام الفرعي العددي حسب عبارة .
    • [SPARK-43190][SQL] ListQuery.childOutput متناسق الآن مع الإخراج الثانوي.
    • تحديثات أمان نظام التشغيل.

  • 25 أبريل 2023

    • إذا تمت قراءة ملف Parquet مع الخيار فقط failOnUnknownFields أو مع أداة التحميل التلقائي في failOnNewColumns وضع تطور المخطط، فستتم قراءة الأعمدة التي تحتوي على أنواع بيانات مختلفة بدلا null من طرح خطأ يفيد بأنه لا يمكن قراءة الملف. تفشل هذه القراءات الآن وتوصي المستخدمين باستخدام rescuedDataColumn الخيار .
    • يقوم "المحمل التلقائي" الآن بقراءة الأنواع ، ولم يعد يقوم بإنقاذهاIntegerShortByte، إذا تم توفير أحد أنواع البيانات هذه. يقترح ملف Parquet أحد النوعين الآخرين. عندما تم تمكين عمود البيانات الذي تم إنقاذه مسبقا، سيؤدي عدم تطابق نوع البيانات إلى إنقاذ الأعمدة على الرغم من أنها قابلة للقراءة.
    • [SPARK-43009][SQL] ذات sql() معلمات مع Any ثوابت.
    • [SPARK-42971][CORE] قم بالتغيير للطباعة workdir إذا كانت appDirs فارغة عند معالجة العامل للحدث WorkDirCleanup .
    • تحديثات أمان نظام التشغيل.

  • 11 أبريل 2023

    • دعم تنسيقات مصدر البيانات القديمة في أمر SYNC.
    • إصلاح خطأ في سلوك ٪autoreload في دفاتر الملاحظات الموجودة خارج المستودع.
    • تم إصلاح خطأ حيث يمكن أن ينتقل تطور مخطط التحميل التلقائي إلى حلقة فشل لا نهائية، عند اكتشاف عمود جديد في مخطط كائن JSON متداخل.
    • [SPARK-42928][SQL] يجعل resolvePersistentFunction المزامنة.
    • [SPARK-42967][CORE] SparkListenerTaskStart.stageAttemptId إصلاحات عند بدء مهمة بعد إلغاء المرحلة.
    • تحديثات أمان نظام التشغيل.

  • 29 مارس 2023

    • يقوم "المحمل التلقائي" الآن بتشغيل تنظيف سجل RocksDB متزامن واحد على الأقل للتدفقات Trigger.AvailableNow للتأكد من أنه يمكن تنظيف نقطة التحقق بانتظام لدفقات التحميل التلقائي سريعة التشغيل. قد يتسبب هذا في أن تستغرق بعض التدفقات وقتا أطول قبل إيقاف تشغيلها، ولكنها ستوفر لك تكاليف التخزين وتحسن تجربة التحميل التلقائي في عمليات التشغيل المستقبلية.
    • يمكنك الآن تعديل جدول Delta لإضافة دعم إلى ميزات الجدول باستخدام DeltaTable.addFeatureSupport(feature_name).
    • [SPARK-42702][SPARK-42623][SQL] دعم الاستعلام ذات المعلمات في الاستعلام الفرعي وCTE
    • [SPARK-41162][SQL] إصلاح الصلة المضادة وشبه المنضمة ذاتيا باستخدام التجميعات
    • [SPARK-42403][CORE] يجب أن يتعامل JsonProtocol مع سلاسل JSON الخالية
    • [SPARK-42668][SS] التقاط استثناء أثناء محاولة إغلاق الدفق المضغوط في إحباط HDFSStateStoreProvider
    • [SPARK-42794][SS] قم بزيادة lockAcquireTimeoutMs إلى دقيقتين للحصول على مخزن حالة RocksDB في Structure Streaming

  • 14 مارس 2023

    • هناك تغيير في المصطلحات لإضافة ميزات إلى جدول Delta باستخدام خاصية الجدول. بناء الجملة المفضل الآن 'delta.feature.featureName'='supported' بدلا من 'delta.feature.featureName'='enabled'. للتوافق مع الإصدارات السابقة، لا يزال استخدام 'delta.feature.featureName'='enabled' يعمل وسيستمر في العمل.
    • [SPARK-42622][CORE] تعطيل الاستبدال في القيم
    • [SPARK-42534][SQL] إصلاح عبارة DB2Dialect Limit
    • [SPARK-42635][SQL] إصلاح تعبير TimestampAdd.
    • [SPARK-42516][SQL] التقاط تكوين المنطقة الزمنية لجلسة العمل دائما أثناء إنشاء طرق العرض
    • [SPARK-42484] [SQL] رسالة خطأ أفضل ل UnsafeRowUtils
    • [SPARK-41793][SQL] نتيجة غير صحيحة لإطارات النوافذ المعرفة بواسطة عبارة نطاق على الأرقام العشرية الكبيرة
    • تحديثات أمان نظام التشغيل.

  • 24 فبراير 2023

    • يمكنك الآن استخدام مجموعة موحدة من الخيارات (host، port، database، user، ) passwordللاتصال بمصادر البيانات المدعومة في Query Federation (PostgreSQL، MySQL، Synapse، Snowflake، Redshift، SQL Server). لاحظ أن port هذا اختياري ويستخدم رقم المنفذ الافتراضي لكل مصدر بيانات إذا لم يتم توفيره.

    مثال على تكوين اتصال PostgreSQL

    CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

    مثال على تكوين اتصال Snowflake

    CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);
    • [SPARK-41989][PYTHON] تجنب قطع تكوين التسجيل من pyspark.pandas
    • [SPARK-42346][SQL] إعادة كتابة التجميعات المميزة بعد دمج الاستعلام الفرعي
    • [SPARK-41990][SQL] استخدام FieldReference.column بدلا من apply تحويل عامل تصفية V1 إلى V2
    • Revert [SPARK-41848][CORE] Fixing task over-scheduled with TaskResourceProfile
    • [SPARK-42162] تقديم تعبير MultiCommutativeOp كتكبير ذاكرة لتشفير الأشجار الكبيرة من التعبيرات المتنقلة
    • تحديثات أمان نظام التشغيل.

  • 16 فبراير 2023

    • يدعم أمر SYNC مزامنة جداول Hive Metastore المعاد إنشاؤها. إذا كان جدول HMS قد تم SYNCed مسبقا إلى كتالوج Unity ولكن تم إسقاطه وإعادة إنشائه، فستعمل إعادة المزامنة اللاحقة بدلا من طرح رمز الحالة TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] تستخدم IntegralDivide الرقم العشري (1، 0) لتمثيل 0
    • [SPARK-36173][CORE] دعم الحصول على رقم وحدة المعالجة المركزية في TaskContext
    • [SPARK-41848][CORE] إصلاح المهمة ذات الجدولة الزائدة باستخدام TaskResourceProfile
    • [SPARK-42286][SQL] الرجوع إلى مسار التعليمات البرمجية للتعليمات البرمجية السابق ل expr المعقد مع CAST

  • 31 يناير 2023

    • يتطلب إنشاء مخطط مع موقع محدد الآن أن يكون لدى المستخدم امتيازات SELECT و MODIFY على ANY FILE.
    • [SPARK-41581][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_1230
    • [SPARK-41996][SQL] [SS] إصلاح اختبار kafka للتحقق من الأقسام المفقودة لحساب عمليات Kafka البطيئة
    • [SPARK-41580][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2137
    • [SPARK-41666][PYTHON] دعم SQL ذات المعلمات بواسطة sql()
    • [SPARK-41579][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_1249
    • [SPARK-41573][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2136
    • [SPARK-41574][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2009
    • [SPARK-41049][متابعة] إصلاح تراجع مزامنة التعليمات البرمجية ل ConvertToLocalRelation
    • [SPARK-41576][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2051
    • [SPARK-41572][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2149
    • [SPARK-41575][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2054
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 12.0 (EoS)

راجع Databricks Runtime 12.0 (EoS).

  • 15 يونيو 2023

    • الفوتونات approx_count_distinct.
    • تمت ترقية مكتبة Snowflake-jdbc إلى 3.13.29 لمعالجة مشكلة أمنية.
    • [SPARK-43156][SPARK-43098][SQL] توسيع اختبار خطأ عدد الاستعلامات الفرعية العددي مع تعطيل decorrelateInnerQuery
    • [SPARK-43779][SQL] ParseToDate يتم تحميل الآن EvalMode في مؤشر الترابط الرئيسي.
    • تحديثات أمان نظام التشغيل.

  • 2 يونيو 2023

    • يقوم محلل JSON في failOnUnknownFields الوضع بإسقاط سجل في DROPMALFORMED الوضع ويفشل مباشرة في FAILFAST الوضع.
    • تحسين أداء التحديث التزايدي باستخدام SHALLOW CLONE Iceberg وParquet.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث كانت تنسيقات الملفات المصدر المختلفة غير متناسقة عندما لا يتضمن المخطط المتوفر أقساما مستنتجة. قد تتسبب هذه المشكلة في فشل غير متوقع عند قراءة الملفات ذات الأعمدة المفقودة في مخطط القسم المستنتج.
    • [SPARK-42444][PYTHON] DataFrame.drop يعالج الآن الأعمدة المكررة بشكل صحيح.
    • [SPARK-43404][Backport] تخطي إعادة استخدام ملف sst لنفس الإصدار من مخزن حالة RocksDB لتجنب خطأ عدم تطابق المعرف.
    • [SPARK-43413][11.3-13.0] [SQL] قابلية خالية الاستعلام ListQuery الفرعي الثابتIN.
    • [SPARK-43527][PYTHON] تم التصحيح catalog.listCatalogs في PySpark.
    • [SPARK-43522][SQL] تم إصلاح إنشاء اسم عمود البنية باستخدام فهرس الصفيف.
    • [SPARK-43541][SQL] نشر كافة Project العلامات في حل التعبيرات والأعمدة المفقودة.
    • [SPARK-43340][CORE] تم إصلاح حقل تتبع المكدس المفقود في سجلات الأحداث.
    • [SPARK-42937][SQL] PlanSubqueries تعيين InSubqueryExec#shouldBroadcast إلى صحيح.

  • 17 مايو 2023

    • أصبحت عمليات فحص Parquet قوية الآن مقابل OOMs عند مسح الملفات ذات البنية الاستثنائية عن طريق ضبط حجم الدفعة ديناميكيا. يتم تحليل بيانات تعريف الملف لتقليل حجم الدفعة بشكل استباقي ويتم خفضها مرة أخرى في إعادة محاولة المهمة كشبكة أمان نهائية.
    • إذا تمت قراءة ملف Avro باستخدام الخيار فقط failOnUnknownFields\ أو مع "المحمل التلقائي" في failOnNewColumns\ وضع تطور المخطط، فستتم قراءة الأعمدة التي تحتوي على أنواع بيانات مختلفة بدلا null\ من طرح خطأ يفيد بأنه لا يمكن قراءة الملف. تفشل هذه القراءات الآن وتوصي المستخدمين باستخدام rescuedDataColumn\ الخيار .
    • يقوم التحميل التلقائي الآن بما يلي.
      • يقرأ بشكل صحيح ولم يعد ينقذ Integer، Short، والأنواع Byte إذا تم توفير أحد أنواع البيانات هذه، ولكن ملف Avro يقترح أحد النوعين الآخرين.
      • يمنع أنواع الفواصل الزمنية للقراءة كنوع من التاريخ أو الطابع الزمني لتجنب الحصول على تواريخ تالفة.
      • يمنع أنواع القراءة Decimal بدقة أقل.
    • [SPARK-43172] [CONNECT] يعرض المضيف والرمز المميز من عميل اتصال Spark.
    • [SPARK-41520][SQL] تقسيم AND_OR نمط الشجرة لفصل AND و OR.
    • [SPARK-43098][SQL] خطأ تصحيح COUNT ثابت عند تجميع الاستعلام الفرعي العددي حسب عبارة .
    • [SPARK-43190][SQL] ListQuery.childOutput متناسق الآن مع الإخراج الثانوي.
    • تحديثات أمان نظام التشغيل.

  • 25 أبريل 2023

    • إذا تمت قراءة ملف Parquet مع الخيار فقط failOnUnknownFields أو مع أداة التحميل التلقائي في failOnNewColumns وضع تطور المخطط، فستتم قراءة الأعمدة التي تحتوي على أنواع بيانات مختلفة بدلا null من طرح خطأ يفيد بأنه لا يمكن قراءة الملف. تفشل هذه القراءات الآن وتوصي المستخدمين باستخدام rescuedDataColumn الخيار .
    • يقوم "المحمل التلقائي" الآن بقراءة الأنواع ، ولم يعد يقوم بإنقاذهاIntegerShortByte، إذا تم توفير أحد أنواع البيانات هذه. يقترح ملف Parquet أحد النوعين الآخرين. عندما تم تمكين عمود البيانات الذي تم إنقاذه مسبقا، سيؤدي عدم تطابق نوع البيانات إلى إنقاذ الأعمدة على الرغم من أنها قابلة للقراءة.
    • [SPARK-42971][CORE] تغيير للطباعة workdir إذا كان appDirs فارغا عند معالجة العامل للحدث WorkDirCleanup
    • تحديثات أمان نظام التشغيل.

  • 11 أبريل 2023

    • دعم تنسيقات مصدر البيانات القديمة في SYNC الأمر.
    • إصلاح خطأ في سلوك ٪autoreload في دفاتر الملاحظات الموجودة خارج المستودع.
    • تم إصلاح خطأ حيث يمكن أن ينتقل تطور مخطط التحميل التلقائي إلى حلقة فشل لا نهائية، عند اكتشاف عمود جديد في مخطط كائن JSON متداخل.
    • [SPARK-42928][SQL] يجعل resolvePersistentFunction المزامنة.
    • [SPARK-42967][CORE] SparkListenerTaskStart.stageAttemptId إصلاحات عند بدء مهمة بعد إلغاء المرحلة.
    • تحديثات أمان نظام التشغيل.

  • 29 مارس 2023

    • [SPARK-42794][SS] قم بزيادة lockAcquireTimeoutMs إلى دقيقتين للحصول على مخزن حالة RocksDB في Structure Streaming
    • [SPARK-41162][SQL] إصلاح الصلة المضادة وشبه المنضمة ذاتيا باستخدام التجميعات
    • [SPARK-42403][CORE] يجب أن يتعامل JsonProtocol مع سلاسل JSON الخالية
    • [SPARK-42668][SS] التقاط استثناء أثناء محاولة إغلاق الدفق المضغوط في إحباط HDFSStateStoreProvider
    • إصلاحات الأخطاء المتنوعة.

  • 14 مارس 2023

    • [SPARK-42534][SQL] إصلاح عبارة DB2Dialect Limit
    • [SPARK-42622][CORE] تعطيل الاستبدال في القيم
    • [SPARK-41793][SQL] نتيجة غير صحيحة لإطارات النوافذ المعرفة بواسطة عبارة نطاق على الأرقام العشرية الكبيرة
    • [SPARK-42484] [SQL] رسالة خطأ أفضل ل UnsafeRowUtils
    • [SPARK-42635][SQL] إصلاح تعبير TimestampAdd.
    • [SPARK-42516][SQL] التقاط تكوين المنطقة الزمنية لجلسة العمل دائما أثناء إنشاء طرق العرض
    • تحديثات أمان نظام التشغيل.

  • 24 فبراير 2023

    • خيارات الاتصال الموحدة لاتحاد الاستعلامات

      يمكنك الآن استخدام مجموعة موحدة من الخيارات (host، port، database، user، ) passwordللاتصال بمصادر البيانات المدعومة في Query Federation (PostgreSQL، MySQL، Synapse، Snowflake، Redshift، SQL Server). لاحظ أنه port اختياري وسيستخدم رقم المنفذ الافتراضي لكل مصدر بيانات إذا لم يتم توفيره.

      مثال على تكوين اتصال PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      مثال على تكوين اتصال Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • Revert [SPARK-41848][CORE] Fixing task over-scheduled with TaskResourceProfile

    • [SPARK-42162] تقديم تعبير MultiCommutativeOp كتكبير ذاكرة لتشفير الأشجار الكبيرة من التعبيرات المتنقلة

    • [SPARK-41990][SQL] استخدام FieldReference.column بدلا من apply تحويل عامل تصفية V1 إلى V2

    • [SPARK-42346][SQL] إعادة كتابة التجميعات المميزة بعد دمج الاستعلام الفرعي

    • تحديثات أمان نظام التشغيل.

  • 16 فبراير 2023

    • يمكن للمستخدمين الآن قراءة وكتابة بعض جداول Delta التي تتطلب الإصدار 3 من Reader والإصدار 7 من Writer، باستخدام Databricks Runtime 9.1 أو أحدث. للنجاح، يجب دعم ميزات الجدول المدرجة في بروتوكول الجداول بواسطة الإصدار الحالي من Databricks Runtime.
    • يدعم أمر SYNC مزامنة جداول Hive Metastore المعاد إنشاؤها. إذا كان جدول HMS قد تم SYNCed مسبقا إلى كتالوج Unity ولكن تم إسقاطه وإعادة إنشائه، فستعمل إعادة المزامنة اللاحقة بدلا من طرح رمز الحالة TABLE_ALREADY_EXISTS.
    • [SPARK-36173][CORE] دعم الحصول على رقم وحدة المعالجة المركزية في TaskContext
    • [SPARK-42286][SQL] الرجوع إلى مسار التعليمات البرمجية للتعليمات البرمجية السابق ل expr المعقد مع CAST
    • [SPARK-41848][CORE] إصلاح المهمة ذات الجدولة الزائدة باستخدام TaskResourceProfile
    • [SPARK-41219][SQL] تستخدم IntegralDivide الرقم العشري (1، 0) لتمثيل 0

  • 25 يناير 2023

    • [SPARK-41660][SQL] نشر أعمدة بيانات التعريف فقط إذا تم استخدامها
    • [SPARK-41379][SS] [PYTHON] توفير جلسة spark المستنسخة في DataFrame في وظيفة المستخدم لمتلقي foreachBatch في PySpark
    • [SPARK-41669][SQL] التقليم المبكر في canCollapseExpressions
    • تحديثات أمان نظام التشغيل.

  • 18 يناير 2023

    • REFRESH FUNCTION يدعم أمر SQL الآن وظائف SQL ووظائف جدول SQL. على سبيل المثال، يمكن استخدام الأمر لتحديث دالة SQL ثابتة تم تحديثها في جلسة SQL أخرى.
    • يدعم مصدر بيانات اتصال قاعدة بيانات Java (JDBC) الإصدار 1 الآن دفع جملة LIMIT لأسفل لتحسين الأداء في الاستعلامات. يتم تمكين هذه الميزة بشكل افتراضي ويمكن تعطيلها مع spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled تعيين إلى false.
    • في مجموعات قوائم التحكم بالوصول للجداول القديمة، يتطلب إنشاء الوظائف التي تشير إلى فئات JVM الآن الامتياز MODIFY_CLASSPATH .
    • يدعم مصدر بيانات اتصال قاعدة بيانات Java (JDBC) الإصدار 1 الآن دفع جملة LIMIT لأسفل لتحسين الأداء في الاستعلامات. يتم تمكين هذه الميزة بشكل افتراضي ويمكن تعطيلها مع تعيين spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled إلى false.
    • يقوم موصل Azure Synapse الآن بإرجاع رسالة خطأ وصفية أكثر عندما يحتوي اسم العمود على أحرف غير صالحة مثل المسافات البيضاء أو الفواصل المنقوشة. في مثل هذه الحالات، سيتم إرجاع الرسالة التالية: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • يعمل الدفق المنظم ل Spark الآن مع التنسيق ("deltasharing") على جدول مشاركة دلتا كمصدر.
    • [SPARK-38277][SS] مسح دفعة الكتابة بعد تثبيت مخزن حالة RocksDB
    • [SPARK-41733][SQL] [SS] تطبيق التقليم المستند إلى نمط الشجرة للقاعدة ResolveWindowTime
    • [SPARK-39591][SS] تعقب التقدم غير المتزامن
    • [SPARK-41339][SQL] إغلاق وإعادة إنشاء دفعة كتابة RocksDB بدلا من مجرد مسح
    • [SPARK-41198][SS] إصلاح المقاييس في استعلام الدفق التي تحتوي على مصدر دفق CTE وDSv1
    • [SPARK-41539][SQL] إعادة تعيين الإحصائيات والقيود مقابل الإخراج في الخطة المنطقية ل LogicalRDD
    • [SPARK-41732][SQL] [SS] تطبيق التقليم المستند إلى نمط الشجرة للقاعدة SessionWindowing
    • [SPARK-41862][SQL] إصلاح خطأ التصحيح المتعلق بالقيم الافتراضية في قارئ Orc
    • [SPARK-41199][SS] إصلاح مشكلة المقاييس عند استخدام مصدر دفق DSv1 ومصدر دفق DSv2 المشترك
    • [SPARK-41261][PYTHON] [SS] إصلاح مشكلة applyInPandasWithState عندما لا يتم وضع أعمدة مفاتيح التجميع بالترتيب من أقرب وقت
    • تحديثات أمان نظام التشغيل.

  • 17 مايو 2023

    • أصبحت عمليات فحص Parquet قوية الآن مقابل OOMs عند مسح الملفات ذات البنية الاستثنائية عن طريق ضبط حجم الدفعة ديناميكيا. يتم تحليل بيانات تعريف الملف لتقليل حجم الدفعة بشكل استباقي ويتم خفضها مرة أخرى في إعادة محاولة المهمة كشبكة أمان نهائية.
    • تم إصلاح الانحدار الذي تسبب في استمرار وظائف Azure Databricks بعد فشل الاتصال بمخزن metastore أثناء تهيئة نظام المجموعة.
    • [SPARK-41520][SQL] تقسيم AND_OR نمط الشجرة لفصل AND و OR.
    • [SPARK-43190][SQL] ListQuery.childOutput متناسق الآن مع الإخراج الثانوي.
    • تحديثات أمان نظام التشغيل.

  • 25 أبريل 2023

    • إذا تمت قراءة ملف Parquet مع الخيار فقط failOnUnknownFields أو مع أداة التحميل التلقائي في failOnNewColumns وضع تطور المخطط، فستتم قراءة الأعمدة التي تحتوي على أنواع بيانات مختلفة بدلا null من طرح خطأ يفيد بأنه لا يمكن قراءة الملف. تفشل هذه القراءات الآن وتوصي المستخدمين باستخدام rescuedDataColumn الخيار .
    • يقوم "المحمل التلقائي" الآن بقراءة الأنواع ، ولم يعد يقوم بإنقاذهاIntegerShortByte، إذا تم توفير أحد أنواع البيانات هذه. يقترح ملف Parquet أحد النوعين الآخرين. عندما تم تمكين عمود البيانات الذي تم إنقاذه مسبقا، سيؤدي عدم تطابق نوع البيانات إلى إنقاذ الأعمدة على الرغم من أنها قابلة للقراءة.
    • [SPARK-42937][SQL] PlanSubqueries يتم الآن تعيين InSubqueryExec#shouldBroadcast إلى true.
    • تحديثات أمان نظام التشغيل.

  • 11 أبريل 2023

    • دعم تنسيقات مصدر البيانات القديمة في أمر SYNC.
    • إصلاح خطأ في سلوك ٪autoreload في دفاتر الملاحظات الموجودة خارج المستودع.
    • تم إصلاح خطأ حيث يمكن أن ينتقل تطور مخطط التحميل التلقائي إلى حلقة فشل لا نهائية، عند اكتشاف عمود جديد في مخطط كائن JSON متداخل.
    • [SPARK-42928][SQL] جعل resolvePersistentFunction متزامنا.
    • [SPARK-42967][CORE] إصلاح SparkListenerTaskStart.stageAttemptId عند بدء مهمة بعد إلغاء المرحلة.

  • 29 مارس 2023

    • [SPARK-42794][SS] قم بزيادة lockAcquireTimeoutMs إلى دقيقتين للحصول على مخزن حالة RocksDB في Structure Streaming
    • [SPARK-42403][CORE] يجب أن يتعامل JsonProtocol مع سلاسل JSON الخالية
    • [SPARK-42668][SS] التقاط استثناء أثناء محاولة إغلاق الدفق المضغوط في إحباط HDFSStateStoreProvider
    • تحديثات أمان نظام التشغيل.

  • 14 مارس 2023

    • [SPARK-42635][SQL] إصلاح تعبير TimestampAdd.
    • [SPARK-41793][SQL] نتيجة غير صحيحة لإطارات النوافذ المعرفة بواسطة عبارة نطاق على الأرقام العشرية الكبيرة
    • [SPARK-42484] [SQL] رسالة خطأ أفضل ل UnsafeRowUtils
    • [SPARK-42534][SQL] إصلاح عبارة DB2Dialect Limit
    • [SPARK-41162][SQL] إصلاح الصلة المضادة وشبه المنضمة ذاتيا باستخدام التجميعات
    • [SPARK-42516][SQL] التقاط تكوين المنطقة الزمنية لجلسة العمل دائما أثناء إنشاء طرق العرض
    • إصلاحات الأخطاء المتنوعة.

  • 28 فبراير 2023

    • خيارات الاتصال الموحدة لاتحاد الاستعلامات

      يمكنك الآن استخدام مجموعة موحدة من الخيارات (host، port، database، user، ) passwordللاتصال بمصادر البيانات المدعومة في Query Federation (PostgreSQL، MySQL، Synapse، Snowflake، Redshift، SQL Server). لاحظ أن port هذا اختياري ويستخدم رقم المنفذ الافتراضي لكل مصدر بيانات إذا لم يتم توفيره.

      مثال على تكوين اتصال PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      مثال على تكوين اتصال Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • [SPARK-42286][SQL] الرجوع إلى مسار التعليمات البرمجية للتعليمات البرمجية السابق ل expr المعقد مع CAST

    • [SPARK-41989][PYTHON] تجنب قطع تكوين التسجيل من pyspark.pandas

    • [SPARK-42346][SQL] إعادة كتابة التجميعات المميزة بعد دمج الاستعلام الفرعي

    • [SPARK-41360][CORE] تجنب إعادة تسجيل BlockManager إذا تم فقدان المنفذ

    • [SPARK-42162] تقديم تعبير MultiCommutativeOp كتكبير ذاكرة لتشفير الأشجار الكبيرة من التعبيرات المتنقلة

    • [SPARK-41990][SQL] استخدام FieldReference.column بدلا من apply تحويل عامل تصفية V1 إلى V2

    • تحديثات أمان نظام التشغيل.

  • 16 فبراير 2023

    • يمكن للمستخدمين الآن قراءة وكتابة بعض جداول Delta التي تتطلب الإصدار 3 من Reader والإصدار 7 من Writer، باستخدام Databricks Runtime 9.1 أو أحدث. للنجاح، يجب دعم ميزات الجدول المدرجة في بروتوكول الجداول بواسطة الإصدار الحالي من Databricks Runtime.
    • يدعم أمر SYNC مزامنة جداول Hive Metastore المعاد إنشاؤها. إذا كان جدول HMS قد تم SYNCed مسبقا إلى كتالوج Unity ولكن تم إسقاطه وإعادة إنشائه، فستعمل إعادة المزامنة اللاحقة بدلا من طرح رمز الحالة TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] تستخدم IntegralDivide الرقم العشري (1، 0) لتمثيل 0
    • [SPARK-40382][SQL] تجميع التعبيرات التجميعية المميزة بواسطة توابع مكافئة دلاليا في RewriteDistinctAggregates
    • تحديثات أمان نظام التشغيل.

  • 25 يناير 2023

    • [SPARK-41379][SS] [PYTHON] توفير جلسة spark المستنسخة في DataFrame في وظيفة المستخدم لمتلقي foreachBatch في PySpark
    • [SPARK-41660][SQL] نشر أعمدة بيانات التعريف فقط إذا تم استخدامها
    • [SPARK-41669][SQL] التقليم المبكر في canCollapseExpressions
    • إصلاحات الأخطاء المتنوعة.

  • 18 يناير 2023

    • REFRESH FUNCTION يدعم أمر SQL الآن وظائف SQL ووظائف جدول SQL. على سبيل المثال، يمكن استخدام الأمر لتحديث دالة SQL ثابتة تم تحديثها في جلسة SQL أخرى.
    • يدعم مصدر بيانات اتصال قاعدة بيانات Java (JDBC) الإصدار 1 الآن دفع جملة LIMIT لأسفل لتحسين الأداء في الاستعلامات. يتم تمكين هذه الميزة بشكل افتراضي ويمكن تعطيلها مع spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled تعيين إلى false.
    • يدعم مصدر بيانات اتصال قاعدة بيانات Java (JDBC) الإصدار 1 الآن دفع جملة LIMIT لأسفل لتحسين الأداء في الاستعلامات. يتم تمكين هذه الميزة بشكل افتراضي ويمكن تعطيلها مع تعيين spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled إلى false.
    • يقوم موصل Azure Synapse الآن بإرجاع رسالة خطأ وصفية أكثر عندما يحتوي اسم العمود على أحرف غير صالحة مثل المسافات البيضاء أو الفواصل المنقوشة. في مثل هذه الحالات، سيتم إرجاع الرسالة التالية: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] إصلاح المقاييس في استعلام الدفق التي تحتوي على مصدر دفق CTE وDSv1
    • [SPARK-41862][SQL] إصلاح خطأ التصحيح المتعلق بالقيم الافتراضية في قارئ Orc
    • [SPARK-41539][SQL] إعادة تعيين الإحصائيات والقيود مقابل الإخراج في الخطة المنطقية ل LogicalRDD
    • [SPARK-39591][SS] تعقب التقدم غير المتزامن
    • [SPARK-41199][SS] إصلاح مشكلة المقاييس عند استخدام مصدر دفق DSv1 ومصدر دفق DSv2 المشترك
    • [SPARK-41261][PYTHON] [SS] إصلاح مشكلة applyInPandasWithState عندما لا يتم وضع أعمدة مفاتيح التجميع بالترتيب من أقرب وقت
    • [SPARK-41339][SQL] إغلاق وإعادة إنشاء دفعة كتابة RocksDB بدلا من مجرد مسح
    • [SPARK-41732][SQL] [SS] تطبيق التقليم المستند إلى نمط الشجرة للقاعدة SessionWindowing
    • [SPARK-38277][SS] مسح دفعة الكتابة بعد تثبيت مخزن حالة RocksDB
    • تحديثات أمان نظام التشغيل.

  • 29 نوفمبر 2022

    • يمكن للمستخدمين تكوين سلوك المسافات البيضاء البادئة واللاحقة عند كتابة البيانات باستخدام موصل Redshift. تمت إضافة الخيارات التالية للتحكم في معالجة المسافة البيضاء:
      • csvignoreleadingwhitespace، عند التعيين إلى true، يزيل المسافة البيضاء البادئة من القيم أثناء عمليات الكتابة عند tempformat تعيين إلى CSV أو CSV GZIP. يتم الاحتفاظ بالمسافات البيضاء عند تعيين التكوين إلى false. بشكل افتراضي، القيمة هي true.
      • csvignoretrailingwhitespace، عند التعيين إلى true، يزيل المسافة البيضاء اللاحقة من القيم أثناء عمليات الكتابة عند tempformat تعيين إلى CSV أو CSV GZIP. يتم الاحتفاظ بالمسافات البيضاء عند تعيين التكوين إلى false. بشكل افتراضي، القيمة هي true.
    • تم إصلاح خطأ مع تحليل JSON في "المحمل التلقائي" عندما تركت جميع الأعمدة كسلاسل (cloudFiles.inferColumnTypes لم يتم تعيينها أو تعيينها إلى false) وكان JSON يحتوي على كائنات متداخلة.
    • ترقية snowflake-jdbc التبعية إلى الإصدار 3.13.22.
    • أنواع جداول JDBC أصبحت الآن خارجية بشكل افتراضي.
    • [SPARK-40906][SQL] Mode يجب نسخ المفاتيح قبل إدراجها في الخريطة
    • تحديثات أمان نظام التشغيل.

  • 15 نوفمبر 2022

    • تسمح قوائم التحكم بالوصول للجداول ومجموعات UC المشتركة الآن بأسلوب Dataset.toJSON من python.
    • [SPARK-40646] تم إصلاح تحليل JSON للبنى والخرائط والصفائف حتى عندما لا يتطابق جزء من السجل مع المخطط، فلا يزال من الممكن تحليل باقي السجل بشكل صحيح بدلا من إرجاع القيم الخالية. للاشتراك في مجموعة spark.sql.json.enablePartialResults السلوك المحسنة إلى true. يتم تعطيل العلامة بشكل افتراضي للحفاظ على السلوك الأصلي
    • [SPARK-40903][SQL] تجنب إعادة ترتيب إضافة عشرية للمتعارف عليه إذا تم تغيير نوع البيانات
    • [SPARK-40618][SQL] إصلاح الخطأ في قاعدة MergeScalarSubqueries باستخدام الاستعلامات الفرعية المتداخلة باستخدام التعقب المرجعي
    • [SPARK-40697][SQL] إضافة ترك مساحة للأحرف من جانب القراءة لتغطية ملفات البيانات الخارجية
    • تحديثات أمان نظام التشغيل.

  • 1 نوفمبر 2022

    • يدعم الدفق المنظم في كتالوج Unity الآن تحديث رموز الوصول المؤقتة. لم تعد أحمال العمل المتدفقة التي تعمل باستخدام كتالوج Unity جميع مجموعات الأغراض أو الوظائف تفشل بعد انتهاء صلاحية الرمز المميز الأولي.
    • تم إصلاح مشكلة حيث إذا كان جدول Delta يحتوي على عمود معرف من قبل المستخدم باسم _change_type، ولكن تم تعطيل موجز بيانات التغيير في هذا الجدول، فستملأ البيانات الموجودة في هذا العمود قيم NULL بشكل غير صحيح عند تشغيل MERGE.
    • تم إصلاح مشكلة حيث قد يؤدي تشغيل MERGE واستخدام 99 عمودا بالضبط من المصدر في الشرط إلى java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث يمكن تكرار ملف في نفس الدفعة الصغيرة عند allowOverwrites تمكينه.
    • تمت ترقية نص Apache commons إلى 1.10.0.
    • [SPARK-38881][DSTREAMS] [KINESIS] [PYSPARK] دعم إضافي ل CloudWatch MetricsLevel Config
    • [SPARK-40596][CORE] ملء ExecutorDecommission بالرسائل في ExecutorDecommissionInfo
    • [SPARK-40670][SS] [PYTHON] إصلاح NPE في applyInPandasWithState عندما يحتوي مخطط الإدخال على عمود (أعمدة) "غير يقبل القيم الخالية"
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 11.2 (EoS)

راجع Databricks Runtime 11.2 (EoS).

  • 28 فبراير 2023
    • [SPARK-42286][SQL] الرجوع إلى مسار التعليمات البرمجية للتعليمات البرمجية السابق ل expr المعقد مع CAST
    • [SPARK-42346][SQL] إعادة كتابة التجميعات المميزة بعد دمج الاستعلام الفرعي
    • تحديثات أمان نظام التشغيل.
  • 16 فبراير 2023
    • يمكن للمستخدمين الآن قراءة وكتابة بعض جداول Delta التي تتطلب الإصدار 3 من Reader والإصدار 7 من Writer، باستخدام Databricks Runtime 9.1 أو أحدث. للنجاح، يجب دعم ميزات الجدول المدرجة في بروتوكول الجداول بواسطة الإصدار الحالي من Databricks Runtime.
    • يدعم أمر SYNC مزامنة جداول Hive Metastore المعاد إنشاؤها. إذا كان جدول HMS قد تم SYNCed مسبقا إلى كتالوج Unity ولكن تم إسقاطه وإعادة إنشائه، فستعمل إعادة المزامنة اللاحقة بدلا من طرح رمز الحالة TABLE_ALREADY_EXISTS.
    • [SPARK-41219][SQL] تستخدم IntegralDivide الرقم العشري (1، 0) لتمثيل 0
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2023
    • أنواع جداول JDBC أصبحت الآن خارجية بشكل افتراضي.
    • [SPARK-41379][SS] [PYTHON] توفير جلسة spark المستنسخة في DataFrame في وظيفة المستخدم لمتلقي foreachBatch في PySpark
  • 18 يناير 2023
    • يقوم موصل Azure Synapse الآن بإرجاع رسالة خطأ وصفية أكثر عندما يحتوي اسم العمود على أحرف غير صالحة مثل المسافات البيضاء أو الفواصل المنقوشة. في مثل هذه الحالات، سيتم إرجاع الرسالة التالية: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] إصلاح المقاييس في استعلام الدفق التي تحتوي على مصدر دفق CTE وDSv1
    • [SPARK-41862][SQL] إصلاح خطأ التصحيح المتعلق بالقيم الافتراضية في قارئ Orc
    • [SPARK-41539][SQL] إعادة تعيين الإحصائيات والقيود مقابل الإخراج في الخطة المنطقية ل LogicalRDD
    • [SPARK-41199][SS] إصلاح مشكلة المقاييس عند استخدام مصدر دفق DSv1 ومصدر دفق DSv2 المشترك
    • [SPARK-41339][SQL] إغلاق وإعادة إنشاء دفعة كتابة RocksDB بدلا من مجرد مسح
    • [SPARK-41732][SQL] [SS] تطبيق التقليم المستند إلى نمط الشجرة للقاعدة SessionWindowing
    • [SPARK-38277][SS] مسح دفعة الكتابة بعد تثبيت مخزن حالة RocksDB
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2022
    • يمكن للمستخدمين تكوين سلوك المسافات البيضاء البادئة واللاحقة عند كتابة البيانات باستخدام موصل Redshift. تمت إضافة الخيارات التالية للتحكم في معالجة المسافة البيضاء:
      • csvignoreleadingwhitespace، عند التعيين إلى true، يزيل المسافة البيضاء البادئة من القيم أثناء عمليات الكتابة عند tempformat تعيين إلى CSV أو CSV GZIP. يتم الاحتفاظ بالمسافات البيضاء عند تعيين التكوين إلى false. بشكل افتراضي، القيمة هي true.
      • csvignoretrailingwhitespace، عند التعيين إلى true، يزيل المسافة البيضاء اللاحقة من القيم أثناء عمليات الكتابة عند tempformat تعيين إلى CSV أو CSV GZIP. يتم الاحتفاظ بالمسافات البيضاء عند تعيين التكوين إلى false. بشكل افتراضي، القيمة هي true.
    • تم إصلاح خطأ مع تحليل JSON في "المحمل التلقائي" عندما تركت جميع الأعمدة كسلاسل (cloudFiles.inferColumnTypes لم يتم تعيينها أو تعيينها إلى false) وكان JSON يحتوي على كائنات متداخلة.
    • [SPARK-40906][SQL] Mode يجب نسخ المفاتيح قبل إدراجها في الخريطة
    • تحديثات أمان نظام التشغيل.
  • 15 نوفمبر 2022
    • [SPARK-40646] تم إصلاح تحليل JSON للبنى والخرائط والصفائف حتى عندما لا يتطابق جزء من السجل مع المخطط، فلا يزال من الممكن تحليل باقي السجل بشكل صحيح بدلا من إرجاع القيم الخالية. للاشتراك في السلوك المحسن، قم بتعيين spark.sql.json.enablePartialResults إلى true. يتم تعطيل العلامة بشكل افتراضي للحفاظ على السلوك الأصلي
    • [SPARK-40618][SQL] إصلاح الخطأ في قاعدة MergeScalarSubqueries باستخدام الاستعلامات الفرعية المتداخلة باستخدام التعقب المرجعي
    • [SPARK-40697][SQL] إضافة ترك مساحة للأحرف من جانب القراءة لتغطية ملفات البيانات الخارجية
    • تحديثات أمان نظام التشغيل.
  • 1 نوفمبر 2022
    • تمت ترقية نص Apache commons إلى 1.10.0.
    • تم إصلاح مشكلة حيث إذا كان جدول Delta يحتوي على عمود معرف من قبل المستخدم باسم _change_type، ولكن تم تعطيل موجز بيانات التغيير في هذا الجدول، فستملأ البيانات الموجودة في هذا العمود قيم NULL بشكل غير صحيح عند تشغيل MERGE.
    • تم إصلاح مشكلة حيث قد يؤدي تشغيل MERGE واستخدام 99 عمودا بالضبط من المصدر في الشرط إلى java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث يمكن تكرار ملف في نفس الدفعة الصغيرة عند allowOverwrites تمكين
    • [SPARK-40596][CORE] ملء ExecutorDecommission بالرسائل في ExecutorDecommissionInfo
    • تحديثات أمان نظام التشغيل.
  • 19 أكتوبر 2022
    • تم إصلاح مشكلة في استخدام COPY INTO مع بيانات الاعتماد المؤقتة على مجموعات / مستودعات ممكنة في كتالوج Unity.
    • [SPARK-40213][SQL] دعم تحويل قيمة ASCII للأحرف اللاتينية 1
    • تحديثات أمان نظام التشغيل.
  • 5 أكتوبر 2022
    • يمكن للمستخدمين تعيين spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") لإعادة تمكين القائمة الأصلية للتحميل التلقائي على ADLS Gen2. تم إيقاف تشغيل القائمة الأصلية مسبقا بسبب مشكلات في الأداء، ولكن ربما أدت إلى زيادة في تكاليف التخزين للعملاء. تم طرح هذا التغيير إلى DBR 10.4 و9.1 في تحديث الصيانة السابق.
    • [SPARK-40315][SQL] دعم ترميز/فك ترميز url كدالة مضمنة ووظائف مرتبطة ب url مرتبة
    • [SPARK-40156][SQL]url_decode() يجب أن ترجع فئة خطأ
    • [SPARK-40169] عدم الضغط على عوامل تصفية Parquet بدون أي مرجع إلى مخطط البيانات
    • [SPARK-40460][SS] إصلاح مقاييس الدفق عند تحديد _metadata
    • [SPARK-40468][SQL] إصلاح تشذيب العمود في CSV عند تحديد _corrupt_record
    • [SPARK-40055][SQL] يجب أن ترجع listCatalogs أيضا spark_catalog حتى عندما يكون تنفيذ spark_catalog هو defaultSessionCatalog
    • تحديثات أمان نظام التشغيل.
  • 22 سبتمبر 2022
    • [SPARK-40315][SQL] إضافة hashCode() ل Literal of ArrayBasedMapData
    • [SPARK-40389][SQL] لا يمكن لالأرقام العشرية رفع البث كالأنواع المتكاملة إذا كان يمكن أن يتجاوز المدلى بها
    • [SPARK-40380][SQL] إصلاح الطي المستمر ل InvokeLike لتجنب القيم الحرفية غير القابلة للتسلسل المضمنة في الخطة
    • [SPARK-40066][SQL] [متابعة] تحقق مما إذا تم حل ElementAt قبل الحصول على نوع البيانات الخاص به
    • [SPARK-40109][SQL] دالة SQL جديدة: get()
    • [SPARK-40066][SQL] وضع ANSI: إرجاع القيمة الفارغة دائما عند الوصول غير الصالح إلى عمود الخريطة
    • [SPARK-40089][SQL] إصلاح الفرز لبعض الأنواع العشرية
    • [SPARK-39887][SQL] يجب أن تحتفظ RemoveRedundantAliases بأسماء مستعارة تجعل إخراج عقد الإسقاط فريدا
    • [SPARK-40152][SQL] إصلاح مشكلة تجميع split_part codegen
    • [SPARK-40235][CORE] استخدام التأمين القابل للمقاطعة بدلا من المزامنة في Executor.updateDependencies()
    • [SPARK-40212][SQL] لا يعالج SparkSQL castPartValue البايت أو القصير أو العائم بشكل صحيح
    • [SPARK-40218][SQL] يجب أن تحتفظ GROUPING SETS بأعمدة التجميع
    • [SPARK-35542][ML] Fix: تم إنشاء Bucketizer لأعمدة متعددة مع معلمات
    • [SPARK-40079] إضافة التحقق من صحة Imputer inputCols لحالة الإدخال الفارغة
    • [SPARK-39912]SPARK-39828[SQL] تحسين CatalogImpl

Databricks Runtime 11.1 (EoS)

راجع Databricks Runtime 11.1 (EoS).

  • 31 يناير 2023

    • [SPARK-41379][SS] [PYTHON] توفير جلسة spark المستنسخة في DataFrame في وظيفة المستخدم لمتلقي foreachBatch في PySpark
    • إصلاحات الأخطاء المتنوعة.

  • 18 يناير 2023

    • يقوم موصل Azure Synapse الآن بإرجاع رسالة خطأ وصفية أكثر عندما يحتوي اسم العمود على أحرف غير صالحة مثل المسافات البيضاء أو الفواصل المنقوشة. في مثل هذه الحالات، سيتم إرجاع الرسالة التالية: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] إصلاح المقاييس في استعلام الدفق التي تحتوي على مصدر دفق CTE وDSv1
    • [SPARK-41862][SQL] إصلاح خطأ التصحيح المتعلق بالقيم الافتراضية في قارئ Orc
    • [SPARK-41199][SS] إصلاح مشكلة المقاييس عند استخدام مصدر دفق DSv1 ومصدر دفق DSv2 المشترك
    • [SPARK-41339][SQL] إغلاق وإعادة إنشاء دفعة كتابة RocksDB بدلا من مجرد مسح
    • [SPARK-41732][SQL] [SS] تطبيق التقليم المستند إلى نمط الشجرة للقاعدة SessionWindowing
    • [SPARK-38277][SS] مسح دفعة الكتابة بعد تثبيت مخزن حالة RocksDB
    • تحديثات أمان نظام التشغيل.

  • 29 نوفمبر 2022

    • يمكن للمستخدمين تكوين سلوك المسافات البيضاء البادئة واللاحقة عند كتابة البيانات باستخدام موصل Redshift. تمت إضافة الخيارات التالية للتحكم في معالجة المسافة البيضاء:
      • csvignoreleadingwhitespace، عند التعيين إلى true، يزيل المسافة البيضاء البادئة من القيم أثناء عمليات الكتابة عند tempformat تعيين إلى CSV أو CSV GZIP. يتم الاحتفاظ بالمسافات البيضاء عند تعيين التكوين إلى false. بشكل افتراضي، القيمة هي true.
      • csvignoretrailingwhitespace، عند التعيين إلى true، يزيل المسافة البيضاء اللاحقة من القيم أثناء عمليات الكتابة عند tempformat تعيين إلى CSV أو CSV GZIP. يتم الاحتفاظ بالمسافات البيضاء عند تعيين التكوين إلى false. بشكل افتراضي، القيمة هي true.
    • تم إصلاح خطأ مع تحليل JSON في "المحمل التلقائي" عندما تركت جميع الأعمدة كسلاسل (cloudFiles.inferColumnTypes لم يتم تعيينها أو تعيينها إلى false) وكان JSON يحتوي على كائنات متداخلة.
    • [SPARK-39650][SS] إصلاح مخطط القيمة غير الصحيح في دفق إلغاء التكرار مع التوافق مع الإصدارات السابقة
    • تحديثات أمان نظام التشغيل.

  • 15 نوفمبر 2022

    • [SPARK-40646] تم إصلاح تحليل JSON للبنى والخرائط والصفائف حتى عندما لا يتطابق جزء من السجل مع المخطط، لا يزال من الممكن تحليل باقي السجل بشكل صحيح بدلا من إرجاع القيم الخالية. للاشتراك في السلوك المحسن، قم بتعيين spark.sql.json.enablePartialResults إلى true. يتم تعطيل العلامة بشكل افتراضي للحفاظ على السلوك الأصلي
    • تحديثات أمان نظام التشغيل.

  • 1 نوفمبر 2022

    • تمت ترقية نص Apache commons إلى 1.10.0.
    • تم إصلاح مشكلة حيث إذا كان جدول Delta يحتوي على عمود معرف من قبل المستخدم باسم _change_type، ولكن تم تعطيل موجز بيانات التغيير في هذا الجدول، فستملأ البيانات الموجودة في هذا العمود قيم NULL بشكل غير صحيح عند تشغيل MERGE.
    • تم إصلاح مشكلة حيث قد يؤدي تشغيل MERGE واستخدام 99 عمودا بالضبط من المصدر في الشرط إلى java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث يمكن تكرار ملف في نفس الدفعة الصغيرة عند allowOverwrites تمكين
    • [SPARK-40697][SQL] إضافة ترك مساحة للأحرف من جانب القراءة لتغطية ملفات البيانات الخارجية
    • [SPARK-40596][CORE] ملء ExecutorDecommission بالرسائل في ExecutorDecommissionInfo
    • تحديثات أمان نظام التشغيل.

  • 18 أكتوبر 2022

    • تم إصلاح مشكلة في استخدام COPY INTO مع بيانات الاعتماد المؤقتة على مجموعات / مستودعات ممكنة في كتالوج Unity.
    • [SPARK-40213][SQL] دعم تحويل قيمة ASCII للأحرف اللاتينية 1
    • تحديثات أمان نظام التشغيل.

  • 5 أكتوبر 2022

    • يمكن للمستخدمين تعيين spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") لإعادة تمكين القائمة الأصلية للتحميل التلقائي على ADLS Gen2. تم إيقاف تشغيل القائمة الأصلية مسبقا بسبب مشكلات في الأداء، ولكن ربما أدت إلى زيادة في تكاليف التخزين للعملاء. تم طرح هذا التغيير إلى DBR 10.4 و9.1 في تحديث الصيانة السابق.
    • [SPARK-40169] عدم الضغط على عوامل تصفية Parquet بدون أي مرجع إلى مخطط البيانات
    • [SPARK-40460][SS] إصلاح مقاييس الدفق عند تحديد _metadata
    • [SPARK-40468][SQL] إصلاح تشذيب العمود في CSV عند تحديد _corrupt_record
    • [SPARK-40055][SQL] يجب أن ترجع listCatalogs أيضا spark_catalog حتى عندما يكون تنفيذ spark_catalog هو defaultSessionCatalog
    • تحديثات أمان نظام التشغيل.

  • 22 سبتمبر 2022

    • [SPARK-40315][SQL] إضافة hashCode() ل Literal of ArrayBasedMapData
    • [SPARK-40380][SQL] إصلاح الطي المستمر ل InvokeLike لتجنب القيم الحرفية غير القابلة للتسلسل المضمنة في الخطة
    • [SPARK-40089][SQL] إصلاح الفرز لبعض الأنواع العشرية
    • [SPARK-39887][SQL] يجب أن تحتفظ RemoveRedundantAliases بأسماء مستعارة تجعل إخراج عقد الإسقاط فريدا
    • [SPARK-40152][SQL] إصلاح مشكلة تجميع split_part codegen

  • 6 سبتمبر 2022

    • لقد قمنا بتحديث نموذج الأذونات في Table Access Controls (Table ACLs) بحيث تكون أذونات MODIFY فقط مطلوبة لتغيير مخطط الجدول أو خصائص الجدول باستخدام ALTER TABLE. في السابق، كانت هذه العمليات تتطلب من المستخدم امتلاك الجدول. لا تزال الملكية مطلوبة لمنح أذونات على جدول أو تغيير مالكه أو تغيير موقعه أو إعادة تسميته. يجعل هذا التغيير نموذج الإذن ل Table ACLs أكثر اتساقا مع كتالوج Unity.
    • [SPARK-40235][CORE] استخدام التأمين القابل للمقاطعة بدلا من المزامنة في Executor.updateDependencies()
    • [SPARK-40212][SQL] لا يعالج SparkSQL castPartValue البايت أو القصير أو العائم بشكل صحيح
    • [SPARK-40218][SQL] يجب أن تحتفظ GROUPING SETS بأعمدة التجميع
    • [SPARK-39976][SQL] يجب أن يتعامل ArrayIntersect مع القيمة الخالية في التعبير الأيسر بشكل صحيح
    • [SPARK-40053][CORE] [SQL] [الاختبارات] إضافة assume إلى حالات الإلغاء الديناميكية التي تتطلب بيئة وقت تشغيل Python
    • [SPARK-35542][CORE] [ML] Fix: Bucketizer created for multiple columns with parameters splitsArray, inputCols and outputCols can not be loaded after saving it
    • [SPARK-40079][CORE] إضافة التحقق من صحة Imputer inputCols لحالة الإدخال الفارغة

  • 24 أغسطس 2022

    • تدعم المشاركات والموفرون والمستلمون الآن أوامر SQL لتغيير المالكين والتعليق وإعادة التسمية
    • [SPARK-39983][CORE] [SQL] لا تقم بتخزين علاقات البث غير المتسلسلة مؤقتا على برنامج التشغيل
    • [SPARK-39912][SPARK-39828][SQL] تحسين CatalogImpl
    • [SPARK-39775][CORE] [AVRO] تعطيل التحقق من صحة القيم الافتراضية عند تحليل مخططات Avro
    • [SPARK-39806] تم إصلاح المشكلة في الاستعلامات التي تصل إلى تعطل بنية بيانات التعريف على الجداول المقسمة
    • [SPARK-39867][SQL] يجب ألا يرث الحد العمومي OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON] [SQL] تطبيق الإسقاط عندما تكون سمات المجموعة فارغة
    • [SPARK-39839][SQL] التعامل مع حالة خاصة من عشري فارغ متغير الطول مع إزاحة غير صفرية وSize في التحقق من التكامل الهيكلي UnsafeRow
    • [SPARK-39713][SQL] وضع ANSI: إضافة اقتراح لاستخدام try_element_at لخطأ INVALID_ARRAY_INDEX
    • [SPARK-39847][SS] إصلاح حالة التعارض في RocksDBLoader.loadLibrary() إذا تمت مقاطعة مؤشر ترابط المتصل
    • [SPARK-39731][SQL] إصلاح المشكلة في مصادر بيانات CSV وJSON عند تحليل التواريخ بتنسيق "yyyyMMdd" باستخدام نهج محلل الوقت المصحح
    • تحديثات أمان نظام التشغيل.

  • 10 أغسطس 2022

    • بالنسبة لجداول Delta مع التحكم في الوصول إلى الجدول، تطور المخطط التلقائي من خلال عبارات DML مثل INSERT و MERGE متاح الآن لجميع المستخدمين الذين لديهم MODIFY أذونات على مثل هذه الجداول. بالإضافة إلى ذلك، يتم الآن خفض الأذونات المطلوبة لتنفيذ تطور المخطط باستخدام COPY INTO من OWNER إلى MODIFY للتناسق مع الأوامر الأخرى. تجعل هذه التغييرات نموذج أمان ACL للجدول أكثر اتساقا مع نموذج أمان كتالوج Unity وكذلك مع العمليات الأخرى مثل استبدال جدول.
    • [SPARK-39889] تحسين رسالة الخطأ للقسمة بمقدار 0
    • [SPARK-39795] [SQL] دالة SQL الجديدة: try_to_timestamp
    • [SPARK-39749] استخدم دائما تمثيل سلسلة عادية على التحويل العشري كسلسلة ضمن وضع ANSI
    • [SPARK-39625] إعادة تسمية df.as إلى df.to
    • [SPARK-39787] [SQL] استخدام فئة الخطأ في خطأ تحليل الدالة to_timestamp
    • [SPARK-39625] [SQL] إضافة Dataset.as(StructType)
    • [SPARK-39689] دعم حرفين lineSep في مصدر بيانات CSV
    • [SPARK-39579] [SQL] [PYTHON] [R] جعل ListFunctions/getFunction/functionExists متوافقا مع مساحة اسم الطبقة 3
    • [SPARK-39702] [CORE] تقليل حمل الذاكرة ل TransportCipher$EncryptedMessage باستخدام byteRawChannel مشترك
    • [SPARK-39575] [AVRO] إضافة ByteBuffer#rewind بعد ByteBuffer#get in AvroDeserializer
    • [SPARK-39265] [SQL] إصلاح فشل الاختبار عند تمكين SPARK_ANSI_SQL_MODE
    • [SPARK-39441] [SQL] تسريع DeduplicateRelations
    • [SPARK-39497] [SQL] تحسين استثناء التحليل لعمود مفتاح الخريطة المفقود
    • [SPARK-39476] [SQL] تعطيل تحسين تحويل Unwrap عند التحويل من Long إلى Float/ Double أو من Integer إلى Float
    • [SPARK-39434] [SQL] توفير سياق استعلام خطأ وقت التشغيل عندما يكون فهرس الصفيف خارج الحدود

Databricks Runtime 11.0 (EoS)

راجع Databricks Runtime 11.0 (EoS).

  • 29 نوفمبر 2022
    • يمكن للمستخدمين تكوين سلوك المسافات البيضاء البادئة واللاحقة عند كتابة البيانات باستخدام موصل Redshift. تمت إضافة الخيارات التالية للتحكم في معالجة المسافة البيضاء:
      • csvignoreleadingwhitespace، عند التعيين إلى true، يزيل المسافة البيضاء البادئة من القيم أثناء عمليات الكتابة عند tempformat تعيين إلى CSV أو CSV GZIP. يتم الاحتفاظ بالمسافات البيضاء عند تعيين التكوين إلى false. بشكل افتراضي، القيمة هي true.
      • csvignoretrailingwhitespace، عند التعيين إلى true، يزيل المسافة البيضاء اللاحقة من القيم أثناء عمليات الكتابة عند tempformat تعيين إلى CSV أو CSV GZIP. يتم الاحتفاظ بالمسافات البيضاء عند تعيين التكوين إلى false. بشكل افتراضي، القيمة هي true.
    • تم إصلاح خطأ مع تحليل JSON في "المحمل التلقائي" عندما تركت جميع الأعمدة كسلاسل (cloudFiles.inferColumnTypes لم يتم تعيينها أو تعيينها إلى false) وكان JSON يحتوي على كائنات متداخلة.
    • [SPARK-39650][SS] إصلاح مخطط القيمة غير الصحيح في دفق إلغاء التكرار مع التوافق مع الإصدارات السابقة
    • تحديثات أمان نظام التشغيل.
  • 15 نوفمبر 2022
    • [SPARK-40646] تم إصلاح تحليل JSON للبنى والخرائط والصفائف حتى عندما لا يتطابق جزء من السجل مع المخطط، فلا يزال من الممكن تحليل باقي السجل بشكل صحيح بدلا من إرجاع القيم الخالية. للاشتراك في السلوك المحسن، قم بتعيين spark.sql.json.enablePartialResults إلى true. يتم تعطيل العلامة بشكل افتراضي للحفاظ على السلوك الأصلي.
  • 1 نوفمبر 2022
    • تمت ترقية نص Apache commons إلى 1.10.0.
    • تم إصلاح مشكلة حيث إذا كان جدول Delta يحتوي على عمود معرف من قبل المستخدم باسم _change_type، ولكن تم تعطيل موجز بيانات التغيير في هذا الجدول، فستملأ البيانات الموجودة في هذا العمود قيم NULL بشكل غير صحيح عند تشغيل MERGE.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث يمكن تكرار ملف في نفس الدفعة الصغيرة عند allowOverwrites تمكين
    • [SPARK-40697][SQL] إضافة ترك مساحة للأحرف من جانب القراءة لتغطية ملفات البيانات الخارجية
    • [SPARK-40596][CORE] ملء ExecutorDecommission بالرسائل في ExecutorDecommissionInfo
    • تحديثات أمان نظام التشغيل.
  • 18 أكتوبر 2022
    • [SPARK-40213][SQL] دعم تحويل قيمة ASCII للأحرف اللاتينية 1
    • تحديثات أمان نظام التشغيل.
  • 5 أكتوبر 2022
    • يمكن للمستخدمين تعيين spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") لإعادة تمكين القائمة الأصلية للتحميل التلقائي على ADLS Gen2. تم إيقاف تشغيل القائمة الأصلية مسبقا بسبب مشكلات في الأداء، ولكن ربما أدت إلى زيادة في تكاليف التخزين للعملاء. تم طرح هذا التغيير إلى DBR 10.4 و9.1 في تحديث الصيانة السابق.
    • [SPARK-40169] عدم الضغط على عوامل تصفية Parquet بدون أي مرجع إلى مخطط البيانات
    • [SPARK-40460][SS] إصلاح مقاييس الدفق عند تحديد _metadata
    • [SPARK-40468][SQL] إصلاح تشذيب العمود في CSV عند تحديد _corrupt_record
    • تحديثات أمان نظام التشغيل.
  • 22 سبتمبر 2022
    • [SPARK-40315][SQL] إضافة hashCode() ل Literal of ArrayBasedMapData
    • [SPARK-40380][SQL] إصلاح الطي المستمر ل InvokeLike لتجنب القيم الحرفية غير القابلة للتسلسل المضمنة في الخطة
    • [SPARK-40089][SQL] إصلاح الفرز لبعض الأنواع العشرية
    • [SPARK-39887][SQL] يجب أن تحتفظ RemoveRedundantAliases بأسماء مستعارة تجعل إخراج عقد الإسقاط فريدا
    • [SPARK-40152][SQL] إصلاح مشكلة تجميع split_part codegen
  • 6 سبتمبر 2022
    • [SPARK-40235][CORE] استخدام التأمين القابل للمقاطعة بدلا من المزامنة في Executor.updateDependencies()
    • [SPARK-40212][SQL] لا يعالج SparkSQL castPartValue البايت أو القصير أو العائم بشكل صحيح
    • [SPARK-40218][SQL] يجب أن تحتفظ GROUPING SETS بأعمدة التجميع
    • [SPARK-39976][SQL] يجب أن يتعامل ArrayIntersect مع القيمة الخالية في التعبير الأيسر بشكل صحيح
    • [SPARK-40053][CORE] [SQL] [الاختبارات] إضافة assume إلى حالات الإلغاء الديناميكية التي تتطلب بيئة وقت تشغيل Python
    • [SPARK-35542][CORE] [ML] Fix: Bucketizer created for multiple columns with parameters splitsArray, inputCols and outputCols can not be loaded after saving it
    • [SPARK-40079][CORE] إضافة التحقق من صحة Imputer inputCols لحالة الإدخال الفارغة
  • 24 أغسطس 2022
    • [SPARK-39983][CORE] [SQL] لا تقم بتخزين علاقات البث غير المتسلسلة مؤقتا على برنامج التشغيل
    • [SPARK-39775][CORE] [AVRO] تعطيل التحقق من صحة القيم الافتراضية عند تحليل مخططات Avro
    • [SPARK-39806] تم إصلاح المشكلة في الاستعلامات التي تصل إلى تعطل بنية بيانات التعريف على الجداول المقسمة
    • [SPARK-39867][SQL] يجب ألا يرث الحد العمومي OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON] [SQL] تطبيق الإسقاط عندما تكون سمات المجموعة فارغة
    • تحديثات أمان نظام التشغيل.
  • 9 أغسطس 2022
    • [SPARK-39713][SQL] وضع ANSI: إضافة اقتراح لاستخدام try_element_at لخطأ INVALID_ARRAY_INDEX
    • [SPARK-39847] إصلاح حالة التعارض في RocksDBLoader.loadLibrary() إذا تمت مقاطعة مؤشر ترابط المتصل
    • [SPARK-39731][SQL] إصلاح المشكلة في مصادر بيانات CSV وJSON عند تحليل التواريخ بتنسيق "yyyyMMdd" باستخدام نهج محلل الوقت المصحح
    • [SPARK-39889] تحسين رسالة الخطأ للقسمة بمقدار 0
    • [SPARK-39795][SQL] دالة SQL الجديدة: try_to_timestamp
    • [SPARK-39749] استخدم دائما تمثيل سلسلة عادية على التحويل العشري كسلسلة ضمن وضع ANSI
    • [SPARK-39625][SQL] إضافة Dataset.to(StructType)
    • [SPARK-39787][SQL] استخدام فئة الخطأ في خطأ تحليل الدالة to_timestamp
    • تحديثات أمان نظام التشغيل.
  • 27 يوليو 2022
    • [SPARK-39689]دعم حرفين lineSep في مصدر بيانات CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded يجب أن يكون مؤشر ترابط آمنا
    • [SPARK-39702][CORE] تقليل حمل الذاكرة ل TransportCipher$EncryptedMessage باستخدام byteRawChannel مشترك
    • [SPARK-39575][AVRO] إضافة ByteBuffer#rewind بعد ByteBuffer#get in AvroDeserializer
    • [SPARK-39497][SQL] تحسين استثناء التحليل لعمود مفتاح الخريطة المفقود
    • [SPARK-39441][SQL] تسريع DeduplicateRelations
    • [SPARK-39476][SQL] تعطيل تحسين تحويل Unwrap عند التحويل من Long إلى Float/ Double أو من Integer إلى Float
    • [SPARK-39434][SQL] توفير سياق استعلام خطأ وقت التشغيل عندما يكون فهرس الصفيف خارج الحدود
    • [SPARK-39570][SQL] يجب أن يسمح الجدول المضمن بتعبيرات بالاسم المستعار
    • تحديثات أمان نظام التشغيل.
  • 13 يوليو 2022
    • جعل نتائج عملية Delta MERGE متسقة عندما يكون المصدر غير محدد.
    • تم إصلاح مشكلة cloud_files_state TVF عند التشغيل على مسارات غير DBFS.
    • استخدام المحمل التلقائي المعطلة لواجهات برمجة التطبيقات السحابية الأصلية لقائمة الدليل على Azure.
    • [SPARK-38796][SQL] تحديث to_number ووظائف try_to_number للسماح ب PR بأرقام موجبة
    • [SPARK-39272][SQL] زيادة موضع بدء سياق الاستعلام بمقدار 1
    • [SPARK-39419][SQL] إصلاح ArraySort لطرح استثناء عندما يرجع المقارن قيمة خالية
    • تحديثات أمان نظام التشغيل.
  • 5 يوليو 2022
    • تحسين رسائل الخطأ لمجموعة من فئات الخطأ.
    • [SPARK-39451][SQL] دعم فواصل التحويل إلى التكاملات في وضع ANSI
    • [SPARK-39361] لا تستخدم نمط التحويل القابل للرمي الموسع ل Log4J2 في تكوينات التسجيل الافتراضية
    • [SPARK-39354][SQL] تأكد من إظهار Table or view not found حتى إذا كانت هناك dataTypeMismatchError صلة Filter في نفس الوقت
    • [SPARK-38675][CORE] إصلاح السباق أثناء إلغاء القفل في BlockInfoManager
    • [SPARK-39392][SQL] تحسين رسائل خطأ ANSI لتلميحات الدالة try_*
    • [SPARK-39214][SQL] [3.3] تحسين الأخطاء المتعلقة ب CAST
    • [SPARK-37939][SQL] استخدام فئات الخطأ في تحليل أخطاء الخصائص
    • [SPARK-39085][SQL] نقل رسالة الخطأ إلى INCONSISTENT_BEHAVIOR_CROSS_VERSION error-classes.json
    • [SPARK-39376][SQL] إخفاء الأعمدة المكررة في توسيع نجمي للاسم المستعار للسعلام الفرعي من NATURAL/USING JOIN
    • [SPARK-39283][CORE] إصلاح حالة التوقف التام بين TaskMemoryManager وSableExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] يجب ألا يتحقق Spark من أسماء الحقول عند قراءة الملفات
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 10.5 (EoS)

راجع Databricks Runtime 10.5 (EoS).

  • 1 نوفمبر 2022
    • تم إصلاح مشكلة حيث إذا كان جدول Delta يحتوي على عمود معرف من قبل المستخدم باسم _change_type، ولكن تم تعطيل موجز بيانات التغيير في هذا الجدول، فستملأ البيانات الموجودة في هذا العمود قيم NULL بشكل غير صحيح عند تشغيل MERGE.
    • [SPARK-40697][SQL] إضافة ترك مساحة للأحرف من جانب القراءة لتغطية ملفات البيانات الخارجية
    • [SPARK-40596][CORE] ملء ExecutorDecommission بالرسائل في ExecutorDecommissionInfo
    • تحديثات أمان نظام التشغيل.
  • 18 أكتوبر 2022
    • تحديثات أمان نظام التشغيل.
  • 5 أكتوبر 2022
    • يمكن للمستخدمين تعيين spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") لإعادة تمكين القائمة الأصلية للتحميل التلقائي على ADLS Gen2. تم إيقاف تشغيل القائمة الأصلية مسبقا بسبب مشكلات في الأداء، ولكن ربما أدت إلى زيادة في تكاليف التخزين للعملاء. تم طرح هذا التغيير إلى DBR 10.4 و9.1 في تحديث الصيانة السابق.
    • تمت ترقية reload4j إلى 1.2.19 لإصلاح الثغرات الأمنية.
    • [SPARK-40460][SS] إصلاح مقاييس الدفق عند تحديد _metadata
    • [SPARK-40468][SQL] إصلاح تشذيب العمود في CSV عند تحديد _corrupt_record
    • تحديثات أمان نظام التشغيل.
  • 22 سبتمبر 2022
    • [SPARK-40315][SQL] إضافة hashCode() ل Literal of ArrayBasedMapData
    • [SPARK-40213][SQL] دعم تحويل قيمة ASCII للأحرف اللاتينية 1
    • [SPARK-40380][SQL] إصلاح الطي المستمر ل InvokeLike لتجنب القيم الحرفية غير القابلة للتسلسل المضمنة في الخطة
    • [SPARK-38404][SQL] تحسين دقة CTE عندما يشير CTE متداخل إلى CTE خارجي
    • [SPARK-40089][SQL] إصلاح الفرز لبعض الأنواع العشرية
    • [SPARK-39887][SQL] يجب أن تحتفظ RemoveRedundantAliases بأسماء مستعارة تجعل إخراج عقد الإسقاط فريدا
    • تحديثات أمان نظام التشغيل.
  • 6 سبتمبر 2022
    • [SPARK-40235][CORE] استخدام التأمين القابل للمقاطعة بدلا من المزامنة في Executor.updateDependencies()
    • [SPARK-39976][SQL] يجب أن يتعامل ArrayIntersect مع القيمة الخالية في التعبير الأيسر بشكل صحيح
    • [SPARK-40053][CORE] [SQL] [الاختبارات] إضافة assume إلى حالات الإلغاء الديناميكية التي تتطلب بيئة وقت تشغيل Python
    • [SPARK-35542][CORE] [ML] Fix: Bucketizer created for multiple columns with parameters splitsArray, inputCols and outputCols can not be loaded after saving it
    • [SPARK-40079][CORE] إضافة التحقق من صحة Imputer inputCols لحالة الإدخال الفارغة
  • 24 أغسطس 2022
    • [SPARK-39983][CORE] [SQL] لا تقم بتخزين علاقات البث غير المتسلسلة مؤقتا على برنامج التشغيل
    • [SPARK-39775][CORE] [AVRO] تعطيل التحقق من صحة القيم الافتراضية عند تحليل مخططات Avro
    • [SPARK-39806] تم إصلاح المشكلة في الاستعلامات التي تصل إلى تعطل بنية بيانات التعريف على الجداول المقسمة
    • [SPARK-39962][PYTHON] [SQL] تطبيق الإسقاط عندما تكون سمات المجموعة فارغة
    • [SPARK-37643][SQL] عندما يكون charVarcharAsString صحيحا، بالنسبة لاستعلام دالة تقييم نوع بيانات char يجب تخطي قاعدة rpadding
    • تحديثات أمان نظام التشغيل.
  • 9 أغسطس 2022
    • [SPARK-39847] إصلاح حالة التعارض في RocksDBLoader.loadLibrary() إذا تمت مقاطعة مؤشر ترابط المتصل
    • [SPARK-39731][SQL] إصلاح المشكلة في مصادر بيانات CSV وJSON عند تحليل التواريخ بتنسيق "yyyyMMdd" باستخدام نهج محلل الوقت المصحح
    • تحديثات أمان نظام التشغيل.
  • 27 يوليو 2022
    • [SPARK-39625][SQL] إضافة Dataset.as(StructType)
    • [SPARK-39689]دعم حرفين lineSep في مصدر بيانات CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded يجب أن يكون مؤشر ترابط آمنا
    • [SPARK-39570][SQL] يجب أن يسمح الجدول المضمن بتعبيرات بالاسم المستعار
    • [SPARK-39702][CORE] تقليل حمل الذاكرة ل TransportCipher$EncryptedMessage باستخدام byteRawChannel مشترك
    • [SPARK-39575][AVRO] إضافة ByteBuffer#rewind بعد ByteBuffer#get in AvroDeserializer
    • [SPARK-39476][SQL] تعطيل تحسين تحويل Unwrap عند التحويل من Long إلى Float/ Double أو من Integer إلى Float
    • تحديثات أمان نظام التشغيل.
  • 13 يوليو 2022
    • جعل نتائج عملية Delta MERGE متسقة عندما يكون المصدر غير محدد.
    • [SPARK-39355][SQL] يستخدم عمود واحد مقتبس لإنشاء قاعدة بيانات غير محلولة
    • [SPARK-39548][SQL] الأمر CreateView مع استعلام عبارة نافذة ضرب تعريف نافذة خاطئ لم يتم العثور على مشكلة
    • [SPARK-39419][SQL] إصلاح ArraySort لطرح استثناء عندما يرجع المقارن قيمة خالية
    • استخدام المحمل التلقائي المعطلة لواجهات برمجة التطبيقات السحابية الأصلية لقائمة الدليل على Azure.
    • تحديثات أمان نظام التشغيل.
  • 5 يوليو 2022
    • [SPARK-39376][SQL] إخفاء الأعمدة المكررة في توسيع نجمي للاسم المستعار للسعلام الفرعي من NATURAL/USING JOIN
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2022
    • [SPARK-39283][CORE] إصلاح حالة التوقف التام بين TaskMemoryManager وSableExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] يجب ألا يتحقق Spark من أسماء الحقول عند قراءة الملفات
    • [SPARK-34096][SQL] تحسين الأداء nth_value تجاهل القيم الخالية عبر نافذة الإزاحة
    • [SPARK-36718][SQL] [متابعة] isExtractOnly إصلاح التحقق في "مشروع الطي"
  • 2 يونيو 2022
    • [SPARK-39166][SQL] توفير سياق استعلام خطأ وقت التشغيل للحساب الثنائي عند إيقاف تشغيل WSCG
    • [SPARK-39093][SQL] تجنب خطأ التحويل البرمجي ل codegen عند قسمة فواصل السنة الشهرية أو الفواصل الزمنية لوقت اليوم على جزء لا يتجزأ
    • [SPARK-38990][SQL] تجنب NullPointerException عند تقييم تنسيق date_trunc/الاقتطاع كمرجع مرتبط
    • تحديثات أمان نظام التشغيل.
  • 18 مايو 2022
    • إصلاح تسرب محتمل للذاكرة الأصلية في "المحمل التلقائي".
    • [SPARK-38868][SQL] لا تنشر استثناءات من دالة تقييم التصفية عند تحسين الصلات الخارجية
    • [SPARK-38796][SQL] تنفيذ to_number ووظائف SQL try_to_number وفقا لمواصفات جديدة
    • [SPARK-38918][SQL] يجب أن يؤدي تشذيب الأعمدة المتداخلة إلى تصفية السمات التي لا تنتمي إلى العلاقة الحالية
    • [SPARK-38929][SQL] تحسين رسائل الخطأ لحالات فشل الإرسال في ANSI
    • [SPARK-38926][SQL] أنواع الإخراج في رسائل الخطأ في نمط SQL
    • [SPARK-39084][PYSPARK] إصلاح df.rdd.isEmpty() باستخدام TaskContext لإيقاف المكرر عند إكمال المهمة
    • [SPARK-32268][SQL] إضافة ColumnPruning في injectBloomFilter
    • [SPARK-38908][SQL] توفير سياق الاستعلام في خطأ وقت التشغيل من التحويل من سلسلة إلى رقم/تاريخ/طابع زمني/منطقي
    • [SPARK-39046][SQL] إرجاع سلسلة سياق فارغة إذا تم تعيين TreeNode.origin بشكل خاطئ
    • [SPARK-38974][SQL] تصفية الدالات المسجلة باسم قاعدة بيانات معين في دالات القائمة
    • [SPARK-38762][SQL] توفير سياق الاستعلام في أخطاء تجاوز الفاصلة العشرية
    • [SPARK-38931][SS] إنشاء دليل dfs الجذر ل RocksDBFileManager مع عدد غير معروف من المفاتيح على نقطة التحقق 1
    • [SPARK-38992][CORE] تجنب استخدام bash -c في ShellBasedGroupsMappingProvider
    • [SPARK-38716][SQL] توفير سياق الاستعلام في مفتاح الخريطة خطأ غير موجود
    • [SPARK-38889][SQL] تحويل عوامل تصفية الأعمدة المنطقية برمجيا لاستخدام نوع البت لمصدر بيانات MSSQL
    • [SPARK-38698][SQL] توفير سياق الاستعلام في خطأ وقت التشغيل ل Divide/Div/Reminder/Pmod
    • [SPARK-38823][SQL] جعل NewInstance غير قابل للطي لإصلاح مشكلة تلف المخزن المؤقت للتجميع
    • [SPARK-38809][SS] تنفيذ خيار لتخطي القيم الخالية في تنفيذ التجزئة المتماثلة لصلات دفق الدفق
    • [SPARK-38676][SQL] توفير سياق استعلام SQL في رسالة خطأ وقت التشغيل لإضافة/طرح/ضرب
    • [SPARK-38677][PYSPARK] يجب أن يكتشف Python MonitorThread حالة التوقف التام بسبب حظر الإدخال/الإخراج
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 10.3 (EoS)

راجع Databricks Runtime 10.3 (EoS).

  • 27 يوليو 2022
    • [SPARK-39689]دعم حرفين lineSep في مصدر بيانات CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded يجب أن يكون مؤشر ترابط آمنا
    • [SPARK-39702][CORE] تقليل حمل الذاكرة ل TransportCipher$EncryptedMessage باستخدام byteRawChannel مشترك
    • تحديثات أمان نظام التشغيل.
  • 20 يوليو 2022
    • جعل نتائج عملية Delta MERGE متسقة عندما يكون المصدر غير محدد.
    • [SPARK-39476][SQL] تعطيل تحسين تحويل Unwrap عند التحويل من Long إلى Float/ Double أو من Integer إلى Float
    • [SPARK-39548][SQL] الأمر CreateView مع استعلام عبارة نافذة ضرب تعريف نافذة خاطئ لم يتم العثور على مشكلة
    • [SPARK-39419][SQL] إصلاح ArraySort لطرح استثناء عندما يرجع المقارن قيمة خالية
    • تحديثات أمان نظام التشغيل.
  • 5 يوليو 2022
    • [SPARK-39376][SQL] إخفاء الأعمدة المكررة في توسيع نجمي للاسم المستعار للسعلام الفرعي من NATURAL/USING JOIN
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2022
    • [SPARK-39283][CORE] إصلاح حالة التوقف التام بين TaskMemoryManager وSableExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] يجب ألا يتحقق Spark من أسماء الحقول عند قراءة الملفات
    • [SPARK-34096][SQL] تحسين الأداء nth_value تجاهل القيم الخالية عبر نافذة الإزاحة
    • [SPARK-36718][SQL] [متابعة] isExtractOnly إصلاح التحقق في "مشروع الطي"
  • 2 يونيو 2022
    • [SPARK-38990][SQL] تجنب NullPointerException عند تقييم تنسيق date_trunc/الاقتطاع كمرجع مرتبط
    • تحديثات أمان نظام التشغيل.
  • 18 مايو 2022
    • إصلاح تسرب محتمل للذاكرة الأصلية في "المحمل التلقائي".
    • [SPARK-38918][SQL] يجب أن يؤدي تشذيب الأعمدة المتداخلة إلى تصفية السمات التي لا تنتمي إلى العلاقة الحالية
    • [SPARK-37593][CORE] تقليل حجم الصفحة الافتراضية حسب LONG_ARRAY_OFFSET إذا تم استخدام G1GC ON_HEAP
    • [SPARK-39084][PYSPARK] إصلاح df.rdd.isEmpty() باستخدام TaskContext لإيقاف المكرر عند إكمال المهمة
    • [SPARK-32268][SQL] إضافة ColumnPruning في injectBloomFilter
    • [SPARK-38974][SQL] تصفية الدالات المسجلة باسم قاعدة بيانات معين في دالات القائمة
    • [SPARK-38889][SQL] تحويل عوامل تصفية الأعمدة المنطقية برمجيا لاستخدام نوع البت لمصدر بيانات MSSQL
    • تحديثات أمان نظام التشغيل.
  • 4 مايو 2022
    • تمت ترقية Java AWS SDK من الإصدار 1.11.655 إلى 1.12.1899.
  • 19 أبريل 2022
    • [SPARK-38616][SQL] تعقب نص استعلام SQL في Catalyst TreeNode
    • تحديثات أمان نظام التشغيل.
  • 6 أبريل 2022
    • [SPARK-38631][CORE] يستخدم التنفيذ المستند إلى Java لإلغاء التصويب في Utils.unpack
    • تحديثات أمان نظام التشغيل.
  • 22 مارس 2022
    • تغيير دليل العمل الحالي لدفاتر الملاحظات على مجموعات التزامن العالي مع تمكين التحكم في الوصول إلى الجدول أو تمرير بيانات الاعتماد إلى الدليل الرئيسي للمستخدم. في السابق، كان /databricks/driverالدليل العامل .
    • [SPARK-38437][SQL] تسلسل متساهل للتاريخ والوقت من مصدر البيانات
    • [SPARK-38180][SQL] السماح بتعبيرات آمنة في دالات تقييم المساواة المترابطة
    • [SPARK-38155][SQL] عدم السماح بتجميع مميز في الاستعلامات الفرعية الجانبية مع دالات تقييم غير معتمدة
    • [SPARK-38325][SQL] وضع ANSI: تجنب خطأ وقت التشغيل المحتمل في HashJoin.extractKeyExprAt()
  • 14 مارس 2022
    • تحسين الكشف عن تعارض المعاملات للمعاملات الفارغة في Delta Lake.
    • [SPARK-38185][SQL] إصلاح البيانات بشكل غير صحيح إذا كانت الدالة التجميعية فارغة
    • [SPARK-38318][SQL] التراجع عند استبدال طريقة عرض مجموعة البيانات
    • [SPARK-38236][SQL] يتم التعامل مع مسارات الملفات المطلقة المحددة في جدول الإنشاء/التغيير على أنها نسبية
    • [SPARK-35937][SQL] يجب أن يعمل استخراج حقل التاريخ من الطابع الزمني في وضع ANSI
    • [SPARK-34069][SQL] يجب أن تحترم مهام إنهاء الحاجز SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] السماح بتعيين المتجر بين TimestampNTZ و Date/Timestamp
  • 23 فبراير 2022
    • [SPARK-27442][SQL] إزالة اسم حقل التحقق عند قراءة/كتابة البيانات في parquet

Databricks Runtime 10.2 (EoS)

راجع Databricks Runtime 10.2 (EoS).

  • 15 يونيو 2022
    • [SPARK-39283][CORE] إصلاح حالة التوقف التام بين TaskMemoryManager وSableExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] يجب ألا يتحقق Spark من أسماء الحقول عند قراءة الملفات
    • [SPARK-34096][SQL] تحسين الأداء nth_value تجاهل القيم الخالية عبر نافذة الإزاحة
  • 2 يونيو 2022
    • [SPARK-38918][SQL] يجب أن يؤدي تشذيب الأعمدة المتداخلة إلى تصفية السمات التي لا تنتمي إلى العلاقة الحالية
    • [SPARK-38990][SQL] تجنب NullPointerException عند تقييم تنسيق date_trunc/الاقتطاع كمرجع مرتبط
    • تحديثات أمان نظام التشغيل.
  • 18 مايو 2022
    • إصلاح تسرب محتمل للذاكرة الأصلية في "المحمل التلقائي".
    • [SPARK-39084][PYSPARK] إصلاح df.rdd.isEmpty() باستخدام TaskContext لإيقاف المكرر عند إكمال المهمة
    • [SPARK-38889][SQL] تحويل عوامل تصفية الأعمدة المنطقية برمجيا لاستخدام نوع البت لمصدر بيانات MSSQL
    • [SPARK-38931][SS] إنشاء دليل dfs الجذر ل RocksDBFileManager مع عدد غير معروف من المفاتيح على نقطة التحقق 1
    • تحديثات أمان نظام التشغيل.
  • 4 مايو 2022
    • تمت ترقية Java AWS SDK من الإصدار 1.11.655 إلى 1.12.1899.
  • 19 أبريل 2022
    • تحديثات أمان نظام التشغيل.
    • إصلاحات الأخطاء المتنوعة.
  • 6 أبريل 2022
    • [SPARK-38631][CORE] يستخدم التنفيذ المستند إلى Java لإلغاء التصويب في Utils.unpack
    • تحديثات أمان نظام التشغيل.
  • 22 مارس 2022
    • تغيير دليل العمل الحالي لدفاتر الملاحظات على مجموعات التزامن العالي مع تمكين التحكم في الوصول إلى الجدول أو تمرير بيانات الاعتماد إلى الدليل الرئيسي للمستخدم. في السابق، كان /databricks/driverالدليل العامل .
    • [SPARK-38437][SQL] تسلسل متساهل للتاريخ والوقت من مصدر البيانات
    • [SPARK-38180][SQL] السماح بتعبيرات آمنة في دالات تقييم المساواة المترابطة
    • [SPARK-38155][SQL] عدم السماح بتجميع مميز في الاستعلامات الفرعية الجانبية مع دالات تقييم غير معتمدة
    • [SPARK-38325][SQL] وضع ANSI: تجنب خطأ وقت التشغيل المحتمل في HashJoin.extractKeyExprAt()
  • 14 مارس 2022
    • تحسين الكشف عن تعارض المعاملات للمعاملات الفارغة في Delta Lake.
    • [SPARK-38185][SQL] إصلاح البيانات بشكل غير صحيح إذا كانت الدالة التجميعية فارغة
    • [SPARK-38318][SQL] التراجع عند استبدال طريقة عرض مجموعة البيانات
    • [SPARK-38236][SQL] يتم التعامل مع مسارات الملفات المطلقة المحددة في جدول الإنشاء/التغيير على أنها نسبية
    • [SPARK-35937][SQL] يجب أن يعمل استخراج حقل التاريخ من الطابع الزمني في وضع ANSI
    • [SPARK-34069][SQL] يجب أن تحترم مهام إنهاء الحاجز SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] السماح بتعيين المتجر بين TimestampNTZ و Date/Timestamp
  • 23 فبراير 2022
    • [SPARK-37577][SQL] إصلاح ClassCastException: لا يمكن تحويل ArrayType إلى StructType لإنشاء Pruning
  • 8 فبراير 2022
    • [SPARK-27442][SQL] إزالة اسم حقل التحقق عند قراءة/كتابة البيانات في parquet.
    • تحديثات أمان نظام التشغيل.
  • 1 فبراير 2022
    • تحديثات أمان نظام التشغيل.
  • 26 يناير 2022
    • إصلاح خطأ حيث يمكن تثبيت المعاملات المتزامنة على جداول Delta بترتيب غير قابل للتسلسل في ظل ظروف نادرة معينة.
    • تم إصلاح خطأ حيث قد يفشل الأمر OPTIMIZE عند تمكين لهجة ANSI SQL.
  • 19 يناير 2022
    • تقديم دعم لدمج بيانات الاعتماد المؤقتة إلى COPY INTO لتحميل البيانات المصدر دون الحاجة إلى أذونات ANY_FILE SQL
    • إصلاحات الأخطاء وتحسينات الأمان.
  • 20 ديسمبر 2021
    • تم إصلاح خطأ نادر باستخدام التصفية المستندة إلى فهرس عمود Parquet.

Databricks Runtime 10.1 (EoS)

راجع Databricks Runtime 10.1 (EoS).

  • 15 يونيو 2022
    • [SPARK-39283][CORE] إصلاح حالة التوقف التام بين TaskMemoryManager وSableExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] يجب ألا يتحقق Spark من أسماء الحقول عند قراءة الملفات
    • [SPARK-34096][SQL] تحسين الأداء nth_value تجاهل القيم الخالية عبر نافذة الإزاحة
  • 2 يونيو 2022
    • تحديثات أمان نظام التشغيل.
  • 18 مايو 2022
    • إصلاح تسرب محتمل للذاكرة الأصلية في "المحمل التلقائي".
    • [SPARK-39084][PYSPARK] إصلاح df.rdd.isEmpty() باستخدام TaskContext لإيقاف المكرر عند إكمال المهمة
    • [SPARK-38889][SQL] تحويل عوامل تصفية الأعمدة المنطقية برمجيا لاستخدام نوع البت لمصدر بيانات MSSQL
    • تحديثات أمان نظام التشغيل.
  • 19 أبريل 2022
    • [SPARK-37270][SQL] إصلاح الدفع القابل للطي في فروع CaseWhen إذا كانت elseValue فارغة
    • تحديثات أمان نظام التشغيل.
  • 6 أبريل 2022
    • [SPARK-38631][CORE] يستخدم التنفيذ المستند إلى Java لإلغاء التصويب في Utils.unpack
    • تحديثات أمان نظام التشغيل.
  • 22 مارس 2022
    • [SPARK-38437][SQL] تسلسل متساهل للتاريخ والوقت من مصدر البيانات
    • [SPARK-38180][SQL] السماح بتعبيرات آمنة في دالات تقييم المساواة المترابطة
    • [SPARK-38155][SQL] عدم السماح بتجميع مميز في الاستعلامات الفرعية الجانبية مع دالات تقييم غير معتمدة
    • [SPARK-38325][SQL] وضع ANSI: تجنب خطأ وقت التشغيل المحتمل في HashJoin.extractKeyExprAt()
  • 14 مارس 2022
    • تحسين الكشف عن تعارض المعاملات للمعاملات الفارغة في Delta Lake.
    • [SPARK-38185][SQL] إصلاح البيانات بشكل غير صحيح إذا كانت الدالة التجميعية فارغة
    • [SPARK-38318][SQL] التراجع عند استبدال طريقة عرض مجموعة البيانات
    • [SPARK-38236][SQL] يتم التعامل مع مسارات الملفات المطلقة المحددة في جدول الإنشاء/التغيير على أنها نسبية
    • [SPARK-35937][SQL] يجب أن يعمل استخراج حقل التاريخ من الطابع الزمني في وضع ANSI
    • [SPARK-34069][SQL] يجب أن تحترم مهام إنهاء الحاجز SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] السماح بتعيين المتجر بين TimestampNTZ و Date/Timestamp
  • 23 فبراير 2022
    • [SPARK-37577][SQL] إصلاح ClassCastException: لا يمكن تحويل ArrayType إلى StructType لإنشاء Pruning
  • 8 فبراير 2022
    • [SPARK-27442][SQL] إزالة اسم حقل التحقق عند قراءة/كتابة البيانات في parquet.
    • تحديثات أمان نظام التشغيل.
  • 1 فبراير 2022
    • تحديثات أمان نظام التشغيل.
  • 26 يناير 2022
    • إصلاح خطأ حيث يمكن تثبيت المعاملات المتزامنة على جداول Delta بترتيب غير قابل للتسلسل في ظل ظروف نادرة معينة.
    • تم إصلاح خطأ حيث قد يفشل الأمر OPTIMIZE عند تمكين لهجة ANSI SQL.
  • 19 يناير 2022
    • تقديم دعم لدمج بيانات الاعتماد المؤقتة إلى COPY INTO لتحميل البيانات المصدر دون الحاجة إلى أذونات ANY_FILE SQL
    • تم إصلاح مشكلة نفاد الذاكرة مع التخزين المؤقت لنتيجة الاستعلام في ظل ظروف معينة.
    • تم إصلاح مشكلة USE DATABASE عندما يقوم مستخدم بتبديل الكتالوج الحالي إلى كتالوج غير افتراضي.
    • إصلاحات الأخطاء وتحسينات الأمان.
    • تحديثات أمان نظام التشغيل.
  • 20 ديسمبر 2021
    • تم إصلاح خطأ نادر باستخدام التصفية المستندة إلى فهرس عمود Parquet.

Databricks Runtime 10.0 (EoS)

راجع Databricks Runtime 10.0 (EoS).

  • 19 أبريل 2022
    • [SPARK-37270][SQL] إصلاح الدفع القابل للطي في فروع CaseWhen إذا كانت elseValue فارغة
    • تحديثات أمان نظام التشغيل.
  • 6 أبريل 2022
    • [SPARK-38631][CORE] يستخدم التنفيذ المستند إلى Java لإلغاء التصويب في Utils.unpack
    • تحديثات أمان نظام التشغيل.
  • 22 مارس 2022
    • [SPARK-38437][SQL] تسلسل متساهل للتاريخ والوقت من مصدر البيانات
    • [SPARK-38180][SQL] السماح بتعبيرات آمنة في دالات تقييم المساواة المترابطة
    • [SPARK-38155][SQL] عدم السماح بتجميع مميز في الاستعلامات الفرعية الجانبية مع دالات تقييم غير معتمدة
    • [SPARK-38325][SQL] وضع ANSI: تجنب خطأ وقت التشغيل المحتمل في HashJoin.extractKeyExprAt()
  • 14 مارس 2022
    • تحسين الكشف عن تعارض المعاملات للمعاملات الفارغة في Delta Lake.
    • [SPARK-38185][SQL] إصلاح البيانات بشكل غير صحيح إذا كانت الدالة التجميعية فارغة
    • [SPARK-38318][SQL] التراجع عند استبدال طريقة عرض مجموعة البيانات
    • [SPARK-38236][SQL] يتم التعامل مع مسارات الملفات المطلقة المحددة في جدول الإنشاء/التغيير على أنها نسبية
    • [SPARK-35937][SQL] يجب أن يعمل استخراج حقل التاريخ من الطابع الزمني في وضع ANSI
    • [SPARK-34069][SQL] يجب أن تحترم مهام إنهاء الحاجز SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] السماح بتعيين المتجر بين TimestampNTZ و Date/Timestamp
  • 23 فبراير 2022
    • [SPARK-37577][SQL] إصلاح ClassCastException: لا يمكن تحويل ArrayType إلى StructType لإنشاء Pruning
  • 8 فبراير 2022
    • [SPARK-27442][SQL] إزالة اسم حقل التحقق عند قراءة/كتابة البيانات في parquet.
    • [SPARK-36905][SQL] إصلاح قراءة طرق عرض الخلية بدون أسماء أعمدة صريحة
    • [SPARK-37859][SQL] إصلاح مشكلة أن جداول SQL التي تم إنشاؤها باستخدام JDBC مع Spark 3.1 غير قابلة للقراءة باستخدام 3.2
    • تحديثات أمان نظام التشغيل.
  • 1 فبراير 2022
    • تحديثات أمان نظام التشغيل.
  • 26 يناير 2022
    • إصلاح خطأ حيث يمكن تثبيت المعاملات المتزامنة على جداول Delta بترتيب غير قابل للتسلسل في ظل ظروف نادرة معينة.
    • تم إصلاح خطأ حيث قد يفشل الأمر OPTIMIZE عند تمكين لهجة ANSI SQL.
  • 19 يناير 2022
    • إصلاحات الأخطاء وتحسينات الأمان.
    • تحديثات أمان نظام التشغيل.
  • 20 ديسمبر 2021
    • تم إصلاح خطأ نادر باستخدام التصفية المستندة إلى فهرس عمود Parquet.
  • 9 نوفمبر 2021
    • قدم علامات تكوين إضافية لتمكين التحكم الدقيق في سلوكيات ANSI.
  • 4 نوفمبر 2021
    • إصلاح خطأ قد يتسبب في فشل تدفقات الدفق المنظم باستخدام ArrayIndexOutOfBoundsException
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: No FileSystem for scheme أو قد يتسبب في عدم سريان التعديلات sparkContext.hadoopConfiguration في الاستعلامات.
    • تمت ترقية موصل Apache Spark لمشاركة دلتا إلى 0.2.0.
  • 30 نوفمبر 2021
    • تم إصلاح مشكلة تحليل الطابع الزمني حيث تم اعتبار سلسلة المنطقة الزمنية بدون نقطتين غير صالحة.
    • تم إصلاح مشكلة نفاد الذاكرة مع التخزين المؤقت لنتيجة الاستعلام في ظل ظروف معينة.
    • تم إصلاح مشكلة USE DATABASE عندما يقوم مستخدم بتبديل الكتالوج الحالي إلى كتالوج غير افتراضي.

Databricks Runtime 9.0 (EoS)

راجع Databricks Runtime 9.0 (EoS) .

  • 8 فبراير 2022
    • تحديثات أمان نظام التشغيل.
  • 1 فبراير 2022
    • تحديثات أمان نظام التشغيل.
  • 26 يناير 2022
    • تم إصلاح خطأ حيث قد يفشل الأمر OPTIMIZE عند تمكين لهجة ANSI SQL.
  • 19 يناير 2022
    • إصلاحات الأخطاء وتحسينات الأمان.
    • تحديثات أمان نظام التشغيل.
  • 4 نوفمبر 2021
    • إصلاح خطأ قد يتسبب في فشل تدفقات الدفق المنظم باستخدام ArrayIndexOutOfBoundsException
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: No FileSystem for scheme أو قد يتسبب في عدم سريان التعديلات sparkContext.hadoopConfiguration في الاستعلامات.
    • تمت ترقية موصل Apache Spark لمشاركة دلتا إلى 0.2.0.
  • 22 سبتمبر 2021
    • إصلاح خطأ في صفيف Spark المصبوب مع قيمة خالية إلى سلسلة
  • 15 سبتمبر 2021
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • 8 سبتمبر 2021
    • دعم إضافي لاسم المخطط (databaseName.schemaName.tableName التنسيق) كاسم الجدول الهدف لموصل Azure Synapse.
    • تمت إضافة دعم أنواع الهندسة والجغرافيا JDBC ل Spark SQL.
    • [SPARK-33527][SQL] توسيع دالة فك التشفير لتكون متسقة مع قواعد البيانات الرئيسية.
    • [SPARK-36532][CORE] [3.1] تم إصلاح حالة التوقف التام لتجنب CoarseGrainedExecutorBackend.onDisconnected executorsconnected منع تعليق إيقاف تشغيل المنفذ.
  • 25 أغسطس 2021
    • تمت ترقية مكتبة برنامج تشغيل SQL Server إلى 9.2.1.jre8.
    • تمت ترقية موصل Snowflake إلى 2.9.0.
    • تم إصلاح الارتباط المقطوع لأفضل دفتر ملاحظات تجريبي على صفحة تجربة AutoML.

Databricks Runtime 8.4 (EoS)

راجع Databricks Runtime 8.4 (EoS).

  • 19 يناير 2022
    • تحديثات أمان نظام التشغيل.
  • 4 نوفمبر 2021
    • إصلاح خطأ قد يتسبب في فشل تدفقات الدفق المنظم باستخدام ArrayIndexOutOfBoundsException
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: No FileSystem for scheme أو قد يتسبب في عدم سريان التعديلات sparkContext.hadoopConfiguration في الاستعلامات.
    • تمت ترقية موصل Apache Spark لمشاركة دلتا إلى 0.2.0.
  • 22 سبتمبر 2021
    • تمت ترقية برنامج تشغيل Spark JDBC إلى 2.6.19.1030
    • [SPARK-36734][SQL] ترقية ORC إلى 1.5.1
  • 15 سبتمبر 2021
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • تحديثات أمان نظام التشغيل.
  • 8 سبتمبر 2021
    • [SPARK-36532][CORE] [3.1] تم إصلاح حالة التوقف التام لتجنب CoarseGrainedExecutorBackend.onDisconnected executorsconnected منع تعليق إيقاف تشغيل المنفذ.
  • 25 أغسطس 2021
    • تمت ترقية مكتبة برنامج تشغيل SQL Server إلى 9.2.1.jre8.
    • تمت ترقية موصل Snowflake إلى 2.9.0.
    • إصلاح خطأ في تمرير بيانات الاعتماد بسبب تحسين الإحضار المسبق ل Parquet الجديد، حيث قد لا يتم العثور على بيانات اعتماد المرور الخاصة بالمستخدم أثناء الوصول إلى الملفات.
  • 11 أغسطس 2021
    • إصلاح مشكلة عدم توافق RocksDB التي تمنع وقت تشغيل Databricks القديم 8.4. يعمل هذا على إصلاح التوافق مع إعادة توجيه أداة COPY INTOالتحميل التلقائي وتطبيقات الدفق ذات الحالة.
    • إصلاح خطأ عند استخدام "المحمل التلقائي" لقراءة ملفات CSV مع ملفات رأس غير متطابقة. إذا لم تتطابق أسماء الأعمدة، ملء العمود بالقيم الخالية. الآن، إذا تم توفير مخطط، فإنه يفترض أن المخطط هو نفسه ولن يحفظ عدم تطابق العمود إلا إذا تم تمكين أعمدة البيانات التي تم إنقاذها.
    • إضافة خيار جديد يسمى externalDataSource في موصل Azure Synapse لإزالة CONTROL متطلبات الإذن على قاعدة البيانات لقراءة PolyBase.
  • 29 يوليو 2021
    • [SPARK-36034][BUILD] إعادة قاعدة التاريخ والوقت في عوامل التصفية التي تم دفعها لأسفل إلى Parquet
    • [SPARK-36163][BUILD] نشر خصائص JDBC الصحيحة في موفر موصل JDBC وإضافة connectionProvider خيار

Databricks Runtime 8.3 (EoS)

راجع Databricks Runtime 8.3 (EoS).

  • 19 يناير 2022
    • تحديثات أمان نظام التشغيل.
  • 4 نوفمبر 2021
    • إصلاح خطأ قد يتسبب في فشل تدفقات الدفق المنظم باستخدام ArrayIndexOutOfBoundsException
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: No FileSystem for scheme أو قد يتسبب في عدم سريان التعديلات sparkContext.hadoopConfiguration في الاستعلامات.
  • 22 سبتمبر 2021
    • تمت ترقية برنامج تشغيل Spark JDBC إلى 2.6.19.1030
  • 15 سبتمبر 2021
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • تحديثات أمان نظام التشغيل.
  • 8 سبتمبر 2021
    • [SPARK-35700][SQL] [WARMFIX] قراءة جدول char/varchar عند إنشائه وكتابته بواسطة أنظمة خارجية.
    • [SPARK-36532][CORE] [3.1] تم إصلاح حالة التوقف التام لتجنب CoarseGrainedExecutorBackend.onDisconnected executorsconnected منع تعليق إيقاف تشغيل المنفذ.
  • 25 أغسطس 2021
    • تمت ترقية مكتبة برنامج تشغيل SQL Server إلى 9.2.1.jre8.
    • تمت ترقية موصل Snowflake إلى 2.9.0.
    • إصلاح خطأ في تمرير بيانات الاعتماد بسبب تحسين الإحضار المسبق ل Parquet الجديد، حيث قد لا يتم العثور على بيانات اعتماد المرور الخاصة بالمستخدم أثناء الوصول إلى الملفات.
  • 11 أغسطس 2021
    • إصلاح خطأ عند استخدام "المحمل التلقائي" لقراءة ملفات CSV مع ملفات رأس غير متطابقة. إذا لم تتطابق أسماء الأعمدة، ملء العمود بالقيم الخالية. الآن، إذا تم توفير مخطط، فإنه يفترض أن المخطط هو نفسه ولن يحفظ عدم تطابق العمود إلا إذا تم تمكين أعمدة البيانات التي تم إنقاذها.
  • 29 يوليو 2021
    • ترقية موصل Databricks Snowflake Spark إلى 2.9.0-spark-3.1
    • [SPARK-36034][BUILD] إعادة قاعدة التاريخ والوقت في عوامل التصفية التي تم دفعها لأسفل إلى Parquet
    • [SPARK-36163][BUILD] نشر خصائص JDBC الصحيحة في موفر موصل JDBC وإضافة connectionProvider خيار
  • 14 يوليو 2021
    • تم إصلاح مشكلة عند استخدام أسماء الأعمدة مع النقاط في موصل Azure Synapse.
    • تنسيق مقدم database.schema.table لموصل Synapse.
    • تمت إضافة دعم لتوفير databaseName.schemaName.tableName التنسيق كجدول هدف بدلا من فقط schemaName.tableName أو tableName.
  • 15 يونيو 2021
    • NoSuchElementException إصلاح خطأ في عمليات الكتابة المحسنة ل Delta Lake التي يمكن أن تحدث عند كتابة كميات كبيرة من البيانات ومواجهة خسائر المنفذ
    • يضيف أوامر SQL CREATE GROUPو DROP GROUPALTER GROUPSHOW GROUPSو.SHOW USERS للحصول على التفاصيل، راجع عبارات الأمان وإظهار العبارات.

Databricks Runtime 8.2 (EoS)

راجع Databricks Runtime 8.2 (EoS) .

  • 22 سبتمبر 2021

    • تحديثات أمان نظام التشغيل.

  • 15 سبتمبر 2021

    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 8 سبتمبر 2021

    • [SPARK-35700][SQL] [WARMFIX] قراءة جدول char/varchar عند إنشائه وكتابته بواسطة أنظمة خارجية.
    • [SPARK-36532][CORE] [3.1] تم إصلاح حالة التوقف التام لتجنب CoarseGrainedExecutorBackend.onDisconnected executorsconnected منع تعليق إيقاف تشغيل المنفذ.

  • 25 أغسطس 2021

    • تمت ترقية موصل Snowflake إلى 2.9.0.

  • 11 أغسطس 2021

    • [SPARK-36034][SQL] إعادة قاعدة التاريخ والوقت في عوامل التصفية التي تم دفعها لأسفل إلى parquet.

  • 29 يوليو 2021

    • ترقية موصل Databricks Snowflake Spark إلى 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] نشر خصائص JDBC الصحيحة في موفر موصل JDBC وإضافة connectionProvider خيار

  • 14 يوليو 2021

    • تم إصلاح مشكلة عند استخدام أسماء الأعمدة مع النقاط في موصل Azure Synapse.
    • تنسيق مقدم database.schema.table لموصل Synapse.
    • تمت إضافة دعم لتوفير databaseName.schemaName.tableName التنسيق كجدول هدف بدلا من فقط schemaName.tableName أو tableName.
    • تم إصلاح خطأ يمنع المستخدمين من الانتقال إلى الوقت إلى الإصدارات المتوفرة القديمة باستخدام جداول Delta.

  • 15 يونيو، 2021

    • NoSuchElementException إصلاح خطأ في عمليات الكتابة المحسنة ل Delta Lake التي يمكن أن تحدث عند كتابة كميات كبيرة من البيانات ومواجهة خسائر المنفذ

  • 26 مايو 2021

    • تم تحديث Python بتصحيح أمان لإصلاح ثغرة أمان Python (CVE-2021-3177).

  • 30 أبريل 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم spark في SparkSubmit
    • [SPARK-34245][CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
    • تم إصلاح مشكلة OOM عندما يقوم برنامج التحميل التلقائي بالإبلاغ عن مقاييس تقدم الدفق المنظم.

Databricks Runtime 8.1 (EoS)

راجع Databricks Runtime 8.1 (EoS).

  • 22 سبتمبر 2021

    • تحديثات أمان نظام التشغيل.

  • 15 سبتمبر 2021

    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 8 سبتمبر 2021

    • [SPARK-35700][SQL] [WARMFIX] قراءة جدول char/varchar عند إنشائه وكتابته بواسطة أنظمة خارجية.
    • [SPARK-36532][CORE] [3.1] تم إصلاح حالة التوقف التام لتجنب CoarseGrainedExecutorBackend.onDisconnected executorsconnected منع تعليق إيقاف تشغيل المنفذ.

  • 25 أغسطس 2021

    • تمت ترقية موصل Snowflake إلى 2.9.0.

  • 11 أغسطس 2021

    • [SPARK-36034][SQL] إعادة قاعدة التاريخ والوقت في عوامل التصفية التي تم دفعها لأسفل إلى parquet.

  • 29 يوليو 2021

    • ترقية موصل Databricks Snowflake Spark إلى 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] نشر خصائص JDBC الصحيحة في موفر موصل JDBC وإضافة connectionProvider خيار

  • 14 يوليو 2021

    • تم إصلاح مشكلة عند استخدام أسماء الأعمدة مع النقاط في موصل Azure Synapse.
    • تم إصلاح خطأ يمنع المستخدمين من الانتقال إلى الوقت إلى الإصدارات المتوفرة القديمة باستخدام جداول Delta.

  • 15 يونيو، 2021

    • NoSuchElementException إصلاح خطأ في عمليات الكتابة المحسنة ل Delta Lake التي يمكن أن تحدث عند كتابة كميات كبيرة من البيانات ومواجهة خسائر المنفذ

  • 26 مايو 2021

    • تم تحديث Python بتصحيح أمان لإصلاح ثغرة أمان Python (CVE-2021-3177).

  • 30 أبريل 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم spark في SparkSubmit
    • تم إصلاح مشكلة OOM عندما يقوم برنامج التحميل التلقائي بالإبلاغ عن مقاييس تقدم الدفق المنظم.

  • 27 أبريل، 2021

    • [SPARK-34245][CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
    • [SPARK-34856][SQL] وضع ANSI: السماح بصب الأنواع المعقدة كنوع سلسلة
    • [SPARK-35014] إصلاح نمط PhysicalAggregation لعدم إعادة كتابة التعبيرات القابلة للطي
    • [SPARK-34769][SQL] AnsiTypeCoercion: إرجاع أضيق نوع قابل للتحويل بين TypeCollection
    • [SPARK-34614][SQL] وضع ANSI: سيؤدي تحويل سلسلة إلى منطقية إلى طرح استثناء عند تحليل الخطأ
    • [SPARK-33794][SQL] وضع ANSI: إصلاح تعبير NextDay لطرح وقت التشغيل IllegalArgumentException عند تلقي إدخال غير صالح ضمن

Databricks Runtime 8.0 (EoS)

راجع Databricks Runtime 8.0 (EoS).

  • 15 سبتمبر 2021

    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 25 أغسطس 2021

    • تمت ترقية موصل Snowflake إلى 2.9.0.

  • 11 أغسطس 2021

    • [SPARK-36034][SQL] إعادة قاعدة التاريخ والوقت في عوامل التصفية التي تم دفعها لأسفل إلى parquet.

  • 29 يوليو 2021

    • [SPARK-36163][BUILD] نشر خصائص JDBC الصحيحة في موفر موصل JDBC وإضافة connectionProvider خيار

  • 14 يوليو 2021

    • تم إصلاح مشكلة عند استخدام أسماء الأعمدة مع النقاط في موصل Azure Synapse.
    • تم إصلاح خطأ يمنع المستخدمين من الانتقال إلى الوقت إلى الإصدارات المتوفرة القديمة باستخدام جداول Delta.

  • 26 مايو 2021

    • تم تحديث Python بتصحيح أمان لإصلاح ثغرة أمان Python (CVE-2021-3177).

  • 30 أبريل 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم spark في SparkSubmit
    • [SPARK-34245][CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية

  • 24 مارس 2021

    • [SPARK-34681][SQL] إصلاح الخطأ الخاص بصلة التجزئة الخارجية الكاملة العشوائية عند إنشاء الجانب الأيسر بشرط غير متساو
    • [SPARK-34534] إصلاح ترتيب blockIds عند استخدام FetchShuffleBlocks لجلب الكتل
    • [SPARK-34613][SQL] لا تلتقط طريقة عرض الإصلاح تعطيل تكوين التلميح

  • 09 مارس 2021

    • [SPARK-34543][SQL] spark.sql.caseSensitive احترام التكوين أثناء حل مواصفات القسم في الإصدار 1 SET LOCATION
    • [SPARK-34392][SQL] دعم ZoneOffset +h:mm في DateTimeUtils. getZoneId
    • [واجهة المستخدم] إصلاح ارتباط href لتصور Spark DAG
    • [SPARK-34436][SQL] دعم DPP مثل تعبير ANY/ALL

Databricks Runtime 7.6 (EoS)

راجع Databricks Runtime 7.6 (EoS).

  • 11 أغسطس 2021
    • [SPARK-36034][SQL] إعادة قاعدة التاريخ والوقت في عوامل التصفية التي تم دفعها لأسفل إلى parquet.
  • 29 يوليو 2021
    • [SPARK-32998][BUILD] إضافة القدرة على تجاوز المستودعات البعيدة الافتراضية باستخدام المستودعات الداخلية فقط
  • 14 يوليو 2021
    • تم إصلاح خطأ يمنع المستخدمين من الانتقال إلى الوقت إلى الإصدارات المتوفرة القديمة باستخدام جداول Delta.
  • 26 مايو 2021
    • تم تحديث Python بتصحيح أمان لإصلاح ثغرة أمان Python (CVE-2021-3177).
  • 30 أبريل 2021
    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم spark في SparkSubmit
    • [SPARK-34245][CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
  • 24 مارس 2021
    • [SPARK-34768][SQL] احترام حجم المخزن المؤقت للإدخل الافتراضي في Univocity
    • [SPARK-34534] إصلاح ترتيب blockIds عند استخدام FetchShuffleBlocks لجلب الكتل
  • 9 مارس 2021
    • (Azure فقط) تم إصلاح خطأ التحميل التلقائي الذي يمكن أن يتسبب في NullPointerException عند استخدام Databricks Runtime 7.6 لتشغيل دفق تحميل تلقائي قديم تم إنشاؤه في Databricks Runtime 7.2
    • [واجهة المستخدم] إصلاح ارتباط href لتصور Spark DAG
    • لا تتم معالجة SparkPlan غير المعروفة للعقدة الطرفية بشكل صحيح في SizeInBytesOnlyStatsSparkPlanVisitor
    • استعادة مخطط الإخراج ل SHOW DATABASES
    • [دلتا] [8.0, 7.6] إصلاح خطأ الحساب في منطق الضبط التلقائي لحجم الملف
    • تعطيل التحقق من عدم الثبات لملفات جدول Delta في ذاكرة التخزين المؤقت للقرص
    • [SQL] استخدام مفتاح بناء التقليم الديناميكي الصحيح عند وجود تلميح الانضمام إلى النطاق
    • تعطيل دعم نوع الحرف في مسار التعليمات البرمجية غير SQL
    • تجنب NPE في DataFrameReader.schema
    • إصلاح NPE عندما لا تحتوي استجابة EventGridClient على كيان
    • إصلاح خطأ تدفق مغلق للقراءة في Azure Auto Loader
    • [SQL] لا تقم بإنشاء نصيحة رقم القسم العشوائي عند تمكين AOS
  • 24 فبراير 2021
    • تمت ترقية موصل Spark BigQuery إلى v0.18، والذي يقدم إصلاحات الأخطاء المختلفة ودعم مكررات السهم وAvro.
    • تم إصلاح مشكلة تصحيح تسببت في إرجاع Spark لنتائج غير صحيحة عندما تختلف الدقة العشرية والمقياس لملف Parquet عن مخطط Spark.
    • تم إصلاح مشكلة فشل القراءة في جداول Microsoft SQL Server التي تحتوي على أنواع بيانات مكانية، عن طريق إضافة دعم أنواع JDBC الهندسية والجغرافية ل Spark SQL.
    • قدم تكوينا spark.databricks.hive.metastore.init.reloadFunctions.enabledجديدا . يتحكم هذا التكوين في تهيئة Hive المضمنة. عند التعيين إلى true، يقوم Azure Databricks بإعادة تحميل جميع الوظائف من جميع قواعد البيانات التي يمتلكها المستخدمون في FunctionRegistry. هذا هو السلوك الافتراضي في Hive Metastore. عند التعيين على false، يقوم Azure Databricks بتعطيل هذه العملية للتحسين.
    • [SPARK-34212] تم إصلاح المشكلات المتعلقة بقراءة البيانات العشرية من ملفات Parquet.
    • [SPARK-34260][SQL] إصلاح تم الحل عند إنشاء طريقة عرض مؤقتة مرتين.

Databricks Runtime 7.5 (EoS)

راجع Databricks Runtime 7.5 (EoS).

  • 26 مايو 2021
    • تم تحديث Python بتصحيح أمان لإصلاح ثغرة أمان Python (CVE-2021-3177).
  • 30 أبريل 2021
    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم spark في SparkSubmit
    • [SPARK-34245][CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
  • 24 مارس 2021
    • [SPARK-34768][SQL] احترام حجم المخزن المؤقت للإدخل الافتراضي في Univocity
    • [SPARK-34534] إصلاح ترتيب blockIds عند استخدام FetchShuffleBlocks لجلب الكتل
  • 9 مارس 2021
    • (Azure فقط) تم إصلاح خطأ التحميل التلقائي الذي يمكن أن يتسبب في NullPointerException عند استخدام Databricks Runtime 7.5 لتشغيل دفق تحميل تلقائي قديم تم إنشاؤه في Databricks Runtime 7.2.
    • [واجهة المستخدم] إصلاح ارتباط href لتصور Spark DAG
    • لا تتم معالجة SparkPlan غير المعروفة للعقدة الطرفية بشكل صحيح في SizeInBytesOnlyStatsSparkPlanVisitor
    • استعادة مخطط الإخراج ل SHOW DATABASES
    • تعطيل التحقق من عدم الثبات لملفات جدول Delta في ذاكرة التخزين المؤقت للقرص
    • [SQL] استخدام مفتاح بناء التقليم الديناميكي الصحيح عند وجود تلميح الانضمام إلى النطاق
    • تعطيل دعم نوع الحرف في مسار التعليمات البرمجية غير SQL
    • تجنب NPE في DataFrameReader.schema
    • إصلاح NPE عندما لا تحتوي استجابة EventGridClient على كيان
    • إصلاح خطأ تدفق مغلق للقراءة في Azure Auto Loader
  • 24 فبراير 2021
    • تمت ترقية موصل Spark BigQuery إلى v0.18، والذي يقدم إصلاحات الأخطاء المختلفة ودعم مكررات السهم وAvro.
    • تم إصلاح مشكلة تصحيح تسببت في إرجاع Spark لنتائج غير صحيحة عندما تختلف الدقة العشرية والمقياس لملف Parquet عن مخطط Spark.
    • تم إصلاح مشكلة فشل القراءة في جداول Microsoft SQL Server التي تحتوي على أنواع بيانات مكانية، عن طريق إضافة دعم أنواع JDBC الهندسية والجغرافية ل Spark SQL.
    • قدم تكوينا spark.databricks.hive.metastore.init.reloadFunctions.enabledجديدا . يتحكم هذا التكوين في تهيئة Hive المضمنة. عند التعيين إلى true، يقوم Azure Databricks بإعادة تحميل جميع الوظائف من جميع قواعد البيانات التي يمتلكها المستخدمون في FunctionRegistry. هذا هو السلوك الافتراضي في Hive Metastore. عند التعيين على false، يقوم Azure Databricks بتعطيل هذه العملية للتحسين.
    • [SPARK-34212] تم إصلاح المشكلات المتعلقة بقراءة البيانات العشرية من ملفات Parquet.
    • [SPARK-34260][SQL] إصلاح تم الحل عند إنشاء طريقة عرض مؤقتة مرتين.
  • 4 فبراير 2021
    • تم إصلاح الانحدار الذي يمنع التنفيذ التزايدي لاستعلام يحدد حدا عموميا مثل SELECT * FROM table LIMIT nrows. تم تجربة الانحدار من قبل المستخدمين الذين يقومون بتشغيل الاستعلامات عبر ODBC/JDBC مع تمكين تسلسل الأسهم.
    • قدم عمليات التحقق من وقت الكتابة إلى عميل Hive لمنع تلف بيانات التعريف في مخزن بيانات تعريف Hive لجداول دلتا.
    • تم إصلاح الانحدار الذي تسبب في فشل بدء تشغيل DBFS FUSE عندما تحتوي تكوينات متغير بيئة نظام المجموعة على بناء جملة bash غير صالح.
  • 20 يناير 2021
    • تم إصلاح الانحدار في إصدار الصيانة في 12 يناير 2021 الذي يمكن أن يسبب AnalysisException غير صحيح ويقول إن العمود غامض في الصلة الذاتية. يحدث هذا التراجع عندما ينضم مستخدم إلى DataFrame باستخدام DataFrame المشتق (ما يسمى بالصلة الذاتية) مع الشروط التالية:
      • يحتوي هذان الإطاران من DataFrames على أعمدة مشتركة، ولكن إخراج الصلة الذاتية لا يحتوي على أعمدة مشتركة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستبعد DataFrame المشتق بعض الأعمدة عبر التحديد أو groupBy أو النافذة.
      • يشير شرط الصلة أو التحويل التالي بعد Dataframe المنضم إلى الأعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)
  • 12 يناير 2021
    • ترقية Azure Storage SDK من 2.3.8 إلى 2.3.9.
    • [SPARK-33593][SQL] حصل قارئ المتجهات على بيانات غير صحيحة بقيمة قسم ثنائي
    • [SPARK-33480][SQL] يحدث رسالة الخطأ للتحقق من طول إدراج جدول char/varchar

Databricks Runtime 7.3 LTS (EoS)

راجع Databricks Runtime 7.3 LTS (EoS).

  • 10 سبتمبر 2023

    • إصلاحات الأخطاء المتنوعة.

  • 30 أغسطس 2023

    • تحديثات أمان نظام التشغيل.

  • 15 أغسطس 2023

    • تحديثات أمان نظام التشغيل.

  • 23 يونيو 2023

    • تمت ترقية مكتبة Snowflake-jdbc إلى 3.13.29 لمعالجة مشكلة أمنية.
    • تحديثات أمان نظام التشغيل.

  • 15 يونيو 2023

    • [SPARK-43413][SQL] إصلاح IN قابلية خالية الاستعلام ListQuery الفرعي.
    • تحديثات أمان نظام التشغيل.

  • 2 يونيو 2023

    • تم إصلاح مشكلة في "المحمل التلقائي" حيث كانت تنسيقات الملفات المصدر المختلفة غير متناسقة عندما لا يتضمن المخطط المتوفر أقساما مستنتجة. قد تتسبب هذه المشكلة في فشل غير متوقع عند قراءة الملفات ذات الأعمدة المفقودة في مخطط القسم المستنتج.

  • 17 مايو 2023

    • تحديثات أمان نظام التشغيل.

  • 25 أبريل 2023

    • تحديثات أمان نظام التشغيل.

  • 11 أبريل 2023

    • [SPARK-42967][CORE] إصلاح SparkListenerTaskStart.stageAttemptId عند بدء مهمة بعد إلغاء المرحلة.
    • إصلاحات الأخطاء المتنوعة.

  • 29 مارس 2023

    • تحديثات أمان نظام التشغيل.

  • 14 مارس 2023

    • إصلاحات الأخطاء المتنوعة.

  • 28 فبراير 2023

    • تحديثات أمان نظام التشغيل.

  • 16 فبراير 2023

    • تحديثات أمان نظام التشغيل.

  • 31 يناير 2023

    • أنواع جداول JDBC أصبحت الآن خارجية بشكل افتراضي.

  • 18 يناير 2023

    • تحديثات أمان نظام التشغيل.

  • 29 نوفمبر 2022

    • إصلاحات الأخطاء المتنوعة.

  • 15 نوفمبر 2022

    • تمت ترقية نص Apache commons إلى 1.10.0.
    • تحديثات أمان نظام التشغيل.
    • إصلاحات الأخطاء المتنوعة.

  • 1 نوفمبر 2022

    • [SPARK-38542][SQL] يجب أن تقوم أداة UnsafeHashedRelation بتسلسل numKeys

  • 18 أكتوبر 2022

    • تحديثات أمان نظام التشغيل.

  • 5 أكتوبر 2022

    • إصلاحات الأخطاء المتنوعة.
    • تحديثات أمان نظام التشغيل.

  • 22 سبتمبر 2022

    • [SPARK-40089][SQL] إصلاح الفرز لبعض الأنواع العشرية

  • 6 سبتمبر 2022

    • [SPARK-35542][CORE] [ML] Fix: Bucketizer created for multiple columns with parameters splitsArray, inputCols and outputCols can not be loaded after saving it
    • [SPARK-40079][CORE] إضافة التحقق من صحة Imputer inputCols لحالة الإدخال الفارغة

  • 24 أغسطس 2022

    • [SPARK-39962][PYTHON] [SQL] تطبيق الإسقاط عندما تكون سمات المجموعة فارغة
    • تحديثات أمان نظام التشغيل.

  • 9 أغسطس، 2022

    • تحديثات أمان نظام التشغيل.

  • 27 يوليو 2022

    • جعل نتائج عملية Delta MERGE متسقة عندما يكون المصدر غير محدد.
    • تحديثات أمان نظام التشغيل.
    • إصلاحات الأخطاء المتنوعة.

  • 13 يوليو 2022

    • [SPARK-32680][SQL] عدم المعالجة المسبقة V2 CTAS مع استعلام لم يتم حله
    • استخدام المحمل التلقائي المعطلة لواجهات برمجة التطبيقات السحابية الأصلية لقائمة الدليل على Azure.
    • تحديثات أمان نظام التشغيل.

  • 5 يوليو 2022

    • تحديثات أمان نظام التشغيل.
    • إصلاحات الأخطاء المتنوعة.

  • 2 يونيو 2022

    • [SPARK-38918][SQL] يجب أن يؤدي تشذيب الأعمدة المتداخلة إلى تصفية السمات التي لا تنتمي إلى العلاقة الحالية
    • تحديثات أمان نظام التشغيل.

  • 18 مايو 2022

    • ترقية إصدار AWS SDK من 1.11.655 إلى 1.11.678.
    • تحديثات أمان نظام التشغيل.
    • إصلاحات الأخطاء المتنوعة.

  • 19 أبريل 2022

    • تحديثات أمان نظام التشغيل.
    • إصلاحات الأخطاء المتنوعة.

  • 6 أبريل 2022

    • تحديثات أمان نظام التشغيل.
    • إصلاحات الأخطاء المتنوعة.

  • 14 مارس 2022

    • إزالة الفئات الضعيفة من log4j 1.2.17 jar
    • إصلاحات الأخطاء المتنوعة.

  • 23 فبراير 2022

    • [SPARK-37859][SQL] عدم التحقق من بيانات التعريف أثناء مقارنة المخطط

  • 8 فبراير 2022

    • ترقية Ubuntu JDK إلى 1.8.0.312.
    • تحديثات أمان نظام التشغيل.

  • 1 فبراير 2022

    • تحديثات أمان نظام التشغيل.

  • 26 يناير 2022

    • تم إصلاح خطأ حيث قد يفشل الأمر OPTIMIZE عند تمكين لهجة ANSI SQL.

  • 19 يناير 2022

    • تتم إزالة قناة Conda الافتراضية من 7.3 ML LTS
    • تحديثات أمان نظام التشغيل.

  • 7 ديسمبر 2021

    • تحديثات أمان نظام التشغيل.

  • 4 نوفمبر 2021

    • إصلاح خطأ قد يتسبب في فشل تدفقات الدفق المنظم باستخدام ArrayIndexOutOfBoundsException
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: No FileSystem for scheme أو قد يتسبب في عدم سريان التعديلات sparkContext.hadoopConfiguration في الاستعلامات.

  • 15 سبتمبر 2021

    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • تحديثات أمان نظام التشغيل.

  • 8 سبتمبر 2021

    • [SPARK-35700][SQL] [WARMFIX] قراءة جدول char/varchar عند إنشائه وكتابته بواسطة أنظمة خارجية.
    • [SPARK-36532][CORE] [3.1] تم إصلاح حالة التوقف التام لتجنب CoarseGrainedExecutorBackend.onDisconnected executorsconnected منع تعليق إيقاف تشغيل المنفذ.

  • 25 أغسطس 2021

    • تمت ترقية موصل Snowflake إلى 2.9.0.

  • 29 يوليو 2021

    • [SPARK-36034][BUILD] إعادة قاعدة التاريخ والوقت في عوامل التصفية التي تم دفعها لأسفل إلى Parquet
    • [SPARK-34508][BUILD] تخطي HiveExternalCatalogVersionsSuite إذا كانت الشبكة معطلة

  • 14 يوليو 2021

    • تنسيق مقدم database.schema.table لموصل Azure Synapse.
    • تمت إضافة دعم لتوفير databaseName.schemaName.tableName التنسيق كجدول هدف بدلا من فقط schemaName.tableName أو tableName.
    • تم إصلاح خطأ يمنع المستخدمين من الانتقال إلى الوقت إلى الإصدارات المتوفرة القديمة باستخدام جداول Delta.

  • 15 يونيو، 2021

    • NoSuchElementException إصلاح خطأ في عمليات الكتابة المحسنة ل Delta Lake التي يمكن أن تحدث عند كتابة كميات كبيرة من البيانات ومواجهة خسائر المنفذ
    • تم تحديث Python بتصحيح أمان لإصلاح ثغرة أمان Python (CVE-2021-3177).

  • 30 أبريل 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم spark في SparkSubmit
    • [SPARK-34245][CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
    • [SPARK-35045][SQL] إضافة خيار داخلي للتحكم في المخزن المؤقت للإدخل في عدم التجانس

  • 24 مارس 2021

    • [SPARK-34768][SQL] احترام حجم المخزن المؤقت للإدخل الافتراضي في Univocity
    • [SPARK-34534] إصلاح ترتيب blockIds عند استخدام FetchShuffleBlocks لجلب الكتل
    • [SPARK-33118][SQL] فشل إنشاء جدول مؤقت مع الموقع

  • 09 مارس 2021

    • يتم الآن تمكين برنامج تشغيل Azure Blob File System المحدث ل Azure Data Lake Storage Gen2 بشكل افتراضي. فهو يجلب تحسينات استقرار متعددة.
    • إصلاح فاصل المسار على Windows ل databricks-connect get-jar-dir
    • [واجهة المستخدم] إصلاح ارتباط href لتصور Spark DAG
    • [DBCONNECT] إضافة دعم FlatMapCoGroupsInPandas في Databricks Connect 7.3
    • استعادة مخطط الإخراج ل SHOW DATABASES
    • [SQL] استخدام مفتاح بناء التقليم الديناميكي الصحيح عند وجود تلميح الانضمام إلى النطاق
    • تعطيل التحقق من عدم الثبات لملفات جدول Delta في ذاكرة التخزين المؤقت للقرص
    • [SQL] لا تقم بإنشاء نصيحة رقم القسم العشوائي عند تمكين AOS

  • 24 فبراير 2021

    • تمت ترقية موصل Spark BigQuery إلى v0.18، والذي يقدم إصلاحات الأخطاء المختلفة ودعم مكررات السهم وAvro.
    • تم إصلاح مشكلة تصحيح تسببت في إرجاع Spark لنتائج غير صحيحة عندما تختلف الدقة العشرية والمقياس لملف Parquet عن مخطط Spark.
    • تم إصلاح مشكلة فشل القراءة في جداول Microsoft SQL Server التي تحتوي على أنواع بيانات مكانية، عن طريق إضافة دعم أنواع JDBC الهندسية والجغرافية ل Spark SQL.
    • قدم تكوينا spark.databricks.hive.metastore.init.reloadFunctions.enabledجديدا . يتحكم هذا التكوين في تهيئة Hive المضمنة. عند التعيين إلى true، يقوم Azure Databricks بإعادة تحميل جميع الوظائف من جميع قواعد البيانات التي يمتلكها المستخدمون في FunctionRegistry. هذا هو السلوك الافتراضي في Hive Metastore. عند التعيين على false، يقوم Azure Databricks بتعطيل هذه العملية للتحسين.
    • [SPARK-34212] تم إصلاح المشكلات المتعلقة بقراءة البيانات العشرية من ملفات Parquet.
    • [SPARK-33579][واجهة المستخدم] إصلاح صفحة المنفذ الفارغة خلف الوكيل.
    • [SPARK-20044][واجهة المستخدم] دعم واجهة مستخدم Spark خلف الوكيل العكسي للواجهة الأمامية باستخدام بادئة المسار.
    • [SPARK-33277][PYSPARK] [SQL] استخدم ContextAwareIterator للتوقف عن الاستهلاك بعد انتهاء المهمة.

  • 4 فبراير 2021

    • تم إصلاح الانحدار الذي يمنع التنفيذ التزايدي لاستعلام يحدد حدا عموميا مثل SELECT * FROM table LIMIT nrows. تم تجربة الانحدار من قبل المستخدمين الذين يقومون بتشغيل الاستعلامات عبر ODBC/JDBC مع تمكين تسلسل الأسهم.
    • تم إصلاح الانحدار الذي تسبب في فشل بدء تشغيل DBFS FUSE عندما تحتوي تكوينات متغير بيئة نظام المجموعة على بناء جملة bash غير صالح.

  • 20 يناير 2021

    • تم إصلاح الانحدار في إصدار الصيانة في 12 يناير 2021 الذي يمكن أن يسبب AnalysisException غير صحيح ويقول إن العمود غامض في الصلة الذاتية. يحدث هذا التراجع عندما ينضم مستخدم إلى DataFrame باستخدام DataFrame المشتق (ما يسمى بالصلة الذاتية) مع الشروط التالية:
      • يحتوي هذان الإطاران من DataFrames على أعمدة مشتركة، ولكن إخراج الصلة الذاتية لا يحتوي على أعمدة مشتركة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستبعد DataFrame المشتق بعض الأعمدة عبر التحديد أو groupBy أو النافذة.
      • يشير شرط الصلة أو التحويل التالي بعد Dataframe المنضم إلى الأعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)

  • 12 يناير \ كانون الثاني 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-33593][SQL] حصل قارئ المتجهات على بيانات غير صحيحة بقيمة قسم ثنائي
    • [SPARK-33677][SQL] تخطي قاعدة LikeSimplification إذا كان النمط يحتوي على أي escapeChar
    • [SPARK-33592][التعلم الآلي] [PYTHON] قد تفقد معلمات مدقق Pyspark ML في estimatorParamMaps بعد الحفظ وإعادة التحميل
    • [SPARK-33071][SPARK-33536] [SQL] تجنب تغيير dataset_id LogicalPlan في join() لعدم كسر DetectAmbiguousSelfJoin

  • 8 ديسمبر 2020

    • [SPARK-33587][CORE] قتل المنفذ على أخطاء فادحة متداخلة
    • [SPARK-27421][SQL] إصلاح عامل التصفية لعمود int وفئة القيمة java.lang.String عند تقليم عمود القسم
    • [SPARK-33316][SQL] قدم المستخدم الدعم مخطط Avro يقبل القيم الخالية لمخطط محفز غير يقبل القيم الخالية في كتابة Avro
    • قد يتوقف تشغيل وظائف Spark باستخدام Databricks Connect إلى أجل غير مسمى مع Executor$TaskRunner.$anonfun$copySessionState تتبع مكدس المنفذ
    • تحديثات أمان نظام التشغيل.

  • 1 ديسمبر 2020

    • [SPARK-33404][SQL] [3.0] إصلاح النتائج غير الصحيحة في date_trunc التعبير
    • [SPARK-33339][PYTHON] سيتم تعليق تطبيق Pyspark بسبب خطأ غير استثناء
    • [SPARK-33183][SQL] [HOTFIX] إصلاح قاعدة المحسن RemoveSorts وإضافة قاعدة فعلية لإزالة الفرز المتكرر
    • [SPARK-33371][PYTHON] [3.0] تحديث setup.py والاختبارات ل Python 3.9
    • [SPARK-33391][SQL] element_at مع CreateArray لا يحترم فهرسا يستند إلى واحد.
    • [SPARK-33306][SQL] المنطقة الزمنية مطلوبة عند تحويل التاريخ إلى سلسلة
    • [SPARK-33260][SQL] إصلاح نتائج غير صحيحة من SortExec عندما يكون sortOrder هو Stream

  • 5 نوفمبر 2020

    • إصلاح ABFS وتأمين WASB فيما يتعلق UserGroupInformation.getCurrentUser()ب .
    • إصلاح خطأ التكرار الحلقي اللانهائي عندما يقرأ قارئ Avro بايت MAGIC.
    • إضافة دعم لامتياز USAGE.
    • تحسينات الأداء للتحقق من الامتيازات في التحكم في الوصول إلى الجدول.

  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • يمكنك القراءة والكتابة من DBFS باستخدام تحميل FUSE في /dbfs/ عندما تكون على نظام مجموعة بيانات اعتماد عالية التزامن ممكنة. يتم دعم عمليات التحميل العادية ولكن التحميلات التي تحتاج إلى بيانات اعتماد passthrough غير مدعومة حتى الآن.
    • [SPARK-32999][SQL] استخدام Utils.getSimpleName لتجنب الوصول إلى اسم الفئة المضطل في TreeNode
    • [SPARK-32585][SQL] دعم تعداد scala في ScalaReflection
    • دلائل سرد ثابتة في تحميل FUSE تحتوي على أسماء ملفات ذات أحرف XML غير صالحة
    • لم يعد تحميل FUSE يستخدم ListMultipartUploads

  • 29 سبتمبر 2020

    • [SPARK-32718][SQL] إزالة الكلمات الأساسية غير الضرورية لوحدات الفاصل الزمني
    • [SPARK-32635][SQL] إصلاح الانتشار القابل للطي
    • إضافة تكوين spark.shuffle.io.decoder.consolidateThresholdجديد . قم بتعيين قيمة التكوين إلى Long.MAX_VALUE لتخطي دمج netty FrameBuffers، والذي يمنع في حالات الزاوية java.lang.IndexOutOfBoundsException .

  • 25 أبريل 2023

    • تحديثات أمان نظام التشغيل.

  • 11 أبريل 2023

    • إصلاحات الأخطاء المتنوعة.

  • 29 مارس 2023

    • إصلاحات الأخطاء المتنوعة.

  • 14 مارس 2023

    • تحديثات أمان نظام التشغيل.

  • 28 فبراير 2023

    • تحديثات أمان نظام التشغيل.

  • 16 فبراير 2023

    • تحديثات أمان نظام التشغيل.

  • 31 يناير 2023

    • إصلاحات الأخطاء المتنوعة.

  • 18 يناير 2023

    • تحديثات أمان نظام التشغيل.

  • 29 نوفمبر 2022

    • تحديثات أمان نظام التشغيل.

  • 15 نوفمبر 2022

    • تحديثات أمان نظام التشغيل.
    • إصلاحات الأخطاء المتنوعة.

  • 1 نوفمبر 2022

    • تحديثات أمان نظام التشغيل.

  • 18 أكتوبر 2022

    • تحديثات أمان نظام التشغيل.
    • 5 أكتوبر 2022
      • تحديثات أمان نظام التشغيل.
    • 24 أغسطس 2022
      • تحديثات أمان نظام التشغيل.
    • 9 أغسطس 2022
      • تحديثات أمان نظام التشغيل.
    • 27 يوليو 2022
      • تحديثات أمان نظام التشغيل.
    • 5 يوليو 2022
      • تحديثات أمان نظام التشغيل.
    • 2 يونيو 2022
      • تحديثات أمان نظام التشغيل.
    • 18 مايو 2022
      • تحديثات أمان نظام التشغيل.
    • 19 أبريل 2022
      • تحديثات أمان نظام التشغيل.
      • إصلاحات الأخطاء المتنوعة.
    • 6 أبريل 2022
      • تحديثات أمان نظام التشغيل.
      • إصلاحات الأخطاء المتنوعة.
    • 14 مارس 2022
      • إصلاحات الأخطاء المتنوعة.
    • 23 فبراير 2022
      • إصلاحات الأخطاء المتنوعة.
    • 8 فبراير 2022
      • ترقية Ubuntu JDK إلى 1.8.0.312.
      • تحديثات أمان نظام التشغيل.
    • 1 فبراير 2022
      • تحديثات أمان نظام التشغيل.
    • 19 يناير 2022
      • تحديثات أمان نظام التشغيل.
    • 22 سبتمبر 2021
      • تحديثات أمان نظام التشغيل.
    • 30 أبريل 2021
      • تحديثات أمان نظام التشغيل.
      • [SPARK-35227][BUILD] تحديث محلل حزم spark في SparkSubmit
    • 12 يناير 2021
      • تحديثات أمان نظام التشغيل.
    • 8 ديسمبر 2020
      • [SPARK-27421][SQL] إصلاح عامل التصفية لعمود int وفئة القيمة java.lang.String عند تقليم عمود القسم
      • تحديثات أمان نظام التشغيل.
    • 1 ديسمبر 2020
    • [SPARK-33260][SQL] إصلاح نتائج غير صحيحة من SortExec عندما يكون sortOrder هو Stream
    • 3 نوفمبر 2020
      • تمت ترقية إصدار Java من 1.8.0_252 إلى 1.8.0_265.
      • إصلاح ABFS وتأمين WASB فيما يتعلق ب UserGroupInformation.getCurrentUser()
    • 13 أكتوبر 2020
      • تحديثات أمان نظام التشغيل.

Databricks Runtime 6.4 Extended Support (EoS)

راجع Databricks Runtime 6.4 (EoS) وDatabricks Runtime 6.4 Extended Support (EoS).

  • 5 يوليو 2022

    • تحديثات أمان نظام التشغيل.
    • إصلاحات الأخطاء المتنوعة.

  • 2 يونيو 2022

    • تحديثات أمان نظام التشغيل.

  • 18 مايو 2022

    • تحديثات أمان نظام التشغيل.

  • 19 أبريل 2022

    • تحديثات أمان نظام التشغيل.
    • إصلاحات الأخطاء المتنوعة.

  • 6 أبريل 2022

    • تحديثات أمان نظام التشغيل.
    • إصلاحات الأخطاء المتنوعة.

  • 14 مارس 2022

    • إزالة الفئات الضعيفة من log4j 1.2.17 jar
    • إصلاحات الأخطاء المتنوعة.

  • 23 فبراير 2022

    • إصلاحات الأخطاء المتنوعة.

  • 8 فبراير 2022

    • ترقية Ubuntu JDK إلى 1.8.0.312.
    • تحديثات أمان نظام التشغيل.

  • 1 فبراير 2022

    • تحديثات أمان نظام التشغيل.

  • 26 يناير 2022

    • تم إصلاح خطأ حيث قد يفشل الأمر OPTIMIZE عند تمكين لهجة ANSI SQL.

  • 19 يناير 2022

    • تحديثات أمان نظام التشغيل.

  • 8 ديسمبر 2021

    • تحديثات أمان نظام التشغيل.

  • 22 سبتمبر 2021

    • تحديثات أمان نظام التشغيل.

  • 15 يونيو، 2021

    • [SPARK-35576][SQL] تنقيح المعلومات الحساسة في نتيجة الأمر "تعيين"

  • 7 يونيو 2021

    • أضف تكوينا جديدا يسمى spark.sql.maven.additionalRemoteRepositories، وهو تكوين سلسلة محددة بفاصلة لمعكوس maven البعيد الإضافي الاختياري. يتم تعيين القيمة افتراضيا إلى https://maven-central.storage-download.googleapis.com/maven2/.

  • 30 أبريل 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم spark في SparkSubmit

  • 09 مارس 2021

    • منفذ HADOOP-17215 إلى برنامج تشغيل نظام ملفات Azure Blob (دعم الكتابة فوق الشرطية).
    • إصلاح فاصل المسار على Windows ل databricks-connect get-jar-dir
    • دعم إضافي لإصدارات Hive metastore 2.3.5 و2.3.6 و2.3.7
    • تم الإبلاغ عن السهم "totalResultsCollected" بشكل غير صحيح بعد الانسكاب

  • 24 فبراير 2021

    • قدم تكوينا spark.databricks.hive.metastore.init.reloadFunctions.enabledجديدا . يتحكم هذا التكوين في تهيئة Hive المضمنة. عند التعيين إلى true، يقوم Azure Databricks بإعادة تحميل جميع الوظائف من جميع قواعد البيانات التي يمتلكها المستخدمون في FunctionRegistry. هذا هو السلوك الافتراضي في Hive Metastore. عند التعيين على false، يقوم Azure Databricks بتعطيل هذه العملية للتحسين.

  • 4 فبراير 2021

    • تم إصلاح الانحدار الذي يمنع التنفيذ التزايدي لاستعلام يحدد حدا عموميا مثل SELECT * FROM table LIMIT nrows. تم تجربة الانحدار من قبل المستخدمين الذين يقومون بتشغيل الاستعلامات عبر ODBC/JDBC مع تمكين تسلسل الأسهم.
    • تم إصلاح الانحدار الذي تسبب في فشل بدء تشغيل DBFS FUSE عندما تحتوي تكوينات متغير بيئة نظام المجموعة على بناء جملة bash غير صالح.

  • 12 يناير \ كانون الثاني 2021

    • تحديثات أمان نظام التشغيل.

  • 8 ديسمبر 2020

    • [SPARK-27421][SQL] إصلاح عامل التصفية لعمود int وفئة القيمة java.lang.String عند تقليم عمود القسم
    • [SPARK-33183][SQL] إصلاح قاعدة المحسن RemoveSorts وإضافة قاعدة فعلية لإزالة الفرز المتكرر
    • [وقت التشغيل 6.4 ML GPU] لقد قمنا مسبقا بتثبيت إصدار غير صحيح (2.7.8-1+cuda11.1) من NCCL. يقوم هذا الإصدار بتصحيحه إلى 2.4.8-1+cuda10.0 المتوافق مع CUDA 10.0.
    • تحديثات أمان نظام التشغيل.

  • 1 ديسمبر 2020

    • [SPARK-33260][SQL] إصلاح نتائج غير صحيحة من SortExec عندما يكون sortOrder هو Stream
    • [SPARK-32635][SQL] إصلاح الانتشار القابل للطي

  • 3 نوفمبر \ تشرين الثاني 2020

    • تمت ترقية إصدار Java من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح ABFS وتأمين WASB فيما يتعلق ب UserGroupInformation.getCurrentUser()
    • إصلاح خطأ التكرار الحلقي اللانهائي لقارئ Avro عند قراءة بايت MAGIC.

  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL] [2.4] استخدام Utils.getSimpleName لتجنب الوصول إلى اسم الفئة المضطل في TreeNode
    • دلائل سرد ثابتة في تحميل FUSE تحتوي على أسماء ملفات ذات أحرف XML غير صالحة
    • لم يعد تحميل FUSE يستخدم ListMultipartUploads

  • 24 سبتمبر 2020

    • تم إصلاح القيد السابق حيث لا يزال التمرير على نظام المجموعة القياسي يقيد استخدامات مستخدم تطبيق نظام الملفات. الآن سيتمكن المستخدمون من الوصول إلى أنظمة الملفات المحلية دون قيود.
    • تحديثات أمان نظام التشغيل.

  • 8 أيلول / سبتمبر، 2020

    • تم إنشاء معلمة جديدة ل Azure Synapse Analytics، maxbinlength. يتم استخدام هذه المعلمة للتحكم في طول عمود أعمدة BinaryType، ويتم ترجمتها على أنها VARBINARY(maxbinlength). يمكن تعيينه باستخدام .option("maxbinlength", n)، حيث 0 < n <= 8000.
    • تحديث Azure Storage SDK إلى 8.6.4 وتمكين TCP البقاء على قيد الحياة على الاتصالات التي أجراها برنامج تشغيل WASB

  • 25 أغسطس 2020

    • إصلاح دقة السمة الغامضة في الدمج الذاتي

  • 18 أغسطس 2020

    • [SPARK-32431][SQL] التحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • تم إصلاح حالة تعارض في موصل AQS عند استخدام Trigger.Once.

  • 11 أغسطس 2020

    • [SPARK-28676][CORE] تجنب التسجيل المفرط من ContextCleaner

  • 3 أغسطس 2020

    • يمكنك الآن استخدام دالة تحويل LDA على مجموعة ممكنة بالمرور.
    • تحديثات أمان نظام التشغيل.

  • 7 يوليو 2020

    • تمت ترقية إصدار Java من 1.8.0_232 إلى 1.8.0_252.

  • 21 أبريل 2020

    • [SPARK-31312][SQL] مثيل فئة ذاكرة التخزين المؤقت لمثيل UDF في HiveFunctionWrapper

  • 7 أبريل 2020

    • لحل مشكلة مع pandas udf لا يعمل مع PyArrow 0.15.0 وما فوق، أضفنا متغير بيئة (ARROW_PRE_0_15_IPC_FORMAT=1) لتمكين الدعم لتلك الإصدارات من PyArrow. راجع الإرشادات الواردة في [SPARK-29367].

  • 10 مارس 2020

    • يتم الآن استخدام التحجيم التلقائي المحسن افتراضيا على المجموعات التفاعلية على خطة الأمان.
    • يتم تحديث موصل Snowflake (spark-snowflake_2.11) المضمن في Databricks Runtime إلى الإصدار 2.5.9. snowflake-jdbc يتم تحديث إلى الإصدار 3.12.0.

Databricks Runtime 5.5 LTS (EoS)

راجع Databricks Runtime 5.5 LTS (EoS) وDatabricks Runtime 5.5 Extended Support (EoS).

  • 8 ديسمبر 2021

    • تحديثات أمان نظام التشغيل.

  • 22 سبتمبر 2021

    • تحديثات أمان نظام التشغيل.

  • 25 أغسطس 2021

    • تخفيض بعض حزم python التي تمت ترقيتها مسبقا في إصدار الدعم الموسع 5.5 ML للحفاظ على تماثل أفضل مع 5.5 ML LTS (مهمل الآن). راجع [_]/release-notes/runtime/5.5xml.md) للاطلاع على الاختلافات المحدثة بين الإصدارين.

  • 15 يونيو، 2021

    • [SPARK-35576][SQL] تنقيح المعلومات الحساسة في نتيجة الأمر "تعيين"

  • 7 يونيو 2021

    • أضف تكوينا جديدا يسمى spark.sql.maven.additionalRemoteRepositories، وهو تكوين سلسلة محددة بفاصلة لمعكوس maven البعيد الإضافي الاختياري. يتم تعيين القيمة افتراضيا إلى https://maven-central.storage-download.googleapis.com/maven2/.

  • 30 أبريل 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم spark في SparkSubmit

  • 09 مارس 2021

    • منفذ HADOOP-17215 إلى برنامج تشغيل نظام ملفات Azure Blob (دعم الكتابة فوق الشرطية).

  • 24 فبراير 2021

    • قدم تكوينا spark.databricks.hive.metastore.init.reloadFunctions.enabledجديدا . يتحكم هذا التكوين في تهيئة Hive المضمنة. عند التعيين إلى true، يقوم Azure Databricks بإعادة تحميل جميع الوظائف من جميع قواعد البيانات التي يمتلكها المستخدمون في FunctionRegistry. هذا هو السلوك الافتراضي في Hive Metastore. عند التعيين على false، يقوم Azure Databricks بتعطيل هذه العملية للتحسين.

  • 12 يناير \ كانون الثاني 2021

    • تحديثات أمان نظام التشغيل.
    • إصلاح ل [HADOOP-17130].

  • 8 ديسمبر 2020

    • [SPARK-27421][SQL] إصلاح عامل التصفية لعمود int وفئة القيمة java.lang.String عند تقليم عمود القسم
    • تحديثات أمان نظام التشغيل.

  • 1 ديسمبر 2020

    • [SPARK-33260][SQL] إصلاح نتائج غير صحيحة من SortExec عندما يكون sortOrder هو Stream
    • [SPARK-32635][SQL] إصلاح الانتشار القابل للطي

  • 29 أكتوبر 2020

    • تمت ترقية إصدار Java من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح ABFS وتأمين WASB فيما يتعلق ب UserGroupInformation.getCurrentUser()
    • إصلاح خطأ التكرار الحلقي اللانهائي لقارئ Avro عند قراءة بايت MAGIC.

  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL] [2.4] استخدام Utils.getSimpleName لتجنب الوصول إلى اسم الفئة المضطل في TreeNode

  • 24 سبتمبر 2020

    • تحديثات أمان نظام التشغيل.

  • 8 أيلول / سبتمبر، 2020

    • تم إنشاء معلمة جديدة ل Azure Synapse Analytics، maxbinlength. يتم استخدام هذه المعلمة للتحكم في طول عمود أعمدة BinaryType، ويتم ترجمتها على أنها VARBINARY(maxbinlength). يمكن تعيينه باستخدام .option("maxbinlength", n)، حيث 0 < n <= 8000.

  • 18 أغسطس 2020

    • [SPARK-32431][SQL] التحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • تم إصلاح حالة تعارض في موصل AQS عند استخدام Trigger.Once.

  • 11 أغسطس 2020

    • [SPARK-28676][CORE] تجنب التسجيل المفرط من ContextCleaner

  • 3 أغسطس 2020

    • تحديثات أمان نظام التشغيل

  • 7 يوليو 2020

    • تمت ترقية إصدار Java من 1.8.0_232 إلى 1.8.0_252.

  • 21 أبريل 2020

    • [SPARK-31312][SQL] مثيل فئة ذاكرة التخزين المؤقت لمثيل UDF في HiveFunctionWrapper

  • 7 أبريل 2020

    • لحل مشكلة مع pandas udf لا يعمل مع PyArrow 0.15.0 وما فوق، أضفنا متغير بيئة (ARROW_PRE_0_15_IPC_FORMAT=1) لتمكين الدعم لتلك الإصدارات من PyArrow. راجع الإرشادات الواردة في [SPARK-29367].

  • 25 مارس 2020

    • يتم تحديث موصل Snowflake (spark-snowflake_2.11) المضمن في Databricks Runtime إلى الإصدار 2.5.9. snowflake-jdbc يتم تحديث إلى الإصدار 3.12.0.

  • 10 مارس 2020

    • يخضع إخراج الوظيفة، مثل إخراج السجل المنبعثة إلى stdout، إلى حد حجم 20 ميغابايت. إذا كان إجمالي الإخراج بحجم أكبر، إلغاء التشغيل ووضع علامة عليه على أنه فاشل. لتجنب مواجهة هذا الحد، يمكنك منع إرجاع stdout من برنامج التشغيل إلى عن طريق تعيين spark.databricks.driver.disableScalaOutput تكوين Spark إلى true. تكون قيمة العلامة بشكل افتراضي هي false. تتحكم العلامة في إخراج الخلية لمهام Scala JAR ودفاتر ملاحظات Scala. إذا تم تمكين العلامة، لا يقوم Spark بإرجاع نتائج تنفيذ المهمة إلى العميل. لا تؤثر العلامة على البيانات المكتوبة في ملفات سجل نظام المجموعة. يوصى بتعيين هذه العلامة فقط للمجموعات التلقائية لمهام JAR، لأنها ستعطل نتائج دفتر الملاحظات.

  • 18 فبراير 2020

    • [SPARK-24783][SQL] يجب أن يطرح spark.sql.shuffle.partitions=0 استثناء
    • يحتوي تمرير بيانات الاعتماد مع ADLS Gen2 على تدهور في الأداء بسبب معالجة مؤشر الترابط المحلي غير الصحيح عند تمكين الإحضار المسبق لعميل ADLS. يعطل هذا الإصدار الإحضار المسبق ل ADLS Gen2 عند تمكين تمرير بيانات الاعتماد حتى يكون لدينا إصلاح مناسب.

  • 28 يناير 2020

    • [SPARK-30447][SQL] مشكلة عدم قابلية النشر الثابت للقيمة الخالية.

  • 14 يناير 2020

    • تمت ترقية إصدار Java من 1.8.0_222 إلى 1.8.0_232.

  • 19 نوفمبر 2019

    • [SPARK-29743] يجب أن عينة [SQL] تعيين needCopyResult إلى true إذا كانت حاجة طفلهاCopyResult صحيحة
    • تمت ترقية الإصدار R دون قصد إلى 3.6.1 من 3.6.0. قمنا بتخفيضه إلى 3.6.0.

  • 5 نوفمبر 2019

    • تمت ترقية إصدار Java من 1.8.0_212 إلى 1.8.0_222.

  • 23 أكتوبر 2019

    • [SPARK-29244][CORE] منع الصفحة الحرة في BytesToBytesMap مجانا مرة أخرى

  • 8 تشرين الأول \ أكتوبر 2019

    • تغييرات جانب الخادم للسماح لبرنامج تشغيل Simba Apache Spark ODBC بإعادة الاتصال والمتابعة بعد فشل الاتصال أثناء إحضار النتائج (يتطلب إصدار برنامج تشغيل Simba Apache Spark ODBC 2.6.10).
    • تم إصلاح مشكلة تؤثر على استخدام Optimize الأمر مع مجموعات تمكين ACL للجدول.
    • تم إصلاح مشكلة فشل pyspark.ml المكتبات بسبب خطأ Scala UDF الممنوع في جدول ACL ومجموعات بيانات الاعتماد الممكنة.
    • أساليب SerDe وSerDeUtil المدرجة في القائمة لتمرير بيانات الاعتماد.
    • تم إصلاح NullPointerException عند التحقق من رمز الخطأ في عميل WASB.

  • 24 سبتمبر 2019

    • تحسين استقرار كاتب باركيه.
    • تم إصلاح المشكلة التي تم إلغاؤها في استعلام Thrift قبل بدء التنفيذ والتي قد تكون عالقة في حالة STARTED.

  • 10 سبتمبر 2019

    • إضافة مكرر مؤشر الترابط الآمن إلى BytesToBytesMap
    • [SPARK-27992][SPARK-28881]السماح ل Python بالانضمام إلى مؤشر ترابط الاتصال لنشر الأخطاء
    • إصلاح خطأ يؤثر على استعلامات تجميع عمومية معينة.
    • تحسين تراجع بيانات الاعتماد.
    • [SPARK-27330][SS] تم إجهاض مهمة الدعم في كاتب foreach
    • [SPARK-28642]إخفاء بيانات الاعتماد في SHOW CREATE TABLE
    • [SPARK-28699][SQL] تعطيل استخدام فرز radix ل ShuffleExchangeExec في حالة إعادة تقسيم

  • 27 أغسطس 2019

    • [SPARK-20906][SQL] السماح بالمخطط المحدد من قبل المستخدم في to_avro API مع سجل المخطط
    • [SPARK-27838][SQL] قدم المستخدم الدعم مخطط avro غير يقبل القيم الخالية لمخطط محفز يقبل القيم الخالية دون أي سجل فارغ
    • تحسين السفر عبر الزمن في Delta Lake
    • إصلاح مشكلة تؤثر على تعبير معين transform
    • يدعم متغيرات البث عند تمكين عزل العملية

  • 13 أغسطس 2019

    • يجب أن يتحقق مصدر دفق دلتا من أحدث بروتوكول لجدول
    • [SPARK-28260]إضافة حالة مغلقة إلى حالة التنفيذ
    • [SPARK-28489][SS] إصلاح خطأ قد يؤدي KafkaOffsetRangeCalculator.getRanges إلى إسقاط الإزاحات

  • 30 يوليو 2019

    • [SPARK-28015][SQL] يستهلك Check stringToDate() إدخالا كاملا لتنسيقات yyyy وyyyy-[m]m
    • [SPARK-28308][CORE] يجب إضافة الجزء الفرعي ل CalendarInterval قبل التحليل
    • [SPARK-27485]تأكد من أنRequirements.reorder يجب أن تتعامل مع التعبيرات المكررة بأمان
    • [SPARK-28355][CORE] [PYTHON] استخدام تكوين Spark للحدود التي يتم ضغط UDF عندها بواسطة البث

Databricks Light 2.4 Extended Support

راجع Databricks Light 2.4 (EoS) وDatabricks Light 2.4 Extended Support (EoS).

Databricks Runtime 7.4 (EoS)

راجع Databricks Runtime 7.4 (EoS).

  • 30 أبريل 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-35227][BUILD] تحديث محلل حزم spark في SparkSubmit
    • [SPARK-34245][CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
    • [SPARK-35045][SQL] إضافة خيار داخلي للتحكم في المخزن المؤقت للإدخل في عدم التجانس وتكوين لحجم المخزن المؤقت لإدخال CSV

  • 24 مارس 2021

    • [SPARK-34768][SQL] احترام حجم المخزن المؤقت للإدخل الافتراضي في Univocity
    • [SPARK-34534] إصلاح ترتيب blockIds عند استخدام FetchShuffleBlocks لجلب الكتل

  • 09 مارس 2021

    • يتم الآن تمكين برنامج تشغيل Azure Blob File System المحدث ل Azure Data Lake Storage Gen2 بشكل افتراضي. فهو يجلب تحسينات استقرار متعددة.
    • [ES-67926] [واجهة المستخدم] إصلاح ارتباط href لتصور Spark DAG
    • [ES-65064] استعادة مخطط الإخراج ل SHOW DATABASES
    • [SC-70522] [SQL] استخدام مفتاح بناء التقليم الديناميكي الصحيح عند وجود تلميح الانضمام إلى النطاق
    • [SC-35081] تعطيل التحقق من عدم الثبات لملفات جدول Delta في ذاكرة التخزين المؤقت للقرص
    • [SC-70640] إصلاح NPE عندما لا تحتوي استجابة EventGridClient على كيان
    • [SC-70220] [SQL] لا تقم بإنشاء نصيحة رقم القسم العشوائي عند تمكين AOS

  • 24 فبراير 2021

    • تمت ترقية موصل Spark BigQuery إلى v0.18، والذي يقدم إصلاحات الأخطاء المختلفة ودعم مكررات السهم وAvro.
    • تم إصلاح مشكلة تصحيح تسببت في إرجاع Spark لنتائج غير صحيحة عندما تختلف الدقة العشرية والمقياس لملف Parquet عن مخطط Spark.
    • تم إصلاح مشكلة فشل القراءة في جداول Microsoft SQL Server التي تحتوي على أنواع بيانات مكانية، عن طريق إضافة دعم أنواع JDBC الهندسية والجغرافية ل Spark SQL.
    • قدم تكوينا spark.databricks.hive.metastore.init.reloadFunctions.enabledجديدا . يتحكم هذا التكوين في تهيئة Hive المضمنة. عند التعيين إلى true، يقوم Azure Databricks بإعادة تحميل جميع الوظائف من جميع قواعد البيانات التي يمتلكها المستخدمون في FunctionRegistry. هذا هو السلوك الافتراضي في Hive Metastore. عند التعيين على false، يقوم Azure Databricks بتعطيل هذه العملية للتحسين.
    • [SPARK-34212] تم إصلاح المشكلات المتعلقة بقراءة البيانات العشرية من ملفات Parquet.
    • [SPARK-33579][واجهة المستخدم] إصلاح صفحة المنفذ الفارغة خلف الوكيل.
    • [SPARK-20044][واجهة المستخدم] دعم واجهة مستخدم Spark خلف الوكيل العكسي للواجهة الأمامية باستخدام بادئة المسار.
    • [SPARK-33277][PYSPARK] [SQL] استخدم ContextAwareIterator للتوقف عن الاستهلاك بعد انتهاء المهمة.

  • 4 فبراير 2021

    • تم إصلاح الانحدار الذي يمنع التنفيذ التزايدي لاستعلام يحدد حدا عموميا مثل SELECT * FROM table LIMIT nrows. تم تجربة الانحدار من قبل المستخدمين الذين يقومون بتشغيل الاستعلامات عبر ODBC/JDBC مع تمكين تسلسل الأسهم.
    • تم إصلاح الانحدار الذي تسبب في فشل بدء تشغيل DBFS FUSE عندما تحتوي تكوينات متغير بيئة نظام المجموعة على بناء جملة bash غير صالح.

  • 20 يناير 2021

    • تم إصلاح الانحدار في إصدار الصيانة في 12 يناير 2021 الذي يمكن أن يسبب AnalysisException غير صحيح ويقول إن العمود غامض في الصلة الذاتية. يحدث هذا التراجع عندما ينضم مستخدم إلى DataFrame باستخدام DataFrame المشتق (ما يسمى بالصلة الذاتية) مع الشروط التالية:
      • يحتوي هذان الإطاران من DataFrames على أعمدة مشتركة، ولكن إخراج الصلة الذاتية لا يحتوي على أعمدة مشتركة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستبعد DataFrame المشتق بعض الأعمدة عبر التحديد أو groupBy أو النافذة.
      • يشير شرط الصلة أو التحويل التالي بعد Dataframe المنضم إلى الأعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)

  • 12 يناير \ كانون الثاني 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-33593][SQL] حصل قارئ المتجهات على بيانات غير صحيحة بقيمة قسم ثنائي
    • [SPARK-33677][SQL] تخطي قاعدة LikeSimplification إذا كان النمط يحتوي على أي escapeChar
    • [SPARK-33071][SPARK-33536] [SQL] تجنب تغيير dataset_id LogicalPlan في join() لعدم كسر DetectAmbiguousSelfJoin

  • 8 ديسمبر 2020

    • [SPARK-33587][CORE] قتل المنفذ على أخطاء فادحة متداخلة
    • [SPARK-27421][SQL] إصلاح عامل التصفية لعمود int وفئة القيمة java.lang.String عند تقليم عمود القسم
    • [SPARK-33316][SQL] قدم المستخدم الدعم مخطط Avro يقبل القيم الخالية لمخطط محفز غير يقبل القيم الخالية في كتابة Avro
    • تحديثات أمان نظام التشغيل.

  • 1 ديسمبر 2020

    • [SPARK-33404][SQL] [3.0] إصلاح النتائج غير الصحيحة في date_trunc التعبير
    • [SPARK-33339][PYTHON] سيتم تعليق تطبيق Pyspark بسبب خطأ غير استثناء
    • [SPARK-33183][SQL] [HOTFIX] إصلاح قاعدة المحسن RemoveSorts وإضافة قاعدة فعلية لإزالة الفرز المتكرر
    • [SPARK-33371][PYTHON] [3.0] تحديث setup.py والاختبارات ل Python 3.9
    • [SPARK-33391][SQL] element_at مع CreateArray لا يحترم فهرسا يستند إلى واحد.
    • [SPARK-33306][SQL] المنطقة الزمنية مطلوبة عند تحويل التاريخ إلى سلسلة
    • [SPARK-33260][SQL] إصلاح نتائج غير صحيحة من SortExec عندما يكون sortOrder هو Stream
    • [SPARK-33272][SQL] اقتطاع تعيين السمات في QueryPlan.transformUpWithNewOutput

Databricks Runtime 7.2 (EoS)

راجع Databricks Runtime 7.2 (EoS).

  • 4 فبراير 2021

    • تم إصلاح الانحدار الذي يمنع التنفيذ التزايدي لاستعلام يحدد حدا عموميا مثل SELECT * FROM table LIMIT nrows. تم تجربة الانحدار من قبل المستخدمين الذين يقومون بتشغيل الاستعلامات عبر ODBC/JDBC مع تمكين تسلسل الأسهم.
    • تم إصلاح الانحدار الذي تسبب في فشل بدء تشغيل DBFS FUSE عندما تحتوي تكوينات متغير بيئة نظام المجموعة على بناء جملة bash غير صالح.

  • 20 يناير 2021

    • تم إصلاح الانحدار في إصدار الصيانة في 12 يناير 2021 الذي يمكن أن يسبب AnalysisException غير صحيح ويقول إن العمود غامض في الصلة الذاتية. يحدث هذا التراجع عندما ينضم مستخدم إلى DataFrame باستخدام DataFrame المشتق (ما يسمى بالصلة الذاتية) مع الشروط التالية:
      • يحتوي هذان الإطاران من DataFrames على أعمدة مشتركة، ولكن إخراج الصلة الذاتية لا يحتوي على أعمدة مشتركة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستبعد DataFrame المشتق بعض الأعمدة عبر التحديد أو groupBy أو النافذة.
      • يشير شرط الصلة أو التحويل التالي بعد Dataframe المنضم إلى الأعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)

  • 12 يناير \ كانون الثاني 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-33593][SQL] حصل قارئ المتجهات على بيانات غير صحيحة بقيمة قسم ثنائي
    • [SPARK-33677][SQL] تخطي قاعدة LikeSimplification إذا كان النمط يحتوي على أي escapeChar
    • [SPARK-33071][SPARK-33536] [SQL] تجنب تغيير dataset_id LogicalPlan في join() لعدم كسر DetectAmbiguousSelfJoin

  • 8 ديسمبر 2020

    • [SPARK-27421][SQL] إصلاح عامل التصفية لعمود int وفئة القيمة java.lang.String عند تقليم عمود القسم
    • [SPARK-33404][SQL] إصلاح النتائج غير الصحيحة في date_trunc التعبير
    • [SPARK-33339][PYTHON] سيتم تعليق تطبيق Pyspark بسبب خطأ غير استثناء
    • [SPARK-33183][SQL] إصلاح قاعدة المحسن RemoveSorts وإضافة قاعدة فعلية لإزالة الفرز المتكرر
    • [SPARK-33391][SQL] element_at مع CreateArray لا يحترم فهرسا يستند إلى واحد.
    • تحديثات أمان نظام التشغيل.

  • 1 ديسمبر 2020

    • [SPARK-33306][SQL] المنطقة الزمنية مطلوبة عند تحويل التاريخ إلى سلسلة
    • [SPARK-33260][SQL] إصلاح نتائج غير صحيحة من SortExec عندما يكون sortOrder هو Stream

  • 3 نوفمبر \ تشرين الثاني 2020

    • تمت ترقية إصدار Java من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح ABFS وتأمين WASB فيما يتعلق ب UserGroupInformation.getCurrentUser()
    • إصلاح خطأ التكرار الحلقي اللانهائي لقارئ Avro عند قراءة بايت MAGIC.

  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL] استخدام Utils.getSimpleName لتجنب الوصول إلى اسم الفئة المضطل في TreeNode
    • دلائل سرد ثابتة في تحميل FUSE تحتوي على أسماء ملفات ذات أحرف XML غير صالحة
    • لم يعد تحميل FUSE يستخدم ListMultipartUploads

  • 29 سبتمبر 2020

    • [SPARK-28863][SQL] [WARMFIX] تقديم AlreadyOptimized لمنع إعادة تحليل V1FallbackWriters
    • [SPARK-32635][SQL] إصلاح الانتشار القابل للطي
    • إضافة تكوين spark.shuffle.io.decoder.consolidateThresholdجديد . قم بتعيين قيمة التكوين إلى Long.MAX_VALUE لتخطي دمج netty FrameBuffers، والذي يمنع في حالات الزاوية java.lang.IndexOutOfBoundsException .

  • 24 سبتمبر 2020

    • [SPARK-32764][SQL] -0.0 يجب أن يكون مساويا ل 0.0
    • [SPARK-32753][SQL] نسخ العلامات فقط إلى عقدة بدون علامات عند تحويل الخطط
    • [SPARK-32659][SQL] إصلاح مشكلة البيانات الخاصة بتقليم التقسيم الديناميكي المدرج على النوع غير الذري
    • تحديثات أمان نظام التشغيل.

  • 8 أيلول / سبتمبر، 2020

    • تم إنشاء معلمة جديدة ل Azure Synapse Analytics، maxbinlength. يتم استخدام هذه المعلمة للتحكم في طول عمود أعمدة BinaryType، ويتم ترجمتها على أنها VARBINARY(maxbinlength). يمكن تعيينه باستخدام .option("maxbinlength", n)، حيث 0 < n <= 8000.

Databricks Runtime 7.1 (EoS)

راجع Databricks Runtime 7.1 (EoS).

  • 4 فبراير 2021

    • تم إصلاح الانحدار الذي تسبب في فشل بدء تشغيل DBFS FUSE عندما تحتوي تكوينات متغير بيئة نظام المجموعة على بناء جملة bash غير صالح.

  • 20 يناير 2021

    • تم إصلاح الانحدار في إصدار الصيانة في 12 يناير 2021 الذي يمكن أن يسبب AnalysisException غير صحيح ويقول إن العمود غامض في الصلة الذاتية. يحدث هذا التراجع عندما ينضم مستخدم إلى DataFrame باستخدام DataFrame المشتق (ما يسمى بالصلة الذاتية) مع الشروط التالية:
      • يحتوي هذان الإطاران من DataFrames على أعمدة مشتركة، ولكن إخراج الصلة الذاتية لا يحتوي على أعمدة مشتركة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستبعد DataFrame المشتق بعض الأعمدة عبر التحديد أو groupBy أو النافذة.
      • يشير شرط الصلة أو التحويل التالي بعد Dataframe المنضم إلى الأعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)

  • 12 يناير \ كانون الثاني 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-33593][SQL] حصل قارئ المتجهات على بيانات غير صحيحة بقيمة قسم ثنائي
    • [SPARK-33677][SQL] تخطي قاعدة LikeSimplification إذا كان النمط يحتوي على أي escapeChar
    • [SPARK-33071][SPARK-33536] [SQL] تجنب تغيير dataset_id LogicalPlan في join() لعدم كسر DetectAmbiguousSelfJoin

  • 8 ديسمبر 2020

    • [SPARK-27421][SQL] إصلاح عامل التصفية لعمود int وفئة القيمة java.lang.String عند تقليم عمود القسم
    • قد يتوقف تشغيل وظائف Spark باستخدام Databricks Connect إلى أجل غير مسمى مع Executor$TaskRunner.$anonfun$copySessionState تتبع مكدس المنفذ
    • تحديثات أمان نظام التشغيل.

  • 1 ديسمبر 2020

    • [SPARK-33404][SQL] [3.0] إصلاح النتائج غير الصحيحة في date_trunc التعبير
    • [SPARK-33339][PYTHON] سيتم تعليق تطبيق Pyspark بسبب خطأ غير استثناء
    • [SPARK-33183][SQL] [HOTFIX] إصلاح قاعدة المحسن RemoveSorts وإضافة قاعدة فعلية لإزالة الفرز المتكرر
    • [SPARK-33371][PYTHON] [3.0] تحديث setup.py والاختبارات ل Python 3.9
    • [SPARK-33391][SQL] element_at مع CreateArray لا يحترم فهرسا يستند إلى واحد.
    • [SPARK-33306][SQL] المنطقة الزمنية مطلوبة عند تحويل التاريخ إلى سلسلة

  • 3 نوفمبر \ تشرين الثاني 2020

    • تمت ترقية إصدار Java من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح ABFS وتأمين WASB فيما يتعلق ب UserGroupInformation.getCurrentUser()
    • إصلاح خطأ التكرار الحلقي اللانهائي لقارئ Avro عند قراءة بايت MAGIC.

  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL] استخدام Utils.getSimpleName لتجنب الوصول إلى اسم الفئة المضطل في TreeNode
    • دلائل سرد ثابتة في تحميل FUSE تحتوي على أسماء ملفات ذات أحرف XML غير صالحة
    • لم يعد تحميل FUSE يستخدم ListMultipartUploads

  • 29 سبتمبر 2020

    • [SPARK-28863][SQL] [WARMFIX] تقديم AlreadyOptimized لمنع إعادة تحليل V1FallbackWriters
    • [SPARK-32635][SQL] إصلاح الانتشار القابل للطي
    • إضافة تكوين spark.shuffle.io.decoder.consolidateThresholdجديد . قم بتعيين قيمة التكوين إلى Long.MAX_VALUE لتخطي دمج netty FrameBuffers، والذي يمنع في حالات الزاوية java.lang.IndexOutOfBoundsException .

  • 24 سبتمبر 2020

    • [SPARK-32764][SQL] -0.0 يجب أن يكون مساويا ل 0.0
    • [SPARK-32753][SQL] نسخ العلامات فقط إلى عقدة بدون علامات عند تحويل الخطط
    • [SPARK-32659][SQL] إصلاح مشكلة البيانات الخاصة بتقليم التقسيم الديناميكي المدرج على النوع غير الذري
    • تحديثات أمان نظام التشغيل.

  • 8 أيلول / سبتمبر، 2020

    • تم إنشاء معلمة جديدة ل Azure Synapse Analytics، maxbinlength. يتم استخدام هذه المعلمة للتحكم في طول عمود أعمدة BinaryType، ويتم ترجمتها على أنها VARBINARY(maxbinlength). يمكن تعيينه باستخدام .option("maxbinlength", n)، حيث 0 < n <= 8000.

  • 25 أغسطس 2020

    • [SPARK-32159][SQL] إصلاح التكامل بين Aggregator[Array[_], _, _] و UnresolvedMapObjects
    • [SPARK-32559][SQL] إصلاح منطق الاقتطاع في UTF8String.toInt/toLong، الذي لم يعالج الأحرف غير ASCII بشكل صحيح
    • [SPARK-32543][R] إزالة arrow::as_tibble الاستخدام في SparkR
    • [SPARK-32091][CORE] تجاهل خطأ المهلة عند إزالة الكتل على المنفذ المفقود
    • تم إصلاح مشكلة تؤثر على موصل Azure Synapse مع بيانات اعتماد MSI
    • إصلاح دقة السمة الغامضة في الدمج الذاتي

  • 18 أغسطس 2020

    • [SPARK-32594][SQL] إصلاح تسلسل التواريخ المدرجة في جداول Hive
    • [SPARK-32237][SQL] حل التلميح في CTE
    • [SPARK-32431][SQL] التحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • [SPARK-32467][واجهة المستخدم] تجنب ترميز URL مرتين على إعادة توجيه https
    • تم إصلاح حالة تعارض في موصل AQS عند استخدام Trigger.Once.

  • 11 أغسطس 2020

    • [SPARK-32280][SPARK-32372][SQL] يجب على ResolveReferences.dedupRight إعادة كتابة السمات فقط لعقد أصل خطة التعارض
    • [SPARK-32234][SQL] تفشل أوامر Spark SQL في تحديد جداول ORC

  • 3 أغسطس 2020

    • يمكنك الآن استخدام دالة تحويل LDA على مجموعة ممكنة بالمرور.

Databricks Runtime 7.0 (EoS)

راجع Databricks Runtime 7.0 (EoS).

  • 4 فبراير 2021

    • تم إصلاح الانحدار الذي تسبب في فشل بدء تشغيل DBFS FUSE عندما تحتوي تكوينات متغير بيئة نظام المجموعة على بناء جملة bash غير صالح.

  • 20 يناير 2021

    • تم إصلاح الانحدار في إصدار الصيانة في 12 يناير 2021 الذي يمكن أن يسبب AnalysisException غير صحيح ويقول إن العمود غامض في الصلة الذاتية. يحدث هذا التراجع عندما ينضم مستخدم إلى DataFrame باستخدام DataFrame المشتق (ما يسمى بالصلة الذاتية) مع الشروط التالية:
      • يحتوي هذان الإطاران من DataFrames على أعمدة مشتركة، ولكن إخراج الصلة الذاتية لا يحتوي على أعمدة مشتركة. على سبيل المثال، df.join(df.select($"col" as "new_col"), cond)
      • يستبعد DataFrame المشتق بعض الأعمدة عبر التحديد أو groupBy أو النافذة.
      • يشير شرط الصلة أو التحويل التالي بعد Dataframe المنضم إلى الأعمدة غير الشائعة. على سبيل المثال، df.join(df.drop("a"), df("a") === 1)

  • 12 يناير \ كانون الثاني 2021

    • تحديثات أمان نظام التشغيل.
    • [SPARK-33593][SQL] حصل قارئ المتجهات على بيانات غير صحيحة بقيمة قسم ثنائي
    • [SPARK-33677][SQL] تخطي قاعدة LikeSimplification إذا كان النمط يحتوي على أي escapeChar
    • [SPARK-33071][SPARK-33536] [SQL] تجنب تغيير dataset_id LogicalPlan في join() لعدم كسر DetectAmbiguousSelfJoin

  • 8 ديسمبر 2020

    • [SPARK-27421][SQL] إصلاح عامل التصفية لعمود int وفئة القيمة java.lang.String عند تقليم عمود القسم
    • [SPARK-33404][SQL] إصلاح النتائج غير الصحيحة في date_trunc التعبير
    • [SPARK-33339][PYTHON] سيتم تعليق تطبيق Pyspark بسبب خطأ غير استثناء
    • [SPARK-33183][SQL] إصلاح قاعدة المحسن RemoveSorts وإضافة قاعدة فعلية لإزالة الفرز المتكرر
    • [SPARK-33391][SQL] element_at مع CreateArray لا يحترم فهرسا يستند إلى واحد.
    • تحديثات أمان نظام التشغيل.

  • 1 ديسمبر 2020

    • [SPARK-33306][SQL] المنطقة الزمنية مطلوبة عند تحويل التاريخ إلى سلسلة

  • 3 نوفمبر \ تشرين الثاني 2020

    • تمت ترقية إصدار Java من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح ABFS وتأمين WASB فيما يتعلق ب UserGroupInformation.getCurrentUser()
    • إصلاح خطأ التكرار الحلقي اللانهائي لقارئ Avro عند قراءة بايت MAGIC.

  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL] استخدام Utils.getSimpleName لتجنب الوصول إلى اسم الفئة المضطل في TreeNode
    • دلائل سرد ثابتة في تحميل FUSE تحتوي على أسماء ملفات ذات أحرف XML غير صالحة
    • لم يعد تحميل FUSE يستخدم ListMultipartUploads

  • 29 سبتمبر 2020

    • [SPARK-28863][SQL] [WARMFIX] تقديم AlreadyOptimized لمنع إعادة تحليل V1FallbackWriters
    • [SPARK-32635][SQL] إصلاح الانتشار القابل للطي
    • إضافة تكوين spark.shuffle.io.decoder.consolidateThresholdجديد . قم بتعيين قيمة التكوين إلى Long.MAX_VALUE لتخطي دمج netty FrameBuffers، والذي يمنع في حالات الزاوية java.lang.IndexOutOfBoundsException .

  • 24 سبتمبر 2020

    • [SPARK-32764][SQL] -0.0 يجب أن يكون مساويا ل 0.0
    • [SPARK-32753][SQL] نسخ العلامات فقط إلى عقدة بدون علامات عند تحويل الخطط
    • [SPARK-32659][SQL] إصلاح مشكلة البيانات الخاصة بتقليم التقسيم الديناميكي المدرج على النوع غير الذري
    • تحديثات أمان نظام التشغيل.

  • 8 أيلول / سبتمبر، 2020

    • تم إنشاء معلمة جديدة ل Azure Synapse Analytics، maxbinlength. يتم استخدام هذه المعلمة للتحكم في طول عمود أعمدة BinaryType، ويتم ترجمتها على أنها VARBINARY(maxbinlength). يمكن تعيينه باستخدام .option("maxbinlength", n)، حيث 0 < n <= 8000.

  • 25 أغسطس 2020

    • [SPARK-32159][SQL] إصلاح التكامل بين Aggregator[Array[_], _, _] و UnresolvedMapObjects
    • [SPARK-32559][SQL] إصلاح منطق الاقتطاع في UTF8String.toInt/toLong، الذي لم يعالج الأحرف غير ASCII بشكل صحيح
    • [SPARK-32543][R] إزالة arrow::as_tibble الاستخدام في SparkR
    • [SPARK-32091][CORE] تجاهل خطأ المهلة عند إزالة الكتل على المنفذ المفقود
    • تم إصلاح مشكلة تؤثر على موصل Azure Synapse مع بيانات اعتماد MSI
    • إصلاح دقة السمة الغامضة في الدمج الذاتي

  • 18 أغسطس 2020

    • [SPARK-32594][SQL] إصلاح تسلسل التواريخ المدرجة في جداول Hive
    • [SPARK-32237][SQL] حل التلميح في CTE
    • [SPARK-32431][SQL] التحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • [SPARK-32467][واجهة المستخدم] تجنب ترميز URL مرتين على إعادة توجيه https
    • تم إصلاح حالة تعارض في موصل AQS عند استخدام Trigger.Once.

  • 11 أغسطس 2020

    • [SPARK-32280][SPARK-32372][SQL] يجب على ResolveReferences.dedupRight إعادة كتابة السمات فقط لعقد أصل خطة التعارض
    • [SPARK-32234][SQL] تفشل أوامر Spark SQL في تحديد جداول ORC
    • يمكنك الآن استخدام دالة تحويل LDA على مجموعة ممكنة بالمرور.

Databricks Runtime 6.6 (EoS)

راجع Databricks Runtime 6.6 (EoS).

  • 1 ديسمبر 2020

    • [SPARK-33260][SQL] إصلاح نتائج غير صحيحة من SortExec عندما يكون sortOrder هو Stream
    • [SPARK-32635][SQL] إصلاح الانتشار القابل للطي

  • 3 نوفمبر \ تشرين الثاني 2020

    • تمت ترقية إصدار Java من 1.8.0_252 إلى 1.8.0_265.
    • إصلاح ABFS وتأمين WASB فيما يتعلق ب UserGroupInformation.getCurrentUser()
    • إصلاح خطأ التكرار الحلقي اللانهائي لقارئ Avro عند قراءة بايت MAGIC.

  • 13 أكتوبر 2020

    • تحديثات أمان نظام التشغيل.
    • [SPARK-32999][SQL] [2.4] استخدام Utils.getSimpleName لتجنب الوصول إلى اسم الفئة المضطل في TreeNode
    • دلائل سرد ثابتة في تحميل FUSE تحتوي على أسماء ملفات ذات أحرف XML غير صالحة
    • لم يعد تحميل FUSE يستخدم ListMultipartUploads

  • 24 سبتمبر 2020

    • تحديثات أمان نظام التشغيل.

  • 8 أيلول / سبتمبر، 2020

    • تم إنشاء معلمة جديدة ل Azure Synapse Analytics، maxbinlength. يتم استخدام هذه المعلمة للتحكم في طول عمود أعمدة BinaryType، ويتم ترجمتها على أنها VARBINARY(maxbinlength). يمكن تعيينه باستخدام .option("maxbinlength", n)، حيث 0 < n <= 8000.
    • تحديث Azure Storage SDK إلى 8.6.4 وتمكين TCP البقاء على قيد الحياة على الاتصالات التي أجراها برنامج تشغيل WASB

  • 25 أغسطس 2020

    • إصلاح دقة السمة الغامضة في الدمج الذاتي

  • 18 أغسطس 2020

    • [SPARK-32431][SQL] التحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • تم إصلاح حالة تعارض في موصل AQS عند استخدام Trigger.Once.

  • 11 أغسطس 2020

    • [SPARK-28676][CORE] تجنب التسجيل المفرط من ContextCleaner
    • [SPARK-31967][واجهة المستخدم] الرجوع إلى إصدار vis.js 4.21.0 لإصلاح تراجع وقت تحميل واجهة مستخدم الوظائف

  • 3 أغسطس 2020

    • يمكنك الآن استخدام دالة تحويل LDA على مجموعة ممكنة بالمرور.
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 6.5 (EoS)

راجع Databricks Runtime 6.5 (EoS).

  • 24 سبتمبر 2020
    • تم إصلاح القيد السابق حيث لا يزال التمرير على نظام المجموعة القياسي يقيد استخدامات مستخدم تطبيق نظام الملفات. الآن سيتمكن المستخدمون من الوصول إلى أنظمة الملفات المحلية دون قيود.
    • تحديثات أمان نظام التشغيل.
  • 8 سبتمبر 2020
    • تم إنشاء معلمة جديدة ل Azure Synapse Analytics، maxbinlength. يتم استخدام هذه المعلمة للتحكم في طول عمود أعمدة BinaryType، ويتم ترجمتها على أنها VARBINARY(maxbinlength). يمكن تعيينه باستخدام .option("maxbinlength", n)، حيث 0 < n <= 8000.
    • تحديث Azure Storage SDK إلى 8.6.4 وتمكين TCP البقاء على قيد الحياة على الاتصالات التي أجراها برنامج تشغيل WASB
  • 25 أغسطس 2020
    • إصلاح دقة السمة الغامضة في الدمج الذاتي
  • 18 أغسطس 2020
    • [SPARK-32431][SQL] التحقق من الأعمدة المتداخلة المكررة في القراءة من مصادر البيانات المضمنة
    • تم إصلاح حالة تعارض في موصل AQS عند استخدام Trigger.Once.
  • 11 أغسطس 2020
    • [SPARK-28676][CORE] تجنب التسجيل المفرط من ContextCleaner
  • 3 أغسطس 2020
    • يمكنك الآن استخدام دالة تحويل LDA على مجموعة ممكنة بالمرور.
    • تحديثات أمان نظام التشغيل.
  • 7 يوليو 2020
    • تمت ترقية إصدار Java من 1.8.0_242 إلى 1.8.0_252.
  • 21 أبريل 2020
    • [SPARK-31312][SQL] مثيل فئة ذاكرة التخزين المؤقت لمثيل UDF في HiveFunctionWrapper

Databricks Runtime 6.3 (EoS)

راجع Databricks Runtime 6.3 (EoS).

  • 7 يوليو 2020
    • تمت ترقية إصدار Java من 1.8.0_232 إلى 1.8.0_252.
  • 21 أبريل 2020
    • [SPARK-31312][SQL] مثيل فئة ذاكرة التخزين المؤقت لمثيل UDF في HiveFunctionWrapper
  • 7 أبريل 2020
    • لحل مشكلة مع pandas udf لا يعمل مع PyArrow 0.15.0 وما فوق، أضفنا متغير بيئة (ARROW_PRE_0_15_IPC_FORMAT=1) لتمكين الدعم لتلك الإصدارات من PyArrow. راجع الإرشادات الواردة في [SPARK-29367].
  • 10 مارس 2020
    • يتم تحديث موصل Snowflake (spark-snowflake_2.11) المضمن في Databricks Runtime إلى الإصدار 2.5.9. snowflake-jdbc يتم تحديث إلى الإصدار 3.12.0.
  • 18 فبراير 2020
    • يحتوي تمرير بيانات الاعتماد مع ADLS Gen2 على تدهور في الأداء بسبب معالجة مؤشر الترابط المحلي غير الصحيح عند تمكين الإحضار المسبق لعميل ADLS. يعطل هذا الإصدار الإحضار المسبق ل ADLS Gen2 عند تمكين تمرير بيانات الاعتماد حتى يكون لدينا إصلاح مناسب.
  • 11 فبراير 2020
    • [SPARK-24783][SQL] يجب أن يطرح spark.sql.shuffle.partitions=0 استثناء
    • [SPARK-30447][SQL] مشكلة قابلية النشر المستمرة للقيمة الخالية
    • [SPARK-28152][SQL] إضافة تكوين قديم لتعيين MsSqlServerDialect الرقمي القديم
    • Allowlisted الدالة overwrite بحيث يمكن ل MLModels extends MLWriter استدعاء الدالة .

Databricks Runtime 6.2 (EoS)

راجع Databricks Runtime 6.2 (EoS).

  • 21 أبريل 2020
    • [SPARK-31312][SQL] مثيل فئة ذاكرة التخزين المؤقت لمثيل UDF في HiveFunctionWrapper
  • 7 أبريل 2020
    • لحل مشكلة مع pandas udf لا يعمل مع PyArrow 0.15.0 وما فوق، أضفنا متغير بيئة (ARROW_PRE_0_15_IPC_FORMAT=1) لتمكين الدعم لتلك الإصدارات من PyArrow. راجع الإرشادات الواردة في [SPARK-29367].
  • 25 مارس 2020
    • يخضع إخراج الوظيفة، مثل إخراج السجل المنبعثة إلى stdout، إلى حد حجم 20 ميغابايت. إذا كان إجمالي الإخراج بحجم أكبر، إلغاء التشغيل ووضع علامة عليه على أنه فاشل. لتجنب مواجهة هذا الحد، يمكنك منع إرجاع stdout من برنامج التشغيل إلى عن طريق تعيين spark.databricks.driver.disableScalaOutput تكوين Spark إلى true. تكون قيمة العلامة بشكل افتراضي هي false. تتحكم العلامة في إخراج الخلية لمهام Scala JAR ودفاتر ملاحظات Scala. إذا تم تمكين العلامة، لا يقوم Spark بإرجاع نتائج تنفيذ المهمة إلى العميل. لا تؤثر العلامة على البيانات المكتوبة في ملفات سجل نظام المجموعة. يوصى بتعيين هذه العلامة فقط للمجموعات التلقائية لمهام JAR، لأنها ستعطل نتائج دفتر الملاحظات.
  • 10 مارس 2020
    • يتم تحديث موصل Snowflake (spark-snowflake_2.11) المضمن في Databricks Runtime إلى الإصدار 2.5.9. snowflake-jdbc يتم تحديث إلى الإصدار 3.12.0.
  • 18 فبراير 2020
    • [SPARK-24783][SQL] يجب أن يطرح spark.sql.shuffle.partitions=0 استثناء
    • يحتوي تمرير بيانات الاعتماد مع ADLS Gen2 على تدهور في الأداء بسبب معالجة مؤشر الترابط المحلي غير الصحيح عند تمكين الإحضار المسبق لعميل ADLS. يعطل هذا الإصدار الإحضار المسبق ل ADLS Gen2 عند تمكين تمرير بيانات الاعتماد حتى يكون لدينا إصلاح مناسب.
  • 28 يناير 2020
    • وظيفة الكتابة فوق Allowlisted ML Model Writers للمجموعات الممكنة لتمرير بيانات الاعتماد، بحيث يمكن أن يستخدم حفظ النموذج وضع الكتابة فوق على مجموعات تمرير بيانات الاعتماد.
    • [SPARK-30447][SQL] مشكلة عدم قابلية النشر الثابت للقيمة الخالية.
    • [SPARK-28152][SQL] أضف تكوينا قديما لتعيين MsSqlServerDialect الرقمي القديم.
  • 14 يناير 2020
    • تمت ترقية إصدار Java من 1.8.0_222 إلى 1.8.0_232.
  • 10 ديسمبر 2019
    • [SPARK-29904][SQL] تحليل الطوابع الزمنية بدقة ميكرو ثانية بواسطة مصادر بيانات JSON/CSV.

Databricks Runtime 6.1 (EoS)

راجع Databricks Runtime 6.1 (EoS).

  • 7 أبريل 2020
    • لحل مشكلة مع pandas udf لا يعمل مع PyArrow 0.15.0 وما فوق، أضفنا متغير بيئة (ARROW_PRE_0_15_IPC_FORMAT=1) لتمكين الدعم لتلك الإصدارات من PyArrow. راجع الإرشادات الواردة في [SPARK-29367].
  • 25 مارس 2020
    • يخضع إخراج الوظيفة، مثل إخراج السجل المنبعثة إلى stdout، إلى حد حجم 20 ميغابايت. إذا كان إجمالي الإخراج بحجم أكبر، إلغاء التشغيل ووضع علامة عليه على أنه فاشل. لتجنب مواجهة هذا الحد، يمكنك منع إرجاع stdout من برنامج التشغيل إلى عن طريق تعيين spark.databricks.driver.disableScalaOutput تكوين Spark إلى true. تكون قيمة العلامة بشكل افتراضي هي false. تتحكم العلامة في إخراج الخلية لمهام Scala JAR ودفاتر ملاحظات Scala. إذا تم تمكين العلامة، لا يقوم Spark بإرجاع نتائج تنفيذ المهمة إلى العميل. لا تؤثر العلامة على البيانات المكتوبة في ملفات سجل نظام المجموعة. يوصى بتعيين هذه العلامة فقط للمجموعات التلقائية لمهام JAR، لأنها ستعطل نتائج دفتر الملاحظات.
  • 10 مارس 2020
    • يتم تحديث موصل Snowflake (spark-snowflake_2.11) المضمن في Databricks Runtime إلى الإصدار 2.5.9. snowflake-jdbc يتم تحديث إلى الإصدار 3.12.0.
  • 18 فبراير 2020
    • [SPARK-24783][SQL] يجب أن يطرح spark.sql.shuffle.partitions=0 استثناء
    • يحتوي تمرير بيانات الاعتماد مع ADLS Gen2 على تدهور في الأداء بسبب معالجة مؤشر الترابط المحلي غير الصحيح عند تمكين الإحضار المسبق لعميل ADLS. يعطل هذا الإصدار الإحضار المسبق ل ADLS Gen2 عند تمكين تمرير بيانات الاعتماد حتى يكون لدينا إصلاح مناسب.
  • 28 يناير 2020
    • [SPARK-30447][SQL] مشكلة عدم قابلية النشر الثابت للقيمة الخالية.
    • [SPARK-28152][SQL] أضف تكوينا قديما لتعيين MsSqlServerDialect الرقمي القديم.
  • 14 يناير 2020
    • تمت ترقية إصدار Java من 1.8.0_222 إلى 1.8.0_232.
  • 7 نوفمبر 2019
  • 5 نوفمبر 2019
    • تم إصلاح خطأ في DBFS FUSE لمعالجة نقاط التحميل التي لها // في مسارها.
    • [SPARK-29081] استبدال الاستدعاءات ب SerializationUtils.clone على الخصائص بتنفيذ أسرع
    • [SPARK-29244][CORE] منع الصفحة الحرة في BytesToBytesMap مجانا مرة أخرى
    • (6.1 ML) تم تثبيت إصدار mkl للمكتبة 2019.4 دون قصد. قمنا بتخفيضه إلى إصدار mkl 2019.3 لمطابقة Anaconda Distribution 2019.03.

Databricks Runtime 6.0 (EoS)

راجع Databricks Runtime 6.0 (EoS) .

  • 25 مارس 2020
    • يخضع إخراج الوظيفة، مثل إخراج السجل المنبعثة إلى stdout، إلى حد حجم 20 ميغابايت. إذا كان إجمالي الإخراج بحجم أكبر، إلغاء التشغيل ووضع علامة عليه على أنه فاشل. لتجنب مواجهة هذا الحد، يمكنك منع إرجاع stdout من برنامج التشغيل إلى عن طريق تعيين spark.databricks.driver.disableScalaOutput تكوين Spark إلى true. تكون قيمة العلامة بشكل افتراضي هي false. تتحكم العلامة في إخراج الخلية لمهام Scala JAR ودفاتر ملاحظات Scala. إذا تم تمكين العلامة، لا يقوم Spark بإرجاع نتائج تنفيذ المهمة إلى العميل. لا تؤثر العلامة على البيانات المكتوبة في ملفات سجل نظام المجموعة. يوصى بتعيين هذه العلامة فقط للمجموعات التلقائية لمهام JAR، لأنها ستعطل نتائج دفتر الملاحظات.
  • 18 فبراير 2020
    • يحتوي تمرير بيانات الاعتماد مع ADLS Gen2 على تدهور في الأداء بسبب معالجة مؤشر الترابط المحلي غير الصحيح عند تمكين الإحضار المسبق لعميل ADLS. يعطل هذا الإصدار الإحضار المسبق ل ADLS Gen2 عند تمكين تمرير بيانات الاعتماد حتى يكون لدينا إصلاح مناسب.
  • 11 فبراير 2020
    • [SPARK-24783][SQL] يجب أن يطرح spark.sql.shuffle.partitions=0 استثناء
  • 28 يناير 2020
    • [SPARK-30447][SQL] مشكلة عدم قابلية النشر الثابت للقيمة الخالية.
    • [SPARK-28152][SQL] أضف تكوينا قديما لتعيين MsSqlServerDialect الرقمي القديم.
  • 14 يناير 2020
    • تمت ترقية إصدار Java من 1.8.0_222 إلى 1.8.0_232.
  • 19 نوفمبر 2019
    • [SPARK-29743] يجب أن عينة [SQL] تعيين needCopyResult إلى true إذا كانت حاجة طفلهاCopyResult صحيحة
  • 5 نوفمبر 2019
    • dbutils.tensorboard.start() يدعم الآن TensorBoard 2.0 (إذا تم تثبيته يدويا).
    • تم إصلاح خطأ في DBFS FUSE لمعالجة نقاط التحميل التي لها // في مسارها.
    • [SPARK-29081]استبدال الاستدعاءات ب SerializationUtils.clone على الخصائص بتنفيذ أسرع
  • 23 أكتوبر 2019
    • [SPARK-29244][CORE] منع الصفحة الحرة في BytesToBytesMap مجانا مرة أخرى
  • 8 أكتوبر 2019
    • تغييرات جانب الخادم للسماح لبرنامج تشغيل Simba Apache Spark ODBC بإعادة الاتصال والمتابعة بعد فشل الاتصال أثناء إحضار النتائج (يتطلب إصدار برنامج تشغيل Simba Apache Spark ODBC 2.6.10).
    • تم إصلاح مشكلة تؤثر على استخدام Optimize الأمر مع مجموعات تمكين ACL للجدول.
    • تم إصلاح مشكلة فشل pyspark.ml المكتبات بسبب خطأ Scala UDF الممنوع في جدول ACL ومجموعات بيانات الاعتماد الممكنة.
    • أساليب SerDe/SerDeUtil المسموح بها لتمرير بيانات الاعتماد.
    • تم إصلاح NullPointerException عند التحقق من رمز الخطأ في عميل WASB.
    • تم إصلاح المشكلة حيث لم تتم إعادة توجيه بيانات اعتماد المستخدم إلى المهام التي تم إنشاؤها بواسطة dbutils.notebook.run().

Databricks Runtime 5.4 ML (EoS)

راجع Databricks Runtime 5.4 for ML (EoS).

  • 18 يونيو 2019
    • تحسين معالجة عمليات تشغيل MLflow النشطة في تكامل Hyperopt
    • الرسائل المحسنة في Hyperopt
    • الحزمة المحدثة Marchkdown من 3.1 إلى 3.1.1

Databricks Runtime 5.4 (EoS)

راجع Databricks Runtime 5.4 (EoS).

  • 19 نوفمبر 2019
    • [SPARK-29743] يجب أن عينة [SQL] تعيين needCopyResult إلى true إذا كانت حاجة طفلهاCopyResult صحيحة
  • 8 أكتوبر 2019
    • تغييرات جانب الخادم للسماح لبرنامج تشغيل Simba Apache Spark ODBC بإعادة الاتصال والمتابعة بعد فشل الاتصال أثناء إحضار النتائج (يتطلب تحديث برنامج تشغيل Simba Apache Spark ODBC إلى الإصدار 2.6.10).
    • تم إصلاح NullPointerException عند التحقق من رمز الخطأ في عميل WASB.
  • 10 سبتمبر 2019
    • إضافة مكرر مؤشر الترابط الآمن إلى BytesToBytesMap
    • إصلاح خطأ يؤثر على استعلامات تجميع عمومية معينة.
    • [SPARK-27330][SS] تم إجهاض مهمة الدعم في كاتب foreach
    • [SPARK-28642]إخفاء بيانات الاعتماد في SHOW CREATE TABLE
    • [SPARK-28699][SQL] تعطيل استخدام فرز radix ل ShuffleExchangeExec في حالة إعادة تقسيم
    • [SPARK-28699][CORE] إصلاح حالة زاوية لإجهاض مرحلة غير محددة
  • 27 أغسطس 2019
    • إصلاح مشكلة تؤثر على تعبيرات معينة transform
  • 13 أغسطس 2019
    • يجب أن يتحقق مصدر دفق دلتا من أحدث بروتوكول لجدول
    • [SPARK-28489][SS] إصلاح خطأ قد يؤدي KafkaOffsetRangeCalculator.getRanges إلى إسقاط الإزاحات
  • 30 يوليو 2019
    • [SPARK-28015][SQL] يستهلك Check stringToDate() إدخالا كاملا لتنسيقات yyyy وyyyy-[m]m
    • [SPARK-28308][CORE] يجب إضافة الجزء الفرعي ل CalendarInterval قبل التحليل
    • [SPARK-27485]تأكد من أنRequirements.reorder يجب أن تتعامل مع التعبيرات المكررة بأمان
  • 2 يوليو 2019
    • تمت ترقية snappy-java من 1.1.7.1 إلى 1.1.7.3.
  • 18 يونيو 2019
    • تحسين معالجة عمليات تشغيل MLflow النشطة في تكامل MLlib
    • تحسين رسالة Databricks Advisor المتعلقة باستخدام التخزين المؤقت للقرص
    • إصلاح خطأ يؤثر على استخدام وظائف ذات ترتيب أعلى
    • إصلاح خطأ يؤثر على استعلامات بيانات تعريف دلتا

Databricks Runtime 5.3 (EoS)

راجع Databricks Runtime 5.3 (EoS).

  • 7 نوفمبر 2019
    • [SPARK-29743]يجب أن عينة [SQL] تعيين needCopyResult إلى true إذا كانت حاجة طفلهاCopyResult صحيحة
  • 8 أكتوبر 2019
    • تغييرات جانب الخادم للسماح لبرنامج تشغيل Simba Apache Spark ODBC بإعادة الاتصال والمتابعة بعد فشل الاتصال أثناء إحضار النتائج (يتطلب تحديث برنامج تشغيل Simba Apache Spark ODBC إلى الإصدار 2.6.10).
    • تم إصلاح NullPointerException عند التحقق من رمز الخطأ في عميل WASB.
  • 10 سبتمبر 2019
    • إضافة مكرر مؤشر الترابط الآمن إلى BytesToBytesMap
    • إصلاح خطأ يؤثر على استعلامات تجميع عمومية معينة.
    • [SPARK-27330][SS] تم إجهاض مهمة الدعم في كاتب foreach
    • [SPARK-28642]إخفاء بيانات الاعتماد في SHOW CREATE TABLE
    • [SPARK-28699][SQL] تعطيل استخدام فرز radix ل ShuffleExchangeExec في حالة إعادة تقسيم
    • [SPARK-28699][CORE] إصلاح حالة زاوية لإجهاض مرحلة غير محددة
  • 27 أغسطس 2019
    • إصلاح مشكلة تؤثر على تعبيرات معينة transform
  • 13 أغسطس 2019
    • يجب أن يتحقق مصدر دفق دلتا من أحدث بروتوكول لجدول
    • [SPARK-28489][SS] إصلاح خطأ قد يؤدي KafkaOffsetRangeCalculator.getRanges إلى إسقاط الإزاحات
  • 30 يوليو 2019
    • [SPARK-28015][SQL] يستهلك Check stringToDate() إدخالا كاملا لتنسيقات yyyy وyyyy-[m]m
    • [SPARK-28308][CORE] يجب إضافة الجزء الفرعي ل CalendarInterval قبل التحليل
    • [SPARK-27485]تأكد من أنRequirements.reorder يجب أن تتعامل مع التعبيرات المكررة بأمان
  • 18 يونيو 2019
    • تحسين رسالة Databricks Advisor المتعلقة باستخدام التخزين المؤقت للقرص
    • إصلاح خطأ يؤثر على استخدام وظائف ذات ترتيب أعلى
    • إصلاح خطأ يؤثر على استعلامات بيانات تعريف دلتا
  • 28 مايو 2019
    • تحسين استقرار دلتا
    • تحمل IOExceptions عند قراءة ملف Delta LAST_CHECKPOINT
      • تمت إضافة استرداد إلى فشل تثبيت المكتبة
  • 7 مايو 2019
    • منفذ HADOOP-15778 (ABFS: إصلاح التقييد من جانب العميل للقراءة) إلى موصل Azure Data Lake Storage Gen2
    • منفذ HADOOP-16040 (ABFS: إصلاح الأخطاء لتسامح مع تكوين التطبيقات) إلى موصل Azure Data Lake Storage Gen2
    • إصلاح خطأ يؤثر على قوائم ACL للجدول
    • تم إصلاح حالة تعارض عند تحميل ملف المجموع الاختباري لسجل دلتا
    • تم إصلاح منطق الكشف عن تعارض دلتا لعدم تحديد "insert + overwrite" على أنه عملية "إلحاق" خالصة
    • تأكد من عدم تعطيل التخزين المؤقت للقرص عند تمكين قوائم التحكم بالوصول في الجدول
    • [SPARK-27494] [SS] لا تعمل المفاتيح/القيم الخالية في مصدر Kafka v2
    • [SPARK-27446] [R] استخدم تكوين spark الموجود إذا كان متوفرا.
    • [SPARK-27454] [SPARK-27454] [التعلم الآلي] [SQL] فشل مصدر بيانات صورة Spark عند مواجهة بعض الصور غير القانونية
    • [SPARK-27160] [SQL] إصلاح DecimalType عند إنشاء عوامل تصفية orc
    • [SPARK-27338] [CORE] إصلاح حالة التوقف التام بين UnsafeExternalSorter و TaskMemoryManager

Databricks Runtime 5.2 (EoS)

راجع Databricks Runtime 5.2 (EoS).

  • 10 سبتمبر 2019
    • إضافة مكرر مؤشر الترابط الآمن إلى BytesToBytesMap
    • إصلاح خطأ يؤثر على استعلامات تجميع عمومية معينة.
    • [SPARK-27330][SS] تم إجهاض مهمة الدعم في كاتب foreach
    • [SPARK-28642]إخفاء بيانات الاعتماد في SHOW CREATE TABLE
    • [SPARK-28699][SQL] تعطيل استخدام فرز radix ل ShuffleExchangeExec في حالة إعادة تقسيم
    • [SPARK-28699][CORE] إصلاح حالة زاوية لإجهاض مرحلة غير محددة
  • 27 أغسطس 2019
    • إصلاح مشكلة تؤثر على تعبيرات معينة transform
  • 13 أغسطس 2019
    • يجب أن يتحقق مصدر دفق دلتا من أحدث بروتوكول لجدول
    • [SPARK-28489][SS] إصلاح خطأ قد يؤدي KafkaOffsetRangeCalculator.getRanges إلى إسقاط الإزاحات
  • 30 يوليو 2019
    • [SPARK-28015][SQL] يستهلك Check stringToDate() إدخالا كاملا لتنسيقات yyyy وyyyy-[m]m
    • [SPARK-28308][CORE] يجب إضافة الجزء الفرعي ل CalendarInterval قبل التحليل
    • [SPARK-27485]تأكد من أنRequirements.reorder يجب أن تتعامل مع التعبيرات المكررة بأمان
  • 2 يوليو 2019
    • تحمل IOExceptions عند قراءة ملف Delta LAST_CHECKPOINT
  • 18 يونيو 2019
    • تحسين رسالة Databricks Advisor المتعلقة باستخدام ذاكرة التخزين المؤقت للقرص
    • إصلاح خطأ يؤثر على استخدام وظائف ذات ترتيب أعلى
    • إصلاح خطأ يؤثر على استعلامات بيانات تعريف دلتا
  • 28 مايو 2019
    • تمت إضافة استرداد إلى فشل تثبيت المكتبة
  • 7 مايو 2019
    • منفذ HADOOP-15778 (ABFS: إصلاح التقييد من جانب العميل للقراءة) إلى موصل Azure Data Lake Storage Gen2
    • منفذ HADOOP-16040 (ABFS: إصلاح الأخطاء لتسامح مع تكوين التطبيقات) إلى موصل Azure Data Lake Storage Gen2
    • تم إصلاح حالة تعارض عند تحميل ملف المجموع الاختباري لسجل دلتا
    • تم إصلاح منطق الكشف عن تعارض دلتا لعدم تحديد "insert + overwrite" على أنه عملية "إلحاق" خالصة
    • تأكد من عدم تعطيل التخزين المؤقت للقرص عند تمكين قوائم التحكم بالوصول في الجدول
    • [SPARK-27494] [SS] لا تعمل المفاتيح/القيم الخالية في مصدر Kafka v2
    • [SPARK-27454] [SPARK-27454] [التعلم الآلي] [SQL] فشل مصدر بيانات صورة Spark عند مواجهة بعض الصور غير القانونية
    • [SPARK-27160] [SQL] إصلاح DecimalType عند إنشاء عوامل تصفية orc
    • [SPARK-27338] [CORE] إصلاح حالة التوقف التام بين UnsafeExternalSorter و TaskMemoryManager
  • 26 مارس 2019
    • تجنب تضمين الإزاحات المعتمدة على النظام الأساسي حرفيا في التعليمات البرمجية التي تم إنشاؤها في مرحلة كاملة
    • [SPARK-26665][CORE] إصلاح خطأ قد يتعطل BlockTransferService.fetchBlockSync إلى الأبد.
    • [SPARK-27134][SQL] لا تعمل الدالة array_distinct بشكل صحيح مع الأعمدة التي تحتوي على صفيف من الصفيف.
    • [SPARK-24669][SQL] إبطال الجداول في حالة DROP DATABASE CASCADE.
    • [SPARK-26572][SQL] إصلاح تقييم نتائج codegen التجميعية.
    • إصلاح خطأ يؤثر على بعض PythonUDFs.
  • 26 فبراير 2019
    • [SPARK-26864][SQL] قد يرجع الاستعلام نتيجة غير صحيحة عند استخدام python udf كشرط شبه صلة يسرى.
    • [SPARK-26887][PYTHON] إنشاء datetime.date مباشرة بدلا من إنشاء datetime64 كبيانات وسيطة.
    • تم إصلاح خطأ يؤثر على خادم JDBC/ODBC.
    • إصلاح خطأ يؤثر على PySpark.
    • استبعاد الملفات المخفية عند إنشاء HadoopRDD.
    • تم إصلاح خطأ في Delta تسبب في حدوث مشكلات في التسلسل.
  • 12 فبراير 2019
    • تم إصلاح مشكلة تؤثر على استخدام Delta مع نقاط تحميل Azure ADLS Gen2.
    • تم إصلاح مشكلة أن بروتوكول شبكة Spark منخفض المستوى قد يكون معطلا عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عندما spark.network.crypto.enabled يتم تعيين إلى صحيح).
  • 30 يناير 2019
    • تم إصلاح StackOverflowError عند وضع تلميح انحراف الصلة على العلاقة المخزنة مؤقتا.
    • تم إصلاح عدم التناسق بين مجموعة البيانات الموزعة المرنة المخزنة مؤقتا في ذاكرة التخزين المؤقت ل SQL وخطتها الفعلية، مما يؤدي إلى نتيجة غير صحيحة.
    • [SPARK-26706][SQL] إصلاح illegalNumericPrecedence ل ByteType.
    • [SPARK-26709][SQL] لا يعالج OptimizeMetadataOnlyQuery السجلات الفارغة بشكل صحيح.
    • يجب أن تتجنب مصادر بيانات CSV/JSON مسارات globbing عند الاستدلال على المخطط.
    • تم إصلاح استنتاج القيد على عامل تشغيل Window.
    • تم إصلاح مشكلة تؤثر على تثبيت مكتبات البيض مع تمكين نظام مجموعة التحكم بالوصول (ACL) للجدول.

Databricks Runtime 5.1 (EoS)

راجع Databricks Runtime 5.1 (EoS).

  • 13 أغسطس 2019
    • يجب أن يتحقق مصدر دفق دلتا من أحدث بروتوكول لجدول
    • [SPARK-28489][SS] إصلاح خطأ قد يؤدي KafkaOffsetRangeCalculator.getRanges إلى إسقاط الإزاحات
  • 30 يوليو 2019
    • [SPARK-28015][SQL] يستهلك Check stringToDate() إدخالا كاملا لتنسيقات yyyy وyyyy-[m]m
    • [SPARK-28308][CORE] يجب إضافة الجزء الفرعي ل CalendarInterval قبل التحليل
    • [SPARK-27485]تأكد من أنRequirements.reorder يجب أن تتعامل مع التعبيرات المكررة بأمان
  • 2 يوليو 2019
    • تحمل IOExceptions عند قراءة ملف Delta LAST_CHECKPOINT
  • 18 يونيو 2019
    • إصلاح خطأ يؤثر على استخدام وظائف ذات ترتيب أعلى
    • إصلاح خطأ يؤثر على استعلامات بيانات تعريف دلتا
  • 28 مايو 2019
    • تمت إضافة استرداد إلى فشل تثبيت المكتبة
  • 7 مايو 2019
    • منفذ HADOOP-15778 (ABFS: إصلاح التقييد من جانب العميل للقراءة) إلى موصل Azure Data Lake Storage Gen2
    • منفذ HADOOP-16040 (ABFS: إصلاح الأخطاء لتسامح مع تكوين التطبيقات) إلى موصل Azure Data Lake Storage Gen2
    • تم إصلاح حالة تعارض عند تحميل ملف المجموع الاختباري لسجل دلتا
    • تم إصلاح منطق الكشف عن تعارض دلتا لعدم تحديد "insert + overwrite" على أنه عملية "إلحاق" خالصة
    • [SPARK-27494] [SS] لا تعمل المفاتيح/القيم الخالية في مصدر Kafka v2
    • [SPARK-27454] [SPARK-27454] [التعلم الآلي] [SQL] فشل مصدر بيانات صورة Spark عند مواجهة بعض الصور غير القانونية
    • [SPARK-27160] [SQL] إصلاح DecimalType عند إنشاء عوامل تصفية orc
    • [SPARK-27338] [CORE] إصلاح حالة التوقف التام بين UnsafeExternalSorter و TaskMemoryManager
  • 26 مارس 2019
    • تجنب تضمين الإزاحات المعتمدة على النظام الأساسي حرفيا في التعليمات البرمجية التي تم إنشاؤها في مرحلة كاملة
    • إصلاح خطأ يؤثر على بعض PythonUDFs.
  • 26 فبراير 2019
    • [SPARK-26864][SQL] قد يرجع الاستعلام نتيجة غير صحيحة عند استخدام python udf كشرط شبه صلة يسرى.
    • تم إصلاح خطأ يؤثر على خادم JDBC/ODBC.
    • استبعاد الملفات المخفية عند إنشاء HadoopRDD.
  • 12 فبراير 2019
    • تم إصلاح مشكلة تؤثر على تثبيت مكتبات البيض مع تمكين نظام مجموعة التحكم بالوصول (ACL) للجدول.
    • تم إصلاح عدم التناسق بين مجموعة البيانات الموزعة المرنة المخزنة مؤقتا في ذاكرة التخزين المؤقت ل SQL وخطتها الفعلية، مما يؤدي إلى نتيجة غير صحيحة.
    • [SPARK-26706][SQL] إصلاح illegalNumericPrecedence ل ByteType.
    • [SPARK-26709][SQL] لا يعالج OptimizeMetadataOnlyQuery السجلات الفارغة بشكل صحيح.
    • تم إصلاح استنتاج القيد على عامل تشغيل Window.
    • تم إصلاح مشكلة أن بروتوكول شبكة Spark منخفض المستوى قد يكون معطلا عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عندما spark.network.crypto.enabled يتم تعيين إلى صحيح).
  • 30 يناير 2019
    • تم إصلاح مشكلة قد تتسبب df.rdd.count() في إرجاع UDT إجابة غير صحيحة لحالات معينة.
    • تم إصلاح مشكلة تؤثر على تثبيت العجلات.
    • [SPARK-26267]أعد المحاولة عند الكشف عن إزاحات غير صحيحة من Kafka.
    • تم إصلاح خطأ يؤثر على مصادر دفق ملفات متعددة في استعلام دفق.
    • تم إصلاح StackOverflowError عند وضع تلميح انحراف الصلة على العلاقة المخزنة مؤقتا.
    • تم إصلاح عدم التناسق بين مجموعة البيانات الموزعة المرنة المخزنة مؤقتا في ذاكرة التخزين المؤقت ل SQL وخطتها الفعلية، مما يؤدي إلى نتيجة غير صحيحة.
  • 8 يناير 2019
    • تم إصلاح المشكلة التي تتسبب في حدوث الخطأ org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]يجب ألا تغير إعادة ترتيب الانضمام ترتيب سمات الإخراج.
    • [SPARK-26366]يجب أن يعتبر ReplaceExceptWithFilter NULL ك False.
    • تحسين الاستقرار ل Delta Lake.
    • تم تمكين Delta Lake.
    • تم إصلاح المشكلة التي تسببت في فشل الوصول إلى Azure Data Lake Storage Gen2 عند تمكين Microsoft Entra ID Credential Passthrough ل Azure Data Lake Storage Gen1.
    • تم تمكين Databricks IO Cache الآن لنوع مثيل عامل سلسلة Ls لجميع مستويات التسعير.

Databricks Runtime 5.0 (EoS)

راجع Databricks Runtime 5.0 (EoS).

  • 18 يونيو 2019
    • إصلاح خطأ يؤثر على استخدام وظائف ذات ترتيب أعلى
  • 7 مايو 2019
    • تم إصلاح حالة تعارض عند تحميل ملف المجموع الاختباري لسجل دلتا
    • تم إصلاح منطق الكشف عن تعارض دلتا لعدم تحديد "insert + overwrite" على أنه عملية "إلحاق" خالصة
    • [SPARK-27494] [SS] لا تعمل المفاتيح/القيم الخالية في مصدر Kafka v2
    • [SPARK-27454] [SPARK-27454] [التعلم الآلي] [SQL] فشل مصدر بيانات صورة Spark عند مواجهة بعض الصور غير القانونية
    • [SPARK-27160] [SQL] إصلاح DecimalType عند إنشاء عوامل تصفية orc
      • [SPARK-27338] [CORE] إصلاح حالة التوقف التام بين UnsafeExternalSorter و TaskMemoryManager
  • 26 مارس 2019
    • تجنب تضمين الإزاحات المعتمدة على النظام الأساسي حرفيا في التعليمات البرمجية التي تم إنشاؤها في مرحلة كاملة
    • إصلاح خطأ يؤثر على بعض PythonUDFs.
  • 12 مارس 2019
    • [SPARK-26864][SQL] قد يرجع الاستعلام نتيجة غير صحيحة عند استخدام python udf كشرط شبه صلة يسرى.
  • 26 فبراير 2019
    • تم إصلاح خطأ يؤثر على خادم JDBC/ODBC.
    • استبعاد الملفات المخفية عند إنشاء HadoopRDD.
  • 12 فبراير 2019
    • تم إصلاح عدم التناسق بين مجموعة البيانات الموزعة المرنة المخزنة مؤقتا في ذاكرة التخزين المؤقت ل SQL وخطتها الفعلية، مما يؤدي إلى نتيجة غير صحيحة.
    • [SPARK-26706][SQL] إصلاح illegalNumericPrecedence ل ByteType.
    • [SPARK-26709][SQL] لا يعالج OptimizeMetadataOnlyQuery السجلات الفارغة بشكل صحيح.
    • تم إصلاح استنتاج القيد على عامل تشغيل Window.
    • تم إصلاح مشكلة أن بروتوكول شبكة Spark منخفض المستوى قد يكون معطلا عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عندما spark.network.crypto.enabled يتم تعيين إلى صحيح).
  • 30 يناير 2019
    • تم إصلاح مشكلة قد تتسبب df.rdd.count() في إرجاع UDT إجابة غير صحيحة لحالات معينة.
    • [SPARK-26267]أعد المحاولة عند الكشف عن إزاحات غير صحيحة من Kafka.
    • تم إصلاح خطأ يؤثر على مصادر دفق ملفات متعددة في استعلام دفق.
    • تم إصلاح StackOverflowError عند وضع تلميح انحراف الصلة على العلاقة المخزنة مؤقتا.
    • تم إصلاح عدم التناسق بين مجموعة البيانات الموزعة المرنة المخزنة مؤقتا في ذاكرة التخزين المؤقت ل SQL وخطتها الفعلية، مما يؤدي إلى نتيجة غير صحيحة.
  • 8 يناير 2019
    • تم إصلاح المشكلة التي تسببت في حدوث الخطأ org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]يجب ألا تغير إعادة ترتيب الانضمام ترتيب سمات الإخراج.
    • [SPARK-26366]يجب أن يعتبر ReplaceExceptWithFilter NULL ك False.
    • تحسين الاستقرار ل Delta Lake.
    • تم تمكين Delta Lake.
    • تم تمكين Databricks IO Cache الآن لنوع مثيل عامل سلسلة Ls لجميع مستويات التسعير.
  • 18 ديسمبر 2018
    • [SPARK-26293]تحويل استثناء عند وجود Python UDF في الاستعلام الفرعي
    • تم إصلاح مشكلة تؤثر على استعلامات معينة باستخدام الانضمام والحد.
    • بيانات الاعتماد التي تم تنقيحها من أسماء مجموعات البيانات الموزعة المرنة في واجهة مستخدم Spark
  • 6 ديسمبر 2018
    • تم إصلاح مشكلة تسببت في نتيجة استعلام غير صحيحة عند استخدام orderBy متبوعة مباشرة ب groupBy مع مفتاح المجموعة حسب كجزء بادئة من مفتاح الفرز حسب.
    • تمت ترقية Snowflake Connector ل Spark من 2.4.9.2-spark_2.4_pre_release إلى 2.4.10.
    • تجاهل الملفات التالفة فقط بعد إعادة محاولة واحدة أو أكثر عند spark.sql.files.ignoreCorruptFiles تمكين أو spark.sql.files.ignoreMissingFiles وضع علامة.
    • تم إصلاح مشكلة تؤثر على بعض استعلامات الاتحاد الذاتي.
    • تم إصلاح خطأ مع خادم التوفير حيث يتم تسريب جلسات العمل في بعض الأحيان عند إلغائها.
    • [SPARK-26307]تم إصلاح CTAS عند إدراج جدول مقسم باستخدام Hive SerDe.
    • [SPARK-26147]تفشل Python UDFs في حالة الانضمام حتى عند استخدام أعمدة من جانب واحد فقط من الصلة
    • [SPARK-26211]إصلاح InSet للثنائي، والبنية والصفيف بالقيمة الفارغة.
    • [SPARK-26181]hasMinMaxStats أسلوب ColumnStatsMap غير صحيح.
    • تم إصلاح مشكلة تؤثر على تثبيت عجلات Python في البيئات دون الوصول إلى الإنترنت.
  • 20 نوفمبر 2018
    • تم إصلاح مشكلة تسببت في عدم استخدام دفتر ملاحظات بعد إلغاء استعلام دفق.
    • تم إصلاح مشكلة تؤثر على استعلامات معينة باستخدام وظائف النافذة.
    • تم إصلاح مشكلة تؤثر على دفق من Delta مع تغييرات مخطط متعددة.
    • تم إصلاح مشكلة تؤثر على استعلامات تجميع معينة مع الصلات شبه/المضادة اليسرى.

Databricks Runtime 4.3 (EoS)

راجع Databricks Runtime 4.3 (EoS) .

  • 9 نيسان / أبريل 2019

    • [SPARK-26665][CORE] إصلاح خطأ قد يتسبب في تعليق BlockTransferService.fetchBlockSync إلى الأبد.
    • [SPARK-24669][SQL] إبطال الجداول في حالة DROP DATABASE CASCADE.

  • 12 مارس 2019

    • إصلاح خطأ يؤثر على إنشاء التعليمات البرمجية.
    • تم إصلاح خطأ يؤثر على Delta.

  • 26 فبراير 2019

    • تم إصلاح خطأ يؤثر على خادم JDBC/ODBC.

  • 12 فبراير 2019

    • [SPARK-26709][SQL] لا يعالج OptimizeMetadataOnlyQuery السجلات الفارغة بشكل صحيح.
    • باستثناء الملفات المخفية عند إنشاء HadoopRDD.
    • تم إصلاح تحويل عامل تصفية Parquet لمسند IN عندما تكون قيمته فارغة.
    • تم إصلاح مشكلة أن بروتوكول شبكة Spark منخفض المستوى قد يكون معطلا عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عندما spark.network.crypto.enabled يتم تعيين إلى صحيح).

  • 30 يناير 2019

    • تم إصلاح مشكلة قد تتسبب df.rdd.count() في إرجاع UDT إجابة غير صحيحة لحالات معينة.
    • تم إصلاح عدم التناسق بين مجموعة البيانات الموزعة المرنة المخزنة مؤقتا في ذاكرة التخزين المؤقت ل SQL وخطتها الفعلية، مما يؤدي إلى نتيجة غير صحيحة.

  • 8 كانون الثاني \ يناير 2019

    • تم إصلاح المشكلة التي تتسبب في حدوث الخطأ org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • بيانات الاعتماد التي تم تنقيحها من أسماء مجموعات البيانات الموزعة المرنة في واجهة مستخدم Spark
    • [SPARK-26352]يجب ألا تغير إعادة ترتيب الانضمام ترتيب سمات الإخراج.
    • [SPARK-26366]يجب أن يعتبر ReplaceExceptWithFilter NULL ك False.
    • تم تمكين Delta Lake.
    • تم تمكين Databricks IO Cache الآن لنوع مثيل عامل سلسلة Ls لجميع مستويات التسعير.

  • 18 ديسمبر 2018

    • [SPARK-25002]Avro: مراجعة مساحة اسم سجل الإخراج.
    • تم إصلاح مشكلة تؤثر على استعلامات معينة باستخدام الانضمام والحد.
    • [SPARK-26307]تم إصلاح CTAS عند إدراج جدول مقسم باستخدام Hive SerDe.
    • تجاهل الملفات التالفة فقط بعد إعادة محاولة واحدة أو أكثر عند spark.sql.files.ignoreCorruptFiles تمكين أو spark.sql.files.ignoreMissingFiles وضع علامة.
    • [SPARK-26181]hasMinMaxStats أسلوب ColumnStatsMap غير صحيح.
    • تم إصلاح مشكلة تؤثر على تثبيت عجلات Python في البيئات دون الوصول إلى الإنترنت.
    • تم إصلاح مشكلة الأداء في محلل الاستعلام.
    • تم إصلاح مشكلة في PySpark تسببت في فشل إجراءات DataFrame مع خطأ "رفض الاتصال".
    • تم إصلاح مشكلة تؤثر على بعض استعلامات الاتحاد الذاتي.

  • 20 نوفمبر 2018

    • [SPARK-17916][SPARK-25241]إصلاح السلسلة الفارغة التي يتم تحليلها على أنها خالية عند تعيين nullValue.
    • [SPARK-25387]إصلاح NPE الناتج عن إدخال CSV غير صحيح.
    • تم إصلاح مشكلة تؤثر على استعلامات تجميع معينة مع الصلات شبه/المضادة اليسرى.

  • 6 نوفمبر 2018

    • [SPARK-25741]لا يتم عرض عناوين URL الطويلة بشكل صحيح في واجهة مستخدم الويب.
    • [SPARK-25714]إصلاح معالجة القيم الخالية في قاعدة المحسن BooleanSimplification.
    • تم إصلاح مشكلة تؤثر على تنظيف الكائنات المؤقتة في موصل Synapse Analytics.
    • [SPARK-25816]إصلاح دقة السمة في المستخرجات المتداخلة.

  • 16 أكتوبر 2018

    • تم إصلاح خطأ يؤثر على إخراج التشغيل SHOW CREATE TABLE على جداول Delta.
    • تم إصلاح خطأ يؤثر على Union العملية.

  • 25 سبتمبر 2018

    • [SPARK-25368][SQL] يرجع استنتاج القيد غير الصحيح نتيجة خاطئة.
    • [SPARK-25402][SQL] معالجة القيم الخالية في BooleanSimplification.
    • تم التصحيح NotSerializableException في مصدر بيانات Avro.

  • 11 سبتمبر 2018

    • [SPARK-25214][SS] إصلاح المشكلة التي قد يرجع فيها مصدر Kafka v2 سجلات مكررة عند failOnDataLoss=false.
    • [SPARK-24987][SS] إصلاح تسرب مستهلك Kafka عند عدم وجود إزاحات جديدة للمقالةPartition.
    • يجب أن يتعامل تقليل عامل التصفية مع القيمة الخالية بشكل صحيح.
    • تحسين استقرار محرك التنفيذ.

  • 28 أغسطس 2018

    • تم إصلاح خطأ في الأمر Delta Lake Delete الذي قد يؤدي إلى حذف الصفوف التي يقيم فيها الشرط بشكل غير صحيح إلى قيمة خالية.
    • [SPARK-25142]أضف رسائل الخطأ عندما يتعذر على عامل Python فتح مأخذ التوصيل في _load_from_socket.

  • 23 أغسطس 2018

    • [SPARK-23935]يلقي org.codehaus.commons.compiler.CompileExceptionmapEntry .
    • تم إصلاح مشكلة الخريطة التي تقبل القيم الخالية في قارئ Parquet.
    • [SPARK-25051][SQL] يجب ألا يتوقف FixNullability على AnalysisBarrier.
    • [SPARK-25081]تم إصلاح خطأ حيث قد يصل ShuffleExternalSorter إلى صفحة ذاكرة تم إصدارها عند فشل التسرب في تخصيص الذاكرة.
    • إصلاح التفاعل بين Databricks Delta وPyspark الذي قد يسبب فشلا عابرا في القراءة.
    • [SPARK-25084]" توزيع حسب" على أعمدة متعددة (التفاف بين قوسين) قد يؤدي إلى مشكلة codegen.
    • [SPARK-25096]تخفيف إمكانية القيم الخالية إذا كان الإرسال قابلا لفرض القيم الخالية.
    • خفض العدد الافتراضي لمؤشرات الترابط المستخدمة من قبل الأمر Delta Lake Optimize، ما يقلل من حمل الذاكرة ويلتزم بالبيانات بشكل أسرع.
    • [SPARK-25114]إصلاح RecordBinaryComparator عندما يكون الطرح بين كلمتين قابلا للقسمة بواسطة Integer.MAX_VALUE.
    • إصلاح تغيير مدير البيانات السرية عند نجاح الأمر جزئيا.

Databricks Runtime 4.2 (EoS)

راجع Databricks Runtime 4.2 (EoS).

  • 26 فبراير 2019

    • تم إصلاح خطأ يؤثر على خادم JDBC/ODBC.

  • 12 فبراير 2019

    • [SPARK-26709][SQL] لا يعالج OptimizeMetadataOnlyQuery السجلات الفارغة بشكل صحيح.
    • باستثناء الملفات المخفية عند إنشاء HadoopRDD.
    • تم إصلاح تحويل عامل تصفية Parquet لمسند IN عندما تكون قيمته فارغة.
    • تم إصلاح مشكلة أن بروتوكول شبكة Spark منخفض المستوى قد يكون معطلا عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عندما spark.network.crypto.enabled يتم تعيين إلى صحيح).

  • 30 يناير 2019

    • تم إصلاح مشكلة قد تتسبب df.rdd.count() في إرجاع UDT إجابة غير صحيحة لحالات معينة.

  • 8 كانون الثاني \ يناير 2019

    • تم إصلاح المشكلة التي تتسبب في حدوث الخطأ org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • بيانات الاعتماد التي تم تنقيحها من أسماء مجموعات البيانات الموزعة المرنة في واجهة مستخدم Spark
    • [SPARK-26352]يجب ألا تغير إعادة ترتيب الانضمام ترتيب سمات الإخراج.
    • [SPARK-26366]يجب أن يعتبر ReplaceExceptWithFilter NULL ك False.
    • تم تمكين Delta Lake.
    • تم تمكين Databricks IO Cache الآن لنوع مثيل عامل سلسلة Ls لجميع مستويات التسعير.

  • 18 ديسمبر 2018

    • [SPARK-25002]Avro: مراجعة مساحة اسم سجل الإخراج.
    • تم إصلاح مشكلة تؤثر على استعلامات معينة باستخدام الانضمام والحد.
    • [SPARK-26307]تم إصلاح CTAS عند إدراج جدول مقسم باستخدام Hive SerDe.
    • تجاهل الملفات التالفة فقط بعد إعادة محاولة واحدة أو أكثر عند spark.sql.files.ignoreCorruptFiles تمكين أو spark.sql.files.ignoreMissingFiles وضع علامة.
    • [SPARK-26181]hasMinMaxStats أسلوب ColumnStatsMap غير صحيح.
    • تم إصلاح مشكلة تؤثر على تثبيت عجلات Python في البيئات دون الوصول إلى الإنترنت.
    • تم إصلاح مشكلة الأداء في محلل الاستعلام.
    • تم إصلاح مشكلة في PySpark تسببت في فشل إجراءات DataFrame مع خطأ "رفض الاتصال".
    • تم إصلاح مشكلة تؤثر على بعض استعلامات الاتحاد الذاتي.

  • 20 نوفمبر 2018

    • [SPARK-17916][SPARK-25241]إصلاح السلسلة الفارغة التي يتم تحليلها على أنها خالية عند تعيين nullValue.
    • تم إصلاح مشكلة تؤثر على استعلامات تجميع معينة مع الصلات شبه/المضادة اليسرى.

  • 6 نوفمبر 2018

    • [SPARK-25741]لا يتم عرض عناوين URL الطويلة بشكل صحيح في واجهة مستخدم الويب.
    • [SPARK-25714]إصلاح معالجة القيم الخالية في قاعدة المحسن BooleanSimplification.

  • 16 أكتوبر 2018

    • تم إصلاح خطأ يؤثر على إخراج التشغيل SHOW CREATE TABLE على جداول Delta.
    • تم إصلاح خطأ يؤثر على Union العملية.

  • 25 سبتمبر 2018

    • [SPARK-25368][SQL] يرجع استنتاج القيد غير الصحيح نتيجة خاطئة.
    • [SPARK-25402][SQL] معالجة القيم الخالية في BooleanSimplification.
    • تم التصحيح NotSerializableException في مصدر بيانات Avro.

  • 11 سبتمبر 2018

    • [SPARK-25214][SS] إصلاح المشكلة التي قد يرجع فيها مصدر Kafka v2 سجلات مكررة عند failOnDataLoss=false.
    • [SPARK-24987][SS] إصلاح تسرب مستهلك Kafka عند عدم وجود إزاحات جديدة للمقالةPartition.
    • يجب أن يتعامل تقليل عامل التصفية مع القيمة الخالية بشكل صحيح.

  • 28 أغسطس 2018

    • تم إصلاح خطأ في الأمر Delta Lake Delete الذي قد يؤدي إلى حذف الصفوف التي يقيم فيها الشرط بشكل غير صحيح إلى قيمة خالية.

  • 23 أغسطس 2018

    • تم إصلاح NoClassDefError ل Delta Snapshot
    • [SPARK-23935]يلقي org.codehaus.commons.compiler.CompileExceptionmapEntry .
    • [SPARK-24957][SQL] المتوسط ذو الرقم العشري متبوعا بالتجميع يرجع نتيجة خاطئة. قد يتم إرجاع النتائج غير الصحيحة ل AVERAGE. سيتم تجاوز الدالة CAST المضافة في عامل التشغيل Average إذا كانت نتيجة القسمة هي نفس النوع الذي يتم تحويلها إليه.
    • [SPARK-25081]تم إصلاح خطأ حيث قد يصل ShuffleExternalSorter إلى صفحة ذاكرة تم إصدارها عند فشل التسرب في تخصيص الذاكرة.
    • إصلاح التفاعل بين Databricks Delta وPyspark الذي قد يسبب فشلا عابرا في القراءة.
    • [SPARK-25114]إصلاح RecordBinaryComparator عندما يكون الطرح بين كلمتين قابلا للقسمة بواسطة Integer.MAX_VALUE.
    • [SPARK-25084]" توزيع حسب" على أعمدة متعددة (التفاف بين قوسين) قد يؤدي إلى مشكلة codegen.
    • [SPARK-24934][SQL] الأنواع المعتمدة لقائمة السماح بشكل صريح في الحدود العليا/السفلية لتقليم القسم في الذاكرة. عند استخدام أنواع البيانات المعقدة في عوامل تصفية الاستعلام مقابل البيانات المخزنة مؤقتا، يقوم Spark دائما بإرجاع مجموعة نتائج فارغة. ينشئ التقليم المستند إلى الإحصائيات في الذاكرة نتائج غير صحيحة، لأنه يتم تعيين قيمة خالية للنص العلوي/السفلي للأنواع المعقدة. الإصلاح هو عدم استخدام التقليم المستند إلى الإحصائيات في الذاكرة للأنووع المعقدة.
    • إصلاح تغيير مدير البيانات السرية عند نجاح الأمر جزئيا.
    • تم إصلاح مشكلة الخريطة التي تقبل القيم الخالية في قارئ Parquet.

  • 2 أغسطس 2018

    • تمت إضافة واجهة برمجة تطبيقات writeStream.table في Python.
    • تم إصلاح مشكلة تؤثر على نقاط تفتيش Delta.
    • [SPARK-24867][SQL] إضافة AnalysisBarrier إلى DataFrameWriter. لا يتم استخدام ذاكرة التخزين المؤقت SQL عند استخدام DataFrameWriter لكتابة DataFrame باستخدام UDF. هذا تراجع بسبب التغييرات التي قمنا بها في AnalysisBarrier، حيث لا تكون جميع قواعد Analyzer متكررة.
    • تم إصلاح مشكلة قد تتسبب في أن ينتج mergeInto عن الأمر نتائج غير صحيحة.
    • تحسين الاستقرار في الوصول إلى Azure Data Lake Storage Gen1.
    • [SPARK-24809]قد يؤدي تسلسل LongHashedRelation في المنفذ إلى خطأ في البيانات.
    • [SPARK-24878][SQL] إصلاح الدالة العكسية لنوع الصفيف من النوع البدائي الذي يحتوي على قيمة خالية.

  • 11 يوليو 2018

    • تم إصلاح خطأ في تنفيذ الاستعلام قد يتسبب في قيام التجميعات على الأعمدة العشرية بدقة مختلفة بإرجاع نتائج غير صحيحة في بعض الحالات.
    • NullPointerException إصلاح الخطأ الذي تم طرحه أثناء عمليات التجميع المتقدمة مثل مجموعات التجميع.

Databricks Runtime 4.1 ML (EoS)

راجع Databricks Runtime 4.1 ML (EoS).

  • 31 يوليو 2018
    • تمت إضافة Azure Synapse Analytics إلى وقت تشغيل التعلم الآلي 4.1
    • تم إصلاح خطأ قد يتسبب في نتائج استعلام غير صحيحة عندما يختلف اسم عمود القسم المستخدم في دالة تقييم عن حالة هذا العمود في مخطط الجدول.
    • تم إصلاح خطأ يؤثر على محرك تنفيذ Spark SQL.
    • إصلاح خطأ يؤثر على إنشاء التعليمات البرمجية.
    • تم إصلاح خطأ (java.lang.NoClassDefFoundError) يؤثر على Delta Lake.
    • معالجة الأخطاء المحسنة في Delta Lake.
    • تم إصلاح الخطأ الذي تسبب في تجميع بيانات غير صحيحة لتخطي الإحصائيات لأعمدة السلسلة التي يبلغ طولها 32 حرفا أو أكثر.

Databricks Runtime 4.1 (EoS)

راجع Databricks Runtime 4.1 (EoS).

  • 8 كانون الثاني \ يناير 2019

    • [SPARK-26366]يجب أن يعتبر ReplaceExceptWithFilter NULL ك False.
    • تم تمكين Delta Lake.

  • 18 ديسمبر 2018

    • [SPARK-25002]Avro: مراجعة مساحة اسم سجل الإخراج.
    • تم إصلاح مشكلة تؤثر على استعلامات معينة باستخدام الانضمام والحد.
    • [SPARK-26307]تم إصلاح CTAS عند إدراج جدول مقسم باستخدام Hive SerDe.
    • تجاهل الملفات التالفة فقط بعد إعادة محاولة واحدة أو أكثر عند spark.sql.files.ignoreCorruptFiles تمكين أو spark.sql.files.ignoreMissingFiles وضع علامة.
    • تم إصلاح مشكلة تؤثر على تثبيت عجلات Python في البيئات دون الوصول إلى الإنترنت.
    • تم إصلاح مشكلة في PySpark تسببت في فشل إجراءات DataFrame مع خطأ "رفض الاتصال".
    • تم إصلاح مشكلة تؤثر على بعض استعلامات الاتحاد الذاتي.

  • 20 نوفمبر 2018

    • [SPARK-17916][SPARK-25241]إصلاح السلسلة الفارغة التي يتم تحليلها على أنها خالية عند تعيين nullValue.
    • تم إصلاح مشكلة تؤثر على استعلامات تجميع معينة مع الصلات شبه/المضادة اليسرى.

  • 6 نوفمبر 2018

    • [SPARK-25741]لا يتم عرض عناوين URL الطويلة بشكل صحيح في واجهة مستخدم الويب.
    • [SPARK-25714]إصلاح معالجة القيم الخالية في قاعدة المحسن BooleanSimplification.

  • 16 أكتوبر 2018

    • تم إصلاح خطأ يؤثر على إخراج التشغيل SHOW CREATE TABLE على جداول Delta.
    • تم إصلاح خطأ يؤثر على Union العملية.

  • 25 سبتمبر 2018

    • [SPARK-25368][SQL] يرجع استنتاج القيد غير الصحيح نتيجة خاطئة.
    • [SPARK-25402][SQL] معالجة القيم الخالية في BooleanSimplification.
    • تم التصحيح NotSerializableException في مصدر بيانات Avro.

  • 11 سبتمبر 2018

    • [SPARK-25214][SS] إصلاح المشكلة التي قد يرجع فيها مصدر Kafka v2 سجلات مكررة عند failOnDataLoss=false.
    • [SPARK-24987][SS] إصلاح تسرب مستهلك Kafka عند عدم وجود إزاحات جديدة للمقالةPartition.
    • يجب أن يتعامل تقليل عامل التصفية مع القيمة الخالية بشكل صحيح.

  • 28 أغسطس 2018

    • تم إصلاح خطأ في الأمر Delta Lake Delete الذي قد يؤدي إلى حذف الصفوف التي يقيم فيها الشرط بشكل غير صحيح إلى قيمة خالية.
    • [SPARK-25084]" توزيع حسب" على أعمدة متعددة (التفاف بين قوسين) قد يؤدي إلى مشكلة codegen.
    • [SPARK-25114]إصلاح RecordBinaryComparator عندما يكون الطرح بين كلمتين قابلا للقسمة بواسطة Integer.MAX_VALUE.

  • 23 أغسطس 2018

    • تم إصلاح NoClassDefError ل Delta Snapshot.
    • [SPARK-24957][SQL] المتوسط ذو الرقم العشري متبوعا بالتجميع يرجع نتيجة خاطئة. قد يتم إرجاع النتائج غير الصحيحة ل AVERAGE. سيتم تجاوز الدالة CAST المضافة في عامل التشغيل Average إذا كانت نتيجة القسمة هي نفس النوع الذي يتم تحويلها إليه.
    • تم إصلاح مشكلة الخريطة التي تقبل القيم الخالية في قارئ Parquet.
    • [SPARK-24934][SQL] الأنواع المعتمدة لقائمة السماح بشكل صريح في الحدود العليا/السفلية لتقليم القسم في الذاكرة. عند استخدام أنواع البيانات المعقدة في عوامل تصفية الاستعلام مقابل البيانات المخزنة مؤقتا، يقوم Spark دائما بإرجاع مجموعة نتائج فارغة. ينشئ التقليم المستند إلى الإحصائيات في الذاكرة نتائج غير صحيحة، لأنه يتم تعيين قيمة خالية للنص العلوي/السفلي للأنواع المعقدة. الإصلاح هو عدم استخدام التقليم المستند إلى الإحصائيات في الذاكرة للأنووع المعقدة.
    • [SPARK-25081]تم إصلاح خطأ حيث قد يصل ShuffleExternalSorter إلى صفحة ذاكرة تم إصدارها عند فشل التسرب في تخصيص الذاكرة.
    • إصلاح التفاعل بين Databricks Delta وPyspark الذي قد يسبب فشلا عابرا في القراءة.
    • إصلاح تغيير مدير البيانات السرية عند نجاح الأمر جزئيا

  • 2 أغسطس 2018

    • [SPARK-24613][SQL] تعذرت مطابقة ذاكرة التخزين المؤقت مع UDF مع ذاكرات التخزين المؤقت التابعة اللاحقة. يلتف الخطة المنطقية مع AnalysisBarrier لتجميع خطة التنفيذ في CacheManager، لتجنب تحليل الخطة مرة أخرى. هذا هو أيضا تراجع Spark 2.3.
    • تم إصلاح مشكلة موصل Synapse Analytics التي تؤثر على تحويل المنطقة الزمنية لكتابة بيانات DateType.
    • تم إصلاح مشكلة تؤثر على نقاط تفتيش Delta.
    • تم إصلاح مشكلة قد تتسبب في أن ينتج mergeInto عن الأمر نتائج غير صحيحة.
    • [SPARK-24867][SQL] إضافة AnalysisBarrier إلى DataFrameWriter. لا يتم استخدام ذاكرة التخزين المؤقت SQL عند استخدام DataFrameWriter لكتابة DataFrame باستخدام UDF. هذا تراجع بسبب التغييرات التي قمنا بها في AnalysisBarrier، حيث لا تكون جميع قواعد Analyzer متكررة.
    • [SPARK-24809]قد يؤدي تسلسل LongHashedRelation في المنفذ إلى خطأ في البيانات.

  • 11 يوليو 2018

    • تم إصلاح خطأ في تنفيذ الاستعلام قد يتسبب في قيام التجميعات على الأعمدة العشرية بدقة مختلفة بإرجاع نتائج غير صحيحة في بعض الحالات.
    • NullPointerException إصلاح الخطأ الذي تم طرحه أثناء عمليات التجميع المتقدمة مثل مجموعات التجميع.

  • 28 يونيو، 2018

    • تم إصلاح خطأ قد يتسبب في نتائج استعلام غير صحيحة عندما يختلف اسم عمود القسم المستخدم في دالة تقييم عن حالة هذا العمود في مخطط الجدول.

  • 7 يونيو 2018

    • تم إصلاح خطأ يؤثر على محرك تنفيذ Spark SQL.
    • إصلاح خطأ يؤثر على إنشاء التعليمات البرمجية.
    • تم إصلاح خطأ (java.lang.NoClassDefFoundError) يؤثر على Delta Lake.
    • معالجة الأخطاء المحسنة في Delta Lake.

  • 17 مايو 2018

    • تم إصلاح الخطأ الذي تسبب في تجميع بيانات غير صحيحة لتخطي الإحصائيات لأعمدة السلسلة التي يبلغ طولها 32 حرفا أو أكثر.

Databricks Runtime 4.0 (EoS)

راجع Databricks Runtime 4.0 (EoS).

  • 6 نوفمبر 2018

    • [SPARK-25714]إصلاح معالجة القيم الخالية في قاعدة المحسن BooleanSimplification.

  • 16 أكتوبر 2018

    • تم إصلاح خطأ يؤثر على Union العملية.

  • 25 سبتمبر 2018

    • [SPARK-25368][SQL] يرجع استنتاج القيد غير الصحيح نتيجة خاطئة.
    • [SPARK-25402][SQL] معالجة القيم الخالية في BooleanSimplification.
    • تم التصحيح NotSerializableException في مصدر بيانات Avro.

  • 11 سبتمبر 2018

    • يجب أن يتعامل تقليل عامل التصفية مع القيمة الخالية بشكل صحيح.

  • 28 أغسطس 2018

    • تم إصلاح خطأ في الأمر Delta Lake Delete الذي قد يؤدي إلى حذف الصفوف التي يقيم فيها الشرط بشكل غير صحيح إلى قيمة خالية.

  • 23 أغسطس 2018

    • تم إصلاح مشكلة الخريطة التي تقبل القيم الخالية في قارئ Parquet.
    • إصلاح تغيير مدير البيانات السرية عند نجاح الأمر جزئيا
    • إصلاح التفاعل بين Databricks Delta وPyspark الذي قد يسبب فشلا عابرا في القراءة.
    • [SPARK-25081]تم إصلاح خطأ حيث قد يصل ShuffleExternalSorter إلى صفحة ذاكرة تم إصدارها عند فشل التسرب في تخصيص الذاكرة.
    • [SPARK-25114]إصلاح RecordBinaryComparator عندما يكون الطرح بين كلمتين قابلا للقسمة بواسطة Integer.MAX_VALUE.

  • 2 أغسطس 2018

    • [SPARK-24452]تجنب التجاوز المحتمل في إضافة int أو عدة.
    • [SPARK-24588]يجب أن يتطلب الانضمام المتدفق HashClusteredPartitioning من الأطفال.
    • تم إصلاح مشكلة قد تتسبب في أن ينتج mergeInto عن الأمر نتائج غير صحيحة.
    • [SPARK-24867][SQL] إضافة AnalysisBarrier إلى DataFrameWriter. لا يتم استخدام ذاكرة التخزين المؤقت SQL عند استخدام DataFrameWriter لكتابة DataFrame باستخدام UDF. هذا تراجع بسبب التغييرات التي قمنا بها في AnalysisBarrier، حيث لا تكون جميع قواعد Analyzer متكررة.
    • [SPARK-24809]قد يؤدي تسلسل LongHashedRelation في المنفذ إلى خطأ في البيانات.

  • 28 يونيو، 2018

    • تم إصلاح خطأ قد يتسبب في نتائج استعلام غير صحيحة عندما يختلف اسم عمود القسم المستخدم في دالة تقييم عن حالة هذا العمود في مخطط الجدول.

  • 7 يونيو 2018

    • تم إصلاح خطأ يؤثر على محرك تنفيذ Spark SQL.
    • معالجة الأخطاء المحسنة في Delta Lake.

  • 17 مايو 2018

    • إصلاحات الأخطاء لإدارة البيانات السرية Databricks.
    • تحسين الاستقرار في قراءة البيانات المخزنة في Azure Data Lake Store.
    • تم إصلاح خطأ يؤثر على التخزين المؤقت ل RDD.
    • تم إصلاح خطأ يؤثر على القيمة الخالية الآمنة يساوي في Spark SQL.

  • 24 أبريل 2018

    • تمت ترقية Azure Data Lake Store SDK من 2.0.11 إلى 2.2.8 لتحسين استقرار الوصول إلى Azure Data Lake Store.
    • تم إصلاح خطأ يؤثر على إدراج الكتابة فوق جداول Hive المقسمة عندما spark.databricks.io.hive.fastwriter.enabled يكون .false
    • تم إصلاح مشكلة فشل تسلسل المهام.
    • تحسين استقرار Delta Lake.

  • 14 مارس 2018

    • منع تحديثات بيانات التعريف غير الضرورية عند الكتابة في Delta Lake.
    • تم إصلاح مشكلة ناتجة عن حالة تعارض يمكن أن تؤدي، في حالات نادرة، إلى فقدان بعض ملفات الإخراج.

Databricks Runtime 3.5 LTS (EoS)

راجع Databricks Runtime 3.5 LTS (EoS).

  • 7 نوفمبر 2019

    • [SPARK-29743]يجب أن عينة [SQL] تعيين needCopyResult إلى true إذا كانت حاجة طفلهاCopyResult صحيحة

  • 8 تشرين الأول \ أكتوبر 2019

    • تغييرات جانب الخادم للسماح لبرنامج تشغيل Simba Apache Spark ODBC بإعادة الاتصال والمتابعة بعد فشل الاتصال أثناء إحضار النتائج (يتطلب تحديث برنامج تشغيل Simba Apache Spark ODBC إلى الإصدار 2.6.10).

  • 10 سبتمبر 2019

    • [SPARK-28699][SQL] تعطيل استخدام فرز radix ل ShuffleExchangeExec في حالة إعادة تقسيم

  • 9 نيسان / أبريل 2019

    • [SPARK-26665][CORE] إصلاح خطأ قد يتسبب في تعليق BlockTransferService.fetchBlockSync إلى الأبد.

  • 12 فبراير 2019

    • تم إصلاح مشكلة أن بروتوكول شبكة Spark منخفض المستوى قد يكون معطلا عند إرسال رسائل خطأ RPC كبيرة مع تمكين التشفير (عندما spark.network.crypto.enabled يتم تعيين إلى صحيح).

  • 30 يناير 2019

    • تم إصلاح مشكلة قد تتسبب df.rdd.count() في إرجاع UDT إجابة غير صحيحة لحالات معينة.

  • 18 ديسمبر 2018

    • تجاهل الملفات التالفة فقط بعد إعادة محاولة واحدة أو أكثر عند spark.sql.files.ignoreCorruptFiles تمكين أو spark.sql.files.ignoreMissingFiles وضع علامة.
    • تم إصلاح مشكلة تؤثر على بعض استعلامات الاتحاد الذاتي.

  • 20 نوفمبر 2018

    • [SPARK-25816]حل السمة الثابتة في المستخرجات المتداخلة.

  • 6 نوفمبر 2018

    • [SPARK-25714]إصلاح معالجة القيم الخالية في قاعدة المحسن BooleanSimplification.

  • 16 أكتوبر 2018

    • تم إصلاح خطأ يؤثر على Union العملية.

  • 25 سبتمبر 2018

    • [SPARK-25402][SQL] معالجة القيم الخالية في BooleanSimplification.
    • تم التصحيح NotSerializableException في مصدر بيانات Avro.

  • 11 سبتمبر 2018

    • يجب أن يتعامل تقليل عامل التصفية مع القيمة الخالية بشكل صحيح.

  • 28 أغسطس 2018

    • تم إصلاح خطأ في الأمر Delta Lake Delete الذي قد يؤدي إلى حذف الصفوف التي يقيم فيها الشرط بشكل غير صحيح إلى قيمة خالية.
    • [SPARK-25114]إصلاح RecordBinaryComparator عندما يكون الطرح بين كلمتين قابلا للقسمة بواسطة Integer.MAX_VALUE.

  • 23 أغسطس 2018

    • [SPARK-24809]قد يؤدي تسلسل LongHashedRelation في المنفذ إلى خطأ في البيانات.
    • تم إصلاح مشكلة الخريطة التي تقبل القيم الخالية في قارئ Parquet.
    • [SPARK-25081]تم إصلاح خطأ حيث قد يصل ShuffleExternalSorter إلى صفحة ذاكرة تم إصدارها عند فشل التسرب في تخصيص الذاكرة.
    • إصلاح التفاعل بين Databricks Delta وPyspark الذي قد يسبب فشلا عابرا في القراءة.

  • 28 يونيو، 2018

    • تم إصلاح خطأ قد يتسبب في نتائج استعلام غير صحيحة عندما يختلف اسم عمود القسم المستخدم في دالة تقييم عن حالة هذا العمود في مخطط الجدول.

  • 28 يونيو، 2018

    • تم إصلاح خطأ قد يتسبب في نتائج استعلام غير صحيحة عندما يختلف اسم عمود القسم المستخدم في دالة تقييم عن حالة هذا العمود في مخطط الجدول.

  • 7 يونيو 2018

    • تم إصلاح خطأ يؤثر على محرك تنفيذ Spark SQL.
    • معالجة الأخطاء المحسنة في Delta Lake.

  • 17 مايو 2018

    • تحسين الاستقرار في قراءة البيانات المخزنة في Azure Data Lake Store.
    • تم إصلاح خطأ يؤثر على التخزين المؤقت ل RDD.
    • تم إصلاح خطأ يؤثر على القيمة الخالية الآمنة يساوي في Spark SQL.
    • تم إصلاح خطأ يؤثر على تجميعات معينة في استعلامات الدفق.

  • 24 أبريل 2018

    • تمت ترقية Azure Data Lake Store SDK من 2.0.11 إلى 2.2.8 لتحسين استقرار الوصول إلى Azure Data Lake Store.
    • تم إصلاح خطأ يؤثر على إدراج الكتابة فوق جداول Hive المقسمة عندما spark.databricks.io.hive.fastwriter.enabled يكون .false
    • تم إصلاح مشكلة فشل تسلسل المهام.

  • 09 مارس 2018

    • تم إصلاح مشكلة ناتجة عن حالة تعارض يمكن أن تؤدي، في حالات نادرة، إلى فقدان بعض ملفات الإخراج.

  • 01 مارس 2018

    • تحسين كفاءة معالجة التدفقات التي قد تستغرق وقتا طويلا للتوقف.
    • تم إصلاح مشكلة تؤثر على الإكمال التلقائي ل Python.
    • تصحيحات أمان Ubuntu المطبقة.
    • تم إصلاح مشكلة تؤثر على استعلامات معينة باستخدام Python UDFs ووظائف النافذة.
    • تم إصلاح مشكلة تؤثر على استخدام UDFs على نظام مجموعة مع تمكين التحكم في الوصول إلى الجدول.

  • 29 يناير 2018

    • تم إصلاح مشكلة تؤثر على معالجة الجداول المخزنة في تخزين Azure Blob.
    • تم إصلاح التجميع بعد dropDuplicates على DataFrame فارغ.

Databricks Runtime 3.4 (EoS)

راجع Databricks Runtime 3.4 (EoS).

  • 7 يونيو 2018

    • تم إصلاح خطأ يؤثر على محرك تنفيذ Spark SQL.
    • معالجة الأخطاء المحسنة في Delta Lake.

  • 17 مايو 2018

    • تحسين الاستقرار في قراءة البيانات المخزنة في Azure Data Lake Store.
    • تم إصلاح خطأ يؤثر على التخزين المؤقت ل RDD.
    • تم إصلاح خطأ يؤثر على القيمة الخالية الآمنة يساوي في Spark SQL.

  • 24 أبريل 2018

    • تم إصلاح خطأ يؤثر على إدراج الكتابة فوق جداول Hive المقسمة عندما spark.databricks.io.hive.fastwriter.enabled يكون .false

  • 09 مارس 2018

    • تم إصلاح مشكلة ناتجة عن حالة تعارض يمكن أن تؤدي، في حالات نادرة، إلى فقدان بعض ملفات الإخراج.

  • 13 ديسمبر 2017

    • تم إصلاح مشكلة تؤثر على UDFs في Scala.
    • تم إصلاح مشكلة تؤثر على استخدام فهرس تخطي البيانات على جداول مصدر البيانات المخزنة في مسارات غير DBFS.

  • 07 ديسمبر 2017

    • تحسين استقرار التبديل العشوائي.

إصدارات وقت تشغيل Databricks غير المدعومة

للحصول على ملاحظات الإصدار الأصلي، اتبع الارتباط أسفل العنوان الفرعي.