مشاركة عبر

تحديثات صيانة وقت تشغيل Databricks

  • مقالة

تسرد هذه المقالة تحديثات الصيانة لإصدارات وقت تشغيل Databricks المدعومة. لإضافة تحديث صيانة إلى نظام مجموعة موجود، أعد تشغيل نظام المجموعة. للحصول على تحديثات الصيانة على إصدارات وقت تشغيل Databricks غير المدعومة، راجع تحديثات الصيانة لوقت تشغيل Databricks (مؤرشف).

إشعار

يتم تنظيم الإصدارات. قد لا يتم تحديث حساب Azure Databricks لبضعة أيام بعد تاريخ الإصدار الأولي.

إصدارات وقت تشغيل Databricks

تحديثات الصيانة حسب الإصدار:

Databricks Runtime 15.4

راجع Databricks Runtime 15.4 LTS.

  • 10 أكتوبر 2024
    • [SPARK-49743][SQL] يجب ألا يغير OptimizeCsvJsonExpr حقول المخطط عند تقليم GetArrayStructFields
    • [SPARK-49688][CONNECT] إصلاح تعارض البيانات بين خطة المقاطعة والتنفيذ
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] تصنيف فئة الخطأ لخطأ دالة المستخدم FlatMapGroupsWithState
    • [SPARK-49460][SQL] المتابعة: إصلاح مخاطر NPE المحتملة
  • 25 سبتمبر 2024
    • [SPARK-49628][SQL] يجب أن ينسخ ConstantFolding التعبير ذي الحالة قبل التقييم
    • [SPARK-49000][SQL] إصلاح "select count(distinct 1) from t" حيث يكون t جدولا فارغا عن طريق توسيع RewriteDistinctAggregates
    • [SPARK-49492][CONNECT] تمت محاولة إعادة إرفاق على ExecutionHolder غير نشط
    • [SPARK-49458][CONNECT][PYTHON] توفير معرف جلسة العمل من جانب الخادم عبر ReattachExecute
    • [SPARK-49017][SQL] فشل عبارة الإدراج عند استخدام معلمات متعددة
    • [SPARK-49451] السماح بالمفاتيح المكررة في parse_json.
    • إصلاحات الأخطاء المتنوعة.
  • 17 سبتمبر 2024
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor supporting nested input columns
    • [SPARK-49409][CONNECT] ضبط القيمة الافتراضية CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] دعم مسارات نمط Windows في ArtifactManager
    • Revert "[SPARK-48482][PYTHON] dropDuplicates and dropDuplicatesWIthinWatermark should accept variable length args"
    • [SPARK-43242][CORE] إصلاح طرح "نوع غير متوقع من BlockId" في تشخيص تلف التبديل العشوائي
    • [SPARK-49366][CONNECT] التعامل مع عقدة الاتحاد على أنها طرفية في تحليل عمود إطار البيانات
    • [SPARK-49018][SQL] إصلاح approx_count_distinct عدم العمل بشكل صحيح مع الترتيب
    • [SPARK-49460][SQL] إزالة cleanupResource() من EmptyRelationExec
    • [SPARK-49056][SQL] لا يمكن ل ErrorClassesJsonReader التعامل مع القيم الخالية بشكل صحيح
    • [SPARK-49336][CONNECT] الحد من مستوى التداخل عند اقتطاع رسالة protobuf
  • 29 أغسطس 2024
    • يتضمن الإخراج من عبارة SHOW CREATE TABLE الآن أي عوامل تصفية صف أو أقنعة أعمدة معرفة على طريقة عرض مجسدة أو جدول دفق. راجع إظهار إنشاء جدول. للتعرف على عوامل تصفية الصفوف وأقنعة الأعمدة، راجع تصفية بيانات الجدول الحساسة باستخدام عوامل تصفية الصفوف وأقنعة الأعمدة.
    • عند الحوسبة التي تم تكوينها باستخدام وضع الوصول المشترك، فإن دفعة Kafka للقراءة والكتابة لها الآن نفس القيود المفروضة مثل تلك الموثقة ل Structured Streaming. راجع قيود الدفق ومتطلبات وضع الوصول المشترك لكتالوج Unity.
    • [SPARK-48941][SPARK-48970] تصحيحات كاتب / قارئ Backport ML
    • [SPARK-49074][SQL] إصلاح المتغير باستخدام df.cache()
    • [SPARK-49263][CONNECT] عميل Spark Connect python: معالجة خيارات قارئ Dataframe المنطقية باستمرار
    • [SPARK-48955][SQL] تضمين تغييرات ArrayCompact في 15.4
    • [SPARK-48937][SQL] إضافة دعم الترتيب لتعبيرات سلسلة StringToMap
    • [SPARK-48929] إصلاح خطأ داخلي في طريقة العرض وتنظيف سياق استثناء المحلل
    • [SPARK-49125][SQL] السماح بأسماء الأعمدة المكررة في كتابة CSV
    • [SPARK-48934][SS] تم تحويل أنواع وقت التاريخ في Python بشكل غير صحيح لتعيين المهلة في applyInPandasWithState
    • [SPARK-48843] منع التكرار الحلقي اللانهائي باستخدام BindParameters
    • [SPARK-48981] إصلاح أسلوب simpleString ل StringType في pyspark للتصنيفات
    • [SPARK-49065][SQL] يجب أن تدعم إعادة التوجيه في التنسيقات/المحللات القديمة المناطق الزمنية الافتراضية غير JVM
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] إصلاحات كاتب Backport spark ML
    • [SPARK-48725][SQL] دمج CollationAwareUTF8String.lowerCaseCodePoints في تعبيرات السلسلة
    • [SPARK-48978][SQL] تنفيذ مسار ASCII السريع في دعم الترتيب UTF8_LCASE
    • [SPARK-49047][PYTHON][CONNECT] اقتطاع الرسالة للتسجيل
    • [SPARK-49146][SS] نقل أخطاء التأكيد المتعلقة بالعلامة المائية المفقودة في استعلامات دفق وضع الإلحاق إلى إطار عمل الخطأ
    • [SPARK-48977][SQL] تحسين البحث في السلسلة ضمن ترتيب UTF8_LCASE
    • [SPARK-48889][SS] testStream لتفريغ مخازن الحالة قبل الانتهاء
    • [SPARK-48463] جعل StringIndexer يدعم أعمدة الإدخال المتداخلة
    • [SPARK-48954] يحل try_mod() محل try_remainder()
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 15.3

راجع Databricks Runtime 15.3.

  • 10 أكتوبر 2024
    • [SPARK-49688][CONNECT] إصلاح تعارض البيانات بين خطة المقاطعة والتنفيذ
    • [SPARK-49743][SQL] يجب ألا يغير OptimizeCsvJsonExpr حقول المخطط عند تقليم GetArrayStructFields
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] تصنيف فئة الخطأ لخطأ دالة المستخدم FlatMapGroupsWithState
    • تحديثات أمان نظام التشغيل.
  • 25 سبتمبر 2024
    • [SPARK-49492][CONNECT] تمت محاولة إعادة إرفاق على ExecutionHolder غير نشط
    • [SPARK-49628][SQL] يجب أن ينسخ ConstantFolding التعبير ذي الحالة قبل التقييم
    • [SPARK-49000][SQL] إصلاح "select count(distinct 1) from t" حيث يكون t جدولا فارغا عن طريق توسيع RewriteDistinctAggregates
    • [SPARK-49458][CONNECT][PYTHON] توفير معرف جلسة العمل من جانب الخادم عبر ReattachExecute
    • [SPARK-48719][SQL] إصلاح خطأ الحساب ل RegrSlope عندما RegrIntercept تكون المعلمة الأولى خالية
    • تحديثات أمان نظام التشغيل.
  • 17 سبتمبر 2024
    • [SPARK-49336][CONNECT] الحد من مستوى التداخل عند اقتطاع رسالة protobuf
    • [SPARK-49526][CONNECT][15.3.5] دعم مسارات نمط Windows في ArtifactManager
    • [SPARK-49366][CONNECT] التعامل مع عقدة الاتحاد على أنها طرفية في تحليل عمود إطار البيانات
    • [SPARK-43242][CORE] إصلاح طرح "نوع غير متوقع من BlockId" في تشخيص تلف التبديل العشوائي
    • [SPARK-49409][CONNECT] ضبط القيمة الافتراضية CONNECT_SESSION_PLAN_CACHE_SIZE
    • تحديثات أمان نظام التشغيل.
  • 29 أغسطس 2024
    • [SPARK-49263][CONNECT] عميل Spark Connect python: معالجة خيارات قارئ Dataframe المنطقية باستمرار
    • [SPARK-49056][SQL] لا يمكن ل ErrorClassesJsonReader التعامل مع القيم الخالية بشكل صحيح
    • [SPARK-48862][PYTHON][CONNECT] تجنب الاتصال _proto_to_string عندما لا يتم تمكين مستوى المعلومات
    • [SPARK-49146][SS] نقل أخطاء التأكيد المتعلقة بالعلامة المائية المفقودة في استعلامات دفق وضع الإلحاق إلى إطار عمل الخطأ
  • 14 أغسطس 2024
    • [SPARK-48941][SPARK-48970] تصحيحات كاتب / قارئ Backport ML
    • [SPARK-48706][PYTHON] يجب ألا يطرح Python UDF في وظائف الترتيب الأعلى خطأ داخليا
    • [SPARK-48954] يحل try_mod() محل try_remainder()
    • [SPARK-48597][SQL] تقديم علامة لخاصية isStreaming في التمثيل النصي للخطة المنطقية
    • [SPARK-49065][SQL] يجب أن تدعم إعادة التوجيه في التنسيقات/المحللات القديمة المناطق الزمنية الافتراضية غير JVM
    • [SPARK-49047][PYTHON][CONNECT] اقتطاع الرسالة للتسجيل
    • [SPARK-48740][SQL] خطأ مواصفات النافذة المفقودة في وقت مبكر
  • 1 أغسطس 2024
    • [كسر التغيير] في Databricks Runtime 15.3 وما فوق، يؤدي استدعاء أي دالة معرفة من قبل المستخدم Python (UDF) أو الدالة التجميعية المعرفة من قبل المستخدم (UDAF) أو دالة الجدول المعرفة من قبل المستخدم (UDTF) التي تستخدم VARIANT نوعا كوسيطة أو قيمة إرجاع إلى طرح استثناء. يتم إجراء هذا التغيير لمنع المشكلات التي قد تحدث بسبب قيمة غير صالحة تم إرجاعها بواسطة إحدى هذه الدالات. لمعرفة المزيد حول VARIANT النوع، راجع استخدام VARIANTs لتخزين البيانات شبه المنظمة.
    • في الحوسبة بلا خادم لدفاتر الملاحظات والوظائف، يتم تمكين وضع ANSI SQL بشكل افتراضي. راجع معلمات تكوين Spark المدعومة.
    • عند الحوسبة التي تم تكوينها باستخدام وضع الوصول المشترك، فإن دفعة Kafka للقراءة والكتابة لها الآن نفس القيود المفروضة مثل تلك الموثقة ل Structured Streaming. راجع قيود الدفق ومتطلبات وضع الوصول المشترك لكتالوج Unity.
    • يتضمن الإخراج من عبارة SHOW CREATE TABLE الآن أي عوامل تصفية صف أو أقنعة أعمدة معرفة على طريقة عرض مجسدة أو جدول دفق. راجع إظهار إنشاء جدول. للتعرف على عوامل تصفية الصفوف وأقنعة الأعمدة، راجع تصفية بيانات الجدول الحساسة باستخدام عوامل تصفية الصفوف وأقنعة الأعمدة.
    • [SPARK-46957][CORE] يجب أن تكون ملفات التبديل العشوائي التي تم ترحيلها قادرة على التنظيف من المنفذ
    • [SPARK-48648][PYTHON][CONNECT] جعل SparkConnectClient.tags مؤشر ترابط بشكل صحيح
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] إصلاحات كاتب Backport spark ML
    • [SPARK-48713][SQL] إضافة التحقق من نطاق الفهرس ل UnsafeRow.pointTo عندما يكون baseObject عبارة عن صفيف بايت
    • [SPARK-48834][SQL] تعطيل الإدخال/الإخراج المتغير إلى UDFs العددية Python، UDTFs، UDAFs أثناء تجميع الاستعلام
    • [SPARK-48934][SS] تم تحويل أنواع وقت التاريخ في Python بشكل غير صحيح لتعيين المهلة في applyInPandasWithState
    • [SPARK-48705][PYTHON] استخدم worker_main بشكل صريح عندما يبدأ ب pyspark
    • [SPARK-48544][SQL] تقليل ضغط الذاكرة ل TreeNode BitSets الفارغة
    • [SPARK-48889][SS] testStream لتفريغ مخازن الحالة قبل الانتهاء
    • [SPARK-49054][SQL] يجب أن تدعم القيمة الافتراضية للعمود وظائف current_*
    • [SPARK-48653][PYTHON] إصلاح مراجع فئة خطأ مصدر بيانات Python غير صالحة
    • [SPARK-48463] جعل StringIndexer يدعم أعمدة الإدخال المتداخلة
    • [SPARK-48810][CONNECT] يجب أن تكون واجهة برمجة تطبيقات Session stop() غير متكررة ولا تفشل إذا تم إغلاق الجلسة بالفعل بواسطة الخادم
    • [SPARK-48873][SQL] استخدم UnsafeRow في محلل JSON.
    • تحديثات أمان نظام التشغيل.
  • 11 يوليو 2024
    • (تغيير السلوك) يتم الآن إبطال DataFrames المخزنة مؤقتا مقابل مصادر جدول Delta إذا تم الكتابة فوق الجدول المصدر. يعني هذا التغيير أن جميع تغييرات الحالة على جداول Delta تبطل الآن النتائج المخزنة مؤقتا. استخدم .checkpoint() لاستمرار حالة الجدول طوال مدة بقاء DataFrame.
    • يتم تحديث برنامج تشغيل Snowflake JDBC إلى الإصدار 3.16.1.
    • يتضمن هذا الإصدار تصحيحا لقضية منعت علامة التبويب Spark UI Environment من العرض بشكل صحيح عند التشغيل في Databricks Container Services.
    • لتجاهل الأقسام غير الصالحة عند قراءة البيانات، يمكن لمصادر البيانات المستندة إلى الملفات، مثل Parquet أو ORC أو CSV أو JSON، تعيين خيار مصدر بيانات ignoreInvalidPartitionPaths إلى true. على سبيل المثال: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. يمكنك أيضا استخدام تكوين SQL spark.sql.files.ignoreInvalidPartitionPaths. ومع ذلك، فإن خيار مصدر البيانات له الأسبقية على تكوين SQL. هذا الإعداد غير صحيح بشكل افتراضي.
    • [SPARK-48100][SQL] إصلاح المشكلات في تخطي حقول البنية المتداخلة غير المحددة في المخطط
    • [SPARK-47463][SQL] استخدام V2Predicate لالتفاف التعبير بنوع الإرجاع المنطقي
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator should abort stage when committed file not consistent with task status
    • [SPARK-48475][PYTHON] تحسين _get_jvm_function في PySpark.
    • [SPARK-48286] إصلاح تحليل العمود الذي يحتوي على تعبير افتراضي موجود - إضافة خطأ يواجه المستخدم
    • [SPARK-48481][SQL][SS] لا تطبق OptimizeOneRowPlan على تدفق مجموعة البيانات
    • إرجاع "[SPARK-47406][SQL] معالجة TIMESTAMP و DATETIME في MYSQLDialect"
    • [SPARK-48383][SS] طرح خطأ أفضل للأقسام غير المتطابقة في خيار startOffset في Kafka
    • [SPARK-48503][14.3-15.3][SQL] إصلاح الاستعلامات الفرعية العددية غير الصحيحة باستخدام تجميع حسب على أعمدة غير مكافئة تم السماح بها بشكل غير صحيح
    • [SPARK-48445][SQL] عدم تضمين UDFs مع الأطفال المكلفين
    • [SPARK-48252][SQL] تحديث CommonExpressionRef عند الضرورة
    • [SPARK-48273][رئيسي][SQL] إصلاح إعادة الكتابة المتأخرة ل PlanWithUnresolvedIdentifier
    • [SPARK-48566][PYTHON] إصلاح الخطأ حيث تكون فهارس القسم غير صحيحة عندما يستخدم تحليل UDTF() كلا من select و partitionColumns
    • [SPARK-48556][SQL] إصلاح رسالة خطأ غير صحيحة تشير إلى UNSUPPORTED_GROUPING_EXPRESSION
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 15.2

راجع Databricks Runtime 15.2.

  • 10 أكتوبر 2024
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] تصنيف فئة الخطأ لخطأ دالة المستخدم FlatMapGroupsWithState
    • [SPARK-49743][SQL] يجب ألا يغير OptimizeCsvJsonExpr حقول المخطط عند تقليم GetArrayStructFields
    • [SPARK-49688][CONNECT] إصلاح تعارض البيانات بين خطة المقاطعة والتنفيذ
    • تحديثات أمان نظام التشغيل.
  • 25 سبتمبر 2024
    • [SPARK-49000][SQL] إصلاح "select count(distinct 1) from t" حيث يكون t جدولا فارغا عن طريق توسيع RewriteDistinctAggregates
    • [SPARK-48719][SQL] إصلاح خطأ الحساب ل RegrSlope و RegrIntercept عندما تكون المعلمة الأولى فارغة
    • [SPARK-49458][CONNECT][PYTHON] توفير معرف جلسة العمل من جانب الخادم عبر ReattachExecute
    • [SPARK-49628][SQL] يجب أن ينسخ ConstantFolding التعبير ذي الحالة قبل التقييم
    • [SPARK-49492][CONNECT] تمت محاولة إعادة إرفاق على ExecutionHolder غير نشط
    • تحديثات أمان نظام التشغيل.
  • 17 سبتمبر 2024
    • [SPARK-49336][CONNECT] الحد من مستوى التداخل عند اقتطاع رسالة protobuf
    • [SPARK-49526][CONNECT] دعم المسارات على غرار Windows في ArtifactManager
    • [SPARK-49366][CONNECT] التعامل مع عقدة الاتحاد على أنها طرفية في تحليل عمود إطار البيانات
    • [SPARK-43242][CORE] إصلاح طرح "نوع غير متوقع من BlockId" في تشخيص تلف التبديل العشوائي
    • [SPARK-49409][CONNECT] ضبط القيمة الافتراضية CONNECT_SESSION_PLAN_CACHE_SIZE
    • تحديثات أمان نظام التشغيل.
  • 29 أغسطس 2024
    • [SPARK-49056][SQL] لا يمكن ل ErrorClassesJsonReader التعامل مع القيم الخالية بشكل صحيح
    • [SPARK-48597][SQL] تقديم علامة لخاصية isStreaming في التمثيل النصي للخطة المنطقية
    • [SPARK-48862][PYTHON][CONNECT] تجنب الاتصال _proto_to_string عندما لا يتم تمكين مستوى المعلومات
    • [SPARK-49263][CONNECT] عميل Spark Connect python: معالجة خيارات قارئ Dataframe المنطقية باستمرار
    • [SPARK-49146][SS] نقل أخطاء التأكيد المتعلقة بالعلامة المائية المفقودة في استعلامات دفق وضع الإلحاق إلى إطار عمل الخطأ
  • 14 أغسطس 2024
    • [SPARK-48941][SPARK-48970] تصحيحات كاتب / قارئ Backport ML
    • [SPARK-48050][SS] تسجيل الخطة المنطقية عند بدء الاستعلام
    • [SPARK-48706][PYTHON] يجب ألا يطرح Python UDF في وظائف الترتيب الأعلى خطأ داخليا
    • [SPARK-48740][SQL] خطأ مواصفات النافذة المفقودة في وقت مبكر
    • [SPARK-49065][SQL] يجب أن تدعم إعادة التوجيه في التنسيقات/المحللات القديمة المناطق الزمنية الافتراضية غير JVM
    • [SPARK-49047][PYTHON][CONNECT] اقتطاع الرسالة للتسجيل
  • 1 أغسطس 2024
    • في الحوسبة بلا خادم لدفاتر الملاحظات والوظائف، يتم تمكين وضع ANSI SQL بشكل افتراضي. راجع معلمات تكوين Spark المدعومة.
    • عند الحوسبة التي تم تكوينها باستخدام وضع الوصول المشترك، فإن دفعة Kafka للقراءة والكتابة لها الآن نفس القيود المفروضة مثل تلك الموثقة ل Structured Streaming. راجع قيود الدفق ومتطلبات وضع الوصول المشترك لكتالوج Unity.
    • يتضمن الإخراج من عبارة SHOW CREATE TABLE الآن أي عوامل تصفية صف أو أقنعة أعمدة معرفة على طريقة عرض مجسدة أو جدول دفق. راجع إظهار إنشاء جدول. للتعرف على عوامل تصفية الصفوف وأقنعة الأعمدة، راجع تصفية بيانات الجدول الحساسة باستخدام عوامل تصفية الصفوف وأقنعة الأعمدة.
    • [SPARK-48705][PYTHON] استخدم worker_main بشكل صريح عندما يبدأ ب pyspark
    • [SPARK-48047][SQL] تقليل ضغط الذاكرة لعلامات TreeNode الفارغة
    • [SPARK-48810][CONNECT] يجب أن تكون واجهة برمجة تطبيقات Session stop() غير متكررة ولا تفشل إذا تم إغلاق الجلسة بالفعل بواسطة الخادم
    • [SPARK-48873][SQL] استخدم UnsafeRow في محلل JSON.
    • [SPARK-46957][CORE] يجب أن تكون ملفات التبديل العشوائي التي تم ترحيلها قادرة على التنظيف من المنفذ
    • [SPARK-48889][SS] testStream لتفريغ مخازن الحالة قبل الانتهاء
    • [SPARK-48713][SQL] إضافة التحقق من نطاق الفهرس ل UnsafeRow.pointTo عندما يكون baseObject عبارة عن صفيف بايت
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] إصلاحات كاتب Backport spark ML
    • [SPARK-48544][SQL] تقليل ضغط الذاكرة ل TreeNode BitSets الفارغة
    • [SPARK-48934][SS] تم تحويل أنواع وقت التاريخ في Python بشكل غير صحيح لتعيين المهلة في applyInPandasWithState
    • [SPARK-48463] جعل StringIndexer يدعم أعمدة الإدخال المتداخلة
    • تحديثات أمان نظام التشغيل.
  • 11 يوليو 2024
    • (تغيير السلوك) يتم الآن إبطال DataFrames المخزنة مؤقتا مقابل مصادر جدول Delta إذا تم الكتابة فوق الجدول المصدر. يعني هذا التغيير أن جميع تغييرات الحالة على جداول Delta تبطل الآن النتائج المخزنة مؤقتا. استخدم .checkpoint() لاستمرار حالة الجدول طوال مدة بقاء DataFrame.
    • يتم تحديث برنامج تشغيل Snowflake JDBC إلى الإصدار 3.16.1.
    • يتضمن هذا الإصدار تصحيحا لقضية منعت علامة التبويب Spark UI Environment من العرض بشكل صحيح عند التشغيل في Databricks Container Services.
    • في دفاتر الملاحظات والوظائف بلا خادم، سيتم تمكين وضع ANSI SQL بشكل افتراضي ودعم الأسماء القصيرة
    • لتجاهل الأقسام غير الصالحة عند قراءة البيانات، يمكن لمصادر البيانات المستندة إلى الملفات، مثل Parquet أو ORC أو CSV أو JSON، تعيين خيار مصدر بيانات ignoreInvalidPartitionPaths إلى true. على سبيل المثال: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. يمكنك أيضا استخدام تكوين SQL spark.sql.files.ignoreInvalidPartitionPaths. ومع ذلك، فإن خيار مصدر البيانات له الأسبقية على تكوين SQL. هذا الإعداد غير صحيح بشكل افتراضي.
    • [SPARK-48273][SQL] إصلاح إعادة الكتابة المتأخرة ل PlanWithUnresolvedIdentifier
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator should abort stage when committed file not consistent with task status
    • [SPARK-48100][SQL] إصلاح المشكلات في تخطي حقول البنية المتداخلة غير المحددة في المخطط
    • [SPARK-48286] إصلاح تحليل العمود الذي يحتوي على تعبير افتراضي موجود - إضافة خطأ يواجه المستخدم
    • [SPARK-48294][SQL] معالجة الأحرف الصغيرة في nestedTypeMissingElementTypeError
    • [SPARK-48556][SQL] إصلاح رسالة خطأ غير صحيحة تشير إلى UNSUPPORTED_GROUPING_EXPRESSION
    • [SPARK-48648][PYTHON][CONNECT] جعل SparkConnectClient.tags مؤشر ترابط بشكل صحيح
    • [SPARK-48503][SQL] إصلاح الاستعلامات الفرعية العددية غير الصحيحة باستخدام تجميع حسب على أعمدة غير مكافئة تم السماح بها بشكل غير صحيح
    • [SPARK-48252][SQL] تحديث CommonExpressionRef عند الضرورة
    • [SPARK-48475][PYTHON] تحسين _get_jvm_function في PySpark.
    • [SPARK-48566][PYTHON] إصلاح الخطأ حيث تكون فهارس القسم غير صحيحة عندما يستخدم تحليل UDTF() كلا من select و partitionColumns
    • [SPARK-48481][SQL][SS] لا تطبق OptimizeOneRowPlan على تدفق مجموعة البيانات
    • [SPARK-47463][SQL] استخدام V2Predicate لالتفاف التعبير بنوع الإرجاع المنطقي
    • [SPARK-48383][SS] طرح خطأ أفضل للأقسام غير المتطابقة في خيار startOffset في Kafka
    • [SPARK-48445][SQL] عدم تضمين UDFs مع الأطفال المكلفين
    • تحديثات أمان نظام التشغيل.
  • 17 يونيو 2024
    • applyInPandasWithState() متوفر على المجموعات المشتركة.
    • إصلاح خطأ حيث يعمل تحسين نافذة الرتبة باستخدام Photon TopK على معالجة الأقسام بشكل غير صحيح مع البنيات.
    • تم إصلاح خطأ في الدالة try_divide() حيث أدت الإدخالات التي تحتوي على الأرقام العشرية إلى استثناءات غير متوقعة.
    • [SPARK-48197][SQL] تجنب خطأ التأكيد لدالة lambda غير صالحة
    • [SPARK-48276][PYTHON][CONNECT] إضافة الأسلوب المفقود __repr__ ل SQLExpression
    • [SPARK-48014][SQL] تغيير خطأ makeFromJava في EvaluatePython إلى خطأ يواجه المستخدم
    • [SPARK-48016][SQL] إصلاح خطأ في الدالة try_divide عند استخدام المنازل العشرية
    • [SPARK-47986][CONNECT][PYTHON] يتعذر إنشاء جلسة عمل جديدة عند إغلاق الجلسة الافتراضية بواسطة الخادم
    • [SPARK-48173][SQL] يجب أن يرى CheckAnalysis خطة الاستعلام بأكملها
    • [SPARK-48056][CONNECT][PYTHON] إعادة تنفيذ الخطة في حالة ظهور خطأ SESSION_NOT_FOUND ولم يتم تلقي استجابة جزئية
    • [SPARK-48172][SQL] إصلاح مشكلات الهروب في JDBCDialects backport إلى 15.2
    • [SPARK-48105][SS] إصلاح حالة السباق بين إلغاء تحميل مخزن الحالة والتقاط اللقطات
    • [SPARK-48288] إضافة نوع بيانات المصدر لتعبير تحويل الموصل
    • [SPARK-48310][PYTHON][CONNECT] يجب أن ترجع الخصائص المخزنة مؤقتا نسخا
    • [SPARK-48277] تحسين رسالة الخطأ ل ErrorClassesJsonReader.getErrorMessage
    • [SPARK-47986][CONNECT][PYTHON] يتعذر إنشاء جلسة عمل جديدة عند إغلاق الجلسة الافتراضية بواسطة الخادم
    • إرجاع "[SPARK-47406][SQL] معالجة TIMESTAMP و DATETIME في MYSQLDialect"
    • [SPARK-47994][SQL] إصلاح الخطأ باستخدام عامل تصفية العمود CASE WHEN push down في SQLServer
    • [SPARK-47764][CORE][SQL] تنظيف تبعيات التبديل العشوائي استنادا إلى ShuffleCleanupMode
    • [SPARK-47921][CONNECT] إصلاح إنشاء ExecuteJobTag في ExecuteHolder
    • [SPARK-48010][SQL] تجنب المكالمات المتكررة إلى conf.resolver في resolveExpression
    • [SPARK-48146][SQL] إصلاح الدالة التجميعية في With expression child assertion
    • [SPARK-48180][SQL] تحسين الخطأ عندما ينسى استدعاء UDTF مع TABLE arg الأقواس حول أقسام/ترتيب متعددة بواسطة exprs
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 15.1

راجع Databricks Runtime 15.1.

  • 10 أكتوبر 2024
    • [SPARK-49688][CONNECT] إصلاح تعارض البيانات بين خطة المقاطعة والتنفيذ
    • [SPARK-49743][SQL] يجب ألا يغير OptimizeCsvJsonExpr حقول المخطط عند تقليم GetArrayStructFields
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] تصنيف فئة الخطأ لخطأ دالة المستخدم FlatMapGroupsWithState
    • تحديثات أمان نظام التشغيل.
  • 25 سبتمبر 2024
    • [SPARK-49628][SQL] يجب أن ينسخ ConstantFolding التعبير ذي الحالة قبل التقييم
    • [SPARK-48719][SQL] إصلاح خطأ الحساب ل RegrSlope و RegrIntercept عندما تكون المعلمة الأولى فارغة
    • [SPARK-49492][CONNECT] تمت محاولة إعادة إرفاق على ExecutionHolder غير نشط
    • [SPARK-49000][SQL] إصلاح "select count(distinct 1) from t" حيث يكون t جدولا فارغا عن طريق توسيع RewriteDistinctAggregates
    • [SPARK-49458][CONNECT][PYTHON] توفير معرف جلسة العمل من جانب الخادم عبر ReattachExecute
    • تحديثات أمان نظام التشغيل.
  • 17 سبتمبر 2024
    • [SPARK-49336][CONNECT] الحد من مستوى التداخل عند اقتطاع رسالة protobuf
    • [SPARK-49526][CONNECT] دعم المسارات على غرار Windows في ArtifactManager
    • [SPARK-49409][CONNECT] ضبط القيمة الافتراضية CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-43242][CORE] إصلاح طرح "نوع غير متوقع من BlockId" في تشخيص تلف التبديل العشوائي
    • [SPARK-49366][CONNECT] التعامل مع عقدة الاتحاد على أنها طرفية في تحليل عمود إطار البيانات
  • 29 أغسطس 2024
    • [SPARK-49263][CONNECT] عميل Spark Connect python: معالجة خيارات قارئ Dataframe المنطقية باستمرار
    • [SPARK-49056][SQL] لا يمكن ل ErrorClassesJsonReader التعامل مع القيم الخالية بشكل صحيح
    • [SPARK-48862][PYTHON][CONNECT] تجنب الاتصال _proto_to_string عندما لا يتم تمكين مستوى المعلومات
    • [SPARK-49146][SS] نقل أخطاء التأكيد المتعلقة بالعلامة المائية المفقودة في استعلامات دفق وضع الإلحاق إلى إطار عمل الخطأ
  • 14 أغسطس 2024
    • [SPARK-48941][SPARK-48970] تصحيحات كاتب / قارئ Backport ML
    • [SPARK-48050][SS] تسجيل الخطة المنطقية عند بدء الاستعلام
    • [SPARK-48706][PYTHON] يجب ألا يطرح Python UDF في وظائف الترتيب الأعلى خطأ داخليا
    • [SPARK-48597][SQL] تقديم علامة لخاصية isStreaming في التمثيل النصي للخطة المنطقية
    • [SPARK-49065][SQL] يجب أن تدعم إعادة التوجيه في التنسيقات/المحللات القديمة المناطق الزمنية الافتراضية غير JVM
    • [SPARK-49047][PYTHON][CONNECT] اقتطاع الرسالة للتسجيل
    • [SPARK-48740][SQL] خطأ مواصفات النافذة المفقودة في وقت مبكر
  • 1 أغسطس 2024
    • في الحوسبة بلا خادم لدفاتر الملاحظات والوظائف، يتم تمكين وضع ANSI SQL بشكل افتراضي. راجع معلمات تكوين Spark المدعومة.
    • عند الحوسبة التي تم تكوينها باستخدام وضع الوصول المشترك، فإن دفعة Kafka للقراءة والكتابة لها الآن نفس القيود المفروضة مثل تلك الموثقة ل Structured Streaming. راجع قيود الدفق ومتطلبات وضع الوصول المشترك لكتالوج Unity.
    • يتضمن الإخراج من عبارة SHOW CREATE TABLE الآن أي عوامل تصفية صف أو أقنعة أعمدة معرفة على طريقة عرض مجسدة أو جدول دفق. راجع إظهار إنشاء جدول. للتعرف على عوامل تصفية الصفوف وأقنعة الأعمدة، راجع تصفية بيانات الجدول الحساسة باستخدام عوامل تصفية الصفوف وأقنعة الأعمدة.
    • [SPARK-48544][SQL] تقليل ضغط الذاكرة ل TreeNode BitSets الفارغة
    • [SPARK-46957][CORE] يجب أن تكون ملفات التبديل العشوائي التي تم ترحيلها قادرة على التنظيف من المنفذ
    • [SPARK-47202][PYTHON] إصلاح أوقات التواريخ المطبعية مع tzinfo
    • [SPARK-48713][SQL] إضافة التحقق من نطاق الفهرس ل UnsafeRow.pointTo عندما يكون baseObject عبارة عن صفيف بايت
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] إصلاحات كاتب Backport spark ML
    • [SPARK-48810][CONNECT] يجب أن تكون واجهة برمجة تطبيقات Session stop() غير متكررة ولا تفشل إذا تم إغلاق الجلسة بالفعل بواسطة الخادم
    • [SPARK-48873][SQL] استخدم UnsafeRow في محلل JSON.
    • [SPARK-48934][SS] تم تحويل أنواع وقت التاريخ في Python بشكل غير صحيح لتعيين المهلة في applyInPandasWithState
    • [SPARK-48705][PYTHON] استخدم worker_main بشكل صريح عندما يبدأ ب pyspark
    • [SPARK-48889][SS] testStream لتفريغ مخازن الحالة قبل الانتهاء
    • [SPARK-48047][SQL] تقليل ضغط الذاكرة لعلامات TreeNode الفارغة
    • [SPARK-48463] جعل StringIndexer يدعم أعمدة الإدخال المتداخلة
    • تحديثات أمان نظام التشغيل.
  • 11 يوليو 2024
    • (تغيير السلوك) يتم الآن إبطال DataFrames المخزنة مؤقتا مقابل مصادر جدول Delta إذا تم الكتابة فوق الجدول المصدر. يعني هذا التغيير أن جميع تغييرات الحالة على جداول Delta تبطل الآن النتائج المخزنة مؤقتا. استخدم .checkpoint() لاستمرار حالة الجدول طوال مدة بقاء DataFrame.
    • يتم تحديث برنامج تشغيل Snowflake JDBC إلى الإصدار 3.16.1.
    • يتضمن هذا الإصدار تصحيحا لقضية منعت علامة التبويب Spark UI Environment من العرض بشكل صحيح عند التشغيل في Databricks Container Services.
    • في الحوسبة بلا خادم لدفاتر الملاحظات والوظائف، يتم تمكين وضع ANSI SQL بشكل افتراضي. راجع معلمات تكوين Spark المدعومة.
    • لتجاهل الأقسام غير الصالحة عند قراءة البيانات، يمكن لمصادر البيانات المستندة إلى الملفات، مثل Parquet أو ORC أو CSV أو JSON، تعيين خيار مصدر بيانات ignoreInvalidPartitionPaths إلى true. على سبيل المثال: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. يمكنك أيضا استخدام تكوين SQL spark.sql.files.ignoreInvalidPartitionPaths. ومع ذلك، فإن خيار مصدر البيانات له الأسبقية على تكوين SQL. هذا الإعداد غير صحيح بشكل افتراضي.
    • [SPARK-48383][SS] طرح خطأ أفضل للأقسام غير المتطابقة في خيار startOffset في Kafka
    • [SPARK-48481][SQL][SS] لا تطبق OptimizeOneRowPlan على تدفق مجموعة البيانات
    • [SPARK-48100][SQL] إصلاح المشكلات في تخطي حقول البنية المتداخلة غير المحددة في المخطط
    • [SPARK-47463][SQL] استخدام V2Predicate لالتفاف التعبير بنوع الإرجاع المنطقي
    • [SPARK-48445][SQL] عدم تضمين UDFs مع الأطفال المكلفين
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator should abort stage when committed file not consistent with task status
    • [SPARK-48566][PYTHON] إصلاح الخطأ حيث تكون فهارس القسم غير صحيحة عندما يستخدم تحليل UDTF() كلا من select و partitionColumns
    • [SPARK-48648][PYTHON][CONNECT] جعل SparkConnectClient.tags مؤشر ترابط بشكل صحيح
    • [SPARK-48503][SQL] إصلاح الاستعلامات الفرعية العددية غير الصحيحة باستخدام تجميع حسب على أعمدة غير مكافئة تم السماح بها بشكل غير صحيح
    • [SPARK-48252][SQL] تحديث CommonExpressionRef عند الضرورة
    • [SPARK-48475][PYTHON] تحسين _get_jvm_function في PySpark.
    • [SPARK-48294][SQL] معالجة الأحرف الصغيرة في nestedTypeMissingElementTypeError
    • [SPARK-48286] إصلاح تحليل العمود الذي يحتوي على تعبير افتراضي موجود - إضافة خطأ يواجه المستخدم
    • [SPARK-47309][SQL] XML: إضافة اختبارات استدلال المخطط لعلامات القيمة
    • [SPARK-47309][SQL][XML] إضافة اختبارات وحدة استنتاج المخطط
    • [SPARK-48273][SQL] إصلاح إعادة الكتابة المتأخرة ل PlanWithUnresolvedIdentifier
    • تحديثات أمان نظام التشغيل.
  • 17 يونيو 2024
    • applyInPandasWithState() متوفر على المجموعات المشتركة.
    • إصلاح خطأ حيث يعمل تحسين نافذة الرتبة باستخدام Photon TopK على معالجة الأقسام بشكل غير صحيح مع البنيات.
    • [SPARK-48310][PYTHON][CONNECT] يجب أن ترجع الخصائص المخزنة مؤقتا نسخا
    • [SPARK-48276][PYTHON][CONNECT] إضافة الأسلوب المفقود __repr__ ل SQLExpression
    • [SPARK-48277] تحسين رسالة الخطأ ل ErrorClassesJsonReader.getErrorMessage
    • [SPARK-47764][CORE][SQL] تنظيف تبعيات التبديل العشوائي استنادا إلى ShuffleCleanupMode
    • تحديثات أمان نظام التشغيل.
  • 21 مايو 2024
    • تم إصلاح خطأ في الدالة try_divide() حيث أدت الإدخالات التي تحتوي على الأرقام العشرية إلى استثناءات غير متوقعة.
    • [SPARK-48173][SQL] يجب أن يرى CheckAnalysis خطة الاستعلام بأكملها
    • [SPARK-48016][SQL] إصلاح خطأ في الدالة try_divide عند استخدام المنازل العشرية
    • [SPARK-48105][SS] إصلاح حالة السباق بين إلغاء تحميل مخزن الحالة والتقاط اللقطات
    • [SPARK-48197][SQL] تجنب خطأ التأكيد لدالة lambda غير صالحة
    • [SPARK-48180][SQL] تحسين الخطأ عندما ينسى استدعاء UDTF مع TABLE arg الأقواس حول أقسام/ترتيب متعددة بواسطة exprs
    • [SPARK-48014][SQL] تغيير خطأ makeFromJava في EvaluatePython إلى خطأ يواجه المستخدم
    • [SPARK-48056][CONNECT][PYTHON] إعادة تنفيذ الخطة في حالة ظهور خطأ SESSION_NOT_FOUND ولم يتم تلقي استجابة جزئية
    • [SPARK-48146][SQL] إصلاح الدالة التجميعية في With expression child assertion
    • [SPARK-47994][SQL] إصلاح الخطأ باستخدام عامل تصفية العمود CASE WHEN push down في SQLServer
    • تحديثات أمان نظام التشغيل.
  • 9 مايو 2024
    • [SPARK-47543][CONNECT][PYTHON] استنتاج الإملاء ك MapType من Pandas DataFrame للسماح بإنشاء DataFrame
    • [SPARK-47739][SQL] تسجيل نوع avro المنطقي
    • [SPARK-48044][PYTHON][CONNECT] تخزين مؤقت DataFrame.isStreaming
    • [SPARK-47855][CONNECT] إضافة spark.sql.execution.arrow.pyspark.fallback.enabled في القائمة غير المدعومة
    • [SPARK-48010][SQL] تجنب المكالمات المتكررة إلى conf.resolver في resolveExpression
    • [SPARK-47941] [SS] [الاتصال] نشر أخطاء تهيئة عامل ForeachBatch للمستخدمين ل PySpark
    • [SPARK-47819][CONNECT][Cherry-pick-15.0] استخدام رد الاتصال غير المتزامن لتنظيف التنفيذ
    • [SPARK-47956][SQL] التحقق من السلامة لمرجع LCA الذي لم يتم حله
    • [SPARK-47839][SQL] إصلاح الخطأ التجميعي في RewriteWithExpression
    • [SPARK-48018][SS] إصلاح groupId الخالية التي تتسبب في فقدان خطأ المعلمة عند طرح KafkaException.couldNotReadOffsetRange
    • [SPARK-47371] [SQL] XML: تجاهل علامات الصفوف الموجودة في CDATA
    • [SPARK-47907][SQL] وضع الانفجار تحت تكوين
    • [SPARK-47895]يجب أن تكون مجموعة [SQL] حسب الكل غير متكررة
    • [SPARK-47973][CORE] سجل موقع الاتصال في SparkContext.stop() والإحدث في SparkContext.assertNotStopped()
    • [SPARK-47986][CONNECT][PYTHON] يتعذر إنشاء جلسة عمل جديدة عند إغلاق الجلسة الافتراضية بواسطة الخادم
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 14.3

راجع Databricks Runtime 14.3 LTS.

  • 10 أكتوبر 2024
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] تصنيف فئة الخطأ لخطأ دالة المستخدم FlatMapGroupsWithState
    • [SPARK-49743][SQL] يجب ألا يغير OptimizeCsvJsonExpr حقول المخطط عند تقليم GetArrayStructFields
    • [SPARK-49688][CONNECT] إصلاح تعارض البيانات بين خطة المقاطعة والتنفيذ
  • 25 سبتمبر 2024
    • [SPARK-48810][CONNECT] يجب أن تكون واجهة برمجة تطبيقات Session stop() غير متكررة ولا تفشل إذا تم إغلاق الجلسة بالفعل بواسطة الخادم
    • [SPARK-48719][SQL] إصلاح خطأ حساب 'RegrS...
    • [SPARK-49000][SQL] إصلاح "select count(distinct 1) from t" حيث يكون t جدولا فارغا عن طريق توسيع RewriteDistinctAggregates
    • [SPARK-49628][SQL] يجب أن ينسخ ConstantFolding التعبير ذي الحالة قبل التقييم
    • [SPARK-49492][CONNECT] تمت محاولة إعادة إرفاق على ExecutionHolder غير نشط
    • تحديثات أمان نظام التشغيل.
  • 17 سبتمبر 2024
    • [SPARK-49336][CONNECT] الحد من مستوى التداخل عند اقتطاع رسالة protobuf
    • [SPARK-43242][CORE] إصلاح طرح "نوع غير متوقع من BlockId" في تشخيص تلف التبديل العشوائي
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor supporting nested input columns
    • [SPARK-49526][CONNECT] دعم المسارات على غرار Windows في ArtifactManager
    • [SPARK-49409][CONNECT] ضبط القيمة الافتراضية CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] التعامل مع عقدة الاتحاد على أنها طرفية في تحليل عمود إطار البيانات
  • 29 أغسطس 2024
    • [SPARK-49146][SS] نقل أخطاء التأكيد المتعلقة بالعلامة المائية المفقودة في استعلامات دفق وضع الإلحاق إلى إطار عمل الخطأ
    • [SPARK-48862][PYTHON][CONNECT] تجنب الاتصال _proto_to_string عندما لا يتم تمكين مستوى المعلومات
    • [SPARK-49263][CONNECT] عميل Spark Connect python: معالجة خيارات قارئ Dataframe المنطقية باستمرار
  • 14 أغسطس 2024
    • [SPARK-48941][SPARK-48970] تصحيحات كاتب / قارئ Backport ML
    • [SPARK-48706][PYTHON] يجب ألا يطرح Python UDF في وظائف الترتيب الأعلى خطأ داخليا
    • [SPARK-49056][SQL] لا يمكن ل ErrorClassesJsonReader التعامل مع القيم الخالية بشكل صحيح
    • [SPARK-48597][SQL] تقديم علامة لخاصية isStreaming في التمثيل النصي للخطة المنطقية
    • [SPARK-49065][SQL] يجب أن تدعم إعادة التوجيه في التنسيقات/المحللات القديمة المناطق الزمنية الافتراضية غير JVM
    • [SPARK-48934][SS] تم تحويل أنواع وقت التاريخ في Python بشكل غير صحيح لتعيين المهلة في applyInPandasWithState
  • 1 أغسطس 2024
    • يتضمن هذا الإصدار إصلاح خطأ للفئات ColumnVector و ColumnarArray في واجهة Spark Java. في السابق لهذا الإصلاح، ArrayIndexOutOfBoundsException قد يتم طرح أو إرجاع بيانات غير صحيحة عندما يحتوي مثيل إحدى هذه الفئات على null قيم.
    • في الحوسبة بلا خادم لدفاتر الملاحظات والوظائف، يتم تمكين وضع ANSI SQL بشكل افتراضي. راجع معلمات تكوين Spark المدعومة.
    • عند الحوسبة التي تم تكوينها باستخدام وضع الوصول المشترك، فإن دفعة Kafka للقراءة والكتابة لها الآن نفس القيود المفروضة مثل تلك الموثقة ل Structured Streaming. راجع قيود الدفق ومتطلبات وضع الوصول المشترك لكتالوج Unity.
    • يتضمن الإخراج من عبارة SHOW CREATE TABLE الآن أي عوامل تصفية صف أو أقنعة أعمدة معرفة على طريقة عرض مجسدة أو جدول دفق. راجع إظهار إنشاء جدول. للتعرف على عوامل تصفية الصفوف وأقنعة الأعمدة، راجع تصفية بيانات الجدول الحساسة باستخدام عوامل تصفية الصفوف وأقنعة الأعمدة.
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] إصلاحات كاتب Backport spark ML
    • [SPARK-48889][SS] testStream لتفريغ مخازن الحالة قبل الانتهاء
    • [SPARK-48705][PYTHON] استخدم worker_main بشكل صريح عندما يبدأ ب pyspark
    • [SPARK-48047][SQL] تقليل ضغط الذاكرة لعلامات TreeNode الفارغة
    • [SPARK-48544][SQL] تقليل ضغط الذاكرة ل TreeNode BitSets الفارغة
    • [SPARK-46957][CORE] يجب أن تكون ملفات التبديل العشوائي التي تم ترحيلها قادرة على التنظيف من المنفذ
    • [SPARK-48463] جعل StringIndexer يدعم أعمدة الإدخال المتداخلة
    • [SPARK-47202][PYTHON] إصلاح أوقات التواريخ المطبعية مع tzinfo
    • [SPARK-47713][SQL][CONNECT] إصلاح فشل الانضمام الذاتي
    • تحديثات أمان نظام التشغيل.
  • 11 يوليو 2024
    • (تغيير السلوك) يتم الآن إبطال DataFrames المخزنة مؤقتا مقابل مصادر جدول Delta إذا تم الكتابة فوق الجدول المصدر. يعني هذا التغيير أن جميع تغييرات الحالة على جداول Delta تبطل الآن النتائج المخزنة مؤقتا. استخدم .checkpoint() لاستمرار حالة الجدول طوال مدة بقاء DataFrame.
    • يتم تحديث برنامج تشغيل Snowflake JDBC إلى الإصدار 3.16.1.
    • يتضمن هذا الإصدار تصحيحا لقضية منعت علامة التبويب Spark UI Environment من العرض بشكل صحيح عند التشغيل في Databricks Container Services.
    • في الحوسبة بلا خادم لدفاتر الملاحظات والوظائف، يتم تمكين وضع ANSI SQL بشكل افتراضي. راجع معلمات تكوين Spark المدعومة.
    • لتجاهل الأقسام غير الصالحة عند قراءة البيانات، يمكن لمصادر البيانات المستندة إلى الملفات، مثل Parquet أو ORC أو CSV أو JSON، تعيين خيار مصدر بيانات ignoreInvalidPartitionPaths إلى true. على سبيل المثال: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). يمكنك أيضا استخدام تكوين SQL spark.sql.files.ignoreInvalidPartitionPaths. ومع ذلك، فإن خيار مصدر البيانات له الأسبقية على تكوين SQL. هذا الإعداد غير صحيح بشكل افتراضي.
    • [SPARK-48648][PYTHON][CONNECT] جعل SparkConnectClient.tags مؤشر ترابط بشكل صحيح
    • [SPARK-48445][SQL] عدم تضمين UDFs مع الأطفال المكلفين
    • [SPARK-48481][SQL][SS] لا تطبق OptimizeOneRowPlan على تدفق مجموعة البيانات
    • [SPARK-48383][SS] طرح خطأ أفضل للأقسام غير المتطابقة في خيار startOffset في Kafka
    • [SPARK-48503][SQL] إصلاح الاستعلامات الفرعية العددية غير الصحيحة باستخدام تجميع حسب على أعمدة غير مكافئة تم السماح بها بشكل غير صحيح
    • [SPARK-48100][SQL] إصلاح المشكلات في تخطي حقول البنية المتداخلة غير المحددة في المخطط
    • [SPARK-48273][SQL] إصلاح إعادة الكتابة المتأخرة ل PlanWithUnresolvedIdentifier
    • [SPARK-48252][SQL] تحديث CommonExpressionRef عند الضرورة
    • [SPARK-48475][PYTHON] تحسين _get_jvm_function في PySpark.
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator should abort stage when committed file not consistent with task status
    • تحديثات أمان نظام التشغيل.
  • 17 يونيو 2024
    • applyInPandasWithState() متوفر على المجموعات المشتركة.
    • إصلاح خطأ حيث يعمل تحسين نافذة الرتبة باستخدام Photon TopK على معالجة الأقسام بشكل غير صحيح مع البنيات.
    • [SPARK-48310][PYTHON][CONNECT] يجب أن ترجع الخصائص المخزنة مؤقتا نسخا
    • [SPARK-48276][PYTHON][CONNECT] إضافة الأسلوب المفقود __repr__ ل SQLExpression
    • [SPARK-48294][SQL] معالجة الأحرف الصغيرة في nestedTypeMissingElementTypeError
    • تحديثات أمان نظام التشغيل.
  • 21 مايو 2024
    • (تغيير السلوك) dbutils.widgets.getAll() مدعوم الآن للحصول على جميع قيم عنصر واجهة المستخدم في دفتر ملاحظات.
    • تم إصلاح خطأ في الدالة try_divide() حيث أدت الإدخالات التي تحتوي على الأرقام العشرية إلى استثناءات غير متوقعة.
    • [SPARK-48056][CONNECT][PYTHON] إعادة تنفيذ الخطة في حالة ظهور خطأ SESSION_NOT_FOUND ولم يتم تلقي استجابة جزئية
    • [SPARK-48146][SQL] إصلاح الدالة التجميعية في With expression child assertion
    • [SPARK-47986][CONNECT][PYTHON] يتعذر إنشاء جلسة عمل جديدة عند إغلاق الجلسة الافتراضية بواسطة الخادم
    • [SPARK-48180][SQL] تحسين الخطأ عندما ينسى استدعاء UDTF مع TABLE arg الأقواس حول أقسام/ترتيب متعددة بواسطة exprs
    • [SPARK-48016][SQL] إصلاح خطأ في الدالة try_divide عند استخدام المنازل العشرية
    • [SPARK-48197][SQL] تجنب خطأ التأكيد لدالة lambda غير صالحة
    • [SPARK-47994][SQL] إصلاح الخطأ باستخدام عامل تصفية العمود CASE WHEN push down في SQLServer
    • [SPARK-48173][SQL] يجب أن يرى CheckAnalysis خطة الاستعلام بأكملها
    • [SPARK-48105][SS] إصلاح حالة السباق بين إلغاء تحميل مخزن الحالة والتقاط اللقطات
    • تحديثات أمان نظام التشغيل.
  • 9 مايو 2024
    • (تغيير السلوك) applyInPandas وأنواع mapInPandas UDF مدعومة الآن في حساب وضع الوصول المشترك الذي يقوم بتشغيل Databricks Runtime 14.3 وما فوق.
    • [SPARK-47739][SQL] تسجيل نوع avro المنطقي
    • [SPARK-47941] [SS] [الاتصال] نشر أخطاء تهيئة عامل ForeachBatch للمستخدمين ل PySpark
    • [SPARK-48010][SQL] تجنب المكالمات المتكررة إلى conf.resolver في resolveExpression
    • [SPARK-48044][PYTHON][CONNECT] تخزين مؤقت DataFrame.isStreaming
    • [SPARK-47956][SQL] التحقق من السلامة لمرجع LCA الذي لم يتم حله
    • [SPARK-47543][CONNECT][PYTHON] استنتاج الإملاء ك Mapype من Pandas DataFrame للسماح بإنشاء DataFrame
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] استخدام رد الاتصال غير المتزامن لتنظيف التنفيذ
    • [SPARK-47764][CORE][SQL] تنظيف تبعيات التبديل العشوائي استنادا إلى ShuffleCleanupMode
    • [SPARK-48018][SS] إصلاح groupId الخالية التي تتسبب في فقدان خطأ المعلمة عند طرح KafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] إصلاح الخطأ التجميعي في RewriteWithExpression
    • [SPARK-47371] [SQL] XML: تجاهل علامات الصفوف الموجودة في CDATA
    • [SPARK-47895]يجب أن تكون مجموعة [SQL] حسب الكل غير متكررة
    • [SPARK-47973][CORE] سجل موقع الاتصال في SparkContext.stop() والإحدث في SparkContext.assertNotStopped()
    • تحديثات أمان نظام التشغيل.
  • 25 أبريل 2024
    • [SPARK-47543][CONNECT][PYTHON] الاستدلال dict من MapType Pandas DataFrame للسماح بإنشاء DataFrame
    • [SPARK-47694][CONNECT] جعل الحد الأقصى لحجم الرسالة قابلا للتكوين على جانب العميل
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] التحقق من صحة اسم العمود باستخدام المخطط المخزن مؤقتا
    • [SPARK-47862][PYTHON][CONNECT]إصلاح إنشاء ملفات proto
    • العودة إلى "[SPARK-47543][CONNECT][PYTHON] الاستدلال dict كما هو الحال MapType من Pandas DataFrame للسماح بإنشاء DataFrame"
    • [SPARK-47704][SQL] فشل تحليل JSON مع "java.lang.ClassCastException" عند تمكين spark.sql.json.enablePartialResults
    • [SPARK-47812][CONNECT] دعم تسلسل SparkSession لعامل ForEachBatch
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] تقديم ذاكرة التخزين المؤقت للخطة في SparkConnectPlanner لتحسين أداء طلبات التحليل
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite فشل مع خطة غير صالحة
    • تحديثات أمان نظام التشغيل.
  • 11 أبريل 2024
    • (تغيير السلوك) لضمان سلوك متسق عبر أنواع الحوسبة، تطابق PySpark UDFs على المجموعات المشتركة الآن سلوك UDFs على أنظمة المجموعات المعينة دون عزل. يتضمن هذا التحديث التغييرات التالية التي قد تؤدي إلى قطع التعليمات البرمجية الموجودة:
      • لم تعد UDFs ذات string نوع إرجاع تحول ضمنيا القيم غيرstring إلى string قيم. في السابق، كانت UDFs ذات نوع str الإرجاع تقوم بتضمين القيمة المرجعة مع دالة str() بغض النظر عن نوع البيانات الفعلي للقيمة التي تم إرجاعها.
      • لم تعد UDFs ذات timestamp أنواع العائدات تطبق ضمنيا تحويلا إلى timestamp باستخدام timezone.
      • لم تعد تكوينات spark.databricks.sql.externalUDF.* نظام مجموعة Spark تنطبق على PySpark UDFs على المجموعات المشتركة.
      • لم يعد تكوين spark.databricks.safespark.externalUDF.plan.limit نظام مجموعة Spark يؤثر على PySpark UDFs، مما يزيل قيود المعاينة العامة البالغة 5 UDFs لكل استعلام ل PySpark UDFs.
      • لم يعد تكوين spark.databricks.safespark.sandbox.size.default.mib نظام مجموعة Spark ينطبق على PySpark UDFs على المجموعات المشتركة. بدلا من ذلك، يتم استخدام الذاكرة المتوفرة على النظام. للحد من ذاكرة PySpark UDFs، استخدم spark.databricks.pyspark.udf.isolation.memoryLimit مع الحد الأدنى من 100mالقيمة .
    • TimestampNTZ يتم الآن دعم نوع البيانات ك عمود تجميع مع تكوين أنظمة مجموعات سائلة. راجع استخدام التجميع السائل لجداول Delta.
    • [SPARK-47511][SQL] التعابير المتعارف عليها عن طريق إعادة تعيين المعرف
    • [SPARK-47509][SQL] حظر تعبيرات الاستعلام الفرعي في lambda ووظائف الترتيب الأعلى
    • [SPARK-46990][SQL] إصلاح تحميل ملفات Avro الفارغة المنبعثة من مراكز الأحداث
    • [SPARK-47638][PS][CONNECT] تخطي التحقق من صحة اسم العمود في PS
    • تحديثات أمان نظام التشغيل.
  • 14 مارس 2024
    • [SPARK-47135][SS] تنفيذ فئات الخطأ لاستثناءات فقدان بيانات Kafka
    • [SPARK-47176][SQL] لديك دالة مساعد ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] تمرير معرف الجدول إلى exec فحص مصدر بيانات الصف لاستراتيجية V2.
    • [SPARK-47044][SQL] إضافة استعلام منفذ لمصدر بيانات JDBC الخارجي لشرح الإخراج
    • [SPARK-47167][SQL] إضافة فئة ملموسة لعلاقة JDBC المجهولة
    • [SPARK-47070] إصلاح التجميع غير الصالح بعد إعادة كتابة الاستعلام الفرعي
    • [SPARK-47121][CORE] تجنب RejectedExecutionExceptions أثناء إيقاف تشغيل StandaloneSchedulerBackend
    • إرجاع "[SPARK-46861][CORE] تجنب التوقف التام في DAGScheduler"
    • [SPARK-47125][SQL] إرجاع القيمة الخالية إذا لم يؤدي Univocity أبدا إلى تشغيل التحليل
    • [SPARK-46999][SQL] يجب أن يتضمن ExpressionWithUnresolvedIdentifier تعبيرات أخرى في شجرة التعبير
    • [SPARK-47129][CONNECT][SQL] جعل ResolveRelations خطة اتصال ذاكرة التخزين المؤقت بشكل صحيح
    • [SPARK-47241][SQL] إصلاح مشكلات ترتيب القواعد ل ExtractGenerator
    • [SPARK-47035][SS][CONNECT] بروتوكول وحدة الإصغاء من جانب العميل
    • تحديثات أمان نظام التشغيل.
  • 29 فبراير 2024
    • تم إصلاح مشكلة حيث قد يؤدي استخدام مجموعة محلية كمصدر في أمر MERGE إلى تقرير مقياس العملية numSourceRows إلى ضعف العدد الصحيح للصفوف.
    • يتطلب إنشاء مخطط مع موقع محدد الآن أن يكون لدى المستخدم امتيازات SELECT و MODIFY على ANY FILE.
    • [SPARK-47071][SQL] تعبير مضمن مع إذا كان يحتوي على تعبير خاص
    • [SPARK-47059][SQL] إرفاق سياق خطأ لأمر ALTER COLUMN v1
    • [SPARK-46993][SQL] إصلاح الطي الثابت لمتغيرات جلسة العمل
    • تحديثات أمان نظام التشغيل.
  • 3 يناير 2024
    • [SPARK-46933] إضافة مقياس وقت تنفيذ الاستعلام إلى الموصلات التي تستخدم JDBCRDD.
    • [SPARK-46763] إصلاح فشل التأكيد في ReplaceDeduplicateWithAggregate للسمات المكررة.
    • [SPARK-46954] XML: التفاف InputStreamReader مع BufferedReader.
    • [SPARK-46655] تخطي اللحاق بسياق الاستعلام في DataFrame الأساليب.
    • [SPARK-44815] ذاكرة التخزين المؤقت df.schema لتجنب RPC إضافية.
    • [SPARK-46952] XML: حد حجم السجل التالف.
    • [SPARK-46794] إزالة الاستعلامات الفرعية من قيود LogicalRDD.
    • [SPARK-46736] الاحتفاظ بحقل رسالة فارغ في موصل protobuf.
    • [SPARK-45182] تجاهل إكمال المهمة من المرحلة القديمة بعد إعادة محاولة مرحلة الأصل غير المحدد كما هو محدد بواسطة المجموع الاختباري.
    • [SPARK-46414] استخدم prependBaseUri لعرض استيرادات javascript.
    • [SPARK-46383] تقليل استخدام كومة برامج التشغيل عن طريق تقليل عمر TaskInfo.accumulables().
    • [SPARK-46861] تجنب حالة التوقف التام في DAGScheduler.
    • [SPARK-46954] XML: تحسين بحث فهرس المخطط.
    • [SPARK-46676] يجب ألا يفشل dropDuplicatesWithinWatermark عند المتعارف عليه للخطة.
    • [SPARK-46644] تغيير الإضافة والدمج في SQLMetric لاستخدام isZero.
    • [SPARK-46731] إدارة مثيل موفر مخزن الحالة حسب مصدر بيانات الحالة - القارئ.
    • [SPARK-46677] إصلاح dataframe["*"] الدقة.
    • [SPARK-46610] يجب أن يطرح إنشاء جدول استثناء عندما لا تكون هناك قيمة لمفتاح في الخيارات.
    • [SPARK-46941] لا يمكن إدراج عقدة حد مجموعة نافذة لحساب أعلى k إذا كان يحتوي على SizeBasedWindowFunction.
    • [SPARK-45433] إصلاح استنتاج مخطط CSV/JSON عندما لا تتطابق الطوابع الزمنية مع تنسيق الطابع الزمني المحدد.
    • [SPARK-46930] إضافة دعم لبادئة مخصصة لحقول نوع الاتحاد في Avro.
    • [SPARK-46227] Backport إلى 14.3.
    • [SPARK-46822] احترام spark.sql.legacy.charVarcharAsString عند تحويل نوع jdbc إلى نوع المحفز في jdbc.
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 14.2

راجع Databricks Runtime 14.2.

  • 10 أكتوبر 2024
  • 25 سبتمبر 2024
    • [SPARK-48719][SQL] إصلاح خطأ حساب 'RegrS...
    • [SPARK-49628][SQL] يجب أن ينسخ ConstantFolding التعبير ذي الحالة قبل التقييم
    • [SPARK-49000][SQL] إصلاح "select count(distinct 1) from t" حيث يكون t جدولا فارغا عن طريق توسيع RewriteDistinctAggregates
    • [SPARK-43242][CORE] إصلاح طرح "نوع غير متوقع من BlockId" في تشخيص تلف التبديل العشوائي
    • [SPARK-46601] [CORE] إصلاح خطأ السجل في handleStatusMessage
    • تحديثات أمان نظام التشغيل.
  • 17 سبتمبر 2024
    • [SPARK-49526][CONNECT] دعم المسارات على غرار Windows في ArtifactManager
  • 29 أغسطس 2024
    • [SPARK-49263][CONNECT] عميل Spark Connect python: معالجة خيارات قارئ Dataframe المنطقية باستمرار
    • [SPARK-49146][SS] نقل أخطاء التأكيد المتعلقة بالعلامة المائية المفقودة في استعلامات دفق وضع الإلحاق إلى إطار عمل الخطأ
    • [SPARK-49056][SQL] لا يمكن ل ErrorClassesJsonReader التعامل مع القيم الخالية بشكل صحيح
  • 14 أغسطس 2024
    • [SPARK-48050][SS] تسجيل الخطة المنطقية عند بدء الاستعلام
    • [SPARK-48597][SQL] تقديم علامة لخاصية isStreaming في التمثيل النصي للخطة المنطقية
    • [SPARK-49065][SQL] يجب أن تدعم إعادة التوجيه في التنسيقات/المحللات القديمة المناطق الزمنية الافتراضية غير JVM
    • [SPARK-48706][PYTHON] يجب ألا يطرح Python UDF في وظائف الترتيب الأعلى خطأ داخليا
  • 1 أغسطس 2024
    • يتضمن هذا الإصدار إصلاح خطأ للفئات ColumnVector و ColumnarArray في واجهة Spark Java. في السابق لهذا الإصلاح، ArrayIndexOutOfBoundsException قد يتم طرح أو إرجاع بيانات غير صحيحة عندما يحتوي مثيل إحدى هذه الفئات على null قيم.
    • يتضمن الإخراج من عبارة SHOW CREATE TABLE الآن أي عوامل تصفية صف أو أقنعة أعمدة معرفة على طريقة عرض مجسدة أو جدول دفق. راجع إظهار إنشاء جدول. للتعرف على عوامل تصفية الصفوف وأقنعة الأعمدة، راجع تصفية بيانات الجدول الحساسة باستخدام عوامل تصفية الصفوف وأقنعة الأعمدة.
    • [SPARK-47202][PYTHON] إصلاح أوقات التواريخ المطبعية مع tzinfo
    • [SPARK-48705][PYTHON] استخدم worker_main بشكل صريح عندما يبدأ ب pyspark
    • تحديثات أمان نظام التشغيل.
  • 11 يوليو 2024
    • (تغيير السلوك) يتم الآن إبطال DataFrames المخزنة مؤقتا مقابل مصادر جدول Delta إذا تم الكتابة فوق الجدول المصدر. يعني هذا التغيير أن جميع تغييرات الحالة على جداول Delta تبطل الآن النتائج المخزنة مؤقتا. استخدم .checkpoint() لاستمرار حالة الجدول طوال مدة بقاء DataFrame.
    • تم تحديث برنامج تشغيل Snowflake JDBC إلى الإصدار 3.16.1
    • يتضمن هذا الإصدار تصحيحا لقضية منعت علامة التبويب Spark UI Environment من العرض بشكل صحيح عند التشغيل في Databricks Container Services.
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator should abort stage when committed file not consistent with task status
    • [SPARK-48273][SQL] إصلاح إعادة الكتابة المتأخرة ل PlanWithUnresolvedIdentifier
    • [SPARK-48503][SQL] إصلاح الاستعلامات الفرعية العددية غير الصحيحة باستخدام تجميع حسب على أعمدة غير مكافئة تم السماح بها بشكل غير صحيح
    • [SPARK-48481][SQL][SS] لا تطبق OptimizeOneRowPlan على تدفق مجموعة البيانات
    • [SPARK-48475][PYTHON] تحسين _get_jvm_function في PySpark.
    • [SPARK-48100][SQL] إصلاح المشكلات في تخطي حقول البنية المتداخلة غير المحددة في المخطط
    • [SPARK-48445][SQL] عدم تضمين UDFs مع الأطفال المكلفين
    • [SPARK-48383][SS] طرح خطأ أفضل للأقسام غير المتطابقة في خيار startOffset في Kafka
    • تحديثات أمان نظام التشغيل.
  • 17 يونيو 2024
    • إصلاح خطأ حيث يعمل تحسين نافذة الرتبة باستخدام Photon TopK على معالجة الأقسام بشكل غير صحيح مع البنيات.
    • [SPARK-48276][PYTHON][CONNECT] إضافة الأسلوب المفقود __repr__ ل SQLExpression
    • [SPARK-48277] تحسين رسالة الخطأ ل ErrorClassesJsonReader.getErrorMessage
    • تحديثات أمان نظام التشغيل.
  • 21 مايو 2024
  • 9 مايو 2024
    • [SPARK-48044][PYTHON][CONNECT] تخزين مؤقت DataFrame.isStreaming
    • [SPARK-47956][SQL] التحقق من السلامة لمرجع LCA الذي لم يتم حله
    • [SPARK-47371] [SQL] XML: تجاهل علامات الصفوف الموجودة في CDATA
    • [SPARK-47812][CONNECT] دعم تسلسل SparkSession لعامل ForEachBatch
    • [SPARK-47895]يجب أن تكون مجموعة [SQL] حسب الكل غير متكررة
    • [SPARK-47973][CORE] سجل موقع الاتصال في SparkContext.stop() والإحدث في SparkContext.assertNotStopped()
    • تحديثات أمان نظام التشغيل.
  • 25 أبريل 2024
    • [SPARK-47704][SQL] فشل تحليل JSON مع "java.lang.ClassCastException" عند تمكين spark.sql.json.enablePartialResults
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite فشل مع خطة غير صالحة
    • تحديثات أمان نظام التشغيل.
  • 11 أبريل 2024
    • [SPARK-47309][SQL][XML] إضافة اختبارات وحدة استنتاج المخطط
    • [SPARK-46990][SQL] إصلاح تحميل ملفات Avro الفارغة المنبعثة من مراكز الأحداث
    • [SPARK-47638][PS][CONNECT] تخطي التحقق من صحة اسم العمود في PS
    • [SPARK-47509][SQL] حظر تعبيرات الاستعلام الفرعي في lambda ووظائف الترتيب الأعلى
    • [SPARK-38708][SQL] ترقية عميل Hive Metastore إلى 3.1.3 ل Hive 3.1
    • تحديثات أمان نظام التشغيل.
  • 1 أبريل 2024
    • [SPARK-47322][PYTHON][CONNECT] جعل withColumnsRenamed معالجة تكرار أسماء الأعمدة متسقة مع withColumnRenamed
    • [SPARK-47385] إصلاح مرمزات المجموعة باستخدام إدخالات الخيار.
    • [SPARK-47070] إصلاح التجميع غير الصالح بعد إعادة كتابة الاستعلام الفرعي
    • [SPARK-47218] [SQL] XML: تم تغيير SchemaOfXml للفشل في وضع DROPMALFORMED
    • [SPARK-47305][SQL] إصلاح PruneFilters لوضع علامة isStreaming ل LocalRelation بشكل صحيح عندما تحتوي الخطة على كل من الدفعة والتدفق
    • [SPARK-47218][SQL] XML: تجاهل علامات الصف التي تم التعليق عليها في رمز XML المميز
    • إرجاع "[SPARK-46861][CORE] تجنب التوقف التام في DAGScheduler"
    • [SPARK-47300][SQL] quoteIfNeeded يجب أن يبدأ معرف عرض الأسعار بأرقام
    • [SPARK-47368][SQL] إزالة التحقق من تكوين inferTimestampNTZ في ParquetRowConverter
    • تحديثات أمان نظام التشغيل.
  • 14 مارس 2024
    • [SPARK-47035][SS][CONNECT] بروتوكول وحدة الإصغاء من جانب العميل
    • [SPARK-47121][CORE] تجنب RejectedExecutionExceptions أثناء إيقاف تشغيل StandaloneSchedulerBackend
    • [SPARK-47145][SQL] تمرير معرف الجدول إلى exec فحص مصدر بيانات الصف لاستراتيجية V2.
    • [SPARK-47176][SQL] لديك دالة مساعد ResolveAllExpressionsUpWithPruning
    • [SPARK-47167][SQL] إضافة فئة ملموسة لعلاقة JDBC المجهولة
    • [SPARK-47129][CONNECT][SQL] جعل ResolveRelations خطة اتصال ذاكرة التخزين المؤقت بشكل صحيح
    • [SPARK-47044][SQL] إضافة استعلام منفذ لمصدر بيانات JDBC الخارجي لشرح الإخراج
    • تحديثات أمان نظام التشغيل.
  • 29 فبراير 2024
    • تم إصلاح مشكلة حيث قد يؤدي استخدام مجموعة محلية كمصدر في أمر MERGE إلى تقرير مقياس العملية numSourceRows إلى ضعف العدد الصحيح للصفوف.
    • يتطلب إنشاء مخطط مع موقع محدد الآن أن يكون لدى المستخدم امتيازات SELECT و MODIFY على ANY FILE.
    • يمكنك الآن استيعاب ملفات XML باستخدام التحميل التلقائي، read_files، و COPY INTO، وDLT، وDBSQL. يمكن لدعم ملفات XML استنتاج المخطط وتطويره تلقائيا، وإنقاذ البيانات مع عدم تطابق النوع، والتحقق من صحة XML باستخدام XSD، ودعم تعبيرات SQL مثل from_xml schema_of_xml to_xml. راجع دعم ملف XML لمزيد من التفاصيل. إذا كنت تستخدم حزمة spark-xml الخارجية مسبقا، فالرجاء مراجعة هنا للحصول على إرشادات الترحيل.
    • [SPARK-46954][SQL] XML: التفاف InputStreamReader مع BufferedReader
    • [SPARK-46630][SQL] XML: التحقق من صحة اسم عنصر XML عند الكتابة
    • [SPARK-46248][SQL] XML: دعم خيارات ignoreCorruptFiles و ignoreMissingFiles
    • [SPARK-46954][SQL] XML: تحسين البحث عن فهرس المخطط
    • [SPARK-47059][SQL] إرفاق سياق خطأ لأمر ALTER COLUMN v1
    • [SPARK-46993][SQL] إصلاح الطي الثابت لمتغيرات جلسة العمل
  • 8 فبراير 2024
    • لا يتم دعم استعلامات موجز البيانات (CDF) على طرق العرض المجسدة في كتالوج Unity، وترجع محاولة تشغيل استعلام CDF باستخدام طريقة عرض مجسدة في كتالوج Unity خطأ. تدعم جداول دفق كتالوج Unity استعلامات CDF على الجداول غيرAPPLY CHANGES الموجودة في Databricks Runtime 14.1 والإحدث. استعلامات CDF غير مدعومة مع جداول دفق كتالوج Unity في Databricks Runtime 14.0 والإصدارات السابقة.
    • [SPARK-46930] إضافة دعم لبادئة مخصصة لحقول نوع الاتحاد في Avro.
    • [SPARK-46822] احترام spark.sql.legacy.charVarcharAsString عند تحويل نوع jdbc إلى نوع المحفز في jdbc.
    • [SPARK-46952] XML: حد حجم السجل التالف.
    • [SPARK-46644] تغيير الإضافة والدمج في SQLMetric لاستخدام isZero.
    • [SPARK-46861] تجنب حالة التوقف التام في DAGScheduler.
    • [SPARK-46794] إزالة الاستعلامات الفرعية من قيود LogicalRDD.
    • [SPARK-46941] لا يمكن إدراج عقدة حد مجموعة نافذة لحساب أعلى k إذا كان يحتوي على SizeBasedWindowFunction.
    • [SPARK-46933] إضافة مقياس وقت تنفيذ الاستعلام إلى الموصلات التي تستخدم JDBCRDD.
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2024
    • [SPARK-46382] XML: تحديث مستند ل ignoreSurroundingSpaces.
    • [SPARK-46382] XML: التقاط القيم المتداخلة بين العناصر.
    • [SPARK-46763] إصلاح فشل التأكيد في ReplaceDeduplicateWithAggregate للسمات المكررة.
    • Revert [SPARK-46769] تحسين استنتاج المخطط ذي الصلة بالطوابع الزمنية.
    • [SPARK-46677] إصلاح dataframe["*"] الدقة.
    • [SPARK-46382] XML: الافتراضي يتجاهل المساحات المتجولة إلى true.
    • [SPARK-46633] إصلاح قارئ Avro للتعامل مع الكتل ذات الطول الصفري.
    • [SPARK-45964] قم بإزالة ملحق sql الخاص في حزمة XML وJSON ضمن حزمة المحفز.
    • [SPARK-46581] تحديث التعليق على isZero في AccumulatorV2.
    • [SPARK-45912] تحسين واجهة برمجة تطبيقات XSDToSchema: قم بالتغيير إلى واجهة برمجة تطبيقات HDFS لإمكانية وصول ذوي الاحتياجات الخاصة إلى التخزين السحابي.
    • [SPARK-45182] تجاهل إكمال المهمة من المرحلة القديمة بعد إعادة محاولة مرحلة الأصل غير المحدد كما هو محدد بواسطة المجموع الاختباري.
    • [SPARK-46660] تقوم طلبات إعادة التتبع بتحديثات فعالية SessionHolder.
    • [SPARK-46610] يجب أن يطرح إنشاء جدول استثناء عندما لا تكون هناك قيمة لمفتاح في الخيارات.
    • [SPARK-46383] تقليل استخدام كومة برامج التشغيل عن طريق تقليل عمر TaskInfo.accumulables().
    • [SPARK-46769] تحسين استنتاج المخطط ذي الصلة بالطوابع الزمنية.
    • [SPARK-46684] إصلاح CoGroup.applyInPandas/السهم لتمرير الوسيطات بشكل صحيح.
    • [SPARK-46676] يجب ألا يفشل dropDuplicatesWithinWatermark عند المتعارف عليه للخطة.
    • [SPARK-45962] الخيار إزالة treatEmptyValuesAsNulls واستخدام nullValue بدلا من ذلك في XML.
    • [SPARK-46541] إصلاح مرجع العمود الغامض في الصلة الذاتية.
    • [SPARK-46599] XML: استخدم TypeCoercion.findTightestCommonType للتحقق من التوافق.
    • تحديثات أمان نظام التشغيل.
  • 17 يناير 2024
    • shuffle يتم تحديث عقدة خطة الشرح التي تم إرجاعها بواسطة استعلام Photon لإضافة causedBroadcastJoinBuildOOM=true العلامة عند حدوث خطأ نفاد الذاكرة أثناء التبديل العشوائي الذي يعد جزءا من صلة البث.
    • لتجنب زيادة زمن الانتقال عند الاتصال عبر TLSv1.3، يتضمن إصدار الصيانة هذا تصحيحا لتثبيت JDK 8 لإصلاح خطأ JDK JDK-8293562.
    • [SPARK-46261] DataFrame.withColumnsRenamed يجب أن تحافظ على ترتيب الإملاء/الخريطة.
    • [SPARK-46538] إصلاح مشكلة مرجع العمود الغامض في ALSModel.transform.
    • [SPARK-46145] لا تطرح spark.catalog.listTables استثناء عند عدم العثور على الجدول أو طريقة العرض.
    • [SPARK-46484] اجعل resolveOperators وظائف المساعد تحتفظ ب معرف الخطة.
    • [SPARK-46394] إصلاح مشكلات spark.catalog.listDatabases() على المخططات ذات الأحرف الخاصة عند spark.sql.legacy.keepCommandOutputSchema تعيينها إلى true.
    • [SPARK-46609] تجنب الانفجار الأسي في PartitioningPreservingUnaryExecNode.
    • [SPARK-46446] تعطيل الاستعلامات الفرعية باستخدام OFFSET المرتبطة لإصلاح خطأ التصحيح.
    • [SPARK-46152] XML: إضافة دعم DecimalType في استنتاج مخطط XML.
    • [SPARK-46602] النشر allowExisting في إنشاء طريقة العرض عندما لا يكون العرض/الجدول موجودا.
    • [SPARK-45814] اجعل مكالمة سهمConverters.createEmptyArrowBatch قريبة() لتجنب تسرب الذاكرة.
    • [SPARK-46058] إضافة علامة منفصلة ل privateKeyPassword.
    • [SPARK-46132] دعم كلمة مرور المفتاح لمفاتيح JKS ل RPC SSL.
    • [SPARK-46600] نقل التعليمات البرمجية المشتركة بين SqlConf وSqlApiConf إلى SqlApiConfHelper.
    • [SPARK-46478] قم بإعادة SPARK-43049 لاستخدام oracle varchar(255) للسلسلة.
    • [SPARK-46417] لا تفشل عند استدعاء hive.getTable و throwException خطأ.
    • [SPARK-46153] XML: إضافة دعم TimestampNTZType.
    • [SPARK-46056][BACKPORT] إصلاح NPE للقراءة المتجهة Parquet بالقيمة الافتراضية byteArrayDecimalType.
    • [SPARK-46466] يجب ألا يقوم قارئ باركيه المتجه بإعادة قاعدة البيانات للطوابع الزمنية ntz.
    • [SPARK-46260] DataFrame.withColumnsRenamed يجب أن تحترم ترتيب الإملاء.
    • [SPARK-46036] إزالة فئة الخطأ من الدالة raise_error.
    • [SPARK-46294] تنظيف دلالات init مقابل القيمة الصفرية.
    • [SPARK-46173] تخطي trimAll call أثناء تحليل التاريخ.
    • [SPARK-46250] test_parity_listener deflake.
    • [SPARK-46587] XML: إصلاح تحويل عدد صحيح كبير ل XSD.
    • [SPARK-46396] يجب ألا يطرح استدلال الطابع الزمني استثناء.
    • [SPARK-46241] إصلاح روتين معالجة الأخطاء حتى لا يقع في الإعادة اللانهائية.
    • [SPARK-46355] XML: أغلق InputStreamReader عند اكتمال القراءة.
    • [SPARK-46370] إصلاح الخطأ عند الاستعلام من الجدول بعد تغيير الإعدادات الافتراضية للعمود.
    • [SPARK-46265] تجعل التأكيدات في AddArtifact RPC عميل الاتصال غير متوافق مع المجموعات القديمة.
    • [SPARK-46308] منع معالجة الأخطاء المتكررة.
    • [SPARK-46337] اجعل CTESubstitution الاحتفاظ ب PLAN_ID_TAG.
  • 14 ديسمبر 2023
    • [SPARK-46141] قم بتغيير الإعداد الافتراضي ل spark.sql.legacy.ctePrecedencePolicy إلى CORRECTED.
    • [SPARK-45730] اجعل ReloadingX509TrustManagerSuite أقل خفقان.
    • [SPARK-45852] التعامل بأمان مع خطأ الإعادة أثناء التسجيل.
    • [SPARK-45808] معالجة الأخطاء بشكل أفضل لاستثناءات SQL.
    • [SPARK-45920] يجب أن تكون المجموعة حسب الترتيبية غير متكررة.
    • العودة "[SPARK-45649] توحيد إطار عمل التحضير ل OffsetWindowFunctionFrame".
    • [SPARK-45733] دعم نهج إعادة المحاولة المتعددة.
    • [SPARK-45509] إصلاح السلوك المرجعي لعمود df ل Spark Connect.
    • [SPARK-45655] السماح بتعبيرات غير محددة داخل AggregateFunctions في CollectMetrics.
    • [SPARK-45905] يجب أن يحتفظ النوع الأقل شيوعا بين الأنواع العشرية بالأرقام المتكاملة أولا.
    • [SPARK-45136] تحسين ClosureCleaner مع دعم Ammonite.
    • [SPARK-46255] دعم النوع المعقد -> تحويل السلسلة.
    • [SPARK-45859] جعل كائنات UDF في ml.functions كسولة.
    • [SPARK-46028] جعل Column.__getitem__ عمود الإدخال يقبل.
    • [SPARK-45798] تأكيد معرف جلسة العمل من جانب الخادم.
    • [SPARK-45892] التحقق من صحة خطة محسن إعادة بناء التعليمات البرمجية validateSchemaOutput لفصل و validateExprIdUniqueness.
    • [SPARK-45844] تنفيذ حساسية حالة الأحرف ل XML.
    • [SPARK-45770] تقديم خطة DataFrameDropColumns ل Dataframe.drop.
    • [SPARK-44790] XML: to_xml التنفيذ والروابط ل python والاتصال وSQL.
    • [SPARK-45851] دعم نهج متعددة في عميل scala.
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2023
    • تثبيت حزمة جديدة، pyarrow-hotfix لمعالجة ثغرة أمنية في PyArrow RCE.
    • تم إصلاح مشكلة حيث تم تفسير التسطير السفلي الهارب في getColumns العمليات التي تنشأ من عملاء JDBC أو ODBC بشكل خاطئ على أنها أحرف بدل.
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • [SPARK-45852] يلتقط عميل Python ل Spark Connect الآن أخطاء الإعادة أثناء تحويل النص.
    • [SPARK-45808] معالجة الأخطاء المحسنة لاستثناءات SQL.
    • [SPARK-45920] GROUP BY الترتيبي لا يحل محل الترتيبي.
    • العودة [SPARK-45649].
    • [SPARK-45733] دعم إضافي لنهج إعادة المحاولة المتعددة.
    • [SPARK-45509] سلوك مرجع العمود الثابت df ل Spark Connect.
    • [SPARK-45655] السماح بتعبيرات غير محددة داخل AggregateFunctions في CollectMetrics.
    • [SPARK-45905] يحتفظ النوع الأقل شيوعا بين الأنواع العشرية الآن بالأرقام المتكاملة أولا.
    • [SPARK-45136] تحسين ClosureCleaner مع دعم Ammonite.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • [SPARK-46028] Column.__getitem__ يقبل أعمدة الإدخال.
    • [SPARK-45798] تأكيد معرف جلسة العمل من جانب الخادم.
    • [SPARK-45892] التحقق من صحة خطة محسن إعادة بناء التعليمات البرمجية validateSchemaOutput لفصل و validateExprIdUniqueness.
    • [SPARK-45844] تنفيذ حساسية حالة الأحرف ل XML.
    • [SPARK-45770] تم إصلاح دقة العمود باستخدام DataFrameDropColumns ل Dataframe.drop.
    • [SPARK-44790] تمت إضافة to_xml التنفيذ والروابط ل Python وSpark Connect وSQL.
    • [SPARK-45851] دعم إضافي لنهج متعددة في عميل Scala.
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 14.1

راجع Databricks Runtime 14.1.

  • 10 أكتوبر 2024
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] تصنيف فئة الخطأ لخطأ دالة المستخدم FlatMapGroupsWithState
    • [SPARK-49743][SQL] يجب ألا يغير OptimizeCsvJsonExpr حقول المخطط عند تقليم GetArrayStructFields
    • تحديثات أمان نظام التشغيل.
  • 25 سبتمبر 2024
    • [SPARK-49628][SQL] يجب أن ينسخ ConstantFolding التعبير ذي الحالة قبل التقييم
    • [SPARK-43242][CORE] إصلاح طرح "نوع غير متوقع من BlockId" في تشخيص تلف التبديل العشوائي
    • [SPARK-48719][SQL] إصلاح خطأ حساب 'RegrS...
    • [SPARK-49000][SQL] إصلاح "select count(distinct 1) from t" حيث يكون t جدولا فارغا عن طريق توسيع RewriteDistinctAggregates
    • [SPARK-46601] [CORE] إصلاح خطأ السجل في handleStatusMessage
    • تحديثات أمان نظام التشغيل.
  • 17 سبتمبر 2024
    • [SPARK-49526][CONNECT] دعم المسارات على غرار Windows في ArtifactManager
    • تحديثات أمان نظام التشغيل.
  • 29 أغسطس 2024
    • [SPARK-49263][CONNECT] عميل Spark Connect python: معالجة خيارات قارئ Dataframe المنطقية باستمرار
    • [SPARK-49056][SQL] لا يمكن ل ErrorClassesJsonReader التعامل مع القيم الخالية بشكل صحيح
  • 14 أغسطس 2024
    • [SPARK-48706][PYTHON] يجب ألا يطرح Python UDF في وظائف الترتيب الأعلى خطأ داخليا
    • [SPARK-48597][SQL] تقديم علامة لخاصية isStreaming في التمثيل النصي للخطة المنطقية
    • [SPARK-49065][SQL] يجب أن تدعم إعادة التوجيه في التنسيقات/المحللات القديمة المناطق الزمنية الافتراضية غير JVM
    • [SPARK-48050][SS] تسجيل الخطة المنطقية عند بدء الاستعلام
  • 1 أغسطس 2024
    • يتضمن هذا الإصدار إصلاح خطأ للفئات ColumnVector و ColumnarArray في واجهة Spark Java. في السابق لهذا الإصلاح، ArrayIndexOutOfBoundsException قد يتم طرح أو إرجاع بيانات غير صحيحة عندما يحتوي مثيل إحدى هذه الفئات على null قيم.
    • يتضمن الإخراج من عبارة SHOW CREATE TABLE الآن أي عوامل تصفية صف أو أقنعة أعمدة معرفة على طريقة عرض مجسدة أو جدول دفق. راجع إظهار إنشاء جدول. للتعرف على عوامل تصفية الصفوف وأقنعة الأعمدة، راجع تصفية بيانات الجدول الحساسة باستخدام عوامل تصفية الصفوف وأقنعة الأعمدة.
    • [SPARK-48705][PYTHON] استخدم worker_main بشكل صريح عندما يبدأ ب pyspark
    • [SPARK-47202][PYTHON] إصلاح أوقات التواريخ المطبعية مع tzinfo
    • تحديثات أمان نظام التشغيل.
  • 11 يوليو 2024
    • (تغيير السلوك) يتم الآن إبطال DataFrames المخزنة مؤقتا مقابل مصادر جدول Delta إذا تم الكتابة فوق الجدول المصدر. يعني هذا التغيير أن جميع تغييرات الحالة على جداول Delta تبطل الآن النتائج المخزنة مؤقتا. استخدم .checkpoint() لاستمرار حالة الجدول طوال مدة بقاء DataFrame.
    • يتضمن هذا الإصدار تصحيحا لقضية منعت علامة التبويب Spark UI Environment من العرض بشكل صحيح عند التشغيل في Databricks Container Services.
    • [SPARK-48475][PYTHON] تحسين _get_jvm_function في PySpark.
    • [SPARK-48445][SQL] عدم تضمين UDFs مع الأطفال المكلفين
    • [SPARK-48481][SQL][SS] لا تطبق OptimizeOneRowPlan على تدفق مجموعة البيانات
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator should abort stage when committed file not consistent with task status
    • [SPARK-48503][SQL] إصلاح الاستعلامات الفرعية العددية غير الصحيحة باستخدام تجميع حسب على أعمدة غير مكافئة تم السماح بها بشكل غير صحيح
    • [SPARK-48273][SQL] إصلاح إعادة الكتابة المتأخرة ل PlanWithUnresolvedIdentifier
    • [SPARK-48100][SQL] إصلاح المشكلات في تخطي حقول البنية المتداخلة غير المحددة في المخطط
    • [SPARK-48383][SS] طرح خطأ أفضل للأقسام غير المتطابقة في خيار startOffset في Kafka
    • تحديثات أمان نظام التشغيل.
  • 17 يونيو 2024
    • إصلاح خطأ حيث يعمل تحسين نافذة الرتبة باستخدام Photon TopK على معالجة الأقسام بشكل غير صحيح مع البنيات.
    • [SPARK-48276][PYTHON][CONNECT] إضافة الأسلوب المفقود __repr__ ل SQLExpression
    • [SPARK-48277] تحسين رسالة الخطأ ل ErrorClassesJsonReader.getErrorMessage
    • تحديثات أمان نظام التشغيل.
  • 21 مايو 2024
  • 9 مايو 2024
    • [SPARK-47371] [SQL] XML: تجاهل علامات الصفوف الموجودة في CDATA
    • [SPARK-47895]يجب أن تكون مجموعة [SQL] حسب الكل غير متكررة
    • [SPARK-47956][SQL] التحقق من السلامة لمرجع LCA الذي لم يتم حله
    • [SPARK-48044][PYTHON][CONNECT] تخزين مؤقت DataFrame.isStreaming
    • [SPARK-47973][CORE] سجل موقع الاتصال في SparkContext.stop() والإحدث في SparkContext.assertNotStopped()
    • تحديثات أمان نظام التشغيل.
  • 25 أبريل 2024
    • [SPARK-47704][SQL] فشل تحليل JSON مع "java.lang.ClassCastException" عند تمكين spark.sql.json.enablePartialResults
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite فشل مع خطة غير صالحة
    • تحديثات أمان نظام التشغيل.
  • 11 أبريل 2024
    • [SPARK-47638][PS][CONNECT] تخطي التحقق من صحة اسم العمود في PS
    • [SPARK-38708][SQL] ترقية عميل Hive Metastore إلى 3.1.3 ل Hive 3.1
    • [SPARK-47309][SQL][XML] إضافة اختبارات وحدة استنتاج المخطط
    • [SPARK-47509][SQL] حظر تعبيرات الاستعلام الفرعي في lambda ووظائف الترتيب الأعلى
    • [SPARK-46990][SQL] إصلاح تحميل ملفات Avro الفارغة المنبعثة من مراكز الأحداث
    • تحديثات أمان نظام التشغيل.
  • 1 أبريل 2024
    • [SPARK-47305][SQL] إصلاح PruneFilters لوضع علامة isStreaming ل LocalRelation بشكل صحيح عندما تحتوي الخطة على كل من الدفعة والتدفق
    • [SPARK-47218][SQL] XML: تجاهل علامات الصف التي تم التعليق عليها في رمز XML المميز
    • [SPARK-47300][SQL] quoteIfNeeded يجب أن يبدأ معرف عرض الأسعار بأرقام
    • [SPARK-47368][SQL] إزالة التحقق من تكوين inferTimestampNTZ في ParquetRowConverter
    • [SPARK-47070] إصلاح التجميع غير الصالح بعد إعادة كتابة الاستعلام الفرعي
    • [SPARK-47322][PYTHON][CONNECT] جعل withColumnsRenamed معالجة تكرار أسماء الأعمدة متسقة مع withColumnRenamed
    • [SPARK-47300] إصلاح DecomposerSuite
    • [SPARK-47218] [SQL] XML: تم تغيير SchemaOfXml للفشل في وضع DROPMALFORMED
    • [SPARK-47385] إصلاح مرمزات المجموعة باستخدام إدخالات الخيار.
    • تحديثات أمان نظام التشغيل.
  • 14 مارس 2024
    • [SPARK-47176][SQL] لديك دالة مساعد ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] تمرير معرف الجدول إلى exec فحص مصدر بيانات الصف لاستراتيجية V2.
    • [SPARK-47167][SQL] إضافة فئة ملموسة لعلاقة JDBC المجهولة
    • [SPARK-47129][CONNECT][SQL] جعل ResolveRelations خطة اتصال ذاكرة التخزين المؤقت بشكل صحيح
    • إرجاع "[SPARK-46861][CORE] تجنب التوقف التام في DAGScheduler"
    • [SPARK-47044][SQL] إضافة استعلام منفذ لمصدر بيانات JDBC الخارجي لشرح الإخراج
    • تحديثات أمان نظام التشغيل.
  • 29 فبراير 2024
    • تم إصلاح مشكلة حيث قد يؤدي استخدام مجموعة محلية كمصدر في أمر MERGE إلى تقرير مقياس العملية numSourceRows إلى ضعف العدد الصحيح للصفوف.
    • يتطلب إنشاء مخطط مع موقع محدد الآن أن يكون لدى المستخدم امتيازات SELECT و MODIFY على ANY FILE.
    • يمكنك الآن استيعاب ملفات XML باستخدام التحميل التلقائي، read_files، و COPY INTO، وDLT، وDBSQL. يمكن لدعم ملفات XML استنتاج المخطط وتطويره تلقائيا، وإنقاذ البيانات مع عدم تطابق النوع، والتحقق من صحة XML باستخدام XSD، ودعم تعبيرات SQL مثل from_xml schema_of_xml to_xml. راجع دعم ملف XML لمزيد من التفاصيل. إذا كنت تستخدم حزمة spark-xml الخارجية مسبقا، فالرجاء مراجعة هنا للحصول على إرشادات الترحيل.
    • [SPARK-46248][SQL] XML: دعم خيارات ignoreCorruptFiles و ignoreMissingFiles
    • [SPARK-47059][SQL] إرفاق سياق خطأ لأمر ALTER COLUMN v1
    • [SPARK-46954][SQL] XML: التفاف InputStreamReader مع BufferedReader
    • [SPARK-46954][SQL] XML: تحسين البحث عن فهرس المخطط
    • [SPARK-46630][SQL] XML: التحقق من صحة اسم عنصر XML عند الكتابة
    • تحديثات أمان نظام التشغيل.
  • 8 فبراير 2024
    • لا يتم دعم استعلامات موجز البيانات (CDF) على طرق العرض المجسدة في كتالوج Unity، وترجع محاولة تشغيل استعلام CDF باستخدام طريقة عرض مجسدة في كتالوج Unity خطأ. تدعم جداول دفق كتالوج Unity استعلامات CDF على الجداول غيرAPPLY CHANGES الموجودة في Databricks Runtime 14.1 والإحدث. استعلامات CDF غير مدعومة مع جداول دفق كتالوج Unity في Databricks Runtime 14.0 والإصدارات السابقة.
    • [SPARK-46952] XML: حد حجم السجل التالف.
    • [SPARK-45182] تجاهل إكمال المهمة من المرحلة القديمة بعد إعادة محاولة مرحلة الأصل غير المحدد كما هو محدد بواسطة المجموع الاختباري.
    • [SPARK-46794] إزالة الاستعلامات الفرعية من قيود LogicalRDD.
    • [SPARK-46933] إضافة مقياس وقت تنفيذ الاستعلام إلى الموصلات التي تستخدم JDBCRDD.
    • [SPARK-46861] تجنب حالة التوقف التام في DAGScheduler.
    • [SPARK-45582] تأكد من عدم استخدام مثيل المتجر بعد استدعاء التثبيت داخل تجميع تدفق وضع الإخراج.
    • [SPARK-46930] إضافة دعم لبادئة مخصصة لحقول نوع الاتحاد في Avro.
    • [SPARK-46941] لا يمكن إدراج عقدة حد مجموعة نافذة لحساب أعلى k إذا كان يحتوي على SizeBasedWindowFunction.
    • [SPARK-46396] يجب ألا يطرح استدلال الطابع الزمني استثناء.
    • [SPARK-46822] احترام spark.sql.legacy.charVarcharAsString عند تحويل نوع jdbc إلى نوع المحفز في jdbc.
    • [SPARK-45957] تجنب إنشاء خطة تنفيذ للأوامر غير القابلة للتنفيذ.
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2024
    • [SPARK-46684] إصلاح CoGroup.applyInPandas/السهم لتمرير الوسيطات بشكل صحيح.
    • [SPARK-46763] إصلاح فشل التأكيد في ReplaceDeduplicateWithAggregate للسمات المكررة.
    • [SPARK-45498] المتابعة: تجاهل إكمال المهمة من محاولات المرحلة القديمة.
    • [SPARK-46382] XML: تحديث مستند ل ignoreSurroundingSpaces.
    • [SPARK-46383] تقليل استخدام كومة برامج التشغيل عن طريق تقليل عمر TaskInfo.accumulables().
    • [SPARK-46382] XML: الافتراضي يتجاهل المساحات المتجولة إلى true.
    • [SPARK-46677] إصلاح dataframe["*"] الدقة.
    • [SPARK-46676] يجب ألا يفشل dropDuplicatesWithinWatermark عند المتعارف عليه للخطة.
    • [SPARK-46633] إصلاح قارئ Avro للتعامل مع الكتل ذات الطول الصفري.
    • [SPARK-45912] تحسين واجهة برمجة تطبيقات XSDToSchema: قم بالتغيير إلى واجهة برمجة تطبيقات HDFS لإمكانية وصول ذوي الاحتياجات الخاصة إلى التخزين السحابي.
    • [SPARK-46599] XML: استخدم TypeCoercion.findTightestCommonType للتحقق من التوافق.
    • [SPARK-46382] XML: التقاط القيم المتداخلة بين العناصر.
    • [SPARK-46769] تحسين استنتاج المخطط ذي الصلة بالطوابع الزمنية.
    • [SPARK-46610] يجب أن يطرح إنشاء جدول استثناء عندما لا تكون هناك قيمة لمفتاح في الخيارات.
    • [SPARK-45964] قم بإزالة ملحق sql الخاص في حزمة XML وJSON ضمن حزمة المحفز.
    • Revert [SPARK-46769] تحسين استنتاج المخطط ذي الصلة بالطوابع الزمنية.
    • [SPARK-45962] الخيار إزالة treatEmptyValuesAsNulls واستخدام nullValue بدلا من ذلك في XML.
    • [SPARK-46541] إصلاح مرجع العمود الغامض في الصلة الذاتية.
    • تحديثات أمان نظام التشغيل.
  • 17 يناير 2024
    • shuffle يتم تحديث عقدة خطة الشرح التي تم إرجاعها بواسطة استعلام Photon لإضافة causedBroadcastJoinBuildOOM=true العلامة عند حدوث خطأ نفاد الذاكرة أثناء التبديل العشوائي الذي يعد جزءا من صلة البث.
    • لتجنب زيادة زمن الانتقال عند الاتصال عبر TLSv1.3، يتضمن إصدار الصيانة هذا تصحيحا لتثبيت JDK 8 لإصلاح خطأ JDK JDK-8293562.
    • [SPARK-46538] إصلاح مشكلة مرجع العمود الغامض في ALSModel.transform.
    • [SPARK-46417] لا تفشل عند استدعاء hive.getTable و throwException خطأ.
    • [SPARK-46484] اجعل resolveOperators وظائف المساعد تحتفظ ب معرف الخطة.
    • [SPARK-46153] XML: إضافة دعم TimestampNTZType.
    • [SPARK-46152] XML: إضافة دعم DecimalType في استنتاج مخطط XML.
    • [SPARK-46145] لا تطرح spark.catalog.listTables استثناء عند عدم العثور على الجدول أو طريقة العرض.
    • [SPARK-46478] قم بإعادة SPARK-43049 لاستخدام oracle varchar(255) للسلسلة.
    • [SPARK-46394] إصلاح مشكلات spark.catalog.listDatabases() على المخططات ذات الأحرف الخاصة عند spark.sql.legacy.keepCommandOutputSchema تعيينها إلى true.
    • [SPARK-46337] اجعل CTESubstitution الاحتفاظ ب PLAN_ID_TAG.
    • [SPARK-46466] يجب ألا يقوم قارئ باركيه المتجه بإعادة قاعدة البيانات للطوابع الزمنية ntz.
    • [SPARK-46587] XML: إصلاح تحويل عدد صحيح كبير ل XSD.
    • [SPARK-45814] اجعل مكالمة سهمConverters.createEmptyArrowBatch قريبة() لتجنب تسرب الذاكرة.
    • [SPARK-46132] دعم كلمة مرور المفتاح لمفاتيح JKS ل RPC SSL.
    • [SPARK-46602] النشر allowExisting في إنشاء طريقة العرض عندما لا يكون العرض/الجدول موجودا.
    • [SPARK-46173] تخطي trimAll call أثناء تحليل التاريخ.
    • [SPARK-46355] XML: أغلق InputStreamReader عند اكتمال القراءة.
    • [SPARK-46600] نقل التعليمات البرمجية المشتركة بين SqlConf وSqlApiConf إلى SqlApiConfHelper.
    • [SPARK-46261] DataFrame.withColumnsRenamed يجب أن تحافظ على ترتيب الإملاء/الخريطة.
    • [SPARK-46056] إصلاح NPE للقراءة المتجهة Parquet بالقيمة الافتراضية byteArrayDecimalType.
    • [SPARK-46260] DataFrame.withColumnsRenamed يجب أن تحترم ترتيب الإملاء.
    • [SPARK-46250] test_parity_listener deflake.
    • [SPARK-46370] إصلاح الخطأ عند الاستعلام من الجدول بعد تغيير الإعدادات الافتراضية للعمود.
    • [SPARK-46609] تجنب الانفجار الأسي في PartitioningPreservingUnaryExecNode.
    • [SPARK-46058] إضافة علامة منفصلة ل privateKeyPassword.
  • 14 ديسمبر 2023
    • تم إصلاح مشكلة حيث تمت معالجة التسطير السفلي الهارب في عمليات getColumns التي تنشأ من عملاء JDBC أو ODBC بشكل غير صحيح وتفسيرها كأحرف بدل.
    • [SPARK-45509] إصلاح السلوك المرجعي لعمود df ل Spark Connect.
    • [SPARK-45844] تنفيذ حساسية حالة الأحرف ل XML.
    • [SPARK-46141] قم بتغيير الإعداد الافتراضي ل spark.sql.legacy.ctePrecedencePolicy إلى CORRECTED.
    • [SPARK-46028] جعل Column.__getitem__ عمود الإدخال يقبل.
    • [SPARK-46255] دعم النوع المعقد -> تحويل السلسلة.
    • [SPARK-45655] السماح بتعبيرات غير محددة داخل AggregateFunctions في CollectMetrics.
    • [SPARK-45433] إصلاح استنتاج مخطط CSV/JSON عندما لا تتطابق الطوابع الزمنية مع تنسيق الطابع الزمني المحدد.
    • [SPARK-45316] إضافة معلمات ignoreCorruptFiles/ignoreMissingFiles جديدة إلى HadoopRDD و NewHadoopRDD.
    • [SPARK-45852] التعامل بأمان مع خطأ الإعادة أثناء التسجيل.
    • [SPARK-45920] يجب أن تكون المجموعة حسب الترتيبية غير متكررة.
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2023
    • تثبيت حزمة جديدة، pyarrow-hotfix لمعالجة ثغرة أمنية في PyArrow RCE.
    • تم إصلاح مشكلة حيث تم تفسير التسطير السفلي الهارب في getColumns العمليات التي تنشأ من عملاء JDBC أو ODBC بشكل خاطئ على أنها أحرف بدل.
    • عند استيعاب بيانات CSV باستخدام التحميل التلقائي أو جداول البث، يتم الآن تقسيم ملفات CSV الكبيرة ويمكن معالجتها بالتوازي أثناء كل من استنتاج المخطط ومعالجة البيانات.
    • [SPARK-45892] التحقق من صحة خطة محسن إعادة بناء التعليمات البرمجية validateSchemaOutput لفصل و validateExprIdUniqueness.
    • [SPARK-45620] تستخدم واجهات برمجة التطبيقات المتعلقة ب Python UDF الآن camelCase.
    • [SPARK-44790] تمت إضافة to_xml التنفيذ والروابط ل Python وSpark Connect وSQL.
    • [SPARK-45770] تم إصلاح دقة العمود باستخدام DataFrameDropColumns ل Dataframe.drop.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • [SPARK-44784] جعل اختبار SBT hermetic.
    • تحديثات أمان نظام التشغيل.
  • 10 نوفمبر 2023
    • [SPARK-45545] SparkTransportConf يرث SSLOptions عند الإنشاء.
    • [SPARK-45250] دعم إضافي لملف تعريف موارد المهمة على مستوى المرحلة لمجموعات الغزل عند إيقاف تشغيل التخصيص الديناميكي.
    • [SPARK-44753] تمت إضافة قارئ وكاتب XML DataFrame ل PySpark SQL.
    • [SPARK-45396] إضافة إدخال مستند للوحدة النمطية PySpark.ml.connect .
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • [SPARK-45541] تمت إضافة SSLFactory.
    • [SPARK-45577] تم التصحيح UserDefinedPythonTableFunctionAnalyzeRunner لتمرير القيم المطوية من الوسيطات المسماة.
    • [SPARK-45562] جعل 'rowTag' خيارا مطلوبا.
    • [SPARK-45427] تمت إضافة إعدادات RPC SSL إلى SSLOptions و SparkTransportConf.
    • [SPARK-43380] تباطؤ ثابت في قراءة Avro.
    • [SPARK-45430] FramelessOffsetWindowFunction لم يعد يفشل عندما IGNORE NULLS و offset > rowCount.
    • [SPARK-45429] تمت إضافة فئات المساعد لاتصال SSL RPC.
    • [SPARK-45386] تم إصلاح مشكلة إرجاع StorageLevel.NONE 0 بشكل غير صحيح.
    • [SPARK-44219] تمت إضافة عمليات التحقق من الصحة لكل قاعدة لإعادة كتابة التحسين.
    • [SPARK-45543] تم إصلاح مشكلة كانت تتسبب InferWindowGroupLimit في حدوث مشكلة إذا لم يكن لوظائف النافذة الأخرى نفس إطار النافذة مثل الدالات المماثلة للرتبة.
    • تحديثات أمان نظام التشغيل.
  • 27 سبتمبر 2023
    • [SPARK-44823] تم التحديث black إلى 23.9.1 والتدقيق الخاطئ الثابت.
    • [SPARK-45339] يسجل PySpark الآن الأخطاء التي يعيد المحاولة.
    • Revert [SPARK-42946] بيانات حساسة منقحة متداخلة ضمن استبدالات متغيرة.
    • [SPARK-44551] التعليقات المحررة للمزامنة مع OSS.
    • [SPARK-45360] يدعم منشئ جلسة Spark التهيئة من SPARK_REMOTE.
    • [SPARK-45279] مرفق plan_id بجميع الخطط المنطقية.
    • [SPARK-45425] تم التعيين TINYINT إلى ShortType ل MsSqlServerDialect.
    • [SPARK-45419] تمت إزالة إدخال مخطط إصدار الملف للإصدارات الأكبر لتجنب إعادة استخدام rocksdb معرفات الملفات sst.
    • [SPARK-45488] دعم إضافي للقيمة في rowTag العنصر.
    • [SPARK-42205] تمت إزالة تسجيل في Accumulables Task/Stage أحداث البدء في JsonProtocol سجلات الأحداث.
    • [SPARK-45426] دعم إضافي ل ReloadingX509TrustManager.
    • [SPARK-45256] DurationWriter يفشل عند كتابة قيم أكثر من السعة الأولية.
    • [SPARK-43380] إصلاح Avro مشكلات تحويل نوع البيانات دون التسبب في تراجع الأداء.
    • [SPARK-45182] دعم إضافي لمرحلة خريطة التبديل العشوائي مرة أخرى بحيث يمكن إعادة محاولة جميع مهام المرحلة عندما يكون إخراج المرحلة غير محدد.
    • [SPARK-45399] تمت إضافة خيارات XML باستخدام newOption.
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 13.3 LTS

راجع Databricks Runtime 13.3 LTS.

  • 10 أكتوبر 2024
    • [SPARK-49743][SQL] يجب ألا يغير OptimizeCsvJsonExpr حقول المخطط عند تقليم GetArrayStructFields
  • 25 سبتمبر 2024
    • [SPARK-46601] [CORE] إصلاح خطأ السجل في handleStatusMessage
    • [SPARK-48719][SQL] إصلاح خطأ الحساب ل RegrSlope و RegrIntercept عندما تكون المعلمة الأولى فارغة
    • [SPARK-43242][CORE] إصلاح طرح "نوع غير متوقع من BlockId" في تشخيص تلف التبديل العشوائي
    • [SPARK-49000][SQL] إصلاح "select count(distinct 1) from t" حيث يكون t جدولا فارغا عن طريق توسيع RewriteDistinctAggregates
    • تحديثات أمان نظام التشغيل.
  • 17 سبتمبر 2024
    • [SPARK-49526][CONNECT] دعم المسارات على غرار Windows في ArtifactManager
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor supporting nested input columns
    • تحديثات أمان نظام التشغيل.
  • 29 أغسطس 2024
  • 14 أغسطس 2024
    • [SPARK-49056][SQL] لا يمكن ل ErrorClassesJsonReader التعامل مع القيم الخالية بشكل صحيح
    • [SPARK-49065][SQL] يجب أن تدعم إعادة التوجيه في التنسيقات/المحللات القديمة المناطق الزمنية الافتراضية غير JVM
    • [SPARK-48597][SQL] تقديم علامة لخاصية isStreaming في التمثيل النصي للخطة المنطقية
  • 1 أغسطس 2024
    • يتضمن هذا الإصدار إصلاح خطأ للفئات ColumnVector و ColumnarArray في واجهة Spark Java. في السابق لهذا الإصلاح، ArrayIndexOutOfBoundsException قد يتم طرح أو إرجاع بيانات غير صحيحة عندما يحتوي مثيل إحدى هذه الفئات على null قيم.
    • [SPARK-47202][PYTHON] إصلاح أوقات التواريخ المطبعية مع tzinfo
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] إصلاحات كاتب Backport spark ML
    • [SPARK-48463] جعل StringIndexer يدعم أعمدة الإدخال المتداخلة
    • تحديثات أمان نظام التشغيل.
  • 11 يوليو 2024
    • (تغيير السلوك) يتم الآن إبطال DataFrames المخزنة مؤقتا مقابل مصادر جدول Delta إذا تم الكتابة فوق الجدول المصدر. يعني هذا التغيير أن جميع تغييرات الحالة على جداول Delta تبطل الآن النتائج المخزنة مؤقتا. استخدم .checkpoint() لاستمرار حالة الجدول طوال مدة بقاء DataFrame.
    • يتضمن هذا الإصدار تصحيحا لقضية منعت علامة التبويب Spark UI Environment من العرض بشكل صحيح عند التشغيل في Databricks Container Services.
    • [SPARK-48383][SS] طرح خطأ أفضل للأقسام غير المتطابقة في خيار startOffset في Kafka
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator should abort stage when committed file not consistent with task status
    • [SPARK-48503][SQL] إصلاح الاستعلامات الفرعية العددية غير الصحيحة باستخدام تجميع حسب على أعمدة غير مكافئة تم السماح بها بشكل غير صحيح
    • [SPARK-48481][SQL][SS] لا تطبق OptimizeOneRowPlan على تدفق مجموعة البيانات
    • [SPARK-48475][PYTHON] تحسين _get_jvm_function في PySpark.
    • [SPARK-48273][SQL] إصلاح إعادة الكتابة المتأخرة ل PlanWithUnresolvedIdentifier
    • [SPARK-48445][SQL] عدم تضمين UDFs مع الأطفال المكلفين
    • تحديثات أمان نظام التشغيل.
  • 17 يونيو 2024
    • [SPARK-48277] تحسين رسالة الخطأ ل ErrorClassesJsonReader.getErrorMessage
    • تحديثات أمان نظام التشغيل.
  • 21 مايو 2024
  • 9 مايو 2024
    • [SPARK-47956][SQL] التحقق من السلامة لمرجع LCA الذي لم يتم حله
    • [SPARK-46822][SQL] احترام spark.sql.legacy.charVarcharAsString عند تحويل نوع jdbc إلى نوع المحفز في jdbc
    • [SPARK-47895]يجب أن تكون مجموعة [SQL] حسب الكل غير متكررة
    • [SPARK-48018][SS] إصلاح groupId الخالية التي تتسبب في فقدان خطأ المعلمة عند طرح KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] سجل موقع الاتصال في SparkContext.stop() والإحدث في SparkContext.assertNotStopped()
    • تحديثات أمان نظام التشغيل.
  • 25 أبريل 2024
    • [SPARK-44653][SQL] يجب ألا توقف اتحادات DataFrame غير التافهة التخزين المؤقت
    • إصلاحات الأخطاء المتنوعة.
  • 11 أبريل 2024
    • [SPARK-47509][SQL] حظر تعبيرات الاستعلام الفرعي في lambda ووظائف الترتيب الأعلى
    • تحديثات أمان نظام التشغيل.
  • 1 أبريل 2024
    • [SPARK-47385] إصلاح مرمزات المجموعة باستخدام إدخالات الخيار.
    • [SPARK-38708][SQL] ترقية عميل Hive Metastore إلى 3.1.3 ل Hive 3.1
    • [SPARK-47200][SS] فئة الخطأ لخطأ دالة مستخدم متلقي دفعة Foreach
    • [SPARK-47368][SQL] إزالة التحقق من تكوين inferTimestampNTZ في ParquetRowConverter
    • [SPARK-44252][SS] تعريف فئة خطأ جديدة وتطبيق الحالة التي تفشل فيها حالة التحميل من DFS
    • [SPARK-47135][SS] تنفيذ فئات الخطأ لاستثناءات فقدان بيانات Kafka
    • [SPARK-47300][SQL] quoteIfNeeded يجب أن يبدأ معرف عرض الأسعار بأرقام
    • [SPARK-47305][SQL] إصلاح PruneFilters لوضع علامة isStreaming ل LocalRelation بشكل صحيح عندما تحتوي الخطة على كل من الدفعة والتدفق
    • [SPARK-47070] إصلاح التجميع غير الصالح بعد إعادة كتابة الاستعلام الفرعي
    • تحديثات أمان نظام التشغيل.
  • 14 مارس 2024
    • [SPARK-47145][SQL] تمرير معرف الجدول إلى exec فحص مصدر بيانات الصف لاستراتيجية V2.
    • [SPARK-47167][SQL] إضافة فئة ملموسة لعلاقة JDBC المجهولة
    • [SPARK-47176][SQL] لديك دالة مساعد ResolveAllExpressionsUpWithPruning
    • [SPARK-47044][SQL] إضافة استعلام منفذ لمصدر بيانات JDBC الخارجي لشرح الإخراج
    • [SPARK-47125][SQL] إرجاع القيمة الخالية إذا لم يؤدي Univocity أبدا إلى تشغيل التحليل
    • تحديثات أمان نظام التشغيل.
  • 29 فبراير 2024
    • تم إصلاح مشكلة حيث قد يؤدي استخدام مجموعة محلية كمصدر في أمر MERGE إلى تقرير مقياس العملية numSourceRows إلى ضعف العدد الصحيح للصفوف.
    • يتطلب إنشاء مخطط مع موقع محدد الآن أن يكون لدى المستخدم امتيازات SELECT و MODIFY على ANY FILE.
    • تحديثات أمان نظام التشغيل.
  • 8 فبراير 2024
    • لا يتم دعم استعلامات موجز البيانات (CDF) على طرق العرض المجسدة في كتالوج Unity، وترجع محاولة تشغيل استعلام CDF باستخدام طريقة عرض مجسدة في كتالوج Unity خطأ. تدعم جداول دفق كتالوج Unity استعلامات CDF على الجداول غيرAPPLY CHANGES الموجودة في Databricks Runtime 14.1 والإحدث. استعلامات CDF غير مدعومة مع جداول دفق كتالوج Unity في Databricks Runtime 14.0 والإصدارات السابقة.
    • [SPARK-46794] إزالة الاستعلامات الفرعية من قيود LogicalRDD.
    • [SPARK-46933] إضافة مقياس وقت تنفيذ الاستعلام إلى الموصلات التي تستخدم JDBCRDD.
    • [SPARK-45582] تأكد من عدم استخدام مثيل المتجر بعد استدعاء التثبيت داخل تجميع تدفق وضع الإخراج.
    • [SPARK-46396] يجب ألا يطرح استدلال الطابع الزمني استثناء.
    • [SPARK-46861] تجنب حالة التوقف التام في DAGScheduler.
    • [SPARK-46941] لا يمكن إدراج عقدة حد مجموعة نافذة لحساب أعلى k إذا كان يحتوي على SizeBasedWindowFunction.
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2024
    • [SPARK-46610] يجب أن يطرح إنشاء جدول استثناء عندما لا تكون هناك قيمة لمفتاح في الخيارات.
    • [SPARK-46383] تقليل استخدام كومة الذاكرة المؤقتة لبرنامج التشغيل عن طريق تقليل عمر TaskInfo.accumulables().
    • [SPARK-46600] نقل التعليمات البرمجية المشتركة بين SqlConf وSqlApiConf إلى SqlApiConfHelper.
    • [SPARK-46676] يجب ألا يفشل dropDuplicatesWithinWatermark عند المتعارف عليه للخطة.
    • [SPARK-46763] إصلاح فشل التأكيد في ReplaceDeduplicateWithAggregate للسمات المكررة.
    • تحديثات أمان نظام التشغيل.
  • 17 يناير 2024
    • shuffle يتم تحديث عقدة خطة الشرح التي تم إرجاعها بواسطة استعلام Photon لإضافة causedBroadcastJoinBuildOOM=true العلامة عند حدوث خطأ نفاد الذاكرة أثناء التبديل العشوائي الذي يعد جزءا من صلة البث.
    • لتجنب زيادة زمن الانتقال عند الاتصال عبر TLSv1.3، يتضمن إصدار الصيانة هذا تصحيحا لتثبيت JDK 8 لإصلاح خطأ JDK JDK-8293562.
    • [SPARK-46058] إضافة علامة منفصلة ل privateKeyPassword.
    • [SPARK-46173] تخطي trimAll call أثناء تحليل التاريخ.
    • [SPARK-46370] إصلاح الخطأ عند الاستعلام من الجدول بعد تغيير الإعدادات الافتراضية للعمود.
    • [SPARK-46370] إصلاح الخطأ عند الاستعلام من الجدول بعد تغيير الإعدادات الافتراضية للعمود.
    • [SPARK-46370] إصلاح الخطأ عند الاستعلام من الجدول بعد تغيير الإعدادات الافتراضية للعمود.
    • [SPARK-46609] تجنب الانفجار الأسي في PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] دعم كلمة مرور المفتاح لمفاتيح JKS ل RPC SSL.
    • [SPARK-46602] النشر allowExisting في إنشاء طريقة العرض عندما لا يكون العرض/الجدول موجودا.
    • [SPARK-46249] طلب تأمين المثيل للحصول على مقاييس RocksDB لمنع السباق مع عمليات الخلفية.
    • [SPARK-46417] لا تفشل عند استدعاء hive.getTable و throwException خطأ.
    • [SPARK-46538] إصلاح مشكلة مرجع العمود الغامض في ALSModel.transform.
    • [SPARK-46478] قم بإعادة SPARK-43049 لاستخدام oracle varchar(255) للسلسلة.
    • [SPARK-46250] test_parity_listener deflake.
    • [SPARK-46394] إصلاح مشكلات spark.catalog.listDatabases() على المخططات ذات الأحرف الخاصة عند spark.sql.legacy.keepCommandOutputSchema تعيينها إلى true.
    • [SPARK-46056] إصلاح NPE للقراءة المتجهة Parquet بالقيمة الافتراضية byteArrayDecimalType.
    • [SPARK-46145] لا تطرح spark.catalog.listTables استثناء عند عدم العثور على الجدول أو طريقة العرض.
    • [SPARK-46466] يجب ألا يقوم قارئ باركيه المتجه بإعادة قاعدة البيانات للطوابع الزمنية ntz.
  • 14 ديسمبر 2023
    • تم إصلاح مشكلة حيث تمت معالجة التسطير السفلي الهارب في عمليات getColumns التي تنشأ من عملاء JDBC أو ODBC بشكل غير صحيح وتفسيرها كأحرف بدل.
    • [SPARK-45920] يجب أن تكون المجموعة حسب الترتيبية غير متكررة.
    • [SPARK-44582] تخطي المكرر على SMJ إذا تم تنظيفه.
    • [SPARK-45433] إصلاح استنتاج مخطط CSV/JSON عندما لا تتطابق الطوابع الزمنية مع تنسيق الطابع الزمني المحدد.
    • [SPARK-45655] السماح بتعبيرات غير محددة داخل AggregateFunctions في CollectMetrics.
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2023
    • تثبيت حزمة جديدة، pyarrow-hotfix لمعالجة ثغرة أمنية في PyArrow RCE.
    • تمت ترقية موصل Spark-snowflake إلى 2.12.0.
    • [SPARK-44846] تمت إزالة تعبيرات التجميع المعقدة بعد RemoveRedundantAggregates.
    • [SPARK-45544] دعم SSL المتكامل في TransportContext.
    • [SPARK-45892] التحقق من صحة خطة محسن إعادة بناء التعليمات البرمجية validateSchemaOutput لفصل و validateExprIdUniqueness.
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • تحديثات أمان نظام التشغيل.
  • 10 نوفمبر 2023
    • يتم دفع عوامل تصفية التقسيم على استعلامات تدفق Delta Lake لأسفل قبل تحديد المعدل لتحقيق استخدام أفضل.
    • استعلامات موجز البيانات التي تم تغييرها في جداول دفق كتالوج Unity وطرق العرض المجسدة لعرض رسائل الخطأ.
    • [SPARK-45545] SparkTransportConf يرث SSLOptions عند الإنشاء.
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • [SPARK-45427] تمت إضافة إعدادات RPC SSL إلى SSLOptions و SparkTransportConf.
    • [SPARK-45541] تمت إضافة SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction لم يعد يفشل عندما IGNORE NULLS و offset > rowCount.
    • [SPARK-45429] تمت إضافة فئات المساعد لاتصال SSL RPC.
    • [SPARK-44219] تمت إضافة عمليات تحقق إضافية لكل قاعدة لإعادة كتابة التحسين.
    • [SPARK-45543] تم إصلاح مشكلة كانت تتسبب InferWindowGroupLimit في حدوث مشكلة إذا لم يكن لوظائف النافذة الأخرى نفس إطار النافذة مثل الدالات المماثلة للرتبة.
    • تحديثات أمان نظام التشغيل.
  • 23 أكتوبر 2023
    • [SPARK-45256] تم إصلاح مشكلة فشل عند DurationWriter كتابة قيم أكثر من السعة الأولية.
    • [SPARK-45419] تجنب إعادة استخدام الملفات rocksdb sst في مثيل مختلف rocksdb عن طريق إزالة إدخالات مخطط إصدار الملف من الإصدارات الأكبر.
    • [SPARK-45426] دعم إضافي ل ReloadingX509TrustManager.
    • إصلاحات متنوعة.
  • 13 أكتوبر 2023
    • تمت ترقية تبعية Snowflake-jdbc من 3.13.29 إلى 3.13.33.
    • الدالة array_insert تستند إلى 1 للفهرسين الموجب والسالب، بينما كانت من قبل تستند إلى 0 للفهرس السالبة. يقوم الآن بإدراج عنصر جديد في نهاية صفائف الإدخال للفهرس -1. لاستعادة السلوك السابق، قم بتعيين spark.sql.legacy.negativeIndexInArrayInsert إلى true.
    • تم إصلاح مشكلة تتعلق بعدم تجاهل الملفات التالفة عند ignoreCorruptFiles تمكينها أثناء استنتاج مخطط CSV مع "المحمل التلقائي".
    • العودة [SPARK-42946].
    • [SPARK-42205] حدث بروتوكول JSON لإزالة تسجيل Accumulables في مهمة أو أحداث بدء مرحلة.
    • [SPARK-45178] الرجوع إلى تشغيل دفعة واحدة لمصادر Trigger.AvailableNow غير مدعومة بدلا من استخدام برنامج التضمين.
    • [SPARK-45316] إضافة معلمات ignoreCorruptFiles جديدة و ignoreMissingFiles إلى HadoopRDD و NewHadoopRDD.
    • [SPARK-44740] قيم بيانات التعريف الثابتة للبيانات الاصطناعية.
    • [SPARK-45360] تكوين منشئ جلسة Spark الذي تمت تهيئته من SPARK_REMOTE.
    • [SPARK-44551] التعليقات المحررة للمزامنة مع OSS.
    • [SPARK-45346] يحترم استنتاج مخطط Parquet الآن العلامات الحساسة لحالة الأحرف عند دمج المخطط.
    • [SPARK-44658] ShuffleStatus.getMapStatus يتم الآن إرجاع None بدلا من Some(null).
    • [SPARK-44840] تم إنشاؤه array_insert() على أساس 1 للفهرس السالبة.
  • 14 سبتمبر 2023
    • [SPARK-44873] دعم إضافي للأعمدة alter view المتداخلة في عميل Apache Hive.
    • [SPARK-44878] تم إيقاف تشغيل الحد الصارم لمدير RocksDB الكتابة لتجنب استثناء الإدراج عند اكتمال ذاكرة التخزين المؤقت.
  • 30 أغسطس 2023
    • تم تحسين أمر dbutils cp (dbutils.fs.cp) للنسخ بشكل أسرع. مع هذا التحسين، يمكن أن تستغرق عمليات النسخ ما يصل إلى 100 وقت أقل، اعتمادا على حجم الملف. تتوفر الميزة عبر جميع السحب وأنظمة الملفات التي يمكن الوصول إليها في Databricks، بما في ذلك وحدات تخزين كتالوج Unity وتركيبات DBFS.
    • [SPARK-44455] معرفات عرض الأسعار ذات الكواشف الخلفية في SHOW CREATE TABLE النتيجة.
    • [SPARK-44763] تم إصلاح مشكلة تظهر سلسلة كمضاعفة في الحساب الثنائي مع الفاصل الزمني.
    • [SPARK-44871] السلوك الثابت percentile_disc .
    • [SPARK-44714] سهولة تقييد دقة LCA فيما يتعلق بالاستعلامات.
    • [SPARK-44818] تم تهيئة تعارض ثابت لمقاطعة المهمة المعلقة التي تم إصدارها قبل taskThread .
    • [SPARK-44505] تمت إضافة تجاوز لدعم العمود في الفحص بحثا عن DSv2.
    • [SPARK-44479] تم إصلاح تحويل protobuf من نوع بنية فارغ.
    • [SPARK-44718] مطابقة ColumnVector التكوين الافتراضي لوضع الذاكرة مع OffHeapMemoryMode قيمة التكوين.
    • [SPARK-42941] دعم إضافي ل StreamingQueryListener في Python.
    • [SPARK-44558] تصدير مستوى سجل Spark Connect في PySpark.
    • [SPARK-44464] تم إصلاحه applyInPandasWithStatePythonRunner لإخراج الصفوف التي تحتوي على Null كقيمة العمود الأول.
    • [SPARK-44643] يتم التصحيح Row.__repr__ عندما يكون الحقل صفا فارغا.
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 12.2 LTS

راجع Databricks Runtime 12.2 LTS.

  • 10 أكتوبر 2024
    • [SPARK-49743][SQL] يجب ألا يغير OptimizeCsvJsonExpr حقول المخطط عند تقليم GetArrayStructFields
  • 25 سبتمبر 2024
    • [SPARK-49000][SQL] إصلاح "select count(distinct 1) from t" حيث يكون t جدولا فارغا عن طريق توسيع RewriteDistinctAggregates
    • [SPARK-46601] [CORE] إصلاح خطأ السجل في handleStatusMessage
    • إصلاحات الأخطاء المتنوعة.
  • 17 سبتمبر 2024
    • تحديثات أمان نظام التشغيل.
  • 29 أغسطس 2024
    • إصلاحات الأخطاء المتنوعة.
  • 14 أغسطس 2024
    • [SPARK-48941][SPARK-48970] تصحيحات كاتب / قارئ Backport ML
    • [SPARK-49065][SQL] يجب أن تدعم إعادة التوجيه في التنسيقات/المحللات القديمة المناطق الزمنية الافتراضية غير JVM
    • [SPARK-49056][SQL] لا يمكن ل ErrorClassesJsonReader التعامل مع القيم الخالية بشكل صحيح
    • [SPARK-48597][SQL] تقديم علامة لخاصية isStreaming في التمثيل النصي للخطة المنطقية
    • [SPARK-48463][ML] جعل StringIndexer يدعم أعمدة الإدخال المتداخلة
    • تحديثات أمان نظام التشغيل.
  • 1 أغسطس 2024
  • 1 أغسطس 2024
    • لتطبيق تصحيحات الأمان المطلوبة، تتم ترقية إصدار Python في Databricks Runtime 12.2 LTS من 3.9.5 إلى 3.9.19.
  • 11 يوليو 2024
    • (تغيير السلوك) يتم الآن إبطال DataFrames المخزنة مؤقتا مقابل مصادر جدول Delta إذا تم الكتابة فوق الجدول المصدر. يعني هذا التغيير أن جميع تغييرات الحالة على جداول Delta تبطل الآن النتائج المخزنة مؤقتا. استخدم .checkpoint() لاستمرار حالة الجدول طوال مدة بقاء DataFrame.
    • [SPARK-48481][SQL][SS] لا تطبق OptimizeOneRowPlan على تدفق مجموعة البيانات
    • [SPARK-47070] إصلاح التجميع غير الصالح بعد إعادة كتابة الاستعلام الفرعي
    • [SPARK-42741][SQL] لا تفك تحويلات في مقارنة ثنائية عندما تكون القيمة الحرفية خالية
    • [SPARK-48445][SQL] عدم تضمين UDFs مع الأطفال المكلفين
    • [SPARK-48503][SQL] إصلاح الاستعلامات الفرعية العددية غير الصحيحة باستخدام تجميع حسب على أعمدة غير مكافئة تم السماح بها بشكل غير صحيح
    • [SPARK-48383][SS] طرح خطأ أفضل للأقسام غير المتطابقة في خيار startOffset في Kafka
    • تحديثات أمان نظام التشغيل.
  • 17 يونيو 2024
    • [SPARK-48277] تحسين رسالة الخطأ ل ErrorClassesJsonReader.getErrorMessage
    • إصلاحات الأخطاء المتنوعة.
  • 21 مايو 2024
    • [SPARK-48105][SS] إصلاح حالة السباق بين إلغاء تحميل مخزن الحالة والتقاط اللقطات
    • تحديثات أمان نظام التشغيل.
  • 9 مايو 2024
    • [SPARK-44251][SQL] تعيين nullable بشكل صحيح على مفتاح الصلة المدمج في صلة USING الخارجية الكاملة
    • [SPARK-47973][CORE] سجل موقع الاتصال في SparkContext.stop() والإحدث في SparkContext.assertNotStopped()
    • [SPARK-47956][SQL] التحقق من السلامة لمرجع LCA الذي لم يتم حله
    • [SPARK-48018][SS] إصلاح groupId الخالية التي تتسبب في فقدان خطأ المعلمة عند طرح KafkaException.couldNotReadOffsetRange
    • تحديثات أمان نظام التشغيل.
  • 25 أبريل 2024
    • تحديثات أمان نظام التشغيل.
  • 11 أبريل 2024
    • تحديثات أمان نظام التشغيل.
  • 1 أبريل 2024
    • [SPARK-47305][SQL] إصلاح PruneFilters لوضع علامة isStreaming ل LocalRelation بشكل صحيح عندما تحتوي الخطة على كل من الدفعة والتدفق
    • [SPARK-44252][SS] تعريف فئة خطأ جديدة وتطبيق الحالة التي تفشل فيها حالة التحميل من DFS
    • [SPARK-47135][SS] تنفيذ فئات الخطأ لاستثناءات فقدان بيانات Kafka
    • [SPARK-47200][SS] فئة الخطأ لخطأ دالة مستخدم متلقي دفعة Foreach
    • تحديثات أمان نظام التشغيل.
  • 14 مارس 2024
    • [SPARK-47176][SQL] لديك دالة مساعد ResolveAllExpressionsUpWithPruning
    • إرجاع "[SPARK-46861][CORE] تجنب التوقف التام في DAGScheduler"
    • [SPARK-47125][SQL] إرجاع القيمة الخالية إذا لم يؤدي Univocity أبدا إلى تشغيل التحليل
    • [SPARK-47167][SQL] إضافة فئة ملموسة لعلاقة JDBC المجهولة
    • تحديثات أمان نظام التشغيل.
  • 29 فبراير 2024
    • تم إصلاح مشكلة حيث قد يؤدي استخدام مجموعة محلية كمصدر في أمر MERGE إلى تقرير مقياس العملية numSourceRows إلى ضعف العدد الصحيح للصفوف.
    • يتطلب إنشاء مخطط مع موقع محدد الآن أن يكون لدى المستخدم امتيازات SELECT و MODIFY على ANY FILE.
    • [SPARK-45582][SS] تأكد من عدم استخدام مثيل المتجر بعد استدعاء الالتزام داخل تجميع تدفق وضع الإخراج
    • تحديثات أمان نظام التشغيل.
  • 13 فبراير 2024
    • [SPARK-46861] تجنب حالة التوقف التام في DAGScheduler.
    • [SPARK-46794] إزالة الاستعلامات الفرعية من قيود LogicalRDD.
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2024
    • [SPARK-46763] إصلاح فشل التأكيد في ReplaceDeduplicateWithAggregate للسمات المكررة.
    • تحديثات أمان نظام التشغيل.
  • 25 ديسمبر 2023
    • لتجنب زيادة زمن الانتقال عند الاتصال عبر TLSv1.3، يتضمن إصدار الصيانة هذا تصحيحا لتثبيت JDK 8 لإصلاح خطأ JDK JDK-8293562.
    • [SPARK-39440] إضافة تكوين لتعطيل المخطط الزمني للحدث.
    • [SPARK-46132] دعم كلمة مرور المفتاح لمفاتيح JKS ل RPC SSL.
    • [SPARK-46394] إصلاح مشكلات spark.catalog.listDatabases() على المخططات ذات الأحرف الخاصة عند spark.sql.legacy.keepCommandOutputSchema تعيينها إلى true.
    • [SPARK-46417] لا تفشل عند استدعاء hive.getTable و throwException خطأ.
    • [SPARK-43067] تصحيح موقع ملف مورد فئة الخطأ في موصل Kafka.
    • [SPARK-46249] طلب تأمين المثيل للحصول على مقاييس RocksDB لمنع السباق مع عمليات الخلفية.
    • [SPARK-46602] النشر allowExisting في إنشاء طريقة العرض عندما لا يكون العرض/الجدول موجودا.
    • [SPARK-46058] إضافة علامة منفصلة ل privateKeyPassword.
    • [SPARK-46145] لا تطرح spark.catalog.listTables استثناء عند عدم العثور على الجدول أو طريقة العرض.
    • [SPARK-46538] إصلاح مشكلة مرجع العمود الغامض في ALSModel.transform.
    • [SPARK-42852] قم بإعادة التغييرات ذات الصلة المسماةLambdaVariable من EquivalentExpressions.
  • 14 ديسمبر 2023
    • تم إصلاح مشكلة حيث تمت معالجة التسطير السفلي الهارب في عمليات getColumns التي تنشأ من عملاء JDBC أو ODBC بشكل غير صحيح وتفسيرها كأحرف بدل.
    • [SPARK-44582] تخطي المكرر على SMJ إذا تم تنظيفه.
    • [SPARK-45920] يجب أن تكون المجموعة حسب الترتيبية غير متكررة.
    • [SPARK-45655] السماح بتعبيرات غير محددة داخل AggregateFunctions في CollectMetrics.
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2023
    • تثبيت حزمة جديدة، pyarrow-hotfix لمعالجة ثغرة أمنية في PyArrow RCE.
    • تم إصلاح مشكلة حيث تم تفسير التسطير السفلي الهارب في getColumns العمليات التي تنشأ من عملاء JDBC أو ODBC بشكل خاطئ على أنها أحرف بدل.
    • [SPARK-42205] تمت إزالة مواصل التسجيل في Stage الأحداث وبدءها Task .
    • [SPARK-44846] تمت إزالة تعبيرات التجميع المعقدة بعد RemoveRedundantAggregates.
    • [SPARK-43718] تم إصلاح إمكانية القيم الخالية للمفاتيح في USING الصلات.
    • [SPARK-45544] دعم SSL المتكامل في TransportContext.
    • [SPARK-43973] تعرض واجهة مستخدم الدفق المنظم الآن الاستعلامات الفاشلة بشكل صحيح.
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • تحديثات أمان نظام التشغيل.
  • 14 نوفمبر 2023
    • يتم دفع عوامل تصفية التقسيم على استعلامات تدفق Delta Lake لأسفل قبل تحديد المعدل لتحقيق استخدام أفضل.
    • [SPARK-45545] SparkTransportConf يرث SSLOptions عند الإنشاء.
    • [SPARK-45427] تمت إضافة إعدادات RPC SSL إلى SSLOptions و SparkTransportConf.
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • [SPARK-45541] تمت إضافة SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction لم يعد يفشل عندما IGNORE NULLS و offset > rowCount.
    • [SPARK-45429] تمت إضافة فئات المساعد لاتصال SSL RPC.
    • تحديثات أمان نظام التشغيل.
  • 24 أكتوبر 2023
    • [SPARK-45426] دعم إضافي ل ReloadingX509TrustManager.
    • إصلاحات متنوعة.
  • 13 أكتوبر 2023
    • تمت ترقية تبعية Snowflake-jdbc من 3.13.29 إلى 3.13.33.
    • [SPARK-42553] تأكد من وحدة زمنية واحدة على الأقل بعد الفاصل الزمني.
    • [SPARK-45346] يحترم استنتاج مخطط Parquet العلامة الحساسة لحالة الأحرف عند دمج المخطط.
    • [SPARK-45178] الرجوع إلى تشغيل دفعة واحدة لمصادر Trigger.AvailableNow غير مدعومة بدلا من استخدام برنامج التضمين.
    • [SPARK-45084] StateOperatorProgress لاستخدام رقم قسم عشوائي دقيق وملائم.
  • 12 سبتمبر 2023
    • [SPARK-44873] تمت إضافة دعم للأعمدة alter view المتداخلة في عميل Apache Hive.
    • [SPARK-44718] مطابقة ColumnVector التكوين الافتراضي لوضع الذاكرة مع OffHeapMemoryMode قيمة التكوين.
    • [SPARK-43799] تمت إضافة خيار ثنائي واصف إلى واجهة برمجة تطبيقات PySpark Protobuf .
    • إصلاحات متنوعة.
  • 30 أغسطس 2023
    • [SPARK-44485] محسن TreeNode.generateTreeString.
    • [SPARK-44818] تم تهيئة تعارض ثابت لمقاطعة المهمة المعلقة التي تم إصدارها قبل taskThread .
    • [SPARK-44871][11.3-13.0] السلوك الثابت percentile_disc .
    • [SPARK-44714] تخفيف تقييد دقة LCA فيما يتعلق بالاستعلامات.
    • تحديثات أمان نظام التشغيل.
  • 15 أغسطس 2023
    • [SPARK-44504] تقوم مهمة الصيانة بتنظيف الموفرين المحملين عند خطأ الإيقاف.
    • [SPARK-44464] تم إصلاحه applyInPandasWithStatePythonRunner لإخراج الصفوف التي تحتوي Null على قيمة العمود الأول.
    • تحديثات أمان نظام التشغيل.
  • 29 يوليو 2023
    • تم إصلاح مشكلة إرجاع dbutils.fs.ls() عند استدعاؤها INVALID_PARAMETER_VALUE.LOCATION_OVERLAP لمسار موقع تخزين تصادم مع موقع تخزين خارجي أو مدار آخر.
    • [SPARK-44199] CacheManager لم يعد يتم تحديث دون fileIndex داع.
    • تحديثات أمان نظام التشغيل.
  • 24 يوليو 2023
    • [SPARK-44337] تم إصلاح مشكلة حيث تسبب أي حقل تم تعيينه في Any.getDefaultInstance حدوث أخطاء تحليل.
    • [SPARK-44136] تم إصلاح مشكلة حيث StateManager يتم تحقيق ذلك في منفذ بدلا من برنامج التشغيل في FlatMapGroupsWithStateExec.
    • تحديثات أمان نظام التشغيل.
  • 23 يونيو 2023
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2023
    • الفوتونات approx_count_distinct.
    • تمت ترقية مكتبة Snowflake-jdbc إلى 3.13.29 لمعالجة مشكلة أمنية.
    • [SPARK-43779] ParseToDate يتم تحميل الآن EvalMode في مؤشر الترابط الرئيسي.
    • [SPARK-43156][SPARK-43098] اختبار خطأ عدد الاستعلامات الفرعية العددية الموسعة مع decorrelateInnerQuery إيقاف التشغيل.
    • تحديثات أمان نظام التشغيل.
  • 2 يونيو 2023
    • يقوم محلل JSON في failOnUnknownFields الوضع بإسقاط سجل في DROPMALFORMED الوضع ويفشل مباشرة في FAILFAST الوضع.
    • تحسين أداء التحديثات المتزايدة باستخدام SHALLOW CLONE Iceberg وParquet.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث كانت تنسيقات الملفات المصدر المختلفة غير متناسقة عندما لا يتضمن المخطط المتوفر أقساما مستنتجة. قد تتسبب هذه المشكلة في فشل غير متوقع عند قراءة الملفات ذات الأعمدة المفقودة في مخطط القسم المستنتج.
    • [SPARK-43404] تخطي إعادة استخدام الملف sst لنفس الإصدار من مخزن حالة RocksDB لتجنب خطأ عدم تطابق المعرف.
    • [SPARK-43413][11.3-13.0] قابلية خالية الاستعلام ListQuery الفرعي الثابتIN.
    • [SPARK-43522] تم إصلاح إنشاء اسم عمود البنية باستخدام فهرس الصفيف.
    • [SPARK-43541] نشر كافة Project العلامات في حل التعبيرات والأعمدة المفقودة.
    • [SPARK-43527] تم التصحيح catalog.listCatalogs في PySpark.
    • [SPARK-43123] لم تعد بيانات تعريف الحقل الداخلية تسرب إلى الكتالوجات.
    • [SPARK-43340] تم إصلاح حقل تتبع المكدس المفقود في سجلات الأحداث.
    • [SPARK-42444] DataFrame.drop يعالج الآن الأعمدة المكررة بشكل صحيح.
    • [SPARK-42937] PlanSubqueries يتم الآن تعيين InSubqueryExec#shouldBroadcast إلى true.
    • [SPARK-43286] تم تحديث aes_encrypt وضع CBC لإنشاء IVs عشوائية.
    • [SPARK-43378] أغلق كائنات الدفق بشكل صحيح في deserializeFromChunkedBuffer.
  • 17 مايو 2023
    • أصبحت عمليات فحص Parquet قوية الآن مقابل OOMs عند مسح الملفات ذات البنية الاستثنائية عن طريق ضبط حجم الدفعة ديناميكيا. يتم تحليل بيانات تعريف الملف لتقليل حجم الدفعة بشكل استباقي ويتم خفضها مرة أخرى في إعادة محاولة المهمة كشبكة أمان نهائية.
    • إذا تمت قراءة ملف Avro باستخدام الخيار فقط failOnUnknownFields أو مع "المحمل التلقائي" في failOnNewColumns وضع تطور المخطط، فستتم قراءة الأعمدة التي تحتوي على أنواع بيانات مختلفة بدلا null من طرح خطأ يفيد بأنه لا يمكن قراءة الملف. تفشل هذه القراءات الآن وتوصي المستخدمين باستخدام rescuedDataColumn الخيار .
    • يقوم التحميل التلقائي الآن بما يلي.
      • يقرأ و و و Byte بشكل صحيح، و لن يتم إنقاذه IntegerShortبشكل صحيح إذا تم توفير أحد أنواع البيانات هذه، ولكن ملف Avro يقترح أحد النوعين الآخرين.
      • يمنع أنواع الفواصل الزمنية للقراءة كنوع من الطوابع الزمنية أو التاريخ لتجنب الحصول على تواريخ تالفة.
      • يمنع أنواع القراءة Decimal بدقة أقل.
    • [SPARK-43172] يعرض المضيف والرمز المميز من عميل اتصال Spark.
    • [SPARK-43293] __qualified_access_only يتم تجاهلها في الأعمدة العادية.
    • [SPARK-43098] خطأ تصحيح COUNT ثابت عند تجميع الاستعلام الفرعي العددي حسب عبارة .
    • [SPARK-43085] دعم تعيين العمود DEFAULT لأسماء الجداول متعددة الأجزاء.
    • [SPARK-43190] ListQuery.childOutput متناسق الآن مع الإخراج الثانوي.
    • [SPARK-43192] تمت إزالة التحقق من صحة مجموعة عوامل المستخدم.
    • تحديثات أمان نظام التشغيل.
  • 25 أبريل 2023
    • إذا تمت قراءة ملف Parquet مع الخيار فقط failOnUnknownFields أو مع أداة التحميل التلقائي في failOnNewColumns وضع تطور المخطط، فستتم قراءة الأعمدة التي تحتوي على أنواع بيانات مختلفة بدلا null من طرح خطأ يفيد بأنه لا يمكن قراءة الملف. تفشل هذه القراءات الآن وتوصي المستخدمين باستخدام rescuedDataColumn الخيار .
    • يقوم أداة التحميل التلقائي الآن بقراءة أنواع و بشكل صحيح ولم يعد يقوم بإنقاذها IntegerShortByte إذا تم توفير أحد أنواع البيانات هذه. يقترح ملف Parquet أحد النوعين الآخرين. عند تمكين عمود البيانات الذي تم إنقاذه مسبقا، قد يؤدي عدم تطابق نوع البيانات إلى حفظ الأعمدة على الرغم من أنها قابلة للقراءة.
    • [SPARK-43009] ذات sql() معلمات مع Any ثوابت
    • [SPARK-42406] إنهاء الحقول المتكررة Protobuf عن طريق إسقاط الحقل
    • [SPARK-43038] دعم وضع CBC بواسطة aes_encrypt()/aes_decrypt()
    • [SPARK-42971] تغيير للطباعة workdir إذا كان appDirs فارغا عند معالجة العامل للحدث WorkDirCleanup
    • [SPARK-43018] إصلاح الخطأ لأوامر INSERT باستخدام القيم الحرفية للطوابع الزمنية
    • تحديثات أمان نظام التشغيل.
  • 11 أبريل 2023
    • دعم تنسيقات مصدر البيانات القديمة في SYNC الأمر .
    • إصلاح مشكلة في سلوك ٪autoreload في دفاتر الملاحظات خارج المستودع.
    • تم إصلاح مشكلة حيث يمكن أن ينتقل تطور مخطط التحميل التلقائي إلى حلقة فشل لا نهائية عند اكتشاف عمود جديد في مخطط كائن JSON متداخل.
    • [SPARK-42928] يجعل resolvePersistentFunction المزامنة.
    • [SPARK-42936] إصلاح مشكلة LCan عندما يمكن حل العبارة مباشرة بواسطة التجميع التابع لها.
    • [SPARK-42967] SparkListenerTaskStart.stageAttemptId إصلاحات عند بدء مهمة بعد إلغاء المرحلة.
    • تحديثات أمان نظام التشغيل.
  • 29 مارس 2023

    • يدعم Databricks SQL الآن تحديد القيم الافتراضية لأعمدة جداول Delta Lake، إما في وقت إنشاء الجدول أو بعد ذلك. يمكن أن تشير الأوامر اللاحقة و MERGE إلى القيمة الافتراضية لأي عمود باستخدام الكلمة الأساسية الصريحةDEFAULT.INSERTUPDATEDELETE بالإضافة إلى ذلك، إذا كان أي INSERT تعيين يحتوي على قائمة صريحة من أعمدة أقل من الجدول الهدف، استبدال القيم الافتراضية المقابلة للعمود بالأعمدة المتبقية (أو NULL إذا لم يتم تحديد افتراضي).

      على سبيل المثال:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • يبدأ برنامج التحميل التلقائي الآن تنظيف سجل RocksDB متزامن واحد على الأقل للتدفقات Trigger.AvailableNow للتحقق من إمكانية تنظيف نقطة التحقق بانتظام لتدفقات التحميل التلقائي سريعة التشغيل. قد يتسبب هذا في أن تستغرق بعض التدفقات وقتا أطول قبل إيقاف تشغيلها، ولكنها ستوفر لك تكاليف التخزين وتحسن تجربة التحميل التلقائي في عمليات التشغيل المستقبلية.

    • يمكنك الآن تعديل جدول Delta لإضافة دعم إلى ميزات الجدول باستخدام DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] قم بزيادة lockAcquireTimeoutMs إلى دقيقتين للحصول على مخزن حالة RocksDB في Structure Streaming

    • [SPARK-42521] إضافة NULLs ل INSERTs مع قوائم محددة من قبل المستخدم من أعمدة أقل من الجدول الهدف

    • [SPARK-42702][SPARK-42623] دعم الاستعلام ذات المعلمات في الاستعلام الفرعي وCTE

    • [SPARK-42668] التقاط استثناء أثناء محاولة إغلاق الدفق المضغوط في إيقاف HDFSStateStoreProvider

    • [SPARK-42403] يجب أن يتعامل JsonProtocol مع سلاسل JSON الخالية

  • 8 مارس 2023
    • تم تحسين رسالة الخطأ "فشل تهيئة التكوين" لتوفير المزيد من السياق للعميل.
    • هناك تغيير في المصطلحات لإضافة ميزات إلى جدول Delta باستخدام خاصية الجدول. بناء الجملة المفضل الآن 'delta.feature.featureName'='supported' بدلا من 'delta.feature.featureName'='enabled'. للتوافق مع الإصدارات السابقة، لا يزال استخدام 'delta.feature.featureName'='enabled' يعمل وسيستمر في العمل.
    • بدءا من هذا الإصدار، من الممكن إنشاء/استبدال جدول بخاصية delta.ignoreProtocolDefaults جدول إضافية لتجاهل تكوينات Spark المتعلقة بالبروتوكول، والتي تتضمن إصدارات القارئ والكاتب الافتراضية وميزات الجدول المدعومة افتراضيا.
    • [SPARK-42070] تغيير القيمة الافتراضية لوسيطة الدالة Mask من -1 إلى NULL
    • [SPARK-41793] نتيجة غير صحيحة لإطارات النوافذ المعرفة بواسطة عبارة نطاق على الأرقام العشرية الهامة
    • [SPARK-42484] رسالة خطأ أفضل ل UnsafeRowUtils
    • [SPARK-42516] التقاط تكوين المنطقة الزمنية لجلسة العمل دائما أثناء إنشاء طرق العرض
    • [SPARK-42635] إصلاح تعبير TimestampAdd.
    • [SPARK-42622] إيقاف تشغيل الاستبدال في القيم
    • [SPARK-42534] إصلاح عبارة DB2Dialect Limit
    • [SPARK-42121] إضافة دوال قيم الجدول المضمنة posexplode posexplode_outer json_tuple والمكدس
    • [SPARK-42045] وضع ANSI SQL: يجب أن ترجع Round/Bround خطأ في تجاوز عدد صحيح صغير/صغير/كبير
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 11.3 LTS

راجع Databricks Runtime 11.3 LTS.

  • 10 أكتوبر 2024
    • إصلاحات الأخطاء المتنوعة.
  • 25 سبتمبر 2024
    • [SPARK-46601] [CORE] إصلاح خطأ السجل في handleStatusMessage
    • [SPARK-49000][SQL] إصلاح "select count(distinct 1) from t" حيث يكون t جدولا فارغا عن طريق توسيع RewriteDistinctAggregates
    • إصلاحات الأخطاء المتنوعة.
  • 17 سبتمبر 2024
    • تحديثات أمان نظام التشغيل.
  • 29 أغسطس 2024
  • 14 أغسطس 2024
    • [SPARK-48941][SPARK-48970] تصحيحات كاتب / قارئ Backport ML
    • [SPARK-49065][SQL] يجب أن تدعم إعادة التوجيه في التنسيقات/المحللات القديمة المناطق الزمنية الافتراضية غير JVM
    • [SPARK-48597][SQL] تقديم علامة لخاصية isStreaming في التمثيل النصي للخطة المنطقية
    • [SPARK-48463][ML] جعل StringIndexer يدعم أعمدة الإدخال المتداخلة
    • تحديثات أمان نظام التشغيل.
  • 1 أغسطس 2024
  • 1 أغسطس 2024
    • لتطبيق تصحيحات الأمان المطلوبة، تتم ترقية إصدار Python في Databricks Runtime 11.3 LTS من 3.9.5 إلى 3.9.19.
  • 11 يوليو 2024
    • [SPARK-48383][SS] طرح خطأ أفضل للأقسام غير المتطابقة في خيار startOffset في Kafka
    • [SPARK-47070] إصلاح التجميع غير الصالح بعد إعادة كتابة الاستعلام الفرعي
    • تحديثات أمان نظام التشغيل.
  • 17 يونيو 2024
    • تحديثات أمان نظام التشغيل.
  • 21 مايو 2024
    • [SPARK-48105][SS] إصلاح حالة السباق بين إلغاء تحميل مخزن الحالة والتقاط اللقطات
    • تحديثات أمان نظام التشغيل.
  • 9 مايو 2024
    • [SPARK-48018][SS] إصلاح groupId الخالية التي تتسبب في فقدان خطأ المعلمة عند طرح KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] سجل موقع الاتصال في SparkContext.stop() والإحدث في SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] تعيين nullable بشكل صحيح على مفتاح الصلة المدمج في صلة USING الخارجية الكاملة
    • تحديثات أمان نظام التشغيل.
  • 25 أبريل 2024
    • تحديثات أمان نظام التشغيل.
  • 11 أبريل 2024
    • تحديثات أمان نظام التشغيل.
  • 1 أبريل 2024
    • [SPARK-44252][SS] تعريف فئة خطأ جديدة وتطبيق الحالة التي تفشل فيها حالة التحميل من DFS
    • [SPARK-47135][SS] تنفيذ فئات الخطأ لاستثناءات فقدان بيانات Kafka
    • إرجاع "[SPARK-46861][CORE] تجنب التوقف التام في DAGScheduler"
    • [SPARK-47200][SS] فئة الخطأ لخطأ دالة مستخدم متلقي دفعة Foreach
    • تحديثات أمان نظام التشغيل.
  • 14 مارس 2024
    • [SPARK-47167][SQL] إضافة فئة ملموسة لعلاقة JDBC المجهولة
    • [SPARK-47125][SQL] إرجاع القيمة الخالية إذا لم يؤدي Univocity أبدا إلى تشغيل التحليل
    • تحديثات أمان نظام التشغيل.
  • 29 فبراير 2024
    • تم إصلاح مشكلة حيث قد يؤدي استخدام مجموعة محلية كمصدر في أمر MERGE إلى تقرير مقياس العملية numSourceRows إلى ضعف العدد الصحيح للصفوف.
    • [SPARK-45582][SS] تأكد من عدم استخدام مثيل المتجر بعد استدعاء الالتزام داخل تجميع تدفق وضع الإخراج
  • 13 فبراير 2024
    • [SPARK-46794] إزالة الاستعلامات الفرعية من قيود LogicalRDD.
    • [SPARK-46861] تجنب حالة التوقف التام في DAGScheduler.
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2024
    • تحديثات أمان نظام التشغيل.
  • 25 ديسمبر 2023
    • لتجنب زيادة زمن الانتقال عند الاتصال عبر TLSv1.3، يتضمن إصدار الصيانة هذا تصحيحا لتثبيت JDK 8 لإصلاح خطأ JDK JDK-8293562.
    • [SPARK-46058] إضافة علامة منفصلة ل privateKeyPassword.
    • [SPARK-46602] النشر allowExisting في إنشاء طريقة العرض عندما لا يكون العرض/الجدول موجودا.
    • [SPARK-46394] إصلاح مشكلات spark.catalog.listDatabases() على المخططات ذات الأحرف الخاصة عند spark.sql.legacy.keepCommandOutputSchema تعيينها إلى true.
    • [SPARK-46538] إصلاح مشكلة مرجع العمود الغامض في ALSModel.transform.
    • [SPARK-39440] إضافة تكوين لتعطيل المخطط الزمني للحدث.
    • [SPARK-46249] طلب تأمين المثيل للحصول على مقاييس RocksDB لمنع السباق مع عمليات الخلفية.
    • [SPARK-46132] دعم كلمة مرور المفتاح لمفاتيح JKS ل RPC SSL.
  • 14 ديسمبر 2023
    • تم إصلاح مشكلة حيث تمت معالجة التسطير السفلي الهارب في عمليات getColumns التي تنشأ من عملاء JDBC أو ODBC بشكل غير صحيح وتفسيرها كأحرف بدل.
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2023
    • تثبيت حزمة جديدة، pyarrow-hotfix لمعالجة ثغرة أمنية في PyArrow RCE.
    • تم إصلاح مشكلة حيث تم تفسير التسطير السفلي الهارب في getColumns العمليات التي تنشأ من عملاء JDBC أو ODBC بشكل خاطئ على أنها أحرف بدل.
    • [SPARK-43973] تعرض واجهة مستخدم الدفق المنظم الآن الاستعلامات الفاشلة بشكل صحيح.
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • [SPARK-45544] دعم SSL المتكامل في TransportContext.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • [SPARK-43718] تم إصلاح إمكانية القيم الخالية للمفاتيح في USING الصلات.
    • [SPARK-44846] تمت إزالة تعبيرات التجميع المعقدة بعد RemoveRedundantAggregates.
    • تحديثات أمان نظام التشغيل.
  • 14 نوفمبر 2023
    • يتم دفع عوامل تصفية التقسيم على استعلامات تدفق Delta Lake لأسفل قبل تحديد المعدل لتحقيق استخدام أفضل.
    • [SPARK-42205] تمت إزالة مواصل التسجيل في أحداث بدء المرحلة والمهمة.
    • [SPARK-45545] SparkTransportConf يرث SSLOptions عند الإنشاء.
    • إرجاع [SPARK-33861].
    • [SPARK-45541] تمت إضافة SSLFactory.
    • [SPARK-45429] تمت إضافة فئات المساعد لاتصال SSL RPC.
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • [SPARK-45430] FramelessOffsetWindowFunction لم يعد يفشل عندما IGNORE NULLS و offset > rowCount.
    • [SPARK-45427] تمت إضافة إعدادات RPC SSL إلى SSLOptions و SparkTransportConf.
    • تحديثات أمان نظام التشغيل.
  • 24 أكتوبر 2023
    • [SPARK-45426] دعم إضافي ل ReloadingX509TrustManager.
    • إصلاحات متنوعة.
  • 13 أكتوبر 2023
    • تمت ترقية تبعية Snowflake-jdbc من 3.13.29 إلى 3.13.33.
    • [SPARK-45178] الرجوع إلى تشغيل دفعة واحدة لمصادر Trigger.AvailableNow غير مدعومة بدلا من استخدام برنامج التضمين.
    • [SPARK-45084] StateOperatorProgress لاستخدام رقم قسم عشوائي دقيق وملائم.
    • [SPARK-45346] يحترم استنتاج مخطط Parquet الآن العلامة الحساسة لحالة الأحرف عند دمج مخطط.
    • تحديثات أمان نظام التشغيل.
  • 10 سبتمبر 2023
    • إصلاحات متنوعة.
  • 30 أغسطس 2023
    • [SPARK-44818] تم تهيئة تعارض ثابت لمقاطعة المهمة المعلقة التي تم إصدارها قبل taskThread .
    • [SPARK-44871][11.3-13.0] السلوك الثابت percentile_disc .
    • تحديثات أمان نظام التشغيل.
  • 15 أغسطس 2023
    • [SPARK-44485] محسن TreeNode.generateTreeString.
    • [SPARK-44504] تقوم مهمة الصيانة بتنظيف الموفرين المحملين عند خطأ الإيقاف.
    • [SPARK-44464] تم إصلاحه applyInPandasWithStatePythonRunner لإخراج الصفوف التي تحتوي Null على قيمة العمود الأول.
    • تحديثات أمان نظام التشغيل.
  • 27 يوليو 2023
    • تم إصلاح مشكلة إرجاع dbutils.fs.ls() عند استدعاؤها INVALID_PARAMETER_VALUE.LOCATION_OVERLAP لمسار موقع تخزين تصادم مع موقع تخزين خارجي أو مدار آخر.
    • [SPARK-44199] CacheManager لم يعد يتم تحديث دون fileIndex داع.
    • تحديثات أمان نظام التشغيل.
  • 24 يوليو 2023
    • [SPARK-44136] تم إصلاح مشكلة يمكن أن تتحقق فيها StateManager في المنفذ بدلا من برنامج التشغيل في FlatMapGroupsWithStateExec.
    • تحديثات أمان نظام التشغيل.
  • 23 يونيو 2023
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2023
    • الفوتونات approx_count_distinct.
    • تمت ترقية مكتبة Snowflake-jdbc إلى 3.13.29 لمعالجة مشكلة أمنية.
    • [SPARK-43779] ParseToDate يتم تحميل الآن EvalMode في مؤشر الترابط الرئيسي.
    • [SPARK-40862] دعم الاستعلامات الفرعية غير المجمعة في RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] اختبار خطأ عدد الاستعلامات الفرعية العددية الموسعة مع decorrelateInnerQuery إيقاف التشغيل.
    • [SPARK-43098] إصلاح خطأ عدد التصحيحات عندما يحتوي الاستعلام الفرعي العددي على عبارة تجميع حسب
    • تحديثات أمان نظام التشغيل.
  • 2 يونيو 2023
    • يقوم محلل JSON في failOnUnknownFields الوضع بإسقاط سجل في DROPMALFORMED الوضع ويفشل مباشرة في FAILFAST الوضع.
    • تحسين أداء التحديثات المتزايدة باستخدام SHALLOW CLONE Iceberg وParquet.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث كانت تنسيقات الملفات المصدر المختلفة غير متناسقة عندما لا يتضمن المخطط المتوفر أقساما مستنتجة. قد تتسبب هذه المشكلة في فشل غير متوقع عند قراءة الملفات ذات الأعمدة المفقودة في مخطط القسم المستنتج.
    • [SPARK-43404]تخطي إعادة استخدام الملف sst لنفس الإصدار من مخزن حالة RocksDB لتجنب خطأ عدم تطابق المعرف.
    • [SPARK-43527] تم التصحيح catalog.listCatalogs في PySpark.
    • [SPARK-43413][11.3-13.0] قابلية خالية الاستعلام ListQuery الفرعي الثابتIN.
    • [SPARK-43340] تم إصلاح حقل تتبع المكدس المفقود في سجلات الأحداث.

Databricks Runtime 10.4 LTS

راجع Databricks Runtime 10.4 LTS.

  • 10 أكتوبر 2024
    • تحديثات أمان نظام التشغيل.
  • 25 سبتمبر 2024
    • [SPARK-46601] [CORE] إصلاح خطأ السجل في handleStatusMessage
    • [SPARK-49000][SQL] إصلاح "select count(distinct 1) from t" حيث يكون t جدولا فارغا عن طريق توسيع RewriteDistinctAggregates
    • تحديثات أمان نظام التشغيل.
  • 17 سبتمبر 2024
    • تحديثات أمان نظام التشغيل.
  • 29 أغسطس 2024
    • [SPARK-49065][SQL] يجب أن تدعم إعادة التوجيه في التنسيقات/المحللات القديمة المناطق الزمنية الافتراضية غير JVM
  • 14 أغسطس 2024
    • [SPARK-48597][SQL] تقديم علامة لخاصية isStreaming في التمثيل النصي للخطة المنطقية
    • [SPARK-48941][SPARK-48970] تصحيحات كاتب / قارئ Backport ML
    • [SPARK-48463][ML] جعل StringIndexer يدعم أعمدة الإدخال المتداخلة
  • 1 أغسطس 2024
  • 11 يوليو 2024
    • [SPARK-48383][SS] طرح خطأ أفضل للأقسام غير المتطابقة في خيار startOffset في Kafka
    • تحديثات أمان نظام التشغيل.
  • 17 يونيو 2024
    • تحديثات أمان نظام التشغيل.
  • 21 مايو 2024
    • [SPARK-48105][SS] إصلاح حالة السباق بين إلغاء تحميل مخزن الحالة والتقاط اللقطات
    • تحديثات أمان نظام التشغيل.
  • 9 مايو 2024
    • [SPARK-48018][SS] إصلاح groupId الخالية التي تتسبب في فقدان خطأ المعلمة عند طرح KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] سجل موقع الاتصال في SparkContext.stop() والإحدث في SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] تعيين nullable بشكل صحيح على مفتاح الصلة المدمج في صلة USING الخارجية الكاملة
    • تحديثات أمان نظام التشغيل.
  • 25 أبريل 2024
    • تحديثات أمان نظام التشغيل.
  • 11 أبريل 2024
    • تحديثات أمان نظام التشغيل.
  • 1 أبريل 2024
    • [SPARK-47135][SS] تنفيذ فئات الخطأ لاستثناءات فقدان بيانات Kafka
    • [SPARK-44252][SS] تعريف فئة خطأ جديدة وتطبيق الحالة التي تفشل فيها حالة التحميل من DFS
    • [SPARK-47200][SS] فئة الخطأ لخطأ دالة مستخدم متلقي دفعة Foreach
    • إرجاع "[SPARK-46861][CORE] تجنب التوقف التام في DAGScheduler"
    • تحديثات أمان نظام التشغيل.
  • 14 مارس 2024
    • [SPARK-47125][SQL] إرجاع القيمة الخالية إذا لم يؤدي Univocity أبدا إلى تشغيل التحليل
    • تحديثات أمان نظام التشغيل.
  • 29 فبراير 2024
    • تم إصلاح مشكلة حيث قد يؤدي استخدام مجموعة محلية كمصدر في أمر MERGE إلى تقرير مقياس العملية numSourceRows إلى ضعف العدد الصحيح للصفوف.
    • [SPARK-45582][SS] تأكد من عدم استخدام مثيل المتجر بعد استدعاء الالتزام داخل تجميع تدفق وضع الإخراج
    • تحديثات أمان نظام التشغيل.
  • 13 فبراير 2024
    • [SPARK-46861] تجنب حالة التوقف التام في DAGScheduler.
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2024
    • تحديثات أمان نظام التشغيل.
  • 25 ديسمبر 2023
    • لتجنب زيادة زمن الانتقال عند الاتصال عبر TLSv1.3، يتضمن إصدار الصيانة هذا تصحيحا لتثبيت JDK 8 لإصلاح خطأ JDK JDK-8293562.
    • [SPARK-46058] إضافة علامة منفصلة ل privateKeyPassword.
    • [SPARK-46538] إصلاح مشكلة مرجع العمود الغامض في ALSModel.transform.
    • [SPARK-39440] إضافة تكوين لتعطيل المخطط الزمني للحدث.
    • [SPARK-46132] دعم كلمة مرور المفتاح لمفاتيح JKS ل RPC SSL.
  • 14 ديسمبر 2023
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2023
    • تثبيت حزمة جديدة، pyarrow-hotfix لمعالجة ثغرة أمنية في PyArrow RCE.
    • [SPARK-45544] دعم SSL المتكامل في TransportContext.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • [SPARK-43718] تم إصلاح إمكانية القيم الخالية للمفاتيح في USING الصلات.
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • [SPARK-42205] تمت إزالة مواصل التسجيل في أحداث بدء المرحلة والمهمة.
    • [SPARK-44846] تمت إزالة تعبيرات التجميع المعقدة بعد RemoveRedundantAggregates.
    • تحديثات أمان نظام التشغيل.
  • 14 نوفمبر 2023
    • [SPARK-45541] تمت إضافة SSLFactory.
    • [SPARK-45545] SparkTransportConf يرث SSLOptions عند الإنشاء.
    • [SPARK-45427] تمت إضافة إعدادات RPC SSL إلى SSLOptions و SparkTransportConf.
    • [SPARK-45429] تمت إضافة فئات المساعد لاتصال SSL RPC.
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • إرجاع [SPARK-33861].
    • تحديثات أمان نظام التشغيل.
  • 24 أكتوبر 2023
    • [SPARK-45426] دعم إضافي ل ReloadingX509TrustManager.
    • تحديثات أمان نظام التشغيل.
  • 13 أكتوبر 2023
    • [SPARK-45084] StateOperatorProgress لاستخدام رقم قسم عشوائي دقيق وملائم.
    • [SPARK-45178] الرجوع إلى تشغيل دفعة واحدة لمصادر Trigger.AvailableNow غير مدعومة بدلا من استخدام برنامج التضمين.
    • تحديثات أمان نظام التشغيل.
  • 10 سبتمبر 2023
    • إصلاحات متنوعة.
  • 30 أغسطس 2023
    • [SPARK-44818] تم تهيئة تعارض ثابت لمقاطعة المهمة المعلقة التي تم إصدارها قبل taskThread .
    • تحديثات أمان نظام التشغيل.
  • 15 أغسطس 2023
    • [SPARK-44504] تقوم مهمة الصيانة بتنظيف الموفرين المحملين عند خطأ الإيقاف.
    • [SPARK-43973] تظهر واجهة مستخدم الدفق المنظم الآن الاستعلامات الفاشلة بشكل صحيح.
    • تحديثات أمان نظام التشغيل.
  • 23 يونيو 2023
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2023
    • تمت ترقية مكتبة Snowflake-jdbc إلى 3.13.29 لمعالجة مشكلة أمنية.
    • [SPARK-43098] إصلاح خطأ عدد التصحيحات عندما يحتوي الاستعلام الفرعي العددي على عبارة تجميع حسب
    • [SPARK-40862] دعم الاستعلامات الفرعية غير المجمعة في RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] اختبار عدد الاستعلامات الفرعية العددية الموسعة مع decorrelateInnerQuery إيقاف التشغيل.
    • تحديثات أمان نظام التشغيل.
  • 2 يونيو 2023
    • يقوم محلل JSON في failOnUnknownFields الوضع بإسقاط سجل في DROPMALFORMED الوضع ويفشل مباشرة في FAILFAST الوضع.
    • تم إصلاح مشكلة في تحليل البيانات التي تم إنقاذها من JSON لمنع UnknownFieldException.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث كانت تنسيقات الملفات المصدر المختلفة غير متناسقة عندما لا يتضمن المخطط المتوفر أقساما مستنتجة. قد تتسبب هذه المشكلة في فشل غير متوقع عند قراءة الملفات ذات الأعمدة المفقودة في مخطط القسم المستنتج.
    • [SPARK-43404] تخطي إعادة استخدام الملف sst لنفس الإصدار من مخزن حالة RocksDB لتجنب خطأ عدم تطابق المعرف.
    • [SPARK-43413] قابلية خالية الاستعلام ListQuery الفرعي الثابتIN.
    • تحديثات أمان نظام التشغيل.
  • 17 مايو 2023
    • أصبحت عمليات فحص Parquet قوية الآن مقابل OOMs عند مسح الملفات ذات البنية الاستثنائية عن طريق ضبط حجم الدفعة ديناميكيا. يتم تحليل بيانات تعريف الملف لتقليل حجم الدفعة بشكل استباقي ويتم خفضها مرة أخرى في إعادة محاولة المهمة كشبكة أمان نهائية.
    • [SPARK-41520] تقسيم AND_OR نمط الشجرة لفصل AND و OR.
    • [SPARK-43190] ListQuery.childOutput متناسق الآن مع الإخراج الثانوي.
    • تحديثات أمان نظام التشغيل.
  • 25 أبريل 2023
    • [SPARK-42928] إجراء resolvePersistentFunction المزامنة.
    • تحديثات أمان نظام التشغيل.
  • 11 أبريل 2023
    • تم إصلاح مشكلة حيث يمكن أن ينتقل تطور مخطط التحميل التلقائي إلى حلقة فشل لا نهائية عند اكتشاف عمود جديد في مخطط كائن JSON متداخل.
    • [SPARK-42937] PlanSubqueries يتم الآن تعيين InSubqueryExec#shouldBroadcast إلى true.
    • [SPARK-42967] إصلاح SparkListenerTaskStart.stageAttemptId عند بدء مهمة بعد إلغاء المرحلة.
  • 29 مارس 2023
    • [SPARK-42668] التقاط استثناء أثناء محاولة إغلاق الدفق المضغوط في إيقاف HDFSStateStoreProvider
    • [SPARK-42635] إصلاح ...
    • تحديثات أمان نظام التشغيل.
  • 14 مارس 2023
    • [SPARK-41162] إصلاح الصلة المضادة وشبه المنضمة ذاتيا باستخدام التجميعات
    • [SPARK-33206] إصلاح حساب وزن ذاكرة التخزين المؤقت للفهرس العشوائي لملفات الفهرس الصغيرة
    • [SPARK-42484] UnsafeRowUtils تحسين رسالة الخطأ
    • إصلاحات متنوعة.
  • 28 فبراير 2023
    • دعم العمود الذي تم إنشاؤه ل yyyy-MM-dd date_format. يدعم هذا التغيير تقسيم القسم ل yyyy-MM-dd ك date_format في الأعمدة التي تم إنشاؤها.
    • يمكن للمستخدمين الآن قراءة وكتابة جداول Delta محددة تتطلب الإصدار 3 من Reader والإصدار 7 من Writer، باستخدام Databricks Runtime 9.1 LTS أو أحدث. للنجاح، يجب دعم ميزات الجدول المدرجة في بروتوكول الجداول بواسطة الإصدار الحالي من Databricks Runtime.
    • دعم العمود الذي تم إنشاؤه ل yyyy-MM-dd date_format. يدعم هذا التغيير تقسيم القسم ل yyyy-MM-dd ك date_format في الأعمدة التي تم إنشاؤها.
    • تحديثات أمان نظام التشغيل.
  • 16 فبراير 2023
    • [SPARK-30220] تمكين استخدام الاستعلامات الفرعية Exists/In خارج عقدة عامل التصفية
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2023
    • أنواع جداول JDBC أصبحت الآن خارجية بشكل افتراضي.
  • 18 يناير 2023
    • يقوم موصل Azure Synapse بإرجاع رسالة خطأ وصفية أكثر عندما يحتوي اسم العمود على أحرف غير صالحة مثل المسافات البيضاء أو الفواصل المنقوشة. في مثل هذه الحالات، سيتم إرجاع الرسالة التالية: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] مسح دفعة الكتابة بعد تثبيت مخزن حالة RocksDB
    • [SPARK-41199] إصلاح مشكلة المقاييس عند استخدام مصدر دفق DSv1 ومصدر دفق DSv2 المشترك
    • [SPARK-41198] إصلاح المقاييس في استعلام البث الذي لديه مصدر دفق CTE وDSv1.
    • [SPARK-41339] إغلاق وإعادة إنشاء دفعة كتابة RocksDB بدلا من مجرد مسح.
    • [SPARK-41732] تطبيق التقليم المستند إلى نمط الشجرة للقاعدة SessionWindowing.
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2022
    • يمكن للمستخدمين تكوين سلوك المسافات البيضاء البادئة واللاحقة عند كتابة البيانات باستخدام موصل Redshift. تمت إضافة الخيارات التالية للتحكم في معالجة المساحة البيضاء:
      • csvignoreleadingwhitespace، عند التعيين إلى true، يزيل المسافة البيضاء البادئة من القيم أثناء عمليات الكتابة عند tempformat تعيين إلى CSV أو CSV GZIP. يتم الاحتفاظ بالمسافات البيضاء عند تعيين التكوين إلى false. بشكل افتراضي، القيمة هي true.
      • csvignoretrailingwhitespace، عند التعيين إلى true، يزيل المسافة البيضاء اللاحقة من القيم أثناء عمليات الكتابة عند tempformat تعيين إلى CSV أو CSV GZIP. يتم الاحتفاظ بالمسافات البيضاء عند تعيين التكوين إلى false. بشكل افتراضي، القيمة هي true.
    • تم إصلاح مشكلة في تحليل JSON في "المحمل التلقائي" عند ترك كافة الأعمدة كسلاسل (cloudFiles.inferColumnTypes لم يتم تعيينها أو تعيينها إلى false) وتحتوي JSON على كائنات متداخلة.
    • تحديثات أمان نظام التشغيل.
  • 15 نوفمبر 2022
    • تمت ترقية نص Apache commons إلى 1.10.0.
    • [SPARK-40646] تم إصلاح تحليل JSON للبنى والخرائط والصفائف حتى عندما لا يتطابق جزء من السجل مع المخطط، فلا يزال من الممكن تحليل باقي السجل بشكل صحيح بدلا من إرجاع القيم الخالية. للاشتراك في السلوك المحسن، قم بتعيين spark.sql.json.enablePartialResults إلى true. يتم إيقاف تشغيل العلامة بشكل افتراضي للحفاظ على السلوك الأصلي.
    • [SPARK-40292] إصلاح أسماء الأعمدة في arrays_zip الدالة عند الإشارة إلى الصفائف من البنيات المتداخلة
    • تحديثات أمان نظام التشغيل.
  • 1 نوفمبر 2022
    • تم إصلاح مشكلة حيث إذا كان جدول Delta يحتوي على عمود معرف من قبل المستخدم باسم _change_type، ولكن تم إيقاف تشغيل موجز بيانات التغيير على هذا الجدول، فستملأ البيانات الموجودة في هذا العمود قيم NULL بشكل غير صحيح عند تشغيل MERGE.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث يمكن تكرار ملف في نفس الدفعة الصغيرة عند allowOverwrites تمكين
    • [SPARK-40697] إضافة ترك مساحة للأحرف من جانب القراءة لتغطية ملفات البيانات الخارجية
    • [SPARK-40596] ملء ExecutorDecommission بالرسائل في ExecutorDecommissionInfo
    • تحديثات أمان نظام التشغيل.
  • 18 أكتوبر 2022
    • تحديثات أمان نظام التشغيل.
  • 5 أكتوبر 2022
    • [SPARK-40468] إصلاح تشذيب العمود في CSV عند _corrupt_record تحديده.
    • تحديثات أمان نظام التشغيل.
  • 22 سبتمبر 2022
    • يمكن للمستخدمين تعيين spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) لإعادة تمكين القائمة المضمنة للتحميل التلقائي على ADLS Gen2. تم إيقاف تشغيل القائمة المضمنة مسبقا بسبب مشكلات في الأداء ولكن يمكن أن تؤدي إلى زيادة تكاليف التخزين للعملاء.
    • [SPARK-40315] إضافة hashCode() ل Literal of ArrayBasedMapData
    • [SPARK-40213] دعم تحويل قيمة ASCII للأحرف اللاتينية 1
    • [SPARK-40380] إصلاح الطي المستمر ل InvokeLike لتجنب القيم الحرفية غير القابلة للتسلسل المضمنة في الخطة
    • [SPARK-38404] تحسين دقة CTE عندما يشير CTE متداخل إلى CTE خارجي
    • [SPARK-40089] إصلاح الفرز لبعض الأنواع العشرية
    • [SPARK-39887] يجب أن تحتفظ RemoveRedundantAliases بأسماء مستعارة تجعل إخراج عقد الإسقاط فريدا
  • 6 سبتمبر 2022
    • [SPARK-40235] استخدم التأمين القابل للمقاطعة بدلا من المزامنة في Executor.updateDependencies().
    • [SPARK-40218] يجب أن تحتفظ GROUPING SETS بأعمدة التجميع.
    • [SPARK-39976] يجب أن يتعامل ArrayIntersect مع القيمة الخالية في التعبير الأيسر بشكل صحيح.
    • [SPARK-40053] أضف assume إلى حالات الإلغاء الديناميكية التي تتطلب بيئة وقت تشغيل Python.
    • [SPARK-35542] إصلاح: لا يمكن تحميل Bucketizer الذي تم إنشاؤه لأعمدة متعددة مع المعلمات splitsArray وinputCols وoutputCols بعد حفظه.
    • [SPARK-40079] إضافة التحقق من صحة Imputer inputCols لحالة الإدخال الفارغة.
  • 24 أغسطس 2022
    • [SPARK-39983] لا تقم بتخزين علاقات البث غير المتسلسلة مؤقتا على برنامج التشغيل.
    • [SPARK-39775] تعطيل التحقق من صحة القيم الافتراضية عند تحليل مخططات Avro.
    • [SPARK-39962] تطبيق الإسقاط عندما تكون سمات المجموعة فارغة
    • [SPARK-37643] عندما يكون charVarcharAsString صحيحا، يجب أن يتخطى استعلام دالة تقييم نوع بيانات char قاعدة rpadding.
    • تحديثات أمان نظام التشغيل.
  • 9 أغسطس 2022
    • [SPARK-39847] إصلاح حالة التعارض في RocksDBLoader.loadLibrary() إذا تمت مقاطعة مؤشر ترابط المتصل
    • [SPARK-39731] إصلاح المشكلة في مصادر بيانات CSV وJSON عند تحليل التواريخ بتنسيق "yyyyMMdd" باستخدام نهج محلل الوقت المصحح
    • تحديثات أمان نظام التشغيل.
  • 27 يوليو 2022
    • [SPARK-39625] إضافة Dataset.as(StructType).
    • [SPARK-39689]دعم حرفين lineSep في مصدر بيانات CSV.
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded يجب أن يكون مؤشر ترابط آمنا.
    • [SPARK-39570] يجب أن يسمح الجدول المضمن بتعبيرات بالاسم المستعار.
    • [SPARK-39702] تقليل حمل الذاكرة ل TransportCipher$EncryptedMessage باستخدام byteRawChannel مشترك.
    • [SPARK-39575] إضافة ByteBuffer#rewind بعد ByteBuffer#get in AvroDeserializer.
    • [SPARK-39476] تعطيل تحسين تحويل Unwrap عند التحويل من Long إلى Float/ Double أو من Integer إلى Float.
    • [SPARK-38868] لا تنشر استثناءات من دالة تقييم التصفية عند تحسين الصلات الخارجية.
    • تحديثات أمان نظام التشغيل.
  • 20 يوليو 2022
    • اجعل نتائج عملية Delta MERGE متسقة عندما يكون المصدر غير محدد.
    • [SPARK-39355] يستخدم عمود واحد مقتبس لإنشاء قاعدة بيانات غير محلولة.
    • [SPARK-39548] الأمر CreateView مع استعلام عبارة نافذة اضغط على تعريف نافذة غير صحيح لم يتم العثور على مشكلة.
    • [SPARK-39419] إصلاح ArraySort لطرح استثناء عندما يرجع المقارن قيمة خالية.
    • إيقاف تشغيل استخدام Loader التلقائي لواجهات برمجة التطبيقات السحابية المضمنة لقائمة الدليل على Azure.
    • تحديثات أمان نظام التشغيل.
  • 5 يوليو 2022
    • [SPARK-39376] إخفاء الأعمدة المكررة في توسيع نجمي للاسم المستعار للسعلام الفرعي من NATURAL/USING JOIN
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2022
    • [SPARK-39283] إصلاح حالة التوقف التام بين TaskMemoryManager وSableExternalSorter.SpillableIterator.
    • [SPARK-39285] يجب ألا يتحقق Spark من أسماء الحقول عند قراءة الملفات.
    • [SPARK-34096] تحسين الأداء nth_value تجاهل القيم الخالية عبر نافذة الإزاحة.
    • [SPARK-36718] isExtractOnly إصلاح التحقق في طي المشروع.
  • 2 يونيو 2022
    • [SPARK-39093] تجنب خطأ التحويل البرمجي ل codegen عند قسمة الفواصل الزمنية للشهر أو الفواصل الزمنية لليوم على جزء لا يتجزأ.
    • [SPARK-38990] تجنب NullPointerException عند تقييم تنسيق date_trunc/الاقتطاع كمرجع منضم.
    • تحديثات أمان نظام التشغيل.
  • 18 مايو 2022
    • إصلاح تسرب محتمل للذاكرة المضمنة في "المحمل التلقائي".
    • [SPARK-38918] يجب أن يقوم تشذيب العمود المتداخل بتصفية السمات التي لا تنتمي إلى العلاقة الحالية.
    • [SPARK-37593] قم بتقليل حجم الصفحة الافتراضية حسب LONG_ARRAY_OFFSET إذا تم استخدام G1GC و ON_HEAP.
    • [SPARK-39084] إصلاح df.rdd.isEmpty() باستخدام TaskContext لإيقاف المكرر عند إكمال المهمة.
    • [SPARK-32268] إضافة ColumnPruning في injectBloomFilter.
    • [SPARK-38974] تصفية الدالات المسجلة باسم قاعدة بيانات معين في دالات القائمة.
    • [SPARK-38931] إنشاء دليل dfs الجذر ل RocksDBFileManager مع عدد غير معروف من المفاتيح على نقطة التحقق 1.
    • تحديثات أمان نظام التشغيل.
  • 19 أبريل 2022
    • تمت ترقية Java AWS SDK من الإصدار 1.11.655 إلى 1.12.1899.
    • تم إصلاح مشكلة في المكتبات ذات نطاق دفتر الملاحظات التي لا تعمل في مهام دفق الدفعات.
    • [SPARK-38616] تعقب نص استعلام SQL في Catalyst TreeNode
    • تحديثات أمان نظام التشغيل.
  • 6 أبريل 2022
    • تتوفر الآن دوال Spark SQL التالية مع هذا الإصدار:
      • timestampadd() و dateadd(): إضافة مدة زمنية في وحدة محددة إلى تعبير طابع زمني.
      • timestampdiff() و datediff(): حساب الفرق الزمني بين تعبيرات الطابع الزمني في وحدة محددة.
    • تم ترقية Parquet-MR إلى 1.12.2
    • دعم محسن للمخططات الشاملة في ملفات parquet
    • [SPARK-38631] يستخدم التنفيذ المستند إلى Java لإلغاء التصويب في Utils.unpack.
    • [SPARK-38509][SPARK-38481] Cherry-pick ثلاثة timestmapadd/diff تغييرات.
    • [SPARK-38523] إصلاح الإشارة إلى عمود السجل التالف من CSV.
    • [SPARK-38237] السماح ClusteredDistribution لطلب مفاتيح التجميع الكاملة.
    • [SPARK-38437] تسلسل متساهل للتاريخ والوقت من مصدر البيانات.
    • [SPARK-38180] السماح بتعبيرات آمنة في دالات تقييم المساواة المترابطة.
    • [SPARK-38155] عدم السماح بتجميع مميز في الاستعلامات الفرعية الجانبية مع دالات تقييم غير معتمدة.
    • تحديثات أمان نظام التشغيل.

Databricks Runtime 9.1 LTS

راجع Databricks Runtime 9.1 LTS.

  • 10 أكتوبر 2024
    • تحديثات أمان نظام التشغيل.
  • 25 سبتمبر 2024
    • [SPARK-49000][SQL] إصلاح "select count(distinct 1) from t" حيث يكون t جدولا فارغا عن طريق توسيع RewriteDistinctAggregates
    • تحديثات أمان نظام التشغيل.
  • 6 سبتمبر 2024
    • تحديثات أمان نظام التشغيل.
  • 29 أغسطس 2024
    • [SPARK-49065][SQL] يجب أن تدعم إعادة التوجيه في التنسيقات/المحللات القديمة المناطق الزمنية الافتراضية غير JVM
  • 14 أغسطس 2024
  • 1 أغسطس 2024
    • تحديثات أمان نظام التشغيل.
  • 11 يوليو 2024
    • تحديثات أمان نظام التشغيل.
  • 17 يونيو 2024
    • تحديثات أمان نظام التشغيل.
  • 21 مايو 2024
    • [SPARK-48105][SS] إصلاح حالة السباق بين إلغاء تحميل مخزن الحالة والتقاط اللقطات
    • تحديثات أمان نظام التشغيل.
  • 9 مايو 2024
    • [SPARK-47973][CORE] سجل موقع الاتصال في SparkContext.stop() والإحدث في SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] تعيين nullable بشكل صحيح على مفتاح الصلة المدمج في صلة USING الخارجية الكاملة
    • تحديثات أمان نظام التشغيل.
  • 25 أبريل 2024
    • إصلاحات الأخطاء المتنوعة.
  • 11 أبريل 2024
    • تحديثات أمان نظام التشغيل.
  • 1 أبريل 2024
    • إرجاع "[SPARK-46861][CORE] تجنب التوقف التام في DAGScheduler"
    • تحديثات أمان نظام التشغيل.
  • 14 مارس 2024
    • تحديثات أمان نظام التشغيل.
  • 29 فبراير 2024
    • تم إصلاح مشكلة حيث قد يؤدي استخدام مجموعة محلية كمصدر في أمر MERGE إلى تقرير مقياس العملية numSourceRows إلى ضعف العدد الصحيح للصفوف.
    • تحديثات أمان نظام التشغيل.
  • 13 فبراير 2024
    • [SPARK-46861] تجنب حالة التوقف التام في DAGScheduler.
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2024
    • تحديثات أمان نظام التشغيل.
  • 25 ديسمبر 2023
    • لتجنب زيادة زمن الانتقال عند الاتصال عبر TLSv1.3، يتضمن إصدار الصيانة هذا تصحيحا لتثبيت JDK 8 لإصلاح خطأ JDK JDK-8293562.
    • [SPARK-46058] إضافة علامة منفصلة ل privateKeyPassword.
    • [SPARK-39440] إضافة تكوين لتعطيل المخطط الزمني للحدث.
    • [SPARK-46132] دعم كلمة مرور المفتاح لمفاتيح JKS ل RPC SSL.
  • 14 ديسمبر 2023
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2023
    • تثبيت حزمة جديدة، pyarrow-hotfix لمعالجة ثغرة أمنية في PyArrow RCE.
    • [SPARK-45859] كائنات UDF التي تم إنشاؤها كسولة ml.functions .
    • [SPARK-45544] دعم SSL المتكامل في TransportContext.
    • [SPARK-45730] قيود الوقت المحسنة ل ReloadingX509TrustManagerSuite.
    • تحديثات أمان نظام التشغيل.
  • 14 نوفمبر 2023
    • [SPARK-45545] SparkTransportConf يرث SSLOptions عند الإنشاء.
    • [SPARK-45429] تمت إضافة فئات المساعد لاتصال SSL RPC.
    • [SPARK-45427] تمت إضافة إعدادات RPC SSL إلى SSLOptions و SparkTransportConf.
    • [SPARK-45584] فشل تشغيل الاستعلام الفرعي الثابت باستخدام TakeOrderedAndProjectExec.
    • [SPARK-45541] تمت إضافة SSLFactory.
    • [SPARK-42205] تمت إزالة مواصل التسجيل في أحداث بدء المرحلة والمهمة.
    • تحديثات أمان نظام التشغيل.
  • 24 أكتوبر 2023
    • [SPARK-45426] دعم إضافي ل ReloadingX509TrustManager.
    • تحديثات أمان نظام التشغيل.
  • 13 أكتوبر 2023
    • تحديثات أمان نظام التشغيل.
  • 10 سبتمبر 2023
    • إصلاحات متنوعة.
  • 30 أغسطس 2023
    • تحديثات أمان نظام التشغيل.
  • 15 أغسطس 2023
    • تحديثات أمان نظام التشغيل.
  • 23 يونيو 2023
    • تمت ترقية مكتبة Snowflake-jdbc إلى 3.13.29 لمعالجة مشكلة أمنية.
    • تحديثات أمان نظام التشغيل.
  • 15 يونيو 2023
    • [SPARK-43098] إصلاح خطأ عدد التصحيحات عندما يحتوي الاستعلام الفرعي العددي على عبارة مجموعة حسب.
    • [SPARK-43156][SPARK-43098] توسيع اختبار خطأ عدد الاستعلامات الفرعية العددي مع decorrelateInnerQuery إيقاف التشغيل.
    • [SPARK-40862] دعم الاستعلامات الفرعية غير المجمعة في RewriteCorrelatedScalarSubquery.
    • تحديثات أمان نظام التشغيل.
  • 2 يونيو 2023
    • يقوم محلل JSON في failOnUnknownFields الوضع بإسقاط سجل في DROPMALFORMED الوضع ويفشل مباشرة في FAILFAST الوضع.
    • تم إصلاح مشكلة في تحليل البيانات التي تم إنقاذها من JSON لمنع UnknownFieldException.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث كانت تنسيقات الملفات المصدر المختلفة غير متناسقة عندما لا يتضمن المخطط المتوفر أقساما مستنتجة. قد تتسبب هذه المشكلة في فشل غير متوقع عند قراءة الملفات ذات الأعمدة المفقودة في مخطط القسم المستنتج.
    • [SPARK-37520] إضافة دالات startswith() السلسلة و endswith()
    • [SPARK-43413] قابلية خالية الاستعلام ListQuery الفرعي الثابتIN.
    • تحديثات أمان نظام التشغيل.
  • 17 مايو 2023
    • تحديثات أمان نظام التشغيل.
  • 25 أبريل 2023
    • تحديثات أمان نظام التشغيل.
  • 11 أبريل 2023
    • تم إصلاح مشكلة حيث يمكن أن ينتقل تطور مخطط التحميل التلقائي إلى حلقة فشل لا نهائية عند اكتشاف عمود جديد في مخطط كائن JSON متداخل.
    • [SPARK-42967] إصلاح SparkListenerTaskStart.stageAttemptId عند بدء مهمة بعد إلغاء المرحلة.
  • 29 مارس 2023
    • تحديثات أمان نظام التشغيل.
  • 14 مارس 2023
    • [SPARK-42484] رسالة خطأ محسنة ل UnsafeRowUtils.
    • إصلاحات متنوعة.
  • 28 فبراير 2023
    • يمكن للمستخدمين الآن قراءة وكتابة جداول Delta محددة تتطلب الإصدار 3 من Reader والإصدار 7 من Writer، باستخدام Databricks Runtime 9.1 LTS أو أحدث. للنجاح، يجب دعم ميزات الجدول المدرجة في بروتوكول الجداول بواسطة الإصدار الحالي من Databricks Runtime.
    • تحديثات أمان نظام التشغيل.
  • 16 فبراير 2023
    • تحديثات أمان نظام التشغيل.
  • 31 يناير 2023
    • أنواع جداول JDBC أصبحت الآن خارجية بشكل افتراضي.
  • 18 يناير 2023
    • تحديثات أمان نظام التشغيل.
  • 29 نوفمبر 2022
    • تم إصلاح مشكلة في تحليل JSON في "المحمل التلقائي" عند ترك كافة الأعمدة كسلاسل (cloudFiles.inferColumnTypes لم يتم تعيينها أو تعيينها إلى false) وتحتوي JSON على كائنات متداخلة.
    • تحديثات أمان نظام التشغيل.
  • 15 نوفمبر 2022
    • تمت ترقية نص Apache commons إلى 1.10.0.
    • تحديثات أمان نظام التشغيل.
    • إصلاحات متنوعة.
  • 1 نوفمبر 2022
    • تم إصلاح مشكلة حيث إذا كان جدول Delta يحتوي على عمود معرف من قبل المستخدم باسم _change_type، ولكن تم إيقاف تشغيل موجز بيانات التغيير على هذا الجدول، فستملأ البيانات الموجودة في هذا العمود قيم NULL بشكل غير صحيح عند تشغيل MERGE.
    • تم إصلاح مشكلة في "المحمل التلقائي" حيث يمكن تكرار ملف في نفس الدفعة الصغيرة عند allowOverwrites تمكين
    • [SPARK-40596] ملء ExecutorDecommission بالرسائل في ExecutorDecommissionInfo
    • تحديثات أمان نظام التشغيل.
  • 18 أكتوبر 2022
    • تحديثات أمان نظام التشغيل.
  • 5 أكتوبر 2022
    • إصلاحات متنوعة.
    • تحديثات أمان نظام التشغيل.
  • 22 سبتمبر 2022
    • يمكن للمستخدمين تعيين spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") لإعادة تمكين القائمة المضمنة للتحميل التلقائي على ADLS Gen2. تم إيقاف تشغيل القائمة المضمنة مسبقا بسبب مشكلات في الأداء ولكن يمكن أن تؤدي إلى زيادة تكاليف التخزين للعملاء.
    • [SPARK-40315] إضافة hashCode() ل Literal of ArrayBasedMapData
    • [SPARK-40089] إصلاح الفرز لبعض الأنواع العشرية
    • [SPARK-39887] يجب أن تحتفظ RemoveRedundantAliases بأسماء مستعارة تجعل إخراج عقد الإسقاط فريدا
  • 6 سبتمبر 2022
    • [SPARK-40235] استخدام التأمين القابل للمقاطعة بدلا من المزامنة في Executor.updateDependencies()
    • [SPARK-35542] إصلاح: لا يمكن تحميل Bucketizer الذي تم إنشاؤه لأعمدة متعددة باستخدام المعلمات splitsArray وinputCols وoutputCols بعد حفظه
    • [SPARK-40079] إضافة التحقق من صحة Imputer inputCols لحالة الإدخال الفارغة
  • 24 أغسطس 2022
    • [SPARK-39666] استخدام UnsafeProjection.create لالاحترام spark.sql.codegen.factoryMode في ExpressionEncoder
    • [SPARK-39962] تطبيق الإسقاط عندما تكون سمات المجموعة فارغة
    • تحديثات أمان نظام التشغيل.
  • 9 أغسطس 2022
    • تحديثات أمان نظام التشغيل.
  • 27 يوليو 2022
    • اجعل نتائج عملية Delta MERGE متسقة عندما يكون المصدر غير محدد.
    • [SPARK-39689] دعم حرفين lineSep في مصدر بيانات CSV
    • [SPARK-39575] تمت الإضافة ByteBuffer#rewind بعد ByteBuffer#get في AvroDeserializer.
    • [SPARK-37392] تم إصلاح خطأ الأداء لمحسن المحفز.
    • تحديثات أمان نظام التشغيل.
  • 13 يوليو 2022
    • [SPARK-39419] ArraySort يطرح استثناء عندما يقوم المقارن بإرجاع قيمة خالية.
    • إيقاف تشغيل استخدام Loader التلقائي لواجهات برمجة التطبيقات السحابية المضمنة لقائمة الدليل على Azure.
    • تحديثات أمان نظام التشغيل.
  • 5 يوليو 2022
    • تحديثات أمان نظام التشغيل.
    • إصلاحات متنوعة.
  • 15 يونيو 2022
    • [SPARK-39283] إصلاح حالة التوقف التام بين TaskMemoryManager و UnsafeExternalSorter.SpillableIterator.
  • 2 يونيو 2022
    • [SPARK-34554] copy() تنفيذ الأسلوب في ColumnarMap.
    • تحديثات أمان نظام التشغيل.
  • 18 مايو 2022
    • تم إصلاح تسرب محتمل للذاكرة المضمنة في "المحمل التلقائي".
    • ترقية إصدار AWS SDK من 1.11.655 إلى 1.11.678.
    • [SPARK-38918] يجب أن يؤدي تشذيب الأعمدة المتداخلة إلى تصفية السمات التي لا تنتمي إلى العلاقة الحالية
    • [SPARK-39084] الإصلاح df.rdd.isEmpty() باستخدام TaskContext لإيقاف المكرر عند إكمال المهمة
    • تحديثات أمان نظام التشغيل.
  • 19 أبريل 2022
    • تحديثات أمان نظام التشغيل.
    • إصلاحات متنوعة.
  • 6 أبريل 2022
    • [SPARK-38631] يستخدم التنفيذ المستند إلى Java لإلغاء التصويب في Utils.unpack.
    • تحديثات أمان نظام التشغيل.
  • 22 مارس 2022
    • تغيير دليل العمل الحالي لدفاتر الملاحظات على مجموعات التزامن العالي مع تمكين التحكم في الوصول إلى الجدول أو تمرير بيانات الاعتماد إلى الدليل الرئيسي للمستخدم. في السابق، كان /databricks/driverالدليل النشط .
    • [SPARK-38437] تسلسل متساهل للتاريخ والوقت من مصدر البيانات
    • [SPARK-38180] السماح بتعبيرات آمنة في دالات تقييم المساواة المترابطة
    • [SPARK-38155] عدم السماح بتجميع مميز في الاستعلامات الفرعية الجانبية مع دالات تقييم غير معتمدة
    • [SPARK-27442] تمت إزالة حقل فحص عند قراءة البيانات أو كتابتها في parquet.
  • 14 مارس 2022
    • [SPARK-38236] يتم التعامل مع مسارات الملفات المطلقة المحددة في جدول الإنشاء/التغيير على أنها نسبية
    • [SPARK-34069] مقاطعة مؤشر ترابط المهمة إذا تم تعيين الخاصية SPARK_JOB_INTERRUPT_ON_CANCEL المحلية إلى true.
  • 23 فبراير 2022
    • [SPARK-37859] جداول SQL التي تم إنشاؤها باستخدام JDBC مع Spark 3.1 غير قابلة للقراءة باستخدام Spark 3.2.
  • 8 فبراير 2022
    • [SPARK-27442] تمت إزالة حقل فحص عند قراءة البيانات أو كتابتها في parquet.
    • تحديثات أمان نظام التشغيل.
  • 1 فبراير 2022
    • تحديثات أمان نظام التشغيل.
  • 26 يناير 2022
    • تم إصلاح مشكلة حيث يمكن تثبيت المعاملات المتزامنة على جداول Delta بترتيب غير قابل للتسلسل في ظل ظروف نادرة معينة.
    • تم إصلاح مشكلة حيث OPTIMIZE قد يفشل الأمر عند تمكين لهجة ANSI SQL.
  • 19 يناير 2022
    • إصلاحات طفيفة وتحسينات أمنية.
    • تحديثات أمان نظام التشغيل.
  • 4 نوفمبر 2021
    • تم إصلاح مشكلة قد تتسبب في فشل تدفقات الدفق المنظم باستخدام ArrayIndexOutOfBoundsException.
    • تم إصلاح حالة تعارض قد تتسبب في فشل استعلام باستخدام IOException مثل java.io.IOException: No FileSystem for scheme أو قد يتسبب في عدم سريان التعديلات sparkContext.hadoopConfiguration في الاستعلامات.
    • تمت ترقية موصل Apache Spark لمشاركة دلتا إلى 0.2.0.
  • 20 أكتوبر 2021
    • تمت ترقية موصل BigQuery من 0.18.1 إلى 0.22.2. يضيف هذا دعما لنوع BigNumeric.