Databricks Runtime 12.2 LTS
توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 12.2 LTS، مدعوما ب Apache Spark 3.3.2.
أصدرت Databricks هذه الصور في مارس 2023.
ميزات وتحسينات جديدة
- يدعم تطور مخطط Delta Lake تحديد أعمدة المصدر في عبارات الدمج
- يتم دعم أحمال عمل الدفق المنظم على أنظمة المجموعات ذات وضع الوصول المشترك
- ميزات جديدة للإداء/إخراج التنبؤ
- دعم الاسم المستعار للعمود الجانبي الضمني
- ميزة forEachBatch جديدة
- خيارات الاتصال القياسية لاتحاد الاستعلامات
- مكتبة وظائف SQL الموسعة لإدارة الصفيف
- دالة قناع جديد لتسمية السلاسل مجهولة
- ترجع حالات الخطأ الشائعة الآن SQLSTATEs
- استدعاء دالات المولد في عبارة FROM
- يتوفر دعم المخازن المؤقتة للبروتوكول بشكل عام
- إصلاح الأخطاء
يدعم تطور مخطط Delta Lake تحديد أعمدة المصدر في عبارات الدمج
يمكنك الآن تحديد الأعمدة الموجودة فقط في الجدول المصدر في إجراءات الإدراج أو التحديث لعبارات الدمج عند تمكين تطور المخطط. في Databricks Runtime 12.1 والإصدارات أدناه، يمكن استخدام الإجراءات أو UPDATE SET *
فقط INSERT *
لتطور المخطط مع الدمج. راجع تطور المخطط التلقائي لدمج Delta Lake.
يتم دعم أحمال عمل الدفق المنظم على أنظمة المجموعات ذات وضع الوصول المشترك
يمكنك الآن استخدام Structured Streaming للتفاعل مع كتالوج Unity على المجموعات المشتركة. تنطبق بعض القيود. راجع ما هي وظيفة Structured Streaming التي يدعمها كتالوج Unity؟.
ميزات جديدة للإداء/إخراج التنبؤ
يتوفر الآن دعم الفوتون لمتلقي Foreachbatch. يمكن الآن أن تستفيد أحمال العمل التي تتدفق من مصدر وتدمج في Delta Tables أو تكتب إلى متلقيات متعددة من متلقي Foreachbatch الفوتونية.
دعم الاسم المستعار للعمود الجانبي الضمني
يدعم Azure Databricks الآن الاسم المستعار للعمود الجانبي الضمني بشكل افتراضي. يمكنك الآن إعادة استخدام تعبير محدد مسبقا في نفس SELECT
القائمة. على سبيل المثال، بالنظر SELECT 1 AS a
إلى ، a + 1 AS b
يمكن حل في a + 1
a
كما هو محدد 1 AS a
مسبقا . تحقق من تحليل الاسم للحصول على مزيد من التفاصيل بترتيب الدقة.
لإيقاف تشغيل هذه الميزة، يمكنك تعيين spark.sql.lateralColumnAlias.enableImplicitResolution
إلى false
.
ميزة forEachBatch جديدة
يتم الآن دعم الفوتون عند استخدام foreachBatch
للكتابة إلى متلقي بيانات.
خيارات الاتصال القياسية لاتحاد الاستعلامات
يمكنك الآن استخدام مجموعة موحدة من الخيارات (المضيف والمنفذ وقاعدة البيانات والمستخدم وكلمة المرور) للاتصال بمصادر البيانات المدعومة في Query Federation. Port
اختياري ويستخدم رقم المنفذ الافتراضي لكل مصدر بيانات، ما لم يتم تحديده.
مكتبة وظائف SQL الموسعة لإدارة الصفيف
يمكنك الآن إزالة كافة العناصر NULL من صفيف باستخدام array_compact. لإلحاق العناصر بصفيف، استخدم array_append.
دالة قناع جديد لتسمية السلاسل مجهولة
استدعاء دالة القناع لإخفاء قيم السلسلة الحساسة.
ترجع حالات الخطأ الشائعة الآن SQLSTATEs
تتضمن معظم حالات الخطأ التي يتضمنها وقت تشغيل Databricks الآن قيم SQLSTATE الموثقة التي يمكن استخدامها لاختبار الأخطاء بطريقة متوافقة مع معيار SQL.
استدعاء دالات المولد في عبارة FROM
يمكنك الآن استدعاء دالات المولد ذات القيمة الجدولية مثل تنفجر في العبارة العادية FROM
للاستعلام. يعمل هذا على محاذاة استدعاء دالة المولد مع دالات الجدول المضمنة والمعرفة من قبل المستخدم.
يتوفر دعم المخازن المؤقتة للبروتوكول بشكل عام
يمكنك استخدام from_protobuf
الدالتين و to_protobuf
لتبادل البيانات بين أنواع ثنائية وبنية. راجع قراءة وكتابة المخازن المؤقتة للبروتوكول.
إصلاح الأخطاء
- تناسق محسن لسلوك تثبيت Delta للمعاملات الفارغة المتعلقة
update
delete
بالأوامر و وmerge
. فيWriteSerializable
مستوى العزل، تنشئ الأوامر التي لا تؤدي إلى أي تغييرات الآن تثبيتا فارغا.Serializable
في مستوى العزل، لا تنشئ هذه المعاملات الفارغة الآن تثبيتا.
تغييرات السلوك
يتغير السلوك باستخدام ميزة الاسم المستعار للعمود الجانبي الجديد
تقدم ميزة الاسم المستعار للعمود الجانبي الجديد تغييرات سلوك للحالات التالية أثناء تحليل الاسم:
- الاسم المستعار للعمود الجانبي الآن له الأسبقية على المراجع المرتبطة بنفس الاسم. على سبيل المثال، بالنسبة لهذا الاستعلام
SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)
،c1
تم حل في الداخلc1 AS c2
إلى المرجعt.c1
المترابط ، ولكن الآن يتغير إلى الاسم المستعار1 AS c1
للعمود الجانبي . يقوم الاستعلام الآن بإرجاعNULL
. - الاسم المستعار للعمود الجانبي الآن له الأسبقية على معلمات الدالة بنفس الاسم. على سبيل المثال، بالنسبة للدالة ،
CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x
،x
تم حل في نص الدالة إلى معلمة الدالة x، ولكن يتغير إلى الاسم المستعارx + 1
للعمود الجانبي في نص الدالة. الاستعلام،SELECT * FROM func(1)
يقوم الآن بإرجاع2, 2
. - لإيقاف تشغيل ميزة الاسم المستعار للعمود الجانبي، قم بتعيين
spark.sql.lateralColumnAlias.enableImplicitResolution
إلىfalse
. لمزيد من المعلومات، راجع تحليل الاسم.
ترقيات المكتبة
- مكتبات Python التي تمت ترقيتها:
- filelock من 3.8.2 إلى 3.9.0
- joblib من 1.1.0 إلى 1.1.1
- المنصات من 2.6.0 إلى 2.6.2
- whatthepatch من 1.0.3 إلى 1.0.4
- مكتبات R التي تمت ترقيتها:
- فئة من 7.3-20 إلى 7.3-21
- قوالب التعليمات البرمجية من 0.2-18 إلى 0.2-19
- كتلة من 7.3-58 إلى 7.3-58.2
- nlme من 3.1-160 إلى 3.1-162
- Rserve من 1.8-11 إلى 1.8-12
- SparkR من 3.3.1 إلى 3.3.2
تغييرات السلوك
- يطلب من المستخدمين الآن الحصول
SELECT
على امتيازات وMODIFY
على أي ملف عند إنشاء مخطط مع موقع محدد.
Apache Spark
يتضمن Databricks Runtime 12.2 Apache Spark 3.3.2. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 12.1 (غير مدعوم)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:
- [SPARK-42416] [SC-123205] [SC-122851] [SQL] يجب ألا تحل عمليات Dateset الخطة المنطقية التي تم تحليلها مرة أخرى
- [SPARK-41848] إرجاع "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] إصلاح المهمة المجدولة جدولا زائدا باستخدام TaskResourceProfile"
- [SPARK-42162] [SC-122711] [ES-556261] تقديم تعبير MultiCommutativeOp كتكبير ذاكرة لتشفير الأشجار الكبيرة من التعبيرات المتنقلة
- [SPARK-42406] [SC-122998] [PROTOBUF] [Cherry-pick] إصلاح إعداد العمق المتكرر لوظائف Protobuf
- [SPARK-42002] [SC-122476] [CONNECT] [PYTHON] تنفيذ DataFrameWriterV2
- [SPARK-41716] [SC-122545] [CONNECT] إعادة تسمية _catalog_to_pandas إلى _execute_and_fetch في الكتالوج
- [SPARK-41490] [SC-121774] [SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2441
- [SPARK-41600] [SC-122538] [SPARK-41623] [SPARK-41612] [CONNECT] تنفيذ Catalog.cacheTable وisCached و uncache
- [SPARK-42191] [SC-121990] [SQL] دعم udf 'luhn_check'
- [SPARK-42253] [SC-121976] [PYTHON] إضافة اختبار للكشف عن فئة الخطأ المكررة
- [SPARK-42268] [SC-122251] [CONNECT] [PYTHON] إضافة UserDefinedType في protos
- [SPARK-42231] [SC-121841] [SQL] تحويل
MISSING_STATIC_PARTITION_COLUMN
إلىinternalError
- [SPARK-42136] [SC-122554] إعادة بناء التعليمات البرمجية لحساب تقسيم إخراج BroadcastHashJoinExec
- [SPARK-42158] [SC-121610] [SQL] التكامل
_LEGACY_ERROR_TEMP_1003
فيFIELD_NOT_FOUND
- [SPARK-42192] [12.x] [SC-121820] [PYTHON] ترحيل TypeError من pyspark/sql/dataframe.py إلى PySparkTypeError
- [SPARK-35240] إرجاع "[SC-118242][SS] استخدام CheckpointFileManager ...
- [SPARK-41488] [SC-121858] [SQL] تعيين الاسم إلى _LEGACY_ERROR_TEMP_1176 (و1177)
- [SPARK-42232] [SC-122267] [SQL] إعادة تسمية فئة الخطأ:
UNSUPPORTED_FEATURE.JDBC_TRANSACTION
- [SPARK-42346] [SC-122480] [SQL] إعادة كتابة التجميعات المميزة بعد دمج الاستعلام الفرعي
- [SPARK-42306] [SC-122539] [SQL] التكامل
_LEGACY_ERROR_TEMP_1317
فيUNRESOLVED_COLUMN.WITH_SUGGESTION
- [SPARK-42234] [SC-122354] [SQL] إعادة تسمية فئة الخطأ:
UNSUPPORTED_FEATURE.REPEATED_PIVOT
- [SPARK-42343] [SC-122437] [CORE] تجاهل
IOException
ماhandleBlockRemovalFailure
إذا تم إيقاف SparkContext - [SPARK-41295] [SC-122442] [SPARK-41296] [SQL] إعادة تسمية فئات الخطأ
- [SPARK-42320] [SC-122478] [SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2188
- [SPARK-42255] [SC-122483] [SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2430
- [SPARK-42156] [SC-121851] [CONNECT] يدعم Spark الاتصال Client نهج إعادة المحاولة الآن
- [SPARK-38728] [SC-116723] [SQL] اختبار فئة الخطأ: FAILED_RENAME_PATH
- [SPARK-40005] [12.X] أمثلة مضمنة ذاتيا في PySpark
- [SPARK-39347] [SC-122457] [SS] إصلاح الأخطاء لحساب النافذة الزمنية عند وقت < الحدث 0
- [SPARK-42336] [SC-122458] [CORE] استخدم
getOrElse()
بدلا منcontains()
في ResourceAllocator - [SPARK-42125] [SC-121827] [CONNECT] [PYTHON] Pandas UDF في Spark الاتصال
- [SPARK-42217] [SC-122263] [SQL] دعم الاسم المستعار للعمود الجانبي الضمني في الاستعلامات باستخدام النافذة
- [SPARK-35240] [SC-118242] [SS] استخدام CheckpointFileManager للمعالجة في ملف نقطة التحقق
- [SPARK-42294] [SC-122337] [SQL] تضمين القيم الافتراضية للعمود في إخراج وصف لجداول V2
- [SPARK-41979] إرجاع "Revert "[12.x][SC-121190][SQL] إضافة نقاط مفقودة لرسائل الخطأ في فئات الخطأ."
- [SPARK-42286] [SC-122336] [SQL] الرجوع إلى مسار التعليمات البرمجية للتعليمات البرمجية السابق ل expr المعقد مع CAST
- [SPARK-42275] [SC-122249] [CONNECT] [PYTHON] تجنب استخدام القائمة المضمنة، الإملاء في الكتابة الثابتة
- [SPARK-41985] [SC-122172] [SQL] مركزية المزيد من قواعد تحليل الأعمدة
- [SPARK-42126] [SC-122330] [PYTHON] [CONNECT] قبول نوع المرجع في سلاسل DDL ل Python Scalar UDFs في Spark الاتصال
- [SPARK-42197] [SC-122328] [SC-121514] [CONNECT] إعادة استخدام تهيئة JVM، ومجموعات تكوين منفصلة لتعيينها في الوضع المحلي البعيد
- [SPARK-41575] [SC-120118] [SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2054
- [SPARK-41985] إرجاع "[SC-122172][SQL] مركزية المزيد من قواعد تحليل الأعمدة"
- [SPARK-42123] [SC-122234] [SC-121453] [SQL] تضمين القيم الافتراضية للعمود في وصف وإخراج SHOW CREATE TABLE
- [SPARK-41985] [SC-122172] [SQL] مركزية المزيد من قواعد تحليل الأعمدة
- [SPARK-42284] [SC-122233] [CONNECT] تأكد من إنشاء تجميع خادم الاتصال قبل تشغيل اختبارات العميل - SBT
- [SPARK-42239] [SC-121790] [SQL] ادماج
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
- [SPARK-42278] [SC-122170] [SQL] تدعم DS V2 pushdown لهجات JDBC التي يتم تجميعها
SortOrder
بنفسها - [SPARK-42259] [SC-122168] [SQL] يجب أن تهتم ResolveGroupingAnalytics ب Python UDAF
- [SPARK-41979] إرجاع "[12.x][SC-121190][SQL] إضافة نقاط مفقودة لرسائل الخطأ في فئات الخطأ."
- [SPARK-42224] [12.x] [SC-121708] [CONNECT] ترحيل TypeError إلى إطار عمل خطأ لوظائف Spark الاتصال
- [SPARK-41712] [12.x] [SC-121189] [PYTHON] [CONNECT] ترحيل أخطاء الاتصال Spark إلى إطار عمل خطأ PySpark.
- [SPARK-42119] [SC-121913] [SC-121342] [SQL] إضافة دالات مضمنة ذات قيمة جدولية مضمنة inline_outer
- [SPARK-41489] [SC-121713] [SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2415
- [SPARK-42082] [12.x] [SC-121163] [SPARK-41598] [PYTHON] [CONNECT] تقديم PySparkValueError وPySparkTypeError
- [SPARK-42081] [SC-121723] [SQL] تحسين التحقق من صحة تغيير الخطة
- [SPARK-42225] [12.x] [SC-121714] [CONNECT] أضف Spark الاتصال IllegalArgumentException للتعامل مع خطأ Spark الاتصال بدقة.
- [SPARK-42044] [12.x] [SC-121280] [SQL] إصلاح رسالة خطأ غير صحيحة ل
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
- [SPARK-42194] [12.x] [SC-121712] [PS] السماح بمعلمة الأعمدة عند إنشاء DataFrame باستخدام Series.
- [SPARK-42078] [12.x] [SC-120761] [PYTHON] ترحيل الأخطاء التي طرحها JVM إلى PySparkException.
- [SPARK-42133] [12.x] [SC-121250] إضافة أساليب واجهة برمجة تطبيقات مجموعة البيانات الأساسية إلى Spark الاتصال Scala Client
- [SPARK-41979] [12.x] [SC-121190] [SQL] إضافة نقاط مفقودة لرسائل الخطأ في فئات الخطأ.
- [SPARK-42124] [12.x] [SC-121420] [PYTHON] [CONNECT] Python UDF المضمنة العددية في Spark الاتصال
- [SPARK-42051] [SC-121994] [SQL] دعم Codegen ل HiveGenericUDF
- [SPARK-42257] [SC-121948] [CORE] إزالة فارز خارجي متغير غير مستخدم
- [SPARK-41735] [SC-121771] [SQL] استخدام الحد الأدنى بدلا من STANDARD ل SparkListenerSQLExecutionEnd
- [SPARK-42236] [SC-121882] [SQL] تحسين
NULLABLE_ARRAY_OR_MAP_ELEMENT
- [SPARK-42233] [SC-121775] [SQL] تحسين رسالة الخطأ ل
PIVOT_AFTER_GROUP_BY
- [SPARK-42229] [SC-121856] [CORE]
SparkCoreErrors
الترحيل إلى فئات الخطأ - [SPARK-42163] [SC-121839] [SQL] إصلاح تشذيب المخطط لمفتاح المخطط أو فهرس الصفيف غير القابل للطي
- [SPARK-40711] [SC-119990] [SQL] إضافة مقاييس حجم الانسكاب للنافذة
- [SPARK-42023] [SC-121847] [SPARK-42024] [CONNECT] [PYTHON] جعل
createDataFrame
الدعمAtomicType -> StringType
الإكراه - [SPARK-42202] [SC-121837] [الاتصال][اختبار] تحسين منطق إيقاف خادم اختبار E2E
- [SPARK-41167] [SC-117425] [SQL] تحسين أداء متعدد مثل إنشاء دالة تقييم شجرة تعبير متوازنة
- [SPARK-41931] [SC-121618] [SQL] رسالة خطأ أفضل لتعريف النوع المعقد غير المكتمل
- [SPARK-36124] [SC-121339] [SC-110446] [SQL] دعم الاستعلامات الفرعية ذات الارتباط من خلال UNION
- [SPARK-42090] [SC-121290] [3.3] تقديم عدد إعادة محاولة sasl في RetryingBlockTransferor
- [SPARK-42157] [SC-121264] [CORE]
spark.scheduler.mode=FAIR
يجب توفير جدولة FAIR - [SPARK-41572] [SC-120772] [SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2149
- [SPARK-41983] [SC-121224] [SQL] إعادة تسمية رسالة الخطأ وتحسينها
NULL_COMPARISON_RESULT
- [SPARK-41976] [SC-121024] [SQL] تحسين رسالة الخطأ ل
INDEX_NOT_FOUND
- [SPARK-41994] [SC-121210] [SC-120573] تعيين SQLSTATE (1/2)
- [SPARK-41415] [SC-121117] [3.3] إعادة محاولة طلب SASL
- [SPARK-38591] [SC-121018] [SQL] إضافة flatMapSortedGroups و cogroupSorted
- [SPARK-41975] [SC-120767] [SQL] تحسين رسالة الخطأ ل
INDEX_ALREADY_EXISTS
- [SPARK-42056] [SC-121158] [SQL] [PROTOBUF] إضافة خيارات مفقودة لوظائف Protobuf
- [SPARK-41984] [SC-120769] [SQL] إعادة تسمية رسالة الخطأ وتحسينها
RESET_PERMISSION_TO_ORIGINAL
- [SPARK-41948] [SC-121196] [SQL] إصلاح NPE لفئات الخطأ: CANNOT_PARSE_JSON_FIELD
- [SPARK-41772] [SC-121176] [CONNECT] [PYTHON] إصلاح اسم العمود غير الصحيح في
withField
's doctest' - [SPARK-41283] [SC-121175] [CONNECT] [PYTHON] إضافة
array_append
إلى الاتصال - [SPARK-41960] [SC-120773] [SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_1056
- [SPARK-42134] [SC-121116] [SQL] إصلاح getPartitionFiltersAndDataFilters() لمعالجة عوامل التصفية دون سمات مرجعية
- [SPARK-42096] [SC-121012] [CONNECT] بعض تنظيف التعليمات البرمجية للوحدة النمطية
connect
- [SPARK-42099] [SC-121114] [SPARK-41845] [CONNECT] [PYTHON] إصلاح و
count(*)
count(col(*))
- [SPARK-42045] [SC-120958] [SC-120450] [SQL] وضع ANSI SQL: يجب أن ترجع Round/Bround خطأ في تجاوز العدد الصحيح
- [SPARK-42043] [SC-120968] [CONNECT] نتيجة عميل Scala مع اختبارات E2E
- [SPARK-41884] [SC-121022] [CONNECT] دعم مجموعة ساذجة كصف متداخل
- [SPARK-42112] [SC-121011] [SQL] [SS] إضافة فحص فارغ قبل
ContinuousWriteRDD#compute
إغلاق الدالةdataWriter
- [SPARK-42077] [SC-120553] [CONNECT] [PYTHON] يجب أن تطرح القيمة الحرفية TypeError ل DataType غير المدعوم
- [SPARK-42108] [SC-120898] [SQL] تحويل محلل
Count(*)
إلىCount(1)
- [SPARK-41666] [SC-120928] [SC-119009] [PYTHON] دعم SQL ذات المعلمات بواسطة
sql()
- [SPARK-40599] [SC-120930] [SQL] استرخاء نوع قاعدة MultiTransform للسماح للبدائل بأن تكون أي أنواع من Seq
- [SPARK-41574] [SC-120771] [SQL] تحديث
_LEGACY_ERROR_TEMP_2009
كINTERNAL_ERROR
. - [SPARK-41579] [SC-120770] [SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_1249
- [SPARK-41974] [SC-120766] [SQL] تحويل
INCORRECT_END_OFFSET
إلىINTERNAL_ERROR
- [SPARK-41530] [SC-120916] [SC-118513] [CORE] إعادة تسمية MedianHeap إلى PercentileMap ودعم القيمة المئوية
- [SPARK-41757] [SC-120608] [SPARK-41901] [CONNECT] إصلاح تمثيل السلسلة لفئة العمود
- [SPARK-42084] [SC-120775] [SQL] تجنب تسريب تقييد الوصول المؤهل فقط
- [SPARK-41973] [SC-120765] [SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_1311
- [SPARK-42039] [SC-120655] [SQL] SPJ: إزالة الخيار في KeyGroupedPartitioning#partitionValuesOpt
- [SPARK-42079] [SC-120712] [CONNECT] [PYTHON] إعادة تسمية رسائل proto ل
toDF
وwithColumnsRenamed
- [SPARK-42089] [SC-120605] [CONNECT] [PYTHON] إصلاح مشكلات اسم المتغير في وظائف lambda المتداخلة
- [SPARK-41982] [SC-120604] [SQL] يجب عدم التعامل مع أقسام سلسلة النوع على أنها أنواع رقمية
- [SPARK-40599] [SC-120620] [SQL] إضافة أساليب MultiTransform إلى TreeNode لإنشاء بدائل
- [SPARK-42085] [SC-120556] [CONNECT] [PYTHON] جعل
from_arrow_schema
أنواع الدعم متداخلة - [SPARK-42057] [SC-120507] [SQL] [PROTOBUF] إصلاح كيفية معالجة الاستثناء في الإبلاغ عن الأخطاء.
- [SPARK-41586] [12.x] [جميع الاختبارات] [SC-120544] [PYTHON] تقديم
pyspark.errors
فئات الخطأ و ل PySpark. - [SPARK-41903] [SC-120543] [CONNECT] [PYTHON]
Literal
يجب أن يدعم ndarray 1-dim - [SPARK-42021] [SC-120584] [CONNECT] [PYTHON] تقديم
createDataFrame
الدعمarray.array
- [SPARK-41896] [SC-120506] [SQL] ترجع التصفية حسب فهرس الصف نتائج فارغة
- [SPARK-41162] [SC-119742] [SQL] إصلاح الصلة المضادة وشبه المنضمة ذاتيا باستخدام التجميعات
- [SPARK-41961] [SC-120501] [SQL] دعم الدالات ذات القيمة الجدولية باستخدام الدالة LATERAL
- [SPARK-41752] [SC-120550] [SQL] [واجهة المستخدم] تجميع عمليات التنفيذ المتداخلة ضمن التنفيذ الجذر
- [SPARK-42047] [SC-120586] [SPARK-41900] [CONNECT] [PYTHON] [12.X] يجب أن تدعم القيمة الحرفية أنواع بيانات Numpy
- [SPARK-42028] [SC-120344] [CONNECT] [PYTHON] اقتطاع الطوابع الزمنية للنانو ثانية
- [SPARK-42011] [SC-120534] [CONNECT] [PYTHON] تنفيذ DataFrameReader.csv
- [SPARK-41990] [SC-120532] [SQL] استخدام
FieldReference.column
بدلا منapply
تحويل عامل تصفية V1 إلى V2 - [SPARK-39217] [SC-120446] [SQL] يجعل دعم DPP جانب التقليم يحتوي على Union
- [SPARK-42076] [SC-120551] [CONNECT] [PYTHON] تحويل
arrow -> rows
بيانات العامل إلىconversion.py
- [SPARK-42074] [SC-120540] [SQL] تمكين
KryoSerializer
فيTPCDSQueryBenchmark
لفرض تسجيل فئة SQL - [SPARK-42012] [SC-120517] [CONNECT] [PYTHON] تنفيذ DataFrameReader.orc
- [SPARK-41832] [SC-120513] [CONNECT] [PYTHON] إصلاح
DataFrame.unionByName
، وإضافة allow_missing_columns - [SPARK-38651] [SC-120514] [SQL] اضافه
spark.sql.legacy.allowEmptySchemaWrite
- [SPARK-41991] [SC-120406] [SQL]
CheckOverflowInTableInsert
يجب أن يقبل ExpressionProxy ك تابع - [SPARK-41232] [SC-120073] [SQL] [PYTHON] إضافة دالة array_append
- [SPARK-42041] [SC-120512] [SPARK-42013] [CONNECT] [PYTHON] يجب أن يدعم DataFrameReader قائمة المسارات
- [SPARK-42071] [SC-120533] [CORE] التسجيل
scala.math.Ordering$Reverse
في KyroSerializer - [SPARK-41986] [SC-120429] [SQL] تقديم التبديل العشوائي على SinglePartition
- [SPARK-42016] [SC-120428] [CONNECT] [PYTHON] تمكين الاختبارات المتعلقة بالعمود المتداخل
- [SPARK-42042] [SC-120427] [CONNECT] [PYTHON]
DataFrameReader
يجب أن يدعم مخطط StructType - [SPARK-42031] [SC-120389] [CORE] [SQL] تنظيف
remove
الأساليب التي لا تحتاج إلى تجاوز - [SPARK-41746] [SC-120463] [SPARK-41838] [SPARK-41837] [SPARK-41835] [SPARK-41836] [SPARK-41847] [CONNECT] [PYTHON] جعل
createDataFrame(rows/lists/tuples/dicts)
أنواع الدعم متداخلة - [SPARK-41437] [SC-117601] [SQL] [جميع الاختبارات] عدم تحسين استعلام الإدخال مرتين للكتابة الاحتياطية v1
- [SPARK-41840] [SC-119719] [CONNECT] [PYTHON] إضافة الاسم المستعار المفقود
groupby
- [SPARK-41846] [SC-119717] [CONNECT] [PYTHON] تمكين doctests لوظائف النافذة
- [SPARK-41914] [SC-120094] [SQL] يجسد FileFormatWriter خطة AQE قبل الوصول إلى outputOrdering
- [SPARK-41805] [SC-119992] [SQL] إعادة استخدام التعبيرات في WindowSpecDefinition
- [SPARK-41977] [SC-120269] [SPARK-41978] [CONNECT] SparkSession.range لاتخاذ عائم كوسيطات
- [SPARK-42029] [SC-120336] [CONNECT] إضافة قواعد تظليل Guava لتجنب
connect-common
فشل بدء التشغيل - [SPARK-41989] [SC-120334] [PYTHON] تجنب قطع تكوين التسجيل من pyspark.pandas
- [SPARK-42003] [SC-120331] [SQL] تقليل التعليمات البرمجية المكررة في ResolveGroupByAll
- [SPARK-41635] [SC-120313] [SQL] إصلاح المجموعة حسب كافة تقارير الأخطاء
- [SPARK-41047] [SC-120291] [SQL] تحسين المستندات للجولة
- [SPARK-41822] [SC-120122] [CONNECT] إعداد اتصال gRPC لعميل Scala/JVM
- [SPARK-41879] [SC-120264] [CONNECT] [PYTHON] جعل
DataFrame.collect
أنواع الدعم متداخلة - [SPARK-41887] [SC-120268] [CONNECT] [PYTHON] جعل
DataFrame.hint
معلمة قبول القائمة مكتوبة - [SPARK-41964] [SC-120210] [CONNECT] [PYTHON] إضافة قائمة دالات الإدخال/الإخراج غير المدعومة
- [SPARK-41595] [SC-120097] [SQL] دعم تشغيل/explode_outer دالة المولد في عبارة FROM
- [SPARK-41957] [SC-120121] [CONNECT] [PYTHON] تمكين doctest ل
DataFrame.hint
- [SPARK-41886] [SC-120141] [CONNECT] [PYTHON]
DataFrame.intersect
إخراج doctest له ترتيب مختلف - [SPARK-41442] [SC-117795] [SQL] [جميع الاختبارات] تحديث قيمة SQLMetric فقط إذا تم الدمج مع مقياس صالح
- [SPARK-41944] [SC-120046] [CONNECT] تمرير التكوينات عند تشغيل الوضع البعيد المحلي
- [SPARK-41708] [SC-119838] [SQL] سحب معلومات v1write إلى
WriteFiles
- [SPARK-41780] [SC-120000] [SQL] يجب أن رمي INVALID_PARAMETER_VALUE. PATTERN عندما تكون المعلمات
regexp
غير صالحة - [SPARK-41889] [SC-119975] [SQL] إرفاق السبب الجذري بفئات الخطأ invalidPatternError وإعادة بناء التعليمات البرمجية INVALID_PARAMETER_VALUE
- [SPARK-41860] [SC-120028] [SQL] إنشاء فئات حالة AvroScanBuilder وJsonScanBuilder
- [SPARK-41945] [SC-120010] [CONNECT] [PYTHON] Python: توصيل بيانات العمود المفقودة للعميل باستخدام pyarrow. Table.to_pylist
- [SPARK-41690] [SC-119102] [SC-119087] [SQL] [CONNECT] مرمزات غير محددة
- [SPARK-41354] [SC-119995] [CONNECT] [PYTHON] تنفيذ RepartitionByExpression
- [SPARK-41581] [SC-119997] [SQL] تحديث
_LEGACY_ERROR_TEMP_1230
كINTERNAL_ERROR
- [SPARK-41928] [SC-119972] [CONNECT] [PYTHON] إضافة القائمة غير المدعومة ل
functions
- [SPARK-41933] [SC-119980] [CONNECT] توفير الوضع المحلي الذي يبدأ تشغيل الخادم تلقائيا
- [SPARK-41899] [SC-119971] [CONNECT] [PYTHON] createDataFrame' يجب أن يحترم مخطط DDL المقدم من المستخدم
- [SPARK-41936] [SC-119978] [CONNECT] [PYTHON] جعل
withMetadata
إعادة استخدام protowithColumns
- [SPARK-41898] [SC-119931] [CONNECT] [PYTHON] Window.rowsBetween, Window.rangeBetween parameters typecheck parity with pyspark
- [SPARK-41939] [SC-119977] [CONNECT] [PYTHON] إضافة القائمة غير المدعومة للدالات
catalog
- [SPARK-41924] [SC-119946] [CONNECT] [PYTHON] جعل بيانات تعريف دعم StructType وتنفيذها
DataFrame.withMetadata
- [SPARK-41934] [SC-119967] [CONNECT] [PYTHON] إضافة قائمة الدالات غير المدعومة ل
session
- [SPARK-41875] [SC-119969] [CONNECT] [PYTHON] إضافة حالات اختبار ل
Dataset.to()
- [SPARK-41824] [SC-119970] [CONNECT] [PYTHON] Ingore doctest لشرح الاتصال
- [SPARK-41880] [SC-119959] [CONNECT] [PYTHON] جعل الدالة
from_json
تقبل مخططا غير حرفي - [SPARK-41927] [SC-119952] [CONNECT] [PYTHON] إضافة القائمة غير المدعومة ل
GroupedData
- [SPARK-41929] [SC-119949] [CONNECT] [PYTHON] إضافة دالة
array_compact
- [SPARK-41827] [SC-119841] [CONNECT] [PYTHON] جعل
GroupBy
قائمة أعمدة القبول - [SPARK-41925] [SC-119905] [SQL] تمكين
spark.sql.orc.enableNestedColumnVectorizedReader
بشكل افتراضي - [SPARK-41831] [SC-119853] [CONNECT] [PYTHON] جعل
DataFrame.select
قائمة أعمدة القبول - [SPARK-41455] [SC-119858] [CONNECT] [PYTHON] تجاهل
DataFrame.collect
معلومات المنطقة الزمنية - [SPARK-41923] [SC-119861] [CONNECT] [PYTHON] إضافة
DataFrame.writeTo
إلى القائمة غير المدعومة - [SPARK-41912] [SC-119837] [SQL] يجب ألا يتحقق الاستعلام الفرعي من صحة CTE
- [SPARK-41828] [SC-119832] [CONNECT] [PYTHON] [12.X] جعل
createDataFrame
إطار بيانات الدعم فارغا - [SPARK-41905] [SC-119848] [CONNECT] دعم الاسم كسلاسل في الشريحة
- [SPARK-41869] [SC-119845] [CONNECT] رفض سلسلة مفردة في dropDuplicates
- [SPARK-41830] [SC-119840] [CONNECT] [PYTHON] جعل
DataFrame.sample
قبول نفس المعلمات مثل PySpark - [SPARK-41849] [SC-119835] [CONNECT] تنفيذ DataFrameReader.text
- [SPARK-41861] [SC-119834] [SQL] إجراء v2 ScanBuilders' build() return typed scan
- [SPARK-41825] [SC-119710] [CONNECT] [PYTHON] تمكين doctests المتعلقة ب
DataFrame.show
- [SPARK-41855] [SC-119804] [SC-119410] [SPARK-41814] [SPARK-41851] [SPARK-41852] [CONNECT] [PYTHON] [12.X] جعل
createDataFrame
المقبض بلا/NaN بشكل صحيح - [SPARK-41833] [SC-119685] [SPARK-41881] [SPARK-41815] [CONNECT] [PYTHON] جعل
DataFrame.collect
المقبض بلا/NaN/صفيف/مسام ثنائي - [SPARK-39318] [SC-119713] [SQL] إزالة الملفات الذهبية ل tpch-plan-stability WithStats
- [SPARK-41791] [SC-119745] إضافة أنواع أعمدة بيانات تعريف مصدر ملف جديدة
- [SPARK-41790] [SC-119729] [SQL] تعيين تنسيق قارئ TRANSFORM والكاتب بشكل صحيح
- [SPARK-41829] [SC-119725] [CONNECT] [PYTHON] إضافة معلمة الطلب المفقودة في
Sort
وsortWithinPartitions
- [SPARK-41576] [SC-119718] [SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2051
- [SPARK-41821] [SC-119716] [CONNECT] [PYTHON] إصلاح اختبار المستند ل DataFrame.describe
- [SPARK-41871] [SC-119714] [CONNECT] يمكن أن تكون معلمة تلميح DataFrame str أو float أو int
- [SPARK-41720] [SC-119076] [SQL] إعادة تسمية "لم يتم حله" إلى "اسم الوظيفة غير المحلولة"
- [SPARK-41573] [SC-119567] [SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2136
- [SPARK-41862] [SC-119492] [SQL] إصلاح خطأ التصحيح المتعلق بالقيم الافتراضية في قارئ Orc
- [SPARK-41582] [SC-119482] [SC-118701] [CORE] [SQL] إعادة الاستخدام
INVALID_TYPED_LITERAL
بدلا من_LEGACY_ERROR_TEMP_0022
تحديثات الصيانة
راجع تحديثات صيانة Databricks Runtime 12.2.
بيئة النظام
- نظام التشغيل: Ubuntu 20.04.5 LTS
- Java: Zulu 8.68.0.21-CA-linux64
- Scala: 2.12.15
- Python: 3.9.5
- R: 4.2.2
- Delta Lake: 2.2.0
مكتبات Python المثبتة
مكتبة | الإصدار | مكتبة | الإصدار | مكتبة | الإصدار |
---|---|---|---|---|---|
argon2-cffi | 21.3.0 | روابط argon2-cffi | 21.2.0 | الرموز المميزة | 2.0.5 |
سلاسل السلاسل | 21.4.0 | تثبيت خلفي | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
beautifulsoup4 | 4.11.1 | black | 22.3.0 | التبييض | 4.1.0 |
boto3 | 1.21.32 | روبوت الدردشة | 1.24.32 | شهادة | 2021.10.8 |
cffi | 1.15.0 | تجزئة | 4.0.0 | charset-normalizer | 2.0.4 |
انقر فوق | 8.0.4 | التشفير | 3.4.8 | دورة | 0.11.0 |
Cython | 0.29.28 | dbus-python | 1.2.16 | تصحيح الأخطاء | 1.5.1 |
ديكور | 5.1.1 | defusedxml | 0.7.1 | استياء | 0.3.6 |
docstring-to-markdown | 0.11 | نقاط الإدخال | 0.4 | تنفيذ | 0.8.3 |
نظرة عامة على الواجهات | 1.0.0 | fastjsonschema | 2.16.2 | قفل الملف | 3.9.0 |
أصوام الخطوط | 4.25.0 | idna | 3.3 | ipykernel | 6.15.3 |
ipython | 8.5.0 | ipython-genutils | 0.2.0 | عناوين ipywidgets | 7.7.2 |
جدي | 0.18.1 | جينجا 2 | 2.11.3 | مسار jmespath | 0.10.0 |
joblib | 1.1.1 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
kiwisolver | 1.3.2 | العلامات خزينة | 2.0.1 | matplotlib | 3.5.1 |
matplotlib-inline | 0.1.2 | مكابي | 0.7.0 | سوء الحظ | 0.8.4 |
mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
تنسيق nbformat | 5.3.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
notebook | 6.4.8 | numpy | 1.21.5 | التغليف | 21.3 |
pandas | 1.4.2 | عوامل تصفية pandocfilter | 1.5.0 | parso | 0.8.3 |
pathspec | 0.9.0 | باتسي | 0.5.2 | pexpect | 4.8.0 |
pickleshare | 0.7.5 | وساده | 9.0.1 | pip | 21.2.4 |
المنصات | 2.6.2 | بشكل مخطط | 5.6.0 | توصيل | 1.0.0 |
prometheus-client | 0.13.1 | مجموعة أدوات المطالبة | 3.0.20 | protobuf | 3.19.4 |
psutil | 5.8.0 | psycopg2 | 2.9.3 | عملية ptyprocess | 0.7.0 |
تقييم خالص | 0.2.2 | pyarrow | 7.0.0 | pycparser | 2.21 |
pyflakes | 2.5.0 | Pygments | 2.11.2 | PyGObject | 3.36.0 |
pyodbc | 4.0.32 | pyparsing | 3.0.4 | تمام | 1.1.283 |
pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
خادم python-lsp | 1.6.0 | pytz | 2021.3 | pyzmq | 22.3.0 |
الطلبات | 2.27.1 | requests-unixsocket | 0.2.0 | الحبل | 0.22.0 |
s3transfer | 0.5.0 | scikit-learn | 1.0.2 | شفرة | 1.7.3 |
بحر محمول | 0.11.2 | Send2Trash | 1.8.0 | أدوات الإعداد | 61.2.0 |
ستة | 1.16.0 | شوربة الحساء | 2.3.1 | ssh-import-id | 5.10 |
بيانات المكدس | 0.2.0 | نماذج الإحصائيات | 0.13.2 | مثابره | 8.0.1 |
terminado | 0.13.1 | مسار الاختبار | 0.5.0 | threadpoolctl | 2.2.0 |
tokenize-rt | 4.2.1 | tomli | 1.2.2 | اعصار | 6.1 |
سمات السمات | 5.1.1 | typing_extensions | 4.1.1 | ujson | 5.1.0 |
ترقيات غير مراقبة | 0.1 | urllib3 | 1.26.9 | virtualenv | 20.8.0 |
wcwidth | 0.2.5 | ترميزات الويب | 0.5.1 | whatthepatch | 1.0.4 |
عجله | 0.37.0 | عنصر واجهة المستخدم | 3.6.1 | yapf | 0.31.0 |
مكتبات R المثبتة
يتم تثبيت مكتبات R من لقطة Microsoft CRAN في 2022-11-11.
مكتبة | الإصدار | مكتبة | الإصدار | مكتبة | الإصدار |
---|---|---|---|---|---|
السهم | 10.0.0 | askpass | 1.1 | assertthat | 0.2.1 |
backports | 1.4.1 | الأساس | 4.2.2 | base64enc | 0.1-3 |
بت | 4.0.4 | bit64 | 4.0.5 | كائن ثنائي كبير الحجم | 1.2.3 |
boot | 1.3-28 | المشروب | 1.0-8 | بريو | 1.1.3 |
broom | 1.0.1 | bslib | 0.4.1 | ذاكرة التخزين المؤقت | 1.0.6 |
callr | 3.7.3 | علامة إقحام | 6.0-93 | cellranger | 1.1.0 |
كرون | 2.3-58 | فئة | 7.3-21 | cli | 3.4.1 |
clipr | 0.8.0 | ساعه | 0.6.1 | نظام مجموعة | 2.1.4 |
codetools | 0.2-19 | colorspace | 2.0-3 | العلامة الشائعة | 1.8.1 |
compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
crayon | 1.5.2 | بيانات الاعتماد | 1.3.2 | curl | 4.3.3 |
data.table | 1.14.4 | مجموعات البيانات | 4.2.2 | DBI | 1.1.3 |
dbplyr | 2.2.1 | تنازلي | 1.4.2 | devtools | 2.4.5 |
diffobj | 0.3.5 | digest | 0.6.30 | إضاءة هابطة | 0.4.2 |
dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
علامة الحذف | 0.3.2 | التقييم | 0.18 | fansi | 1.0.3 |
مسافة بعيدة | 2.1.1 | خريطة سريعة | 1.1.0 | fontawesome | 0.4.0 |
forcats | 0.5.2 | Foreach | 1.5.2 | foreign | 0.8-82 |
صياغه | 0.2.0 | fs | 1.5.2 | future | 1.29.0 |
future.apply | 1.10.0 | الغرغره | 1.2.1 | generics | 0.1.3 |
غيرت | 1.9.1 | ggplot2 | 3.4.0 | غ | 1.3.1 |
صور gitcred | 0.1.2 | glmnet | 4.1-4 | Globals | 0.16.1 |
glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
gower | 1.0.0 | graphics | 4.2.2 | grDevices | 4.2.2 |
grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
gtable | 0.3.1 | هاردات | 1.2.0 | haven | 2.5.1 |
highr | 0.9 | hms | 1.1.2 | htmltools | 0.5.3 |
htmlwidgets | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
ids | 1.0.1 | Ini | 0.3.1 | ipred | 0.9-13 |
isoband | 0.2.6 | iterators | 1.0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.3 | KernSmooth | 2.23-20 | knitr | 1.40 |
labeling | 0.4.2 | لاحقا | 1.3.0 | lattice | 0.20-45 |
lava | 1.7.0 | دورة الحياة | 1.0.3 | listenv | 0.8.0 |
lubridate | 1.9.0 | magrittr | 2.0.3 | markdown | 1.3 |
MASS | 7.3-58.2 | المصفوفة | 1.5-1 | المذكرة | 2.0.1 |
الأساليب | 4.2.2 | mgcv | 1.8-41 | mime | 0.12 |
واجهة مستخدم مصغرة | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.9 |
munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
numDeriv | 2016.8-1.1 | openssl | 2.0.4 | parallel | 4.2.2 |
بالتوازي | 1.32.1 | pillar | 1.8.1 | pkgbuild | 1.3.1 |
pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
plogr | 0.2.0 | plyr | 1.8.7 | الثناء | 1.0.0 |
prettyunits | 1.1.1 | بروك | 1.18.0 | processx | 3.8.0 |
prodlim | 2019.11.13 | ملفات تعريفية | 0.3.7 | التقدم | 1.2.2 |
متدرج التقدم | 0.11.0 | وعود | 1.2.0.1 | proto | 1.0.0 |
الوكيل | 0.4-27 | ps | 1.7.2 | purrr | 0.3.5 |
r2d3 | 0.2.6 | R6 | 2.5.1 | رعوج | 1.2.4 |
randomForest | 4.7-1.1 | طيور الراب | 0.3.3 | rcmdcheck | 1.4.0 |
RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
readr | 2.1.3 | readxl | 1.4.1 | recipes | 1.0.3 |
rematch | 1.0.1 | إعادة المباراة2 | 2.1.2 | Remotes | 2.4.2 |
reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
RSQLite | 2.2.18 | rstudioapi | 0.14 | تحويلات | 2.1.2 |
rvest | 1.0.3 | ساس | 0.4.2 | scales | 1.2.1 |
selectr | 0.4-2 | معلومات الجلسة | 1.2.2 | الشكل | 1.4.6 |
لامعه | 1.7.3 | قوالب المصدر | 0.1.7 | sparklyr | 1.7.8 |
سبارك | 3.3.2 | spatial | 7.3-11 | splines | 4.2.2 |
sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
stats4 | 4.2.2 | stringi | 1.7.8 | stringr | 1.4.1 |
survival | 3.4-0 | sys | 3.4.1 | الشبكات الأساسية للنظام | 1.0.4 |
tcltk | 4.2.2 | اختبار الذي | 3.1.5 | تشكيل النص | 0.3.6 |
tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
tidyverse | 1.3.2 | تغيير الوقت | 0.1.1 | timeDate | 4021.106 |
tinytex | 0.42 | الأدوات | 4.2.2 | tzdb | 0.3.0 |
محدد موقع المعلومات (urlchecker) | 1.0.1 | استخدام هذا | 2.1.6 | utf8 | 1.2.2 |
utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.0 |
viridisLite | 0.4.1 | غرفة vroom | 1.6.0 | والدو | 0.4.0 |
whisker | 0.4 | withr | 2.5.0 | xfun | 0.34 |
xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
yaml | 2.3.6 | zip | 2.2.2 |
مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)
معرف مجموعة | معرف البيانات الاصطناعية | الإصدار |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
com.amazonaws | aws-java-sdk-config | 1.12.189 |
com.amazonaws | aws-java-sdk-core | 1.12.189 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
com.amazonaws | aws-java-sdk-directory | 1.12.189 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
com.amazonaws | aws-java-sdk-efs | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
com.amazonaws | aws-java-sdk-emr | 1.12.189 |
com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
com.amazonaws | aws-java-sdk-glue | 1.12.189 |
com.amazonaws | aws-java-sdk-iam | 1.12.189 |
com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
com.amazonaws | aws-java-sdk-kms | 1.12.189 |
com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
com.amazonaws | aws-java-sdk-logs | 1.12.189 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
com.amazonaws | aws-java-sdk-rds | 1.12.189 |
com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
com.amazonaws | aws-java-sdk-ses | 1.12.189 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
com.amazonaws | aws-java-sdk-sns | 1.12.189 |
com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
com.amazonaws | aws-java-sdk-sts | 1.12.189 |
com.amazonaws | دعم aws-java-sdk | 1.12.189 |
com.amazonaws | مكتبات aws-java-sdk-swf | 1.11.22 |
com.amazonaws | مساحات عمل aws-java-sdk | 1.12.189 |
com.amazonaws | jmespath-java | 1.12.189 |
com.chuusai | shapeless_2.12 | 2.3.3 |
com.clearspring.analytics | تيار | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo مظلل | 4.0.2 |
com.esotericsoftware | سجل الحد الأدنى | 1.3.0 |
com.fasterxml | زميل | 1.3.4 |
com.fasterxml.jackson.core | التعليقات التوضيحية ل جاكسون | 2.13.4 |
com.fasterxml.jackson.core | جاكسون النواة | 2.13.4 |
com.fasterxml.jackson.core | جاكسون-databind | 2.13.4.2 |
com.fasterxml.jackson.dataformat | جاكسون-dataformat-cbor | 2.13.4 |
com.fasterxml.jackson.datatype | جاكسون-datatype-joda | 2.13.4 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
com.github.ben-manes.كافيين | الكافيين | 2.3.4 |
com.github.fommil | أداة تحميل jniloader | 1.1 |
com.github.fommil.netlib | الذاكرة الأساسية | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-natives | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | zstd-jni | 1.5.2-1 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.6 |
com.google.crypto.tink | تينك | 1.6.1 |
com.google.flatbuffers | flatbuffers-java | 1.12.0 |
com.google.guava | الجوافه | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 2.0.204 |
com.helger | profiler | 1.1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | cp عظمي | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.ning | ضغط lzf | 1.1 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | برد-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.0 |
com.univocity | محللات أحادية التكافؤ | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.15 |
المجموعات المشتركة | المجموعات المشتركة | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
commons-lang | commons-lang | 2.6 |
تسجيل المشتركات | تسجيل المشتركات | 1.1.3 |
تجمع مشترك | تجمع مشترك | 1.5.4 |
dev.ludovic.netlib | arpack | 2.2.1 |
dev.ludovic.netlib | بلاس | 2.2.1 |
dev.ludovic.netlib | lapack | 2.2.1 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | أداة ضغط الهواء | 0.21 |
io.delta | delta-sharing-spark_2.12 | 0.6.3 |
io.dropwizard.metrics | metrics-core | 4.1.1 |
io.dropwizard.metrics | metrics-graphite | 4.1.1 |
io.dropwizard.metrics | المقاييس-الفحوصات الصحية | 4.1.1 |
io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
io.dropwizard.metrics | metrics-jmx | 4.1.1 |
io.dropwizard.metrics | metrics-json | 4.1.1 |
io.dropwizard.metrics | metrics-jvm | 4.1.1 |
io.dropwizard.metrics | metrics-servlets | 4.1.1 |
io.netty | netty-all | 4.1.74.Final |
io.netty | netty-buffer | 4.1.74.Final |
io.netty | netty-codec | 4.1.74.Final |
io.netty | netty-common | 4.1.74.Final |
io.netty | معالج netty | 4.1.74.Final |
io.netty | محلل netty | 4.1.74.Final |
io.netty | netty-tcnative-classes | 2.0.48.Final |
io.netty | netty-transport | 4.1.74.Final |
io.netty | netty-transport-classes-epoll | 4.1.74.Final |
io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-unix-common | 4.1.74.Final |
io.prometheus | واجهة سطر الأوامر البسيطة | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | جامع | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | التنشيط | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | واجهة برمجة تطبيقات المعاملات | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
التفاف دائري | التفاف دائري | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.10.13 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | المخلل | 1.2 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.22 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | وقت تشغيل antlr | 3.5.2 |
org.antlr | وقت تشغيل antlr4 | 4.8 |
org.antlr | سلسلة قوالب | 3.2.1 |
org.apache.ant | النمل | 1.9.2 |
org.apache.ant | نملة-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.سهم | تنسيق السهم | 7.0.0 |
org.apache.سهم | ذاكرة أساسية للسهم | 7.0.0 |
org.apache.سهم | سهم-ذاكرة-netty | 7.0.0 |
org.apache.سهم | خط متجه للسهم | 7.0.0 |
org.apache.avro | افرو | 1.11.0 |
org.apache.avro | avro-ipc | 1.11.0 |
org.apache.avro | avro-mapred | 1.11.0 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | ضغط الشائعات | 1.21 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | عميل أمين | 2.13.0 |
org.apache.curator | إطار عمل أمين | 2.13.0 |
org.apache.curator | وصفات أمين | 2.13.0 |
org.apache.derby | ديربي | 10.14.2.0 |
org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
org.apache.hadoop | وقت تشغيل عميل hadoop | 3.3.4 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | عميل hive-llap | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.13 |
org.apache.httpcomponents | httpcore | 4.4.14 |
org.apache.ivy | اللبلاب | 2.5.0 |
org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
org.apache.logging.log4j | log4j-api | 2.18.0 |
org.apache.logging.log4j | log4j-core | 2.18.0 |
org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
org.apache.orc | orc-core | 1.7.6 |
org.apache.orc | orc-mapreduce | 1.7.6 |
org.apache.orc | orc-shims | 1.7.6 |
org.apache.parquet | عمود باركيه | 1.12.3-databricks-0002 |
org.apache.parquet | parquet-common | 1.12.3-databricks-0002 |
org.apache.parquet | ترميز باركيه | 1.12.3-databricks-0002 |
org.apache.parquet | parquet-format-structures | 1.12.3-databricks-0002 |
org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0002 |
org.apache.parquet | باركيه جاكسون | 1.12.3-databricks-0002 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-shaded | 4.20 |
org.apache.yetus | التعليقات التوضيحية للجمهور | 0.13.0 |
org.apache.zookeeper | zookeeper | 3.6.2 |
org.apache.zookeeper | zookeeper-jute | 3.6.2 |
org.checkerframework | مدقق كهومي | 3.5.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | جاكسون-mapper-asl | 1.9.13 |
org.codehaus.janino | محول برمجي مشترك | 3.0.16 |
org.codehaus.janino | جانينو | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | عميل jetty | 9.4.46.v20220331 |
org.eclipse.jetty | متابعة jetty | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
org.eclipse.jetty | وكيل jetty | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
org.eclipse.jetty | خادم jetty | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | عميل websocket | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | خادم websocket | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | محدد موقع hk2 | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | إعادة حزم الأوبالين | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | جيرسي حاوية-servlet | 2.36 |
org.glassfish.jersey.containers | جيرسي-حاوية-servlet-core | 2.36 |
org.glassfish.jersey.core | جيرسي-العميل | 2.36 |
org.glassfish.jersey.core | جيرسي المشتركة | 2.36 |
org.glassfish.jersey.core | خادم جيرسي | 2.36 |
org.glassfish.jersey.inject | جيرسي-hk2 | 2.36 |
org.hibernate.validator | مدقق الإسبات | 6.1.0.Final |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | تسجيل jboss | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | التعليقات التوضيحية | 17.0.0 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
org.mlflow | mlflow-spark | 2.1.1 |
org.objenesis | داء objenesis | 2.5.1 |
org.postgresql | الانترنت | 42.3.3 |
org.roaringbitmap | هديرBitmap | 0.9.25 |
org.roaringbitmap | الحشوات | 0.9.25 |
org.rocksdb | rocksdbjni | 6.28.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.14 |
org.scala-lang | scala-library_2.12 | 2.12.14 |
org.scala-lang | scala-reflect_2.12 | 2.12.14 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | واجهة الاختبار | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | macros_2.12 | 1.2 |
org.scalanlp | breeze_2.12 | 1.2 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.36 |
org.slf4j | jul-to-slf4j | 1.7.36 |
org.slf4j | slf4j-api | 1.7.36 |
org.spark-project.spark | غير مستخدم | 1.0.0 |
org.threeten | ثلاثتين إضافية | 1.5.0 |
org.tukaani | xz | 1.9 |
مستوى org.typelevel | algebra_2.12 | 2.0.1 |
مستوى org.typelevel | cats-kernel_2.12 | 2.1.1 |
مستوى org.typelevel | ماكرو-compat_2.12 | 1.1.1 |
مستوى org.typelevel | spire-macros_2.12 | 0.17.0 |
مستوى org.typelevel | spire-platform_2.12 | 0.17.0 |
مستوى org.typelevel | spire-util_2.12 | 0.17.0 |
مستوى org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.4 |
org.yaml | ثعبان الثعبان | 1.24 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |