Databricks Runtime 8.4 (غير مدعوم)

  • مقالة

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 8.4 وDatabricks Runtime 8.4 Photon، المشغل بواسطة Apache Spark 3.1.2. أصدرت Databricks هذه الصور في يوليو 2021. الفوتون في المعاينة العامة.

ميزات وتحسينات جديدة

ميزات وتحسينات Delta Lake

موجز بيانات تغيير جدول دلتا (GA)

يتوفر الآن موجز بيانات تغيير جدول Delta بشكل عام. يمثل تغييرات مستوى الصف بين إصدارات مختلفة من الجدول. عند التمكين، يتم تسجيل معلومات إضافية فيما يتعلق بتغييرات مستوى الصف لكل عملية كتابة على الجدول. راجع استخدام موجز بيانات تغيير Delta Lake على Azure Databricks.

تحميل جداول دلتا المشتركة بسهولة باستخدام Databricks Runtime

الاتصال or Apache Spark ل Delta Sharing 0.1.0 موجود الآن في Databricks Runtime. يمكنك تحميل جدول مشترك باستخدام spark.read.format("deltaSharing").load(uri) مباشرة دون إرفاق موصل Delta Sharing Spark إلى مجموعتك.

المزيد من الجداول تستفيد من تقليم الملفات الديناميكي

تم ضبط ميزة تقليم الملفات الديناميكية لتشغيلها على الجداول التي تحتوي على ملفات أقل. راجع تشذيب الملف الديناميكي.

أداء أفضل مع ضبط حجم الملف الهدف التلقائي

يتم الآن ضبط حجم الملف الهدف لجداول Delta تلقائيا استنادا إلى حجم الجدول. في السابق، كان حجم الملف الهدف ل OPTIMIZE و OPTIMIZE ZORDER BY 1 غيغابايت. باستخدام التشغيل التلقائي استنادا إلى حجم الجدول، ستستخدم جداول دلتا حتى 2.56 ТБ 256 ميغابايت كحجم مستهدف. ستستخدم الجداول الأكبر من 10 ТБ 1 غيغابايت كما كان من قبل. ستستخدم الجداول بين هذه الأحجام أحجام الهدف التي تنمو بشكل متناسب مع حجم الجدول. راجع تكوين Delta Lake للتحكم في حجم ملف البيانات.

مزيد من الطرق لتحديد الجداول في DeltaTable.forName

DeltaTable.forName يدعم الآن استخدام delta.`<path>` لتحديد الجداول.

عمليات كتابة تدفق قوية متعددة الجداول باستخدام foreachBatch

يتم الآن دعم عمليات كتابة دفق دلتا المتكررة foreachBatch() داخل الأمر. للحصول على التفاصيل، راجع عمليات الكتابة المتكررة متعددة الجداول.

تحسين أداء استعلام القراءة في أحمال عمل معينة بسبب نقاط التحقق المضبطة

يضبط Delta Lake الآن مدى تكرار تحسين نقاط التفتيش. بدلا من نقاط التفتيش في فاصل زمني ثابت، تقوم Delta الآن بضبط تكرار نقطة التحقق ديناميكيا استنادا إلى مشغلات أحداث معينة. يؤدي ذلك إلى تحسين أداء استعلام القراءة في أحمال العمل حيث تعذر تطبيق بعض تحسين تخطي البيانات من قبل. لاستخدام هذه التحسينات، قم بترقية مهامك التي تكتب إلى Delta Lake إلى Databricks Runtime 8.4. راجع تمكين نقاط التحقق المحسنة للاستعلامات المتدفقة المنظمة.

إنشاء GroupState لاختبار وظائف Structured Streaming المعرفة من قبل المستخدم

حتى الآن، يمكن لمحرك Structured Streaming فقط إنشاء مثيلات ل GroupState. ومن ثم، فإن أي اختبارات وحدة للوظيفة المعرفة من قبل المستخدم تتطلب تشغيل استعلام دفق في Apache Spark.

الآن يمكنك إنشاء مثيلات GroupState لاستخدام TestGroupState.create(…). يسمح لك هذا باختبار دالة معرفة من قبل المستخدم في اختبارات وحدة بسيطة لا تتطلب تشغيل Spark. راجع اختبار وظيفة تحديث mapGroupsWithState. على وجه التحديد، فإنه ينتج مثيلات من النوع TestGroupState الذي يوسع الواجهة GroupState مع أساليب إضافية لمتابعة الحالة الداخلية بعد تطبيق الدالة المعرفة من قبل المستخدم.

ميزات التحميل التلقائي وتحسيناته

تكوين التصفية الخلفية لالتقاط الملفات الفائتة

يدعم "التحميل التلقائي" الآن إجراء ملفات الملفات الخلفية بشكل غير متزامن لالتقاط أي ملفات قد تكون فائتة مع إعلامات الملفات. لا يمكن أن تضمن أنظمة تخزين الملفات وأنظمة الإعلام تسليم جميع أحداث الملفات بنسبة 100٪ . لذلك توصي Databricks بتمكين ملفات التصفية الدورية لالتقاط جميع بياناتك باستخدام أداة التحميل التلقائي. استخدم الخيار لجدولة cloudFiles.backfillInterval ملفات التصفية العادية عبر بياناتك. راجع خيارات التحميل التلقائي الشائعة.

بصمة التخزين المنضمة لتدفقات وحدة التخزين الكبيرة

يمكنك الآن تكوين أداة التحميل التلقائي لتنتهي صلاحيتها وإزالة الإدخالات في RocksDB لربط بصمة التخزين الخاصة به في موقع نقطة التحقق. لا توصي Databricks باستخدام ما لم تكن تستوعب البيانات بترتيب ملايين الملفات في الساعة. قد يؤدي تعيين هذا الخيار بشكل غير صحيح أو محاولة ضبطه إلى العديد من مشكلات جودة البيانات، مثل تجاهل الملفات غير المعالجة أو تكرار بعض الملفات بدلا من المعالجة مرة واحدة بالضبط. للحصول على التفاصيل، راجع استبقاء الحدث.

تكوين مبسط مع دعم بدون مسار

مستودعات S3

يمكنك الآن توفير قائمة انتظار SQS التي تتلقى الأحداث من مسارات متعددة أو مستودعات S3. إذا قمت بتوفير عنوان URL لقائمة انتظار SQS، path فلن يكون الخيار مطلوبا لحالة الاستخدام هذه. يقوم برنامج التحميل التلقائي بإنشاء مسارات S3 باستخدام المستودع والمفتاح من أحداث S3. إذا كنت ترغب في قراءة الملفات من خلال نقاط تحميل DBFS، يمكنك استخدام cloudFiles.pathRewrites لتغيير بادئات المسار إلى DBFS. هذا غير مطلوب إلا إذا كنت تصل إلى البيانات في حسابات مختلفة باستخدام AssumeRole.

راجع خيارات إعلام الملف.

حاويات Azure Data Lake Storage Gen2

يمكنك الآن توفير قائمة انتظار Azure التي تتلقى الأحداث من حاويات متعددة. إذا قمت بتوفير اسم قائمة انتظار Azure، path فلن يكون الخيار مطلوبا. بشكل افتراضي، يقوم برنامج التحميل التلقائي بإنشاء مسارات Azure Data Lake Storage Gen2 باستخدام الحاوية والمفتاح في أحداث الملف. إذا كنت ترغب في استخدام مسارات WASB أو نقاط تحميل DBFS، يمكنك استخدام cloudFiles.pathRewrites لتغيير بادئات المسار.

راجع خيارات إعلام الملف.

ترقيات الاتصال أو

  • تم تحديث موصل Snowflake Spark إلى الإصدار 2.9.0.
  • يتم الآن دعم تشفير KMS في UNLOAD عبارة موصل Redshift.

إصلاح الأخطاء

  • تم إصلاح مشكلة للمجموعات التي تم تمكينها باستخدام التحكم في الوصول إلى الجدول حيث select * from folder يمكن إظهار محتوى المجلد حتى إذا لم يكن لدى المستخدم إذن الوصول إلى الملفات.
  • يمكن لمالكي قواعد البيانات غير المسؤولين الآن إسقاط الجداول غير المملوكة في قواعد البيانات. يعمل هذا على إصلاح المشكلة حيث يتعذر على مالكي قاعدة البيانات إسقاط قاعدة بيانات إذا كانت الجداول غير المملوكة موجودة في قاعدة البيانات.

ترقيات المكتبة

  • مكتبات Python التي تمت ترقيتها:
    • تمت الترقية من 2020.12.5 إلى 2021.5.30
    • تمت ترقية تقطير من 0.3.1 إلى 0.3.2
    • تمت ترقية koalas من 1.8.0 إلى 1.8.1
    • تمت ترقية protobuf من 3.17.0 إلى 3.17.3
  • مكتبات R التي تمت ترقيتها:
    • قاعدة من 4.0.4 إلى 4.1.0
    • التمهيد من 1.3-27 إلى 1.3-28
    • فئة من 7.3-18 إلى 7.3-19
    • نظام المجموعة من 2.1.1 إلى 2.1.2
    • المحول البرمجي من 4.0.4 إلى 4.1.0
    • مجموعات البيانات من 4.0.4 إلى 4.1.0
    • الرسومات من 4.0.4 إلى 4.1.0
    • grDevices من 4.0.4 إلى 4.1.0
    • شبكة من 4.0.4 إلى 4.1.0
    • KernSmooth من 2.23-18 إلى 2.23-20
    • شعري من 0.20-41 إلى 0.20-44
    • كتلة من 7.3-53.1 إلى 7.3-54
    • مصفوفة من 1.3-2 إلى 1.3-3
    • أساليب من 4.0.4 إلى 4.1.0
    • mgcv من 1.8-33 إلى 1.8-35
    • nnet من 7.3-15 إلى 7.3-16
    • متوازي من 4.0.4 إلى 4.1.0
    • Rserve من 1.8-7 إلى 1.8-8
    • SparkR من 3.1.1 إلى 3.1.2
    • خطوط من 4.0.4 إلى 4.1.0
    • إحصائيات من 4.0.4 إلى 4.1.0
    • الإحصائيات4 من 4.0.4 إلى 4.1.0
    • البقاء على قيد الحياة من 3.2-7 إلى 3.2-11
    • tcltk من 4.0.4 إلى 4.1.0
    • أدوات من 4.0.4 إلى 4.1.0
    • utils من 4.0.4 إلى 4.1.0
  • مكتبات Java التي تمت ترقيتها:
    • snowflake-jdbc من 3.12.8 إلى 3.13.3
    • spark-snowflake_2.12 من 2.8.1-spark_3.0 إلى 2.9.0-spark_3.1
    • هديرBitmap من 0.9.0 إلى 0.9.14
    • shims من 0.9.0 إلى 0.9.14
    • rocksdbjni fromm 6.2.2 إلى 6.20.3

Apache Spark

يتضمن Databricks Runtime 8.4 Apache Spark 3.1.2. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 8.3 (غير مدعوم)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

  • [SPARK-35792] [SQL] يجب ألا يلتقط العرض التكوينات المستخدمة في RelationConversions
  • [SPARK-35700] [SQL] قراءة جدول char/varchar مع إنشاء وكتابة بواسطة أنظمة خارجية
  • [SPARK-35636] [SQL] يجب عدم الإشارة إلى مفاتيح Lambda خارج دالة lambda
  • [SPARK-35800] [اختيار الكرز] تحسين قابلية اختبار GroupState من خلال تقديم TestGroupState
  • [SPARK-35391] إصلاح تسرب الذاكرة في ExecutorAllocationListener
  • [SPARK-35799] [CherryPick] إصلاح قياس all التحديثات TimeMs في FlatMapGroupsWithStateExec
  • [SPARK-35763] [SS] إزالة تبعية تعداد الفئة الفرعية StateStoreCustomMetric
  • [SPARK-35791 [SQL] خريطة الإصدار قيد التشغيل بشكل صحيح للانضمام إلى ANTI المدرك للقيم الخالية
  • [SPARK-35695] [SQL] جمع المقاييس التي تمت ملاحظتها من الأشجار الفرعية للتنفيذ المؤقت والتكيفي
  • [SPARK-35767] [SQL] تجنب تنفيذ الخطة التابعة مرتين في CoalesceExec
  • [SPARK-35746] [واجهة المستخدم] إصلاح taskid في المخطط الزمني لحدث مهمة صفحة المرحلة
  • [SPARK-35673] [SQL] إصلاح التلميح المعرف من قبل المستخدم والتلميح غير المعرف في الاستعلام الفرعي.
  • [SPARK-35714] [CORE] إصلاح الأخطاء في حالة التوقف التام أثناء إيقاف تشغيل المنفذ
  • [SPARK-35689] [SS] إضافة تحذير السجل عندما يقوم keyWithIndexToValue بإرجاع قيمة خالية
  • [SPARK-35589] [CORE] [3.1] يجب ألا يتجاهل BlockManagerMasterEndpoint ملف تبديل الفهرس فقط أثناء التحديث
  • [SPARK-35643] [PYTHON] إصلاح المرجع الغامض في عمود functions.py()
  • [SPARK-35652] [SQL] joinWith على جدولين تم إنشاؤها من نفس الجدول
  • [SPARK-35679] [SQL] instantToMicros overflow
  • [SPARK-35602] [SS] تحديث مخطط الحالة ليتمكن من قبول JSON طويل الطول
  • [SPARK-35653] [SQL] إصلاح فشل المسار المفسر CatalystToExternalMap ل Map مع فئات الحالة كمفاتيح أو قيم
  • [SPARK-35296] [SQL] السماح ل Dataset.observe بالعمل حتى إذا كان CollectMetricsExec في مهمة يعالج أقساما متعددة.
  • [SPARK-35659] [SS] تجنب الكتابة فارغة إلى StateStore
  • [SPARK-35665] [SQL] حل ResolveedAlias في CollectMetrics
  • [SPARK-35558] تحسين للاسترداد متعدد الكمية
  • [SPARK-35621] [SQL] إضافة تقليم معرف القاعدة إلى قاعدة TypeCoercion
  • [SPARK-35077] [SQL] الترحيل إلى transformWithPruning لقواعد محسن المخلفات
  • [SPARK-35610] [CORE] إصلاح تسرب الذاكرة الذي تم تقديمه بواسطة خطاف إيقاف إيقاف المنفذ
  • [SPARK-35544] [SQL] إضافة تشذيب نمط الشجرة إلى قواعد المحلل
  • [SPARK-35566] [SS] إصلاح صفوف إخراج StateStoreRestoreExec
  • [SPARK-35454] [SQL] [3.1] يمكن أن تتطابق خطة منطقية واحدة مع معرفات مجموعة بيانات متعددة
  • [SPARK-35538] [SQL] ترحيل مواقع استدعاء transformAllExpressions لاستخدام transformAllExpressionsWithPruning
  • [SPARK-35106] [الذاكرة الأساسية] [SQL] تجنب فشل إعادة التسمية بسبب عدم وجود دليل الوجهة
  • [SPARK-35287] [SQL] السماح ل RemoveRedundantProjects بالاحتفاظ ب ProjectExec الذي ينشئ UnsafeRow ل DataSourceV2ScanRelation
  • [SPARK-35495] [R] تغيير مشرف SparkR ل CRAN
  • [SPARK-27991] [CORE] تأجيل طلب الإحضار على Netty OOM
  • [SPARK-35171] [R] الإعلان عن حزمة markdown كتبعية لحزمة SparkR
  • [SPARK-35454] [SQL] يمكن أن تتطابق خطة منطقية واحدة مع معرفات مجموعة بيانات متعددة
  • [SPARK-35298] [SQL] الترحيل إلى transformWithPruning للقواعد في Optimizer.scala
  • [SPARK-35480] [SQL] جعل percentile_approx تعمل مع العرض المحوري
  • [SPARK-35093] [SQL] يستخدم AQE الآن خطة newQueryStage كمفتاح للبحث عن عمليات التبادل المخزنة مؤقتا لإعادة الاستخدام
  • [SPARK-35146] [SQL] ترحيل إلى transformWithPruning أو resolveWithPruning للقواعد في finishAnalysis.scala
  • [SPARK-35411] [SQL] إضافة معلومات أساسية أثناء تسلسل TreeNode إلى json
  • [SPARK-35294] [SQL] إضافة تشذيب اجتياز الشجرة في القواعد مع ملفات مخصصة ضمن المحسن
  • [SPARK-34897] [SQL] [3.1] دعم تسوية المخططات استنادا إلى الفهرس بعد تشذيب العمود المتداخل
  • [SPARK-35144] [SQL] ترحيل إلى transformWithPruning لقواعد الكائن
  • [SPARK-35155] [SQL] إضافة تقليم معرف القاعدة إلى قواعد المحلل
  • [SPARK-35382] [PYTHON] إصلاح مشكلات اسم متغير lambda في وظائف DataFrame المتداخلة في واجهات برمجة تطبيقات Python.
  • [SPARK-35359] [SQL] سيفشل إدراج البيانات باستخدام نوع بيانات char/varchar عندما يتجاوز طول البيانات الحد الأقصى للطول
  • [SPARK-35381] [R] إصلاح مشكلات اسم متغير lambda في وظائف الترتيب الأعلى المتداخلة في واجهات برمجة التطبيقات R

بيئة النظام

  • نظام التشغيل: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

مكتبات Python المثبتة

مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار
dirs 1.4.4 asn1crypto 1.4.0 تثبيت خلفي 0.2.0
boto3 1.16.7 روبوت الدردشة 1.19.7 قصبات البروتليب 0.7.0
شهادة 2021.5.30 cffi 1.14.3 تجزئة 3.0.4
التشفير 3.1.1 دورة 0.10.0 Cython 0.29.21
ديكور 4.4.2 استياء 0.3.2 docutils 0.15.2
نقاط الإدخال 0.3 نظرة عامة على الواجهات 1.0.0 قفل الملف 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 جدي 0.17.2 مسار jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 الكوالا 1.8.1 matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 parso 0.7.0
باتسي 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pip 20.2.4 بشكل مخطط 4.14.3 مجموعة أدوات المطالبة 3.0.8
protobuf 3.17.3 psycopg2 2.8.5 عملية ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
الطلبات 2.24.0 اعاده المحاوله 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 شفرة 1.5.2 بحر محمول 0.10.0
أدوات الإعداد 50.3.1 ستة 1.15.0 نماذج الإحصائيات 0.12.0
threadpoolctl 2.1.0 اعصار 6.0.4 سمات السمات 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
عجله 0.35.1

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN في 2020-11-02.

مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار
askpass 1.1 assertthat 0.2.1 backports 1.2.1
الأساس 4.1.0 base64enc 0.1-3 BH 1.72.0-3
بت 4.0.4 bit64 4.0.5 كائن ثنائي كبير الحجم 1.2.1
boot 1.3-28 المشروب 1.0-6 بريو 1.1.0
broom 0.7.2 callr 3.5.1 علامة إقحام 6.0-86
cellranger 1.1.0 كرون 2.3-56 فئة 7.3-19
cli 2.2.0 clipr 0.7.1 نظام مجموعة 2.1.2
codetools 0.2-18 colorspace 2.0-0 العلامة الشائعة 1.7
compiler 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 بيانات الاعتماد 1.3.0
خط متقاطع 1.1.0.1 curl 4.3 data.table 1.13.4
مجموعات البيانات 4.1.0 DBI 1.1.0 dbplyr 2.0.0
تنازلي 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
علامة الحذف 0.3.1 التقييم 0.14 fansi 0.4.1
مسافة بعيدة 2.0.3 خريطة سريعة 1.0.1 forcats 0.5.0
Foreach 1.5.1 foreign 0.8-81 صياغه 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
غيرت 1.0.2 ggplot2 3.3.2 غ 1.2.0
صور gitcred 0.1.1 glmnet 4.0-2 Globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1.30
labeling 0.4.2 لاحقا 1.1.0.1 lattice 0.20-44
lava 1.6.8.1 lazyeval 0.2.2 دورة الحياة 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 المصفوفة 1.3-3
المذكرة 1.1.0 الأساليب 4.1.0 mgcv 1.8-35
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
بالتوازي 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 الثناء 1.0.0 prettyunits 1.1.1
بروك 1.16.2 processx 3.4.5 prodlim 2019.11.13
التقدم 1.2.2 وعود 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 طيور الراب 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl ⁦⁩⁦⁩1.3.1 recipes 0.1.15
rematch 1.0.1 إعادة المباراة2 2.1.2 Remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 ريكس 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0.13
تحويلات 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 معلومات الجلسة 1.1.1 الشكل 1.4.5
لامعه 1.5.0 قوالب المصدر 0.1.7 sparklyr 1.5.2
سبارك 3.1.1 spatial 7.3-11 splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
survival 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 اختبار الذي 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 الأدوات 4.1.0
استخدام هذا 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
والدو 0.2.3 whisker 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)

معرف مجموعة معرف البيانات الاصطناعية ‏‏الإصدار
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws دعم aws-java-sdk 1.11.655
com.amazonaws مكتبات aws-java-sdk-swf 1.11.22
com.amazonaws مساحات عمل aws-java-sdk 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics تيار 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo مظلل 4.0.2
com.esotericsoftware سجل الحد الأدنى 1.3.0
com.fasterxml زميل 1.3.4
com.fasterxml.jackson.core التعليقات التوضيحية ل جاكسون 2.10.0
com.fasterxml.jackson.core جاكسون النواة 2.10.0
com.fasterxml.jackson.core جاكسون-databind 2.10.0
com.fasterxml.jackson.dataformat جاكسون-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype جاكسون-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.كافيين الكافيين 2.3.4
com.github.fommil أداة تحميل jniloader 1.1
com.github.fommil.netlib الذاكرة الأساسية 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava الجوافه 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox cp عظمي 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning ضغط lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter برد-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity محللات أحادية التكافؤ 2.9.1
com.zaxxer HikariCP 3.1.0
شائعات-beanutils شائعات-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
المجموعات المشتركة المجموعات المشتركة 3.2.2
تكوين المشتركات تكوين المشتركات 1.6
commons-dbcp commons-dbcp 1.4
أداة تجزئة الشائعات أداة تجزئة الشائعات 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
تسجيل المشتركات تسجيل المشتركات 1.1.3
commons-net commons-net 3.1
تجمع مشترك تجمع مشترك 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift أداة ضغط الهواء 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics المقاييس-الفحوصات الصحية 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus واجهة سطر الأوامر البسيطة 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx جامع 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation التنشيط 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction واجهة برمجة تطبيقات المعاملات 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
التفاف دائري التفاف دائري 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
أشجار maven hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr وقت تشغيل antlr 3.5.2
org.antlr وقت تشغيل antlr4 4.8-1
org.antlr سلسلة قوالب 3.2.1
org.apache.ant النمل 1.9.2
org.apache.ant نملة-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.سهم تنسيق السهم 2.0.0
org.apache.سهم ذاكرة أساسية للسهم 2.0.0
org.apache.سهم سهم-ذاكرة-netty 2.0.0
org.apache.سهم خط متجه للسهم 2.0.0
org.apache.avro افرو 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons ضغط الشائعات 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator عميل أمين 2.7.1
org.apache.curator إطار عمل أمين 2.7.1
org.apache.curator وصفات أمين 2.7.1
org.apache.derby ديربي 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop تعليقات توضيحية ل hadoop 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop عميل hadoop 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive عميل hive-llap 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 حاضنة
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy اللبلاب 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet عمود باركيه 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet ترميز باركيه 1.10.1-databricks9
org.apache.parquet تنسيق باركيه 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet باركيه جاكسون 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7 مظلل 4.15
org.apache.yetus التعليقات التوضيحية للجمهور 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson جاكسون جاكرس 1.9.13
org.codehaus.jackson جاكسون-mapper-asl 1.9.13
org.codehaus.jackson جاكسون-xc 1.9.13
org.codehaus.janino محول برمجي مشترك 3.0.16
org.codehaus.janino جانينو 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty عميل jetty 9.4.36.v20210114
org.eclipse.jetty متابعة jetty 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty وكيل jetty 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty خادم jetty 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 محدد موقع hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external إعادة حزم الأوبالين 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers جيرسي حاوية-servlet 2.30
org.glassfish.jersey.containers جيرسي-حاوية-servlet-core 2.30
org.glassfish.jersey.core جيرسي-العميل 2.30
org.glassfish.jersey.core جيرسي المشتركة 2.30
org.glassfish.jersey.core خادم جيرسي 2.30
org.glassfish.jersey.inject جيرسي-hk2 2.30
org.glassfish.jersey.media جيرسي-وسائل الإعلام-جاكسب 2.30
org.hibernate.validator مدقق الإسبات 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging تسجيل jboss 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis داء objenesis 2.5.1
org.postgresql الانترنت 42.1.4
org.roaringbitmap هديرBitmap 0.9.14
org.roaringbitmap الحشوات 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt واجهة الاختبار 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark غير مستخدم 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten ثلاثتين إضافية 1.5.0
org.tukaani xz 1.5
مستوى org.typelevel algebra_2.12 2.0.0-M2
مستوى org.typelevel cats-kernel_2.12 2.0.0-M4
مستوى org.typelevel machinist_2.12 0.6.8
مستوى org.typelevel ماكرو-compat_2.12 1.1.1
مستوى org.typelevel spire-macros_2.12 0.17.0-M1
مستوى org.typelevel spire-platform_2.12 0.17.0-M1
مستوى org.typelevel spire-util_2.12 0.17.0-M1
مستوى org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml ثعبان الثعبان 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52