Databricks Runtime 4.3 (غير مدعوم)

أصدرت Databricks هذه الصورة في أغسطس 2018.

هام

تم إهمال هذا الإصدار في 9 أبريل 2019. لمزيد من المعلومات حول نهج إيقاف وقت تشغيل Databricks وجدوله الزمني، راجع دورات حياة دعم وقت تشغيل Databricks.

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 4.3، مدعومة من Apache Spark.

الميزات الجديدة

  • Delta Lake
    • TRUNCATE TABLE الأمر: حذف كافة الصفوف من جدول. على عكس نظيرها لجداول Spark، لا تدعم جداول Delta حذف أقسام معينة.
    • ALTER TABLE REPLACE COLUMNS الأمر: استبدال الأعمدة في جدول Delta. وهو يدعم تغيير تعليق عمود وإعادة ترتيب أعمدة متعددة.
    • FSCK REPAIR TABLE الأمر: قم بإزالة إدخالات الملف من سجل المعاملات لجدول Delta الذي لم يعد من الممكن العثور عليه في نظام الملفات الأساسي. يمكن أن يحدث هذا عندما يتم حذف هذه الملفات يدويا.
    • دعم الاستعلامات على جداول Delta القديمة لتحسين تجربة الاستعلام التفاعلي: يمكن الآن تشغيل الاستعلامات على جداول Delta على إصدار قديم من الجدول عندما لا تكون النتائج المحدثة ضرورية. تقلل هذه الميزة من زمن انتقال الاستعلامات خاصة عند تحديث جداول دلتا الأساسية باستمرار من خلال التدفقات.
  • دفق منظم
    • دعم كتابة الدفق القابل للتطوير ل Azure Synapse Analytics الاتصال or.
    • foreachBatch() دعم في Python (متوفر بالفعل في Scala). راجع وثائق foreach و foreachBatch لمزيد من التفاصيل.
    • دعم اختيار الحد الأدنى أو الحد الأقصى للعلامة المائية عند وجود تدفقات إدخال متعددة في استعلام. في السابق كان الحد الأدنى للطوابع الزمنية يستخدم دائما. راجع نهج العلامة المائية المتعددة لمزيد من التفاصيل.
    • LIMIT دعم عامل التشغيل للتدفقات في Append أوضاع الإخراج وComplete. لتقليل أخطاء OOM على برنامج التشغيل، LIMIT يتم تطبيقها تلقائيا عند استخدامك display() على تدفقات غير مقيدة.

التحسينات

  • Delta Lake

    • معاينة خاصة لتنفيذ جديد قابل للتطوير للأمر MERGE INTO الذي لا يحتوي على حد إدراج الصف 10000. اتصل بالدعم إذا كنت ترغب في تجربة ذلك.
    • أداء أفضل وقابلية التوسع للأمر OPTIMIZE ، خاصة على مجموعات أكبر.
    • يلتزم الأمر OPTIMIZE الآن بالجدول بشكل متزايد، ما يعني أنه إذا فشل الأمر، فلن تحتاج إعادة المحاولة إلى معالجة مجموعة البيانات بأكملها.
    • تقليل عدد RPCs لنظام الملفات المطلوبة لاكتشاف بيانات جديدة عند استخدام Delta Lake كمصدر دفق.
    • تمت إضافة دعم في df.writeStream.table(table-name) Python لإنشاء جدول Delta من دفق.
  • أداء محسن للاستعلامات ذات الصلات المتعددة أو التجميعات أو النوافذ.

  • تحسين الكفاءة للتشذيب على مستوى القسم في الاستعلامات مع عمليات ربط تجزئة البث.

  • تحسينات على إنشاء التعليمات البرمجية للمرحلة الكاملة للكشف عن التعبيرات المكررة، وتقليل كمية التعليمات البرمجية التي تم إنشاؤها، وتحسين الأداء لبعض أنواع التعبيرات.

  • تدعم أنظمة مجموعات التزامن العالية الآن التشغيل %fs في دفاتر الملاحظات.

  • تمت ترقية Py4J المستخدمة من قبل PySpark إلى 0.10.7.

  • تحسين أداء التخزين المؤقت للقرص على مثيلات سلسلة Azure Ls. يتم الآن تمكين ذاكرة التخزين المؤقت بشكل افتراضي على هذه المثيلات، ما يسرع أحمال العمل التي تقرأ ملفات Parquet بشكل متكرر.

الميزات المهملة

  • يتم إهمال تخطي البيانات خارج Databricks Delta. سيستمر توفر إصدار محسن من تخطي البيانات كجزء من Delta Lake. نوصي بالتبديل إلى استخدام Delta Lake للاستمرار في الاستفادة من هذه الميزة. راجع Databricks Delta Data Skipping للحصول على التفاصيل.

إصلاح الأخطاء

  • تم إصلاح عبارة دفع MERGE INTO دالة التقييم غير الصحيحة ل Delta عندما يحتوي شرط ON على دالات تقييم تشير إلى الجدول الهدف فقط.

  • تم إصلاح الخطأ في mapGroupsWithState و flatMapGroupsWithState الذي منع تعيين المهلات عند إزالة الحالة (SPARK-22187).

  • إصلاح الخلل الذي منعت العلامة المائية من العمل معه Trigger.Once بشكل صحيح (SPARK-24699).

  • يتحقق أمر التحديث الآن من صحة الأعمدة في عبارة SET للتأكد من وجود جميع الأعمدة فعليا وعدم تعيين أي عمود أكثر من مرة.

  • تم إصلاح حالة تعارض محتملة قد تتسبب في حالات توقف تام لتثبيت الدليل.

  • تم إصلاح خطأ يتسبب في استخدام إصدار مهمل من عميل DBFS عند تحديث عمليات التحميل.

مشكلات معروفة

  • لا تسري خيارات تكوين Delta Lake لجدول إلا في دفتر الملاحظات الأول الذي يقوم بتحميل الجدول.

Apache Spark

يتضمن Databricks Runtime 4.3 Apache Spark 2.3.1. يتضمن هذا الإصدار جميع الإصلاحات والتحسينات المضمنة في Databricks Runtime 4.2 (غير مدعوم)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

  • [SPARK-24934][SQL] السماح صراحة بالأنواع المدعومة في الحدود العليا/السفلية لتقليم القسم في الذاكرة
    • عند استخدام أنواع البيانات المعقدة في عوامل تصفية الاستعلام مقابل البيانات المخزنة مؤقتا، يقوم Spark دائما بإرجاع مجموعة نتائج فارغة. ينشئ التقليم المستند إلى الإحصائيات في الذاكرة نتائج غير صحيحة، لأنه يتم تعيين قيمة خالية للنص العلوي/السفلي للأنواع المعقدة. الإصلاح هو عدم استخدام التقليم المستند إلى الإحصائيات في الذاكرة للأنووع المعقدة.
  • [SPARK-24957][SQL] المتوسط ذو الرقم العشري متبوعا بالتجميع يرجع نتيجة خاطئة
    • قد يتم إرجاع النتائج غير الصحيحة ل AVERAGE. سيتم تجاوز الدالة CAST المضافة في عامل التشغيل Average إذا كانت نتيجة القسمة هي نفس النوع الذي يتم تحويلها إليه.
  • [SPARK-24867][SQL] إضافة AnalysisBarrier إلى DataFrameWriter
    • لا يتم استخدام ذاكرة التخزين المؤقت SQL عند استخدام DataFrameWriter لكتابة DataFrame باستخدام UDF. هذا تراجع بسبب التغييرات التي قمنا بها في AnalysisBarrier، حيث لا تكون جميع قواعد Analyzer متكررة.
  • [SPARK-24790][SQL] السماح بالتعبيرات التجميعية المعقدة في Pivot
    • قم باسترخاء الفحص للسماح بتعبيرات تجميعية معقدة، مثل ceil(sum(col1)) أو sum(col1) + 1، مما يعني تقريبا أي تعبير تجميعي قد يظهر في خطة تجميعية باستثناء Pandas UDF.
  • [SPARK-24870][SQL] لا يمكن أن تعمل ذاكرة التخزين المؤقت بشكل طبيعي إذا كانت هناك أحرف حالة في SQL
    • إصلاح مشكلة ترجمة برمجية للخطة.
  • [SPARK-24852]هل spark.ml التدريب على استخدام واجهات برمجة تطبيقات الأجهزة المحدثة.
  • [SPARK-24891][SQL] إصلاح قاعدة HandleNullInputsForUDF
    • اجعل HandleNullInputsForUDF rule غير متكررة، لتجنب عدم تطابق الخطة في إدارة ذاكرة التخزين المؤقت عند تحليل خطة أكثر من مرة.
  • [SPARK-24878][SQL] إصلاح الدالة العكسية لنوع الصفيف من النوع البدائي الذي يحتوي على قيمة خالية.
  • [SPARK-24871][SQL] إعادة بناء التعليمات البرمجية Concat وMapConcat لتجنب إنشاء كائن متسلسل لكل صف.
  • [SPARK-24802][SQL] إضافة تكوين جديد لاستبعاد قاعدة التحسين
    • يوفر تكوينا للمستخدمين لاستبعاد بعض قواعد المحسن.
  • [SPARK-24879][SQL] إصلاح NPE في دفع عامل تصفية تقليم قسم Hive لأسفل
    • عندما تكون دالة تقييم القسم شيئا مثل العمود IN (1، فارغ)، سيتم طرح NPE. يعمل هذا التصحيح على إصلاحه.
  • [SPARK-23731][SQL] جعل FileSourceScanExec غير قابلة للتقصي بعد تسلسلها (de)
  • [SPARK-24755][CORE] يمكن أن يؤدي فقدان المنفذ إلى عدم إعادة إرسال المهمة
    • إصلاح خطأ قد لا يقوم Spark بإعادة إرسال المهام التي فشلت بسبب فقدان المنفذ. تم تقديم هذا الخطأ في Spark 2.3.
  • [SPARK-24677][CORE] تجنب NoSuchElementException من MedianHeap
    • إصلاح خطأ متعلق بالمهام التي يمكن تخمينها عند جمع مقاييس مدة المهمة.
  • [SPARK-24868][PYTHON] إضافة دالة تسلسل في Python
  • [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL] إصلاح عمليات الإكراه والقدرات الخالية للنوع.
  • [SPARK-24699][SS] اجعل العلامات المائية تعمل مع Trigger.Once عن طريق حفظ العلامة المائية المحدثة لتثبيت السجل
  • [SPARK-24537][R] إضافة array_remove / array_zip / map_from_arrays / array_distinct
  • [SPARK-22187][SS] تحديث تنسيق غير آمن للحالة المحفوظة في flatMapGroupsWithState للسماح بالمهلات بالحالة المحذوفة (4.x)
  • [SPARK-24681][SQL] التحقق من أسماء الأعمدة المتداخلة في Hive metastore
    • تأكد من أن أسماء الأعمدة المتداخلة لا تتضمن 'و':' و';' في Hive metastore
  • [SPARK-23486]تخزين اسم الدالة مؤقتا من الكتالوج الخارجي ل lookupFunctions
    • لتسريع عمليات البحث عن الوظائف.
  • [SPARK-24781][SQL] قد لا يعمل استخدام مرجع من مجموعة البيانات في عامل التصفية/الفرز
  • [SPARK-24208][SQL] إصلاح إلغاء تكرار السمة ل FlatMapGroupsInPandas
    • إصلاح فشل الانضمام الذاتي على مجموعة بيانات تحتوي على FlatMapGroupsInPandas بسبب السمات المكررة
  • [SPARK-24530][PYTHON] إضافة عنصر تحكم لفرض إصدار Python في Sphinx عبر متغير البيئة، SPHINXPYTHON
  • [SPARK-24250]دعم الوصول إلى SQLConf داخل المهام
    • احفظ جميع تكوينات SQL إلى خصائص المهمة عند تشغيل تنفيذ SQL. في جانب المنفذ، نقوم بإعادة إنشاء SQLConf من خصائص المهمة.
  • [SPARK-23936][SQL] تنفيذ map_concat
  • [SPARK-23914][SQL] إضافة دالة array_union
  • [SPARK-24732][SQL] اكتب الإكراه بين MapTypes.
    • يضيف دعما لإكراه النوع بين MapTypes حيث يكون كل من أنواع المفاتيح وأنواع القيم متوافقة. على سبيل المثال، يمكن إكراه الأنواع MapType(IntegerType, FloatType) وMapType(LongType, DoubleType) على كتابة MapType(LongType, DoubleType)
  • [SPARK-24662][SQL] [SS] حد الدعم في الدفق المنظم
  • [SPARK-24730][SS] إضافة نهج لاختيار الحد الأقصى كعلامة مائية عمومية عندما يحتوي استعلام الدفق على علامات مائية متعددة (branch-4.x)
  • [SPARK-24596][SQL] إبطال ذاكرة التخزين المؤقت غير المتتالية
    • عند وضع طريقة عرض مؤقتة غير متعاقبة أو إسقاطها، لا يلزم إجراء تحليل متعاقب لجميع الخطط التي تعتمد على طريقة العرض، حيث لا يتم تغيير البيانات الأساسية.
  • [SPARK-23927][SQL] إضافة تعبير "تسلسل"
  • [SPARK-24636][SQL] نوع الإكراه من الصفائف للدالة array_join
  • [SPARK-22384][SQL] تحسين تشذيب القسم عند التفاف السمة في Cast
    • تحسين تشذيب القسم، قادر على دفع دالات تقييم القسم لأسفل باستخدام نوع آمن (int إلى طويل، وليس طويلا إلى int).
  • [SPARK-24385][SQL] حل غموض حالة الانضمام الذاتي ل EqualNull خزينة
    • تنفيذ EqualNull خزينة لحل غموض حالة الانضمام الذاتي.
  • [SPARK-24696][SQL] فشل قاعدة ColumnPruning في إزالة مشروع إضافي
    • إصلاح خطأ في قاعدة ColumnPruning تسبب في حدوث خطأ حلقي لا نهائي في المحسن.
  • [SPARK-24603][SQL] إصلاح مرجع findTightestCommonType في التعليقات
  • [SPARK-24613][SQL] تعذرت مطابقة ذاكرة التخزين المؤقت مع UDF مع ذاكرات التخزين المؤقت التابعة اللاحقة
    • يلتف الخطة المنطقية مع AnalysisBarrier لتجميع خطة التنفيذ في CacheManager، لتجنب تحليل الخطة مرة أخرى. هذا هو أيضا تراجع Spark 2.3.
  • [SPARK-24017][SQL] إعادة بناء التعليمات البرمجية ExternalCatalog لتكون واجهة
  • [SPARK-24324][PYTHON] يجب أن يقوم Pandas Grouped Map UDF بتعيين أعمدة النتائج حسب الاسم
    • تعيين أعمدة النتائج حسب اسم المخطط إذا كان المستخدم المسمى بسلاسل، وإلا باستخدام الموضع.
  • [SPARK-23778][CORE] تجنب التبديل العشوائي غير الضروري عندما يحصل الاتحاد على مجموعة بيانات موزعة مرنة فارغة
    • يتجاهل مجموعات البيانات الموزعة المرنة الفارغة الواردة في أسلوب الاتحاد لتجنب التبديل الإضافي غير الضروري عندما يكون لجميع مجموعات البيانات الموزعة المرنة الأخرى نفس التقسيم.
  • [SPARK-24552][CORE] [SQL] استخدم المعرف الفريد بدلا من رقم المحاولة للكتابات.
    • تمرير معرف محاولة المهمة الفريد بدلا من رقم المحاولة إلى مصادر بيانات v2 لأنه تتم إعادة استخدام رقم المحاولة عند إعادة محاولة المراحل. يؤثر هذا على واجهات برمجة التطبيقات V1 وV2 لمصدر البيانات، ولكن لن تتأثر واجهات برمجة التطبيقات بتنسيق الملف لأن DBR يستخدم بروتوكول تثبيت مختلف.
  • [SPARK-24588][SS] يجب أن تتطلب الصلة المتدفقة HashClusteredPartitioning من الأطفال.
  • [SPARK-24589][CORE] تحديد المهام بشكل صحيح في منسق تثبيت الإخراج.
    • يضيف المزيد من المعلومات إلى حالة المرحلة التي تعقبها المنسق، بحيث يسمح لمهمة واحدة فقط بتثبيت الإخراج. يزيل هذا الإصلاح أيضا تغييرات التعليمات البرمجية عديمة الفائدة التي تم تقديمها بواسطة SPARK-18113.
  • [SPARK-23933][SQL] إضافة دالة map_from_arrays
  • [SPARK-24583][SQL] نوع مخطط خاطئ في InsertIntoDataSourceCommand
    • عند إنشاء جدول Delta مع قيود NOT NULL، يمكننا إسقاط القيمة الخالية وإدراج قيم NULL دون التحقق من الانتهاك.
  • [SPARK-24542][SQL] تسمح سلسلة UDF UDFXPathXXXX للمستخدمين بتمرير XML المصمم بعناية للوصول إلى الملفات العشوائية
    • هذا تصحيح أمني تم الإبلاغ عنه من المجتمع. تسمح سلسلة UDF UDFXPathXXXX للمستخدمين بتمرير XML المصمم بعناية للوصول إلى الملفات العشوائية. عندما يستخدم المستخدمون مكتبة التحكم بالوصول الخارجية، قد يتجاوزها المستخدمون ويوصولون إلى محتويات الملف.
  • [SPARK-23934][SQL] إضافة دالة map_from_entries
  • [SPARK-23912][SQL] إضافة array_distinct
  • [SPARK-24574][SQL] تتعامل وظائف array_contains array_position array_remove element_at مع نوع العمود

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 4.3.

بيئة النظام

  • نظام التشغيل: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 لمجموعات Python 2 و3.5.2 لمجموعات Python 3.
  • R: R الإصدار 3.4.4 (2018-03-15)
  • مجموعات GPU: يتم تثبيت مكتبات NVIDIA GPU التالية:
    • Tesla driver 375.66
    • CUDA 9.0
    • cuDNN 7.0

مكتبات Python المثبتة

مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 روبوت الدردشة 1.4.70
brewer2mpl 1.4.1 شهادة 2016.2.28 cffi 1.7.0
تجزئة 2.3.0 سمة ملونة 0.3.7 configobj 5.0.6
التشفير 1.5 دورة 0.10.0 Cython 0.24.1
ديكور 4.0.10 docutils 0.14 قائمة تعداد 34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
صمام مدمج 2.0.4 العقود الاجله 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 Ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
جينجا 2 2.8 مسار jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 العلامات خزينة 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 باتسي 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 وساده 3.3.1
pip 10.0.1 رقائق 3.9 مجموعة أدوات المطالبة 1.0.7
psycopg2 2.6.2 عملية ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
الطلبات 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
شفرة 0.18.1 نظف 0.32 بحر محمول 0.7.1
أدوات الإعداد 39.2.0 simplejson 3.8.2 بسيط3 1.0
أحادي الموضع 3.4.0.3 ستة 1.10.0 نماذج الإحصائيات 0.6.1
اعصار 5.0.2 سمات السمات 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 عجله 0.31.1
wsgiref 0.1.2

مكتبات R المثبتة

مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
الأساس 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 بت 1.1-12 bit64 0.9-7
bitops 1.0-6 كائن ثنائي كبير الحجم 1.1.1 boot 1.3-20
المشروب 1.0-6 broom 0.4.4 car 3.0-0
carData 3.0-1 علامة إقحام 6.0-79 cellranger 1.1.0
كرون 2.3-52 فئة 7.3-14 cli 1.0.0
نظام مجموعة 2.0.7-1 codetools 0.2-15 colorspace 1.3-2
العلامة الشائعة 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
مجموعات البيانات 3.4.4 DBI 0.8 ddalpha 1.3.1.1
DEoptimR 1.0-8 تنازلي 1.1.1 devtools 1.13.5
دي كرومات 2.0-0 digest 0.6.15 أحمر خافت 0.1.0
doMC 1.3.5 dplyr 0.7.4 معدل الارتداد الدفاعي 0.0.3
forcats 0.3.0 Foreach 1.4.4 foreign 0.8-70
غيغابايت 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
graphics 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 H2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr ⁦⁩⁦⁩1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 أكثر طفاية 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
مشروع الخريطة 1.2.6 خرائط 3.3.0 أصنام الخرائط 0.9-2
MASS 7.3-50 المصفوفة 1.2-14 نماذج المصفوفة 0.4-1
المذكرة 1.1.0 الأساليب 3.4.4 mgcv 1.8-24
mime 0.5 مينقا 1.2.4 نور 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 الثناء 1.0.0 prettyunits 1.0.2
بروك 1.11.0 prodlim 1.6.1 proto 1.0.0
النفسي 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
ريو 0.5.10 rlang 0.2.0 قاعدة قوية 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 سبارك 2.3.1 SparseM 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.42-3 tcltk 3.4.4 TeachingDemos 2.10
اختبار الذي 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 الأدوات 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

مكتبات Java و Scala المثبتة (إصدار نظام مجموعة Scala 2.11)

معرف مجموعة معرف البيانات الاصطناعية ‏‏الإصدار
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws دعم aws-java-sdk 1.11.313
com.amazonaws مكتبات aws-java-sdk-swf 1.11.22
com.amazonaws مساحات عمل aws-java-sdk 1.11.313
com.amazonaws jmespath-java 1.11.313
البحث في com.جزر hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics تيار 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks اختبارات dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo مظلل 3.0.3
com.esotericsoftware سجل الحد الأدنى 1.3.0
com.fasterxml زميل 1.0.0
com.fasterxml.jackson.core التعليقات التوضيحية ل جاكسون 2.6.7
com.fasterxml.jackson.core جاكسون النواة 2.6.7
com.fasterxml.jackson.core جاكسون-databind 2.6.7.1
com.fasterxml.jackson.dataformat جاكسون-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype جاكسون-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil أداة تحميل jniloader 1.1
com.github.fommil.netlib الذاكرة الأساسية 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava الجوافه 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox cp عظمي 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning ضغط lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter برد-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter مجموعة parquet-hadoop 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity محللات أحادية التكافؤ 2.5.9
com.vlkan خزائن مسطحة 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
شائعات-beanutils شائعات-beanutils 1.7.0
شائعات-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
المجموعات المشتركة المجموعات المشتركة 3.2.2
تكوين المشتركات تكوين المشتركات 1.6
commons-dbcp commons-dbcp 1.4
أداة تجزئة الشائعات أداة تجزئة الشائعات 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
تسجيل المشتركات تسجيل المشتركات 1.1.3
commons-net commons-net 2.2
تجمع مشترك تجمع مشترك 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift أداة ضغط الهواء 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics المقاييس-الفحوصات الصحية 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus واجهة سطر الأوامر البسيطة 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx جامع 0.7
javax.activation التنشيط 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation واجهة برمجة تطبيقات التحقق من الصحة 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
التفاف دائري التفاف دائري 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic خصائص eigenbase 1.1.5
net.iharder قاعدة 64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.4.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr وقت تشغيل antlr 3.4
org.antlr وقت تشغيل antlr4 4.7
org.antlr سلسلة قوالب 3.2.1
org.apache.ant النمل 1.9.2
org.apache.ant نملة-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.سهم تنسيق السهم 0.8.0
org.apache.سهم ذاكرة الأسهم 0.8.0
org.apache.سهم خط متجه للسهم 0.8.0
org.apache.avro افرو 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro اختبارات avro-ipc 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite الكالسيت-أفاتيكا 1.2.0 حاضنة
org.apache.calcite نواة الكالسيت 1.2.0 حاضنة
org.apache.calcite الكالسيت-linq4j 1.2.0 حاضنة
org.apache.commons ضغط الشائعات 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator عميل أمين 2.7.1
org.apache.curator إطار عمل أمين 2.7.1
org.apache.curator وصفات أمين 2.7.1
org.apache.derby ديربي 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop تعليقات توضيحية ل hadoop 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop عميل hadoop 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0 حاضنة
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy اللبلاب 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet عمود باركيه 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet ترميز باركيه 1.8.3-databricks2
org.apache.parquet تنسيق باركيه 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet باركيه جاكسون 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5 مظلل 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson جاكسون جاكرس 1.9.13
org.codehaus.jackson جاكسون-mapper-asl 1.9.13
org.codehaus.jackson جاكسون-xc 1.9.13
org.codehaus.janino محول برمجي مشترك 3.0.8
org.codehaus.janino جانينو 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty عميل jetty 9.3.20.v20170531
org.eclipse.jetty متابعة jetty 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty وكيل jetty 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty خادم jetty 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 محدد موقع hk2 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external إعادة حزم الأوبالين 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged جيرسي جوافا 2.22.2
org.glassfish.jersey.containers جيرسي حاوية-servlet 2.22.2
org.glassfish.jersey.containers جيرسي-حاوية-servlet-core 2.22.2
org.glassfish.jersey.core جيرسي-العميل 2.22.2
org.glassfish.jersey.core جيرسي المشتركة 2.22.2
org.glassfish.jersey.core خادم جيرسي 2.22.2
org.glassfish.jersey.media جيرسي-وسائل الإعلام-جاكسب 2.22.2
org.hibernate مدقق الإسبات 5.1.1.Final
org.iq80.snappy لاذع 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging تسجيل jboss 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis داء objenesis 2.1
org.postgresql الانترنت 42.1.4
org.roaringbitmap هديرBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt واجهة الاختبار 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp نسيم macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark غير مستخدم 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
مستوى org.typelevel machinist_2.11 0.6.1
مستوى org.typelevel ماكرو-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml ثعبان الثعبان 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52