Databricks Runtime 4.0 (غير مدعوم)

  • مقالة

أصدرت Databricks هذه الصورة في مارس 2018.

هام

تم إهمال هذا الإصدار في 1 نوفمبر 2018. لمزيد من المعلومات حول نهج إيقاف وقت تشغيل Databricks وجدوله الزمني، راجع دورات حياة دعم وقت تشغيل Databricks.

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 4.0، مدعومة من Apache Spark.

التغييرات والتحسينات

  • يحاول مصدر بيانات JSON الآن الكشف التلقائي عن الترميز بدلا من افتراض أنه UTF-8. في الحالات التي يفشل فيها الكشف التلقائي، يمكن للمستخدمين تحديد خيار charset لفرض ترميز معين. راجع الكشف التلقائي عن Charset.
  • يتم دعم التسجيل والتنبؤ باستخدام مسارات Spark MLlib في Structured Streaming بشكل كامل.
  • تصدير نموذج Databricks ML مدعوم بالكامل. باستخدام هذه الميزة، يمكنك تدريب نموذج Spark MLlib على Databricks، وتصديره باستدعاء دالة، واستخدام مكتبة Databricks في النظام الذي تختاره لاستيراد النموذج وتسجيل بيانات جديدة.
  • يوفر تطبيق مصدر بيانات Spark الجديد وصولا قابلا للتوسع للقراءة/الكتابة إلى Azure Synapse Analytics. راجع Spark - Synapse Analytics الاتصال or.
  • يتم الآن تحويل مخطط الدالة from_json دائما إلى مخطط يقبل القيم الخالية. بمعنى آخر، جميع الحقول، بما في ذلك الحقول المتداخلة، قابلة للقيمة الخالية. وهذا يضمن أن البيانات متوافقة مع المخطط، مما يمنع التلف بعد كتابة البيانات إلى parquet عندما يكون أحد الحقول مفقودا في البيانات ويعلن المخطط المقدم من المستخدم أن الحقل غير قابل للقيمة الخالية.
  • ترقية بعض مكتبات Python المثبتة:
    • العقود الآجلة: من 3.1.1 إلى 3.2.0
    • الباندا: من 0.18.1 إلى 0.19.2
    • pyarrow: من 0.4.1 إلى 0.8.0
    • setuptools: من 38.2.3 إلى 38.5.1
    • إعصار: 4.5.2 إلى 4.5.3
  • ترقية العديد من مكتبات R المثبتة. راجع مكتبات R المثبتة.
  • تمت ترقية AWS Java SDK من 1.11.126 إلى 1.11.253.
  • تمت ترقية برنامج تشغيل SQL Server JDBC من 6.1.0.jre8 إلى 6.2.2.jre8.
  • تمت ترقية برنامج تشغيل PostgreSQL JDBC من 9.4-1204-jdbc41 إلى 42.1.4.

Apache Spark

يتضمن Databricks Runtime 4.0 Apache Spark 2.3.0.

Core وPySpark وSpark SQL

الميزات الرئيسية

  • قارئ ORC المتجه: [SPARK-16060]: يضيف دعما لقارئ ORC الجديد الذي يحسن بشكل كبير من معدل نقل فحص ORC من خلال المتجهات (2-5x). لتمكين القارئ، يمكن للمستخدمين تعيين spark.sql.orc.impl إلى native.
  • Spark History Server V2: [SPARK-18085]: واجهة خلفية جديدة لخادم محفوظات Spark (SHS) توفر قابلية توسع أفضل للتطبيقات واسعة النطاق مع آلية تخزين أحداث أكثر كفاءة.
  • واجهة برمجة تطبيقات مصدر البيانات V2: [SPARK-15689][SPARK-22386]: واجهة برمجة تطبيقات تجريبية لتوصيل مصادر بيانات جديدة في Spark. تحاول واجهة برمجة التطبيقات الجديدة معالجة العديد من القيود المفروضة على واجهة برمجة تطبيقات V1 وتهدف إلى تسهيل تطوير مصادر بيانات خارجية عالية الأداء وسهلة الصيانة وقابلة للتوسعة. لا تزال واجهة برمجة التطبيقات هذه تخضع للتطوير النشط وينبغي توقع التغييرات العاجلة.
  • تحسينات أداء PySpark: [SPARK-22216][SPARK-21187]: تحسينات كبيرة في أداء Python وقابلية التشغيل البيني من خلال تسلسل البيانات السريع والتنفيذ الموجه.

الأداء والاستقرار

  • [SPARK-21975]: دعم المدرج التكراري في المحسن المستند إلى التكلفة.
  • [SPARK-20331]: دعم أفضل للدفعة التقييمية لتقليم قسم Apache Hive.
  • [SPARK-19112]: دعم برنامج ترميز ضغط ZStandard.
  • [SPARK-21113]: دعم تدفق إدخال القراءة المسبقة لاستهلاك تكلفة إدخال/إخراج القرص في قارئ الانسكاب.
  • [SPARK-22510][SPARK-22692][SPARK-21871]: تحقيق المزيد من الاستقرار في إطار عمل codegen لتجنب الوصول إلى حد 64 كيلوبايت JVM bytecode على أسلوب Java وحدود التجمع الثابت لمحول Java البرمجي.
  • [SPARK-23207]: تم إصلاح خطأ طويل الأمد في Spark حيث يمكن أن يؤدي التبديل العشوائي المتتالي+إعادة تقسيم على DataFrame إلى إجابات غير صحيحة في حالات جراحية معينة.
  • [SPARK-22062][SPARK-17788][SPARK-21907]: إصلاح الأسباب المختلفة ل OOMs.
  • [SPARK-22489][SPARK-22916][SPARK-22895][SPARK-20758][SPARK-22266][SPARK-19122][SPARK-22662][SPARK-21652]: تحسينات في المحسن والمخطط المستند إلى القواعد.

تغييرات ملحوظة أخرى

أدلة البرمجة: دليل برمجة Spark RDD ودليل Spark SQL DataFrames وDatasets.

دفق منظم

المعالجة المستمرة

  • محرك تنفيذ جديد يمكنه تنفيذ استعلامات الدفق مع زمن انتقال من طرف إلى طرف دون مللي ثانية عن طريق تغيير سطر واحد فقط من التعليمات البرمجية للمستخدم. لمعرفة المزيد، راجع دليل البرمجة.

عمليات ربط دفق البيانات

  • القدرة على ضم دفقين من البيانات، تخزين الصفوف مؤقتا حتى تصل المجموعات المطابقة إلى الدفق الآخر. يمكن استخدام دالات التقييم مقابل أعمدة وقت الحدث لربط مقدار الحالة التي يجب الاحتفاظ بها.

تدفق API V2

  • واجهة برمجة تطبيقات تجريبية للتوصيل بالمصدر والأحواض الجديدة التي تعمل مع الدفعات والدفعات الصغيرة والتنفيذ المستمر. لا تزال واجهة برمجة التطبيقات هذه تخضع لتطوير نشط، وينبغي توقع حدوث تغييرات كسرية.

دليل البرمجة: دليل برمجة الدفق المنظم.

MLlib

يبرز

  • يعمل توقع التعلم الآلي الآن مع Structured Streaming، باستخدام واجهات برمجة التطبيقات المحدثة. تتبع التفاصيل.

واجهات برمجة التطبيقات الجديدة والمحسنة

  • [SPARK-21866]: دعم مضمن لقراءة الصور في DataFrame (Scala/Java/Python).
  • [SPARK-19634]: دالات DataFrame للإحصائيات الموجزة الوصفية عبر أعمدة المتجهات (Scala/Java).
  • [SPARK-14516]: ClusteringEvaluator لضبط خوارزميات التجميع، ودعم صورة ظلية Cosine ومقاييس ظلية إقليدية مربعة (Scala/Java/Python).
  • [SPARK-3181]: انحدار خطي قوي مع فقدان Huber (Scala/Java/Python).
  • [SPARK-13969]: FeatureHasher محول (Scala/Java/Python).
  • دعم أعمدة متعددة للعديد من محولات الميزات:
  • [SPARK-21633] وSPARK-21542]: دعم محسن لمكونات البنية الأساسية لبرنامج ربط العمليات التجارية المخصصة في Python.

ميزات جديدة

  • [SPARK-21087]: CrossValidator ويمكنه TrainValidationSplit جمع جميع النماذج عند تركيبها (Scala/Java). يسمح لك هذا بفحص أو حفظ جميع النماذج المجهزة.
  • [SPARK-19357]: تدعم خوارزميات CrossValidatorالتعريف ، TrainValidationSplitبارامOneVsRest التوازي لتركيب نماذج فرعية متعددة في وظائف Spark المتوازية.
  • [SPARK-17139]: ملخص النموذج للتراجع اللوجستي متعدد الحدود (Scala/Java/Python)
  • [SPARK-18710]: إضافة إزاحة في GLM.
  • [SPARK-20199]: تمت إضافة featureSubsetStrategy Param إلى GBTClassifier و GBTRegressor. يمكن أن يؤدي استخدام هذا إلى ميزات الطابع الفرعي إلى تحسين سرعة التدريب بشكل كبير؛ كان هذا الخيار قوة رئيسية ل xgboost.

تغييرات ملحوظة أخرى

  • [SPARK-22156]: تحجيم معدل التعلم الثابت Word2Vec مع num التكرارات. يتم تعيين معدل التعلم الجديد لمطابقة التعليمات البرمجية C الأصلية Word2Vec ويجب أن يعطي نتائج أفضل من التدريب.
  • [SPARK-22289]: إضافة JSON دعم لمعلمات المصفوفة (هذا أصلح خطأ لاستمرار التعلم الآلي عند LogisticRegressionModel استخدام الحدود على المعاملات.)
  • [SPARK-22700]: Bucketizer.transform يسقط صفا يحتوي على NaNبشكل غير صحيح. عند تعيين Param handleInvalid إلى "تخطي" Bucketizer ، سيسقط صفا بقيمة صالحة في عمود الإدخال إذا كان لعمود NaN آخر (غير ذي صلة) قيمة.
  • [SPARK-22446]: تسبب StringIndexerModel محسن Catalyst أحيانا في طرح استثناء غير صحيح "تسمية غير مرئية" عند handleInvalid تعيينه إلى "خطأ". قد يحدث هذا للبيانات التي تمت تصفيتها، بسبب دفع التقييم لأسفل، مما يتسبب في حدوث أخطاء حتى بعد تصفية الصفوف غير الصالحة بالفعل من مجموعة بيانات الإدخال.
  • [SPARK-21681]: تم إصلاح خطأ حالة الحافة في الانحدار اللوجستي متعدد الحدود الذي أدى إلى معاملات غير صحيحة عندما لا تحتوي بعض الميزات على تباين صفري.
  • التحسينات الرئيسية:
    • [SPARK-22707]: انخفاض استهلاك الذاكرة ل CrossValidator.
    • [SPARK-22949]: انخفاض استهلاك الذاكرة ل TrainValidationSplit.
    • [SPARK-21690]: Imputer يجب التدريب باستخدام تمريرة واحدة عبر البيانات.
    • [SPARK-14371]: OnlineLDAOptimizer يتجنب جمع الإحصائيات إلى برنامج التشغيل لكل دفعة صغيرة.

دليل البرمجة: دليل مكتبة التعلم الآلي (MLlib).

سبارك

كان التركيز الرئيسي ل SparkR في الإصدار 2.3.0 هو تحسين استقرار UDFs وإضافة العديد من برامج تضمين SparkR الجديدة حول واجهات برمجة التطبيقات الحالية:

الميزات الرئيسية

دليل البرمجة: SparkR (R على Spark).

الرسم البياني X

تحسينات

  • [SPARK-5484]: تقوم Pregel الآن بنقاط التفتيش بشكل دوري لتجنب StackOverflowErrors.
  • [SPARK-21491]: تحسين أداء صغير في عدة أماكن.

دليل البرمجة: دليل برمجة GraphX.

عمليات الإهمال

Python

  • [SPARK-23122]: إهمال register* UDFs في SQLContext PySpark وفيه Catalog

MLlib

  • [SPARK-13030]: OneHotEncoder تم إهماله وسيتم إزالته في 3.0. تم استبداله بالجديد OneHotEncoderEstimator. OneHotEncoderEstimator ستتم إعادة تسميته إلى OneHotEncoder في 3.0 (ولكن OneHotEncoderEstimator سيتم الاحتفاظ به باسم مستعار).

تغييرات السلوك

SparkSQL

  • [SPARK-22036]: بشكل افتراضي، ترجع العمليات الحسابية بين الأرقام العشرية قيمة مقربة إذا لم يكن التمثيل الدقيق ممكنا (بدلا من العودة NULL في الإصدارات السابقة)
  • [SPARK-22937]: عندما تكون جميع المدخلات ثنائية، يقوم SQL elt() بإرجاع الإخراج كثنائي. وإلا، فإنه يرجع كسلسلة. في الإصدارات السابقة، يتم إرجاعها دائما كسلسلة بغض النظر عن أنواع الإدخال.
  • [SPARK-22895]: يتم أيضا دفع دالات التقييم المحددة للانضمام/التصفية التي تلي أول دالات تقييم غير محددة إلى أسفل/من خلال عوامل التشغيل التابعة، إن أمكن. في الإصدارات السابقة، لم تكن عوامل التصفية هذه مؤهلة للدفع التدريجي للمسند.
  • [SPARK-22771]: عندما تكون جميع المدخلات ثنائية، functions.concat() ترجع الإخراج كثنائي. وإلا، فإنه يرجع كسلسلة. في الإصدارات السابقة، يتم إرجاعها دائما كسلسلة بغض النظر عن أنواع الإدخال.
  • [SPARK-22489]: عندما يكون أي من جانبي الصلة قابلا للبث، فإننا نفضل بث الجدول المحدد صراحة في تلميح البث.
  • [SPARK-22165]: عثر استدلال عمود القسم مسبقا على نوع شائع غير صحيح للأنواح المستنتجة المختلفة. على سبيل المثال، في السابق انتهى الأمر بنوع double كنوع شائع للنوع double والنوع date . الآن يجد النوع الشائع الصحيح لمثل هذه التعارضات. للحصول على التفاصيل، راجع دليل الترحيل.
  • [SPARK-22100]: قبلت percentile_approxnumeric الدالة مسبقا إدخال النوع ونتائج النوع الناتجة double . الآن يدعم date النوع والنوع timestamp والأنواع numeric كنوع إدخال. يتم تغيير نوع النتيجة أيضا ليكون نفس نوع الإدخال، وهو أكثر منطقية للنسب المئوية.
  • [SPARK-21610]: لا يسمح بالاستعلامات من ملفات JSON/CSV الأولية عندما تتضمن الأعمدة المشار إليها عمود السجل التالف الداخلي فقط (المسمى _corrupt_record افتراضيا). بدلا من ذلك، يمكنك تخزين النتائج التي تم تحليلها مؤقتا أو حفظها ثم إرسال نفس الاستعلام.
  • [SPARK-23421]: منذ Spark 2.2.1 و2.3.0، يتم استنتاج المخطط دائما في وقت التشغيل عندما تحتوي جداول مصدر البيانات على الأعمدة الموجودة في كل من مخطط القسم ومخطط البيانات. لا يحتوي المخطط المستنتج على الأعمدة المقسمة. عند قراءة الجدول، يحترم Spark قيم القسم لهذه الأعمدة المتداخلة بدلا من القيم المخزنة في ملفات مصدر البيانات. في الإصدار 2.2.0 و2.1.x، يتم تقسيم المخطط المستنتج ولكن بيانات الجدول غير مرئية للمستخدمين (أي أن مجموعة النتائج فارغة).

PySpark

  • [SPARK-19732]: na.fill() أو fillna يقبل أيضا القيم المنطقية ويستبدل القيم الخالية بقيم منطقية. في إصدارات Spark السابقة، يتجاهل PySpark فقط ذلك ويرجع مجموعة البيانات/DataFrame الأصلية.
  • [SPARK-22395]: pandas 0.19.2 أو upper مطلوب لاستخدام الوظائف ذات الصلة ب pandas، مثل toPandas، createDataFrame من pandas DataFrame، وما إلى ذلك.
  • [SPARK-22395]: تم تغيير سلوك قيم الطابع الزمني للوظائف ذات الصلة ب pandas لمراعاة المنطقة الزمنية للجلسة، والتي يتم تجاهلها في الإصدارات السابقة.
  • [SPARK-23328]: df.replace لا يسمح بحذف value عندما to_replace لا يكون قاموسا. في السابق، value يمكن حذفه في الحالات الأخرى ويكون افتراضيا None ، وهو أمر غير بديهي وعرضة للخطأ.

MLlib

  • كسر تغييرات واجهة برمجة التطبيقات: تم تغيير التسلسل الهرمي للفئة والسمات لملخصات نموذج الانحدار اللوجستي ليكون أكثر نظافة ويستوعب بشكل أفضل إضافة الملخص متعدد الفئات. هذا تغيير فاصل للتعليمات LogisticRegressionTrainingSummary البرمجية للمستخدم الذي يلقي على BinaryLogisticRegressionTrainingSummary. يجب على المستخدمين بدلا من ذلك استخدام model.binarySummary الأسلوب . راجع [SPARK-17139]: لمزيد من التفاصيل (لاحظ أن هذه واجهة @Experimental برمجة تطبيقات). لا يؤثر هذا على أسلوب ملخص Python، والذي سيظل يعمل بشكل صحيح لكل من الحالات متعددة الحدود والثنائية.
  • [SPARK-21806]: BinaryClassificationMetrics.pr(): النقطة الأولى (0.0، 1.0) مضللة وتم استبدالها ب (0.0، p) حيث تتطابق الدقة p مع أقل نقطة استدعاء.
  • [SPARK-16957]: تستخدم أشجار القرار الآن نقاط الوسط المرجحة عند اختيار قيم الانقسام. قد يؤدي هذا إلى تغيير النتائج من تدريب النموذج.
  • [SPARK-14657]: RFormula بدون اعتراض الآن إخراج الفئة المرجعية عند ترميز مصطلحات السلسلة، من أجل مطابقة سلوك R الأصلي. قد يؤدي هذا إلى تغيير النتائج من تدريب النموذج.
  • [SPARK-21027]: تم الآن تعيين التوازي الافتراضي المستخدم في OneVsRest إلى 1 (أي تسلسلي). في الإصدار 2.2 والإصدارات السابقة، تم تعيين مستوى التوازي إلى حجم threadpool الافتراضي في Scala. قد يؤدي هذا إلى تغيير الأداء.
  • [SPARK-21523]: تمت ترقية النسيم إلى 0.13.2. وشمل ذلك إصلاحا مهما للأخطاء في بحث خط Wolfe القوي عن L-BFGS.
  • [SPARK-15526]: أصبحت تبعية JPMML مظللة الآن.
  • راجع أيضا قسم "إصلاحات الأخطاء" لتغييرات السلوك الناتجة عن إصلاح الأخطاء.

مشكلات معروفة

  • [SPARK-23523][SQL]: نتيجة غير صحيحة ناتجة عن القاعدة OptimizeMetadataOnlyQuery.
  • [SPARK-23406]: أخطاء في الصلات الذاتية للبث.

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 4.0.

بيئة النظام

  • نظام التشغيل: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_151
  • Scala: 2.11.8
  • Python: 2.7.12 (أو 3.5.2 إذا كنت تستخدم Python 3)
  • R: R الإصدار 3.4.3 (2017-11-30)
  • مجموعات GPU: يتم تثبيت مكتبات NVIDIA GPU التالية:
    • Tesla driver 375.66
    • CUDA 8.0
    • CUDNN 6.0

مكتبات Python المثبتة

مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 روبوت الدردشة 1.4.70
brewer2mpl 1.4.1 شهادة 2016.2.28 cffi 1.7.0
تجزئة 2.3.0 سمة ملونة 0.3.7 configobj 5.0.6
التشفير 1.5 دورة 0.10.0 Cython 0.24.1
ديكور 4.0.10 docutils 0.14 قائمة تعداد 34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
صمام مدمج 2.0.4 العقود الاجله 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 Ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
جينجا 2 2.8 مسار jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 العلامات خزينة 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 باتسي 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 وساده 3.3.1
pip 9.0.1 رقائق 3.9 مجموعة أدوات المطالبة 1.0.7
psycopg2 2.6.2 عملية ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
الطلبات 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
شفرة 0.18.1 نظف 0.32 بحر محمول 0.7.1
أدوات الإعداد 38.5.1 simplejson 3.8.2 بسيط3 1.0
أحادي الموضع 3.4.0.3 ستة 1.10.0 نماذج الإحصائيات 0.6.1
اعصار 4.5.3 سمات السمات 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 عجله 0.30.0
wsgiref 0.1.2

مكتبات R المثبتة

مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار مكتبة ‏‏الإصدار
abind 1.4-5 assertthat 0.2.0 backports 1.1.1
الأساس 3.4.3 BH 1.65.0-1 bindr 0.1
bindrcpp 0.2 بت 1.1-12 bit64 0.9-7
bitops 1.0-6 كائن ثنائي كبير الحجم 1.1.0 boot 1.3-20
المشروب 1.0-6 broom 0.4.3 car 2.1-6
علامة إقحام 6.0-77 كرون 2.3-51 فئة 7.3-14
نظام مجموعة 2.0.6 codetools 0.2-15 colorspace 1.3-2
العلامة الشائعة 1.4 compiler 3.4.3 crayon 1.3.4
curl 3.0 CVST 0.2-1 data.table 1.10.4-3
مجموعات البيانات 3.4.3 DBI 0.7 ddalpha ⁦⁩⁦⁩1.3.1
DEoptimR 1.0-8 تنازلي 1.1.1 devtools 1.13.4
دي كرومات 2.0-0 digest 0.6.12 أحمر خافت 0.1.0
doMC 1.3.4 dplyr 0.7.4 معدل الارتداد الدفاعي 0.0.2
Foreach 1.4.3 foreign 0.8-69 غيغابايت 2.1.3
ggplot2 2.2.1 git2r 0.19.0 glmnet 2.0-13
glue 1.2.0 gower 0.1.2 graphics 3.4.3
grDevices 3.4.3 grid 3.4.3 gsubfn 0.6-6
gtable 0.2.0 H2o 3.16.0.1 httr ⁦⁩⁦⁩1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.8 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
lava 1.5.1 lazyeval 0.2.1 أكثر طفاية 0.3.2
lme4 1.1-14 lubridate 1.7.1 magrittr 1.5
مشروع الخريطة 1.2-5 خرائط 3.2.0 MASS 7.3-48
المصفوفة 1.2-11 نماذج المصفوفة 0.4-1 المذكرة 1.1.0
الأساليب 3.4.3 mgcv 1.8-23 mime 0.5
مينقا 1.2.4 نور 1.5-5 ModelMetrics 1.1.0
munsell 0.4.3 mvtnorm 1.0-6 nlme 3.1-131
nloptr 1.0.4 nnet 7.3-12 numDeriv 2016.8-1
openssl 0.9.9 parallel 3.4.3 pbkrtest 0.4-7
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.1-1
plyr 1.8.4 الثناء 1.0.0 بروك 1.10.0
prodlim 1.6.1 proto 1.0.0 النفسي 1.7.8
purrr 0.2.4 quantreg 5.34 R.methodsS3 1.7.1
R.oo 1.21.0 R.utils 2.6.0 R6 2.2.2
randomForest 4.6-12 RColorBrewer 1.1-2 Rcpp 0.12.14
RcppEigen 0.3.3.3.1 RcppRoll 0.2.2 RCurl 1.95-4.8
recipes 0.1.1 reshape2 1.4.2 rlang 0.1.4
قاعدة قوية 0.92-8 RODBC 1.3-15 roxygen2 6.0.1
rpart 4.1-12 rprojroot 1.2 Rserve 1.7-3
RSQLite 2.0 rstudioapi 0.7 scales 0.5.0
sfsmisc 1.1-1 sp 1.2-5 سبارك 2.3.0
SparseM 1.77 spatial 7.3-11 splines 3.4.3
sqldf 0.4-11 statmod 1.4.30 stats 3.4.3
stats4 3.4.3 stringi 1.1.6 stringr 1.2.0
survival 2.41-3 tcltk 3.4.3 TeachingDemos 2.10
اختبار الذي 1.0.2 tibble 1.3.4 tidyr 0.7.2
tidyselect 0.2.3 timeDate 3042.101 الأدوات 3.4.3
utils 3.4.3 viridisLite 0.2.0 whisker 0.3-2
withr 2.1.0 xml2 1.1.1

مكتبات Java و Scala المثبتة (إصدار نظام مجموعة Scala 2.11)

معرف مجموعة معرف البيانات الاصطناعية ‏‏الإصدار
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.253
com.amazonaws aws-java-sdk-cloudformation 1.11.253
com.amazonaws aws-java-sdk-cloudfront 1.11.253
com.amazonaws aws-java-sdk-cloudhsm 1.11.253
com.amazonaws aws-java-sdk-cloudsearch 1.11.253
com.amazonaws aws-java-sdk-cloudtrail 1.11.253
com.amazonaws aws-java-sdk-cloudwatch 1.11.253
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.253
com.amazonaws aws-java-sdk-codedeploy 1.11.253
com.amazonaws aws-java-sdk-cognitoidentity 1.11.253
com.amazonaws aws-java-sdk-cognitosync 1.11.253
com.amazonaws aws-java-sdk-config 1.11.253
com.amazonaws aws-java-sdk-core 1.11.253
com.amazonaws aws-java-sdk-datapipeline 1.11.253
com.amazonaws aws-java-sdk-directconnect 1.11.253
com.amazonaws aws-java-sdk-directory 1.11.253
com.amazonaws aws-java-sdk-dynamodb 1.11.253
com.amazonaws aws-java-sdk-ec2 1.11.253
com.amazonaws aws-java-sdk-ecs 1.11.253
com.amazonaws aws-java-sdk-efs 1.11.253
com.amazonaws aws-java-sdk-elasticache 1.11.253
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.253
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.253
com.amazonaws aws-java-sdk-elastictranscoder 1.11.253
com.amazonaws aws-java-sdk-emr 1.11.253
com.amazonaws aws-java-sdk-glacier 1.11.253
com.amazonaws aws-java-sdk-iam 1.11.253
com.amazonaws aws-java-sdk-importexport 1.11.253
com.amazonaws aws-java-sdk-kinesis 1.11.253
com.amazonaws aws-java-sdk-kms 1.11.253
com.amazonaws aws-java-sdk-lambda 1.11.253
com.amazonaws aws-java-sdk-logs 1.11.253
com.amazonaws aws-java-sdk-machinelearning 1.11.253
com.amazonaws aws-java-sdk-opsworks 1.11.253
com.amazonaws aws-java-sdk-rds 1.11.253
com.amazonaws aws-java-sdk-redshift 1.11.253
com.amazonaws aws-java-sdk-route53 1.11.253
com.amazonaws aws-java-sdk-s3 1.11.253
com.amazonaws aws-java-sdk-ses 1.11.253
com.amazonaws aws-java-sdk-simpledb 1.11.253
com.amazonaws aws-java-sdk-simpleworkflow 1.11.253
com.amazonaws aws-java-sdk-sns 1.11.253
com.amazonaws aws-java-sdk-sqs 1.11.253
com.amazonaws aws-java-sdk-ssm 1.11.253
com.amazonaws aws-java-sdk-storagegateway 1.11.253
com.amazonaws aws-java-sdk-sts 1.11.253
com.amazonaws دعم aws-java-sdk 1.11.253
com.amazonaws مكتبات aws-java-sdk-swf 1.11.22
com.amazonaws مساحات عمل aws-java-sdk 1.11.253
com.amazonaws jmespath-java 1.11.253
البحث في com.جزر hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics تيار 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.3.0-db1-spark2.3
com.databricks اختبارات dbml-local_2.11 0.3.0-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo مظلل 3.0.3
com.esotericsoftware سجل الحد الأدنى 1.3.0
com.fasterxml زميل 1.0.0
com.fasterxml.jackson.core التعليقات التوضيحية ل جاكسون 2.6.7
com.fasterxml.jackson.core جاكسون النواة 2.6.7
com.fasterxml.jackson.core جاكسون-databind 2.6.7.1
com.fasterxml.jackson.dataformat جاكسون-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype جاكسون-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil أداة تحميل jniloader 1.1
com.github.fommil.netlib الذاكرة الأساسية 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava الجوافه 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox cp عظمي 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.0.11
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning ضغط lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter برد-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter مجموعة parquet-hadoop 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity محللات أحادية التكافؤ 2.5.9
com.vlkan خزائن مسطحة 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
شائعات-beanutils شائعات-beanutils 1.7.0
شائعات-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
المجموعات المشتركة المجموعات المشتركة 3.2.2
تكوين المشتركات تكوين المشتركات 1.6
commons-dbcp commons-dbcp 1.4
أداة تجزئة الشائعات أداة تجزئة الشائعات 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
تسجيل المشتركات تسجيل المشتركات 1.1.3
commons-net commons-net 2.2
تجمع مشترك تجمع مشترك 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift أداة ضغط الهواء 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics المقاييس-الفحوصات الصحية 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus واجهة سطر الأوامر البسيطة 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx جامع 0.7
javax.activation التنشيط 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation واجهة برمجة تطبيقات التحقق من الصحة 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
التفاف دائري التفاف دائري 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic خصائص eigenbase 1.1.5
net.iharder قاعدة 64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr وقت تشغيل antlr 3.4
org.antlr وقت تشغيل antlr4 4.7
org.antlr سلسلة قوالب 3.2.1
org.apache.ant النمل 1.9.2
org.apache.ant نملة-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.سهم تنسيق السهم 0.8.0
org.apache.سهم ذاكرة الأسهم 0.8.0
org.apache.سهم خط متجه للسهم 0.8.0
org.apache.avro افرو 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro اختبارات avro-ipc 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite الكالسيت-أفاتيكا 1.2.0 حاضنة
org.apache.calcite نواة الكالسيت 1.2.0 حاضنة
org.apache.calcite الكالسيت-linq4j 1.2.0 حاضنة
org.apache.commons ضغط الشائعات 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator عميل أمين 2.7.1
org.apache.curator إطار عمل أمين 2.7.1
org.apache.curator وصفات أمين 2.7.1
org.apache.derby ديربي 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop تعليقات توضيحية ل hadoop 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop عميل hadoop 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0 حاضنة
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy اللبلاب 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet عمود باركيه 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet ترميز باركيه 1.8.2-databricks1
org.apache.parquet تنسيق باركيه 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet باركيه جاكسون 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5 مظلل 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson جاكسون جاكرس 1.9.13
org.codehaus.jackson جاكسون-mapper-asl 1.9.13
org.codehaus.jackson جاكسون-xc 1.9.13
org.codehaus.janino محول برمجي مشترك 3.0.8
org.codehaus.janino جانينو 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty عميل jetty 9.3.20.v20170531
org.eclipse.jetty متابعة jetty 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty وكيل jetty 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty خادم jetty 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 محدد موقع hk2 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external إعادة حزم الأوبالين 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged جيرسي جوافا 2.22.2
org.glassfish.jersey.containers جيرسي حاوية-servlet 2.22.2
org.glassfish.jersey.containers جيرسي-حاوية-servlet-core 2.22.2
org.glassfish.jersey.core جيرسي-العميل 2.22.2
org.glassfish.jersey.core جيرسي المشتركة 2.22.2
org.glassfish.jersey.core خادم جيرسي 2.22.2
org.glassfish.jersey.media جيرسي-وسائل الإعلام-جاكسب 2.22.2
org.hibernate مدقق الإسبات 5.1.1.Final
org.iq80.snappy لاذع 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging تسجيل jboss 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis داء objenesis 2.1
org.postgresql الانترنت 42.1.4
org.roaringbitmap هديرBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt واجهة الاختبار 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp نسيم macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark غير مستخدم 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
مستوى org.typelevel machinist_2.11 0.6.1
مستوى org.typelevel ماكرو-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml ثعبان الثعبان 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52