Databricks Runtime 5.0 (غير مدعوم)
أصدرت Databricks هذه الصورة في نوفمبر 2018.
توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 5.0، مدعومة من Apache Spark.
ميزات جديدة
Delta Lake
- الاستعلامات الفرعية مدعومة الآن في
WHEREعبارة لدعمDELETEالأوامر وUPDATE. - تنفيذ جديد قابل للتطوير للأوامر
MERGE.- لا يوجد حد لعدد الإدراجات والتحديثات.
- يمكن استخدام استعلامات SCD من النوع 1 والنوع 2.
- يمكن أن يكون لإجراء عمليات رفع من الاستعلامات المتدفقة في وضع "التحديث" (على سبيل المثال، كتابة إخراج تجميع البث إلى جدول Delta). راجع مثال كتابة تجميعات الدفق في Databricks Delta باستخدام دفتر ملاحظات MERGE و foreachBatch .
- الاستعلامات الفرعية مدعومة الآن في
دفق منظم
- مصدر تدفق يستند إلى إعلام ملف تخزين Azure Blob. يمكن أن يقلل هذا بشكل كبير من تكاليف سرد عند تشغيل استعلام Structured Streaming على الملفات في تخزين Azure Blob. بدلا من استخدام القائمة للعثور على ملفات جديدة للمعالجة، يمكن لمصدر البث هذا قراءة إعلامات حدث الملف مباشرة للعثور على ملفات جديدة. راجع مصدر ملف تخزين Azure Blob مع Azure Queue Storage (قديم) .
دعم إضافي ل TensorBoard لمراقبة وظائف التعلم العميق. راجع TensorBoard.
التحسينات
- Delta Lake
OPTIMIZEالأداء والاستقرار.OPTIMIZEيقوم الأمر بتثبيت الدفعات في أقرب وقت ممكن، بدلا من النهاية.- تقليل العدد الافتراضي لمؤشرات الترابط التي
OPTIMIZEيتم تشغيلها بالتوازي. هذه زيادة صارمة في الأداء للجداول الكبيرة. - قم بتقسيم
OPTIMIZEعمليات الكتابة عن طريق تجنب فرز البيانات دون داع عند الكتابة إلى جدول مقسم. - تك Sped up
OPTIMIZE ZORDER BYبجعله تزايديا. وهذا يعني أن الأمر الآن يتجنب إعادة كتابة ملفات البيانات التي تم ترتيبها مسبقا بواسطة العمود (الأعمدة) نفسه. راجع تخطي البيانات ل Delta Lake.
- عزل اللقطة عند الاستعلام عن جداول Delta. يقرأ أي استعلام يحتوي على مراجع متعددة لجدول Delta (على سبيل المثال، الصلة الذاتية) من نفس لقطة الجدول حتى إذا كانت هناك تحديثات متزامنة للجدول.
- تحسين زمن انتقال الاستعلام عند القراءة من جداول Delta الصغيرة (< 2000 ملف) عن طريق التخزين المؤقت لبيانات التعريف على برنامج التشغيل.
- تحسين أداء الانحدار اللوجستي MLlib.
- تحسين أداء خوارزمية شجرة MLlib.
- ترقية العديد من مكتبات Java وSc scala. راجع مكتبات Java وSc scala المثبتة (إصدار نظام مجموعة Scala 2.11).
- ترقية بعض مكتبات Python المثبتة:
- pip: 10.0.1 إلى 18.0
- setuptools: 39.2.0 إلى 40.4.1
- إعصار: 5.0.2 إلى 5.1.1
- ترقية العديد من مكتبات R المثبتة. راجع مكتبات R المثبتة.
إصلاحات الأخطاء
- Delta Lake
- تنطبق التكوينات التي تم تعيينها في تكوين SQL الآن بشكل صحيح على عمليات Delta Lake التي تم تحميلها أولا في دفتر ملاحظات مختلف.
- تم إصلاح خطأ في
DELETEالأمر الذي قد يؤدي إلى حذف الصفوف بشكل غير صحيح حيث يتم تقييم الشرط إلى قيمة خالية. - عمليات الدفق التي تستغرق أكثر من يومين لمعالجة الدفعة الأولية (أي البيانات التي كانت موجودة في الجدول عند بدء الدفق) لم تعد تفشل عند
FileNotFoundExceptionمحاولة الاسترداد من نقطة تحقق. - تجنب حالة تعارض تؤدي إلى
NoClassDefErrorعند تحميل جدول جديد. - إصلاح للمكان
VACUUMالذي قد تفشل فيه العملية مع AssertionError يفيد: "يجب ألا يكون لديك أي مسارات مطلقة للحذف هنا." - تم إصلاح
SHOW CREATE TABLEالأمر لعدم تضمين خصائص التخزين التي تم إنشاؤها بواسطة Hive.
- تتم الآن إعادة تشغيل المنفذين الذين يطرحون العديد من
NoClassDefFoundErrorالأخطاء لفئات Spark الداخلية تلقائيا لإصلاح المشكلة.
المشكلات المعروفة
- أسماء الأعمدة
replaceWhereالمحددة في خيارoverwriteالوضع في Delta Lake حساسة لحالة الأحرف حتى إذا تم تمكين عدم تحسس حالة الأحرف (وهو الافتراضي). - موصل Snowflake ل Databricks Runtime 5.0 في المعاينة.
- إذا قمت بإلغاء خلية دفق قيد التشغيل في دفتر ملاحظات مرفق بمجموعة Databricks Runtime 5.0، فلا يمكنك تشغيل أي أوامر لاحقة في دفتر الملاحظات ما لم تقم بإلغاء تحديد حالة دفتر الملاحظات أو إعادة تشغيل نظام المجموعة. للحصول على حل بديل، راجع قاعدة المعارف.
Apache Spark
يتضمن Databricks Runtime 5.0 Apache Spark 2.4.0.
Core وSpark SQL
إشعار
تحتوي هذه المقالة على مراجع لمصطلح الرقيق، وهو مصطلح لا يستخدمه Azure Databricks. عند إزالة المصطلح من البرنامج، سنزيله من هذه المقالة.
الميزات الرئيسية
- وضع تنفيذ الحاجز: [SPARK-24374] دعم وضع تنفيذ الحاجز في المجدول، للتكامل بشكل أفضل مع أطر التعلم العميق.
- دعم Scala 2.12: [SPARK-14220] إضافة دعم Scala 2.12 تجريبي. يمكنك الآن إنشاء Spark باستخدام Scala 2.12 وكتابة تطبيقات Spark في Scala 2.12.
- دالات ذات ترتيب أعلى: [SPARK-23899] إضافة العديد من الدالات المضمنة الجديدة، بما في ذلك الدالات عالية الترتيب، لتسهيل العمل مع أنواع البيانات المعقدة. راجع وظائف Apache Spark المضمنة.
- مصدر بيانات Avro المضمن: [SPARK-24768] حزمة Spark-Avro المضمنة مع دعم النوع المنطقي والأداء الأفضل وسهولة الاستخدام.
API
- [SPARK-24035] بناء جملة SQL ل Pivot
- [SPARK-24940] دمج وتلميح إعادة تقسيم استعلامات SQL
- [SPARK-19602] دعم دقة العمود لاسم العمود المؤهل بالكامل
- [SPARK-21274] تنفيذ باستثناء الكل وتقاطع الكل
الأداء والاستقرار
- [SPARK-16406] يجب أن تكون الدقة المرجعية لعدد كبير من الأعمدة أسرع
- [SPARK-23486] تخزين اسم الدالة مؤقتا من الكتالوج الخارجي لوظائف البحث
- [SPARK-23803] دعم تقليم المستودع
- [SPARK-24802] استبعاد قاعدة التحسين
- [SPARK-4502] تشذيب المخطط المتداخل لجداول Parquet
- [SPARK-24296] دعم النسخ المتماثل للكتل التي يزيد حجمها عن 2 غيغابايت
- [SPARK-24307] دعم إرسال الرسائل عبر 2 غيغابايت من الذاكرة
- [SPARK-23243] قد يؤدي التبديل العشوائي+إعادة تقسيم مجموعة البيانات الموزعة المرنة إلى إجابات غير صحيحة
- [SPARK-25181] تقييد حجم تجمعات سلسلة رسائل BlockManager الرئيسية والرقيقة، مما يقلل من حمل الذاكرة عندما تكون الشبكات بطيئة
الموصلات
- [SPARK-23972] تحديث Parquet من 1.8.2 إلى 1.10.0
- [SPARK-25419] تحسين الضغط على دالة التقييم Parquet
- [SPARK-23456] قارئ ORC الأصلي قيد التشغيل بشكل افتراضي
- [SPARK-22279] استخدام قارئ ORC الأصلي لقراءة جداول Hive serde بشكل افتراضي
- [SPARK-21783] تشغيل الضغط لأسفل لعامل تصفية ORC بشكل افتراضي
- [SPARK-24959] تسريع العد () ل JSON وCSV
- [SPARK-24244] تحليل الأعمدة المطلوبة فقط إلى محلل CSV
- [SPARK-23786] التحقق من صحة مخطط CSV - لا يتم التحقق من أسماء الأعمدة
- [SPARK-24423] استعلام خيار لتحديد الاستعلام المراد قراءته من JDBC
- [SPARK-22814] دعم التاريخ/الطابع الزمني في عمود قسم JDBC
- [SPARK-24771] تحديث Avro من 1.7.7 إلى 1.8
PySpark
- [SPARK-24215] تنفيذ تقييم حريص لواجهات برمجة تطبيقات DataFrame
- [SPARK-22274] - [SPARK-22239] وظائف التجميع المعرفة من قبل المستخدم مع pandas udf
- [SPARK-24396] إضافة Structured Streaming ForeachWriter ل Python
- [SPARK-23874] ترقية سهم Apache إلى 0.10.0
- [SPARK-25004] إضافة حد spark.executor.pyspark.memory
- [SPARK-23030] استخدام تنسيق تدفق السهم لإنشاء من Pandas DataFrames وجمعها
- [SPARK-24624] دعم مزيج من Python UDF و Scalar pandas UDF
تغييرات ملحوظة أخرى
- [SPARK-24596] إبطال ذاكرة التخزين المؤقت غير المتتالية
- [SPARK-23880] لا تقم بتشغيل أي مهمة لتخزين البيانات مؤقتا
- [SPARK-23510][SPARK-24312] دعم Hive 2.2 وHive 2.3 metastore
- [SPARK-23711] إضافة منشئ احتياطي ل UnsafeProjection
- [SPARK-24626] توازي حساب حجم الموقع في الأمر "تحليل الجدول"
أدلة البرمجة: دليل برمجة Spark RDD ودليل Spark SQL DataFrames وDatasets.
دفق منظم
الميزات الرئيسية
- [SPARK-24565] كشف صفوف الإخراج لكل ميكروباتش ك DataFrame باستخدام foreachBatch (Python وSc scala وJava)
- [SPARK-24396] تمت إضافة واجهة برمجة تطبيقات Python ل foreach و ForeachWriter
- [SPARK-25005] دعم "kafka.isolation.level" لقراءة السجلات الملتزم بها فقط من مواضيع Kafka المكتوبة باستخدام منتج معاملات.
تغييرات ملحوظة أخرى
- [SPARK-24662] دعم عامل تشغيل LIMIT للتدفقات في وضع الإلحاق أو الإكمال
- [SPARK-24763] إزالة البيانات الرئيسية المكررة من القيمة في تجميع الدفق
- [SPARK-24156] إنشاء أسرع لنتائج الإخراج و/أو تنظيف الحالة مع العمليات ذات الحالة (mapGroupsWithState، والانضمام إلى دفق البث، وتجميع الدفق، وDuplicates المتدفقة) عندما لا توجد بيانات في دفق الإدخال.
- [SPARK-24730] دعم اختيار الحد الأدنى أو الحد الأقصى للعلامة المائية عند وجود تدفقات إدخال متعددة في استعلام
- [SPARK-25399] إصلاح خطأ حيث يمكن أن تؤدي إعادة استخدام مؤشرات ترابط التنفيذ من المعالجة المستمرة لتدفق الوحدات الصغيرة إلى مشكلة في التصحيح
- [SPARK-18057] تمت ترقية إصدار عميل Kafka من 0.10.0.1 إلى 2.0.0
دليل البرمجة: دليل برمجة الدفق المنظم.
MLlib
الميزات الرئيسية
- [SPARK-22666] مصدر بيانات Spark لتنسيق الصورة
تغييرات ملحوظة أخرى
- [SPARK-22119][SPARK-23412][SPARK-23217] إضافة مقياس مسافة جيب التمام إلى تقييم KMeans/BisectingKMeans/Clustering
- [SPARK-10697] رفع الحساب في تعدين قاعدة الاقتران
- [SPARK-14682][SPARK-24231] توفير طريقة evaluateEachIteration أو ما يعادلها ل GBTs spark.ml
- [SPARK-7132][SPARK-24333] إضافة ملاءمة مع مجموعة التحقق من الصحة إلى spark.ml GBT
- [SPARK-15784][SPARK-19826] إضافة Power Iteration Clustering إلى spark.ml
- [SPARK-15064] دعم اللغة المحلية في StopWordsRemover
- [SPARK-21741] واجهة برمجة تطبيقات Python لملخص متعدد المتغيرات المستند إلى DataFrame
- [SPARK-21898][SPARK-23751] تماثل الميزات ل KolmogorovSmirnovTest في MLlib
- [SPARK-10884] دعم التنبؤ على مثيل واحد للنماذج ذات الصلة بالتراجع والتصنيف
- [SPARK-23783] إضافة سمة تصدير عامة جديدة لمسارات التعلم الآلي
- [SPARK-11239] تصدير PMML للتراجع الخطي في التعلم الآلي
دليل البرمجة: دليل مكتبة التعلم الآلي (MLlib).
سبارك
- [SPARK-25393] إضافة دالة جديدة from_csv()
- [SPARK-21291] إضافة R partitionBy API في DataFrame
- [SPARK-25007] إضافة array_intersect/array_except/array_union/تبديل عشوائي إلى SparkR
- [SPARK-25234] تجنب تجاوز العدد الصحيح بالتوازي
- [SPARK-25117] إضافة دعم EXCEPT ALL وINTERSECT ALL في R
- [SPARK-24537] إضافة array_remove / array_zip / map_from_arrays / array_distinct
- [SPARK-24187] إضافة دالة array_join إلى SparkR
- [SPARK-24331] إضافة map_entries arrays_overlap array_repeat إلى SparkR
- [SPARK-24198] إضافة دالة الشريحة إلى SparkR
- [SPARK-24197] إضافة وظيفة array_sort إلى SparkR
- [SPARK-24185] إضافة دالة مسطحة إلى SparkR
- [SPARK-24069] إضافة وظائف array_min / array_max
- [SPARK-24054] إضافة دالة array_position / وظائف element_at
- [SPARK-23770] إضافة repartitionByRange API في SparkR
دليل البرمجة: SparkR (R على Spark).
الرسم البياني X
- [SPARK-25268] تشغيل PageRank المتوازي المخصص يطرح استثناء التسلسل
دليل البرمجة: دليل برمجة GraphX.
عمليات الإهمال
- [SPARK-23451] إهمال حساب KMeansCost
- [SPARK-25345] إهمال واجهات برمجة تطبيقات readImages من ImageSchema
تغييرات السلوك
- [SPARK-23549] تحويل إلى طابع زمني عند مقارنة الطابع الزمني بالتاريخ
- [SPARK-24324] يجب أن يعين Pandas Grouped Map UDF أعمدة النتائج حسب الاسم
- [SPARK-25088] تحديثات المستند الافتراضية ل Rest Server
- [SPARK-23425] تحميل البيانات لمسار ملف hdfs باستخدام أحرف البدل لا يعمل بشكل صحيح
- [SPARK-23173] يمكن أن تنتج from_json قيما خالية للحولات التي تم وضع علامة عليها على أنها غير قابلة للقيم الخالية
- [SPARK-24966] تنفيذ قواعد الأسبقية لعمليات التعيين
- [SPARK-25708] يجب أن يكون HAVING بدون GROUP BY تجميعا عموميا
- [SPARK-24341] معالجة الاستعلام الفرعي IN متعدد القيم بشكل صحيح
- [SPARK-19724] إنشاء جدول مدار مع موقع افتراضي موجود يجب أن يطرح استثناء
راجع دليل الترحيل لكافة تغييرات السلوك.
المشكلات المعروفة
- [SPARK-25793] تحميل خطأ النموذج في BisectingKMeans
- [SPARK-25271] يجب أن يستفيد CTAS مع جداول Hive parquet من مصدر parquet الأصلي
- [SPARK-24935] مشكلة في تنفيذ Hive UDAF من Spark 2.2 فصاعدا
التحديثات الصيانة
راجع تحديثات صيانة Databricks Runtime 5.0.
بيئة النظام
- نظام التشغيل: Ubuntu 16.04.5 LTS
- Java: 1.8.0_162
- Scala: 2.11.8
- Python: 2.7.12 لمجموعات Python 2 و3.5.2 لمجموعات Python 3.
- R: R الإصدار 3.4.4 (2018-03-15)
- مجموعات GPU: يتم تثبيت مكتبات NVIDIA GPU التالية:
- Tesla driver 375.66
- CUDA 9.0
- cuDNN 7.0
إشعار
على الرغم من أن Scala 2.12 مدعوم في Apache Spark 2.4، إلا أنه غير مدعوم في Databricks Runtime 5.0.
مكتبات Python المثبتة
| مكتبة | الإصدار | مكتبة | الإصدار | مكتبة | الإصدار |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | روبوت الدردشة | 1.4.70 |
| brewer2mpl | 1.4.1 | شهادة | 2016.2.28 | cffi | 1.7.0 |
| تجزئة | 2.3.0 | سمة ملونة | 0.3.7 | configobj | 5.0.6 |
| التشفير | 1.5 | دورة | 0.10.0 | Cython | 0.24.1 |
| ديكور | 4.0.10 | docutils | 0.14 | قائمة تعداد 34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| صمام مدمج | 2.0.4 | العقود الاجله | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | Ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| جينجا 2 | 2.8 | مسار jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | العلامات خزينة | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | باتسي | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | وساده | 3.3.1 |
| pip | 18.0 | رقائق | 3.9 | مجموعة أدوات المطالبة | 1.0.7 |
| psycopg2 | 2.6.2 | عملية ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| الطلبات | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| شفرة | 0.18.1 | نظف | 0.32 | بحر محمول | 0.7.1 |
| أدوات الإعداد | 40.4.1 | simplejson | 3.8.2 | بسيط3 | 1.0 |
| أحادي الموضع | 3.4.0.3 | ستة | 1.10.0 | نماذج الإحصائيات | 0.6.1 |
| اعصار | 5.1.1 | سمات السمات | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth | 0.1.7 | عجله | 0.31.1 |
| wsgiref | 0.1.2 |
مكتبات R المثبتة
| مكتبة | الإصدار | مكتبة | الإصدار | مكتبة | الإصدار |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.2 |
| الأساس | 3.4.4 | base64enc | 0.1-3 | BH | 1.66.0-1 |
| bindr | 0.1.1 | bindrcpp | 0.2.2 | بت | 1.1-14 |
| bit64 | 0.9-7 | bitops | 1.0-6 | كائن ثنائي كبير الحجم | 1.1.1 |
| boot | 1.3-20 | المشروب | 1.0-6 | broom | 0.5.0 |
| callr | 3.0.0 | car | 3.0-2 | carData | 3.0-1 |
| علامة إقحام | 6.0-80 | cellranger | 1.1.0 | كرون | 2.3-52 |
| فئة | 7.3-14 | cli | 1.0.0 | نظام مجموعة | 2.0.7-1 |
| codetools | 0.2-15 | colorspace | 1.3-2 | العلامة الشائعة | 1.5 |
| compiler | 3.4.4 | crayon | 1.3.4 | curl | 3.2 |
| CVST | 0.2-2 | data.table | 1.11.4 | مجموعات البيانات | 3.4.4 |
| DBI | 1.0.0 | ddalpha | 1.3.4 | DEoptimR | 1.0-8 |
| تنازلي | 1.2.0 | devtools | 1.13.6 | digest | 0.6.16 |
| أحمر خافت | 0.1.0 | doMC | 1.3.5 | dplyr | 0.7.6 |
| معدل الارتداد الدفاعي | 0.0.3 | fansi | 0.3.0 | forcats | 0.3.0 |
| Foreach | 1.4.4 | foreign | 0.8-70 | غيغابايت | 2.1.3 |
| هندسة | 0.3-6 | ggplot2 | 3.0.0 | git2r | 0.23.0 |
| glmnet | 2.0-16 | glue | 1.3.0 | gower | 0.1.2 |
| graphics | 3.4.4 | grDevices | 3.4.4 | grid | 3.4.4 |
| gsubfn | 0.7 | gtable | 0.2.0 | H2o | 3.20.0.2 |
| haven | 1.1.2 | hms | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-7 |
| iterators | 1.0.10 | jsonlite | 1.5 | kernlab | 0.9-27 |
| KernSmooth | 2.23-15 | labeling | 0.3 | lattice | 0.20-35 |
| lava | 1.6.3 | lazyeval | 0.2.1 | أكثر طفاية | 0.3.4 |
| lme4 | 1.1-18-1 | lubridate | 1.7.4 | السحر | 1.5-8 |
| magrittr | 1.5 | مشروع الخريطة | 1.2.6 | خرائط | 3.3.0 |
| أصنام الخرائط | 0.9-3 | MASS | 7.3-50 | المصفوفة | 1.2-14 |
| نماذج المصفوفة | 0.4-1 | المذكرة | 1.1.0 | الأساليب | 3.4.4 |
| mgcv | 1.8-24 | mime | 0.5 | مينقا | 1.2.4 |
| ModelMetrics | 1.2.0 | munsell | 0.5.0 | mvtnorm | 1.0-8 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.0.2 | openxlsx | 4.1.0 |
| parallel | 3.4.4 | pbkrtest | 0.4-7 | pillar | 1.3.0 |
| pkgbuild | 1.0.0 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.0 | plogr | 0.2.0 | المتنقله | 2.7-0 |
| plyr | 1.8.4 | الثناء | 1.0.0 | prettyunits | 1.0.2 |
| بروك | 1.12.1 | processx | 3.2.0 | prodlim | 2018.04.18 |
| proto | 1.0.0 | ps | 1.1.0 | purrr | 0.2.5 |
| quantreg | 5.36 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.7.0 | R6 | 2.2.2 | randomForest | 4.6-14 |
| RColorBrewer | 1.1-2 | Rcpp | 0.12.18 | RcppEigen | 0.3.3.4.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.11 | readr | 1.1.1 |
| readxl | 1.1.0 | recipes | 0.1.3 | rematch | 1.0.1 |
| reshape2 | 1.4.3 | ريو | 0.5.10 | rlang | 0.2.2 |
| قاعدة قوية | 0.93-2 | RODBC | 1.3-15 | roxygen2 | 6.1.0 |
| rpart | 4.1-13 | rprojroot | 1.3-2 | Rserve | 1.7-3 |
| RSQLite | 2.1.1 | rstudioapi | 0.7 | scales | 1.0.0 |
| sfsmisc | 1.1-2 | sp | 1.3-1 | سبارك | 2.4.0 |
| SparseM | 1.77 | spatial | 7.3-11 | splines | 3.4.4 |
| sqldf | 0.4-11 | SQUAREM | 2017.10-1 | statmod | 1.4.30 |
| stats | 3.4.4 | stats4 | 3.4.4 | stringi | 1.2.4 |
| stringr | 1.3.1 | survival | 2.42-6 | tcltk | 3.4.4 |
| TeachingDemos | 2.10 | اختبار الذي | 2.0.0 | tibble | 1.4.2 |
| tidyr | 0.8.1 | tidyselect | 0.2.4 | timeDate | 3043.102 |
| الأدوات | 3.4.4 | utf8 | 1.1.4 | utils | 3.4.4 |
| viridisLite | 0.3.0 | whisker | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | zip | 1.0.0 |
مكتبات Java و Scala المثبتة (إصدار نظام مجموعة Scala 2.11)
| معرف مجموعة | معرف البيانات الاصطناعية | الإصدار |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | دعم aws-java-sdk | 1.11.313 |
| com.amazonaws | مكتبات aws-java-sdk-swf | 1.11.22 |
| com.amazonaws | مساحات عمل aws-java-sdk | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| البحث في com.جزر | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | تيار | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db7-spark2.4 |
| com.databricks | اختبارات dbml-local_2.11 | 0.5.0-db7-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo مظلل | 4.0.2 |
| com.esotericsoftware | سجل الحد الأدنى | 1.3.0 |
| com.fasterxml | زميل | 1.0.0 |
| com.fasterxml.jackson.core | التعليقات التوضيحية ل جاكسون | 2.6.7 |
| com.fasterxml.jackson.core | جاكسون النواة | 2.6.7 |
| com.fasterxml.jackson.core | جاكسون-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | جاكسون-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | جاكسون-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | أداة تحميل jniloader | 1.1 |
| com.github.fommil.netlib | الذاكرة الأساسية | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | الجوافه | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | cp عظمي | 0.8.0.RELEASE |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | ضغط lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | برد-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | مجموعة parquet-hadoop | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | محللات أحادية التكافؤ | 2.7.3 |
| com.vlkan | خزائن مسطحة | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| شائعات-beanutils | شائعات-beanutils | 1.7.0 |
| شائعات-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| المجموعات المشتركة | المجموعات المشتركة | 3.2.2 |
| تكوين المشتركات | تكوين المشتركات | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| أداة تجزئة الشائعات | أداة تجزئة الشائعات | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| تسجيل المشتركات | تسجيل المشتركات | 1.1.3 |
| commons-net | commons-net | 3.1 |
| تجمع مشترك | تجمع مشترك | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | أداة ضغط الهواء | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | المقاييس-الفحوصات الصحية | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | واجهة سطر الأوامر البسيطة | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | جامع | 0.7 |
| javax.activation | التنشيط | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | واجهة برمجة تطبيقات التحقق من الصحة | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| التفاف دائري | التفاف دائري | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | خصائص eigenbase | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-jdbc | 3.6.3 |
| net.snowflake | spark-snowflake_2.11 | 2.4.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | وقت تشغيل antlr | 3.4 |
| org.antlr | وقت تشغيل antlr4 | 4.7 |
| org.antlr | سلسلة قوالب | 3.2.1 |
| org.apache.ant | النمل | 1.9.2 |
| org.apache.ant | نملة-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.سهم | تنسيق السهم | 0.10.0 |
| org.apache.سهم | ذاكرة الأسهم | 0.10.0 |
| org.apache.سهم | خط متجه للسهم | 0.10.0 |
| org.apache.avro | افرو | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | الكالسيت-أفاتيكا | 1.2.0 حاضنة |
| org.apache.calcite | نواة الكالسيت | 1.2.0 حاضنة |
| org.apache.calcite | الكالسيت-linq4j | 1.2.0 حاضنة |
| org.apache.commons | ضغط الشائعات | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | عميل أمين | 2.7.1 |
| org.apache.curator | إطار عمل أمين | 2.7.1 |
| org.apache.curator | وصفات أمين | 2.7.1 |
| org.apache.derby | ديربي | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | تعليقات توضيحية ل hadoop | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | عميل hadoop | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0 حاضنة |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | اللبلاب | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | عمود باركيه | 1.10.1-databricks2 |
| org.apache.parquet | parquet-common | 1.10.1-databricks2 |
| org.apache.parquet | ترميز باركيه | 1.10.1-databricks2 |
| org.apache.parquet | تنسيق باركيه | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks2 |
| org.apache.parquet | باركيه جاكسون | 1.10.1-databricks2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | جاكسون جاكرس | 1.9.13 |
| org.codehaus.jackson | جاكسون-mapper-asl | 1.9.13 |
| org.codehaus.jackson | جاكسون-xc | 1.9.13 |
| org.codehaus.janino | محول برمجي مشترك | 3.0.9 |
| org.codehaus.janino | جانينو | 3.0.9 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | عميل jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | متابعة jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | وكيل jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | خادم jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | محدد موقع hk2 | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | إعادة حزم الأوبالين | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | جيرسي جوافا | 2.22.2 |
| org.glassfish.jersey.containers | جيرسي حاوية-servlet | 2.22.2 |
| org.glassfish.jersey.containers | جيرسي-حاوية-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | جيرسي-العميل | 2.22.2 |
| org.glassfish.jersey.core | جيرسي المشتركة | 2.22.2 |
| org.glassfish.jersey.core | خادم جيرسي | 2.22.2 |
| org.glassfish.jersey.media | جيرسي-وسائل الإعلام-جاكسب | 2.22.2 |
| org.hibernate | مدقق الإسبات | 5.1.1.Final |
| org.iq80.snappy | لاذع | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | تسجيل jboss | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | داء objenesis | 2.5.1 |
| org.postgresql | الانترنت | 42.1.4 |
| org.roaringbitmap | هديرBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | واجهة الاختبار | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | نسيم macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | غير مستخدم | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| مستوى org.typelevel | machinist_2.11 | 0.6.1 |
| مستوى org.typelevel | ماكرو-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.1 |
| org.yaml | ثعبان الثعبان | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |