Databricks Runtime 4.1 (غير مدعوم)

  • مقالة

أصدرت Databricks هذه الصورة في مايو 2018.

هام

تم إهمال هذا الإصدار في 17 يناير 2019. لمزيد من المعلومات حول نهج إيقاف وقت تشغيل Databricks وجدوله الزمني، راجع دورات حياة دعم وقت تشغيل Databricks.

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 4.1، مدعومة من Apache Spark.

Delta Lake

يضيف الإصدار 4.1 من Databricks Runtime تحسينات ووظائف جودة رئيسية إلى Delta Lake. توصي Databricks بشدة بأن يقوم جميع عملاء Delta Lake بالترقية إلى وقت التشغيل الجديد. يظل هذا الإصدار في المعاينة الخاصة، ولكنه يمثل إصدار مرشح تحسبا لإصدار التوفر العام القادم (GA).

يتوفر Delta Lake الآن أيضا في المعاينة الخاصة لمستخدمي Azure Databricks. اتصل بمدير حسابك أو قم بالتسجيل في https://databricks.com/product/databricks-delta.

كسر التغييرات

  • يتضمن Databricks Runtime 4.1 تغييرات على بروتوكول المعاملة لتمكين الميزات الجديدة، مثل التحقق من الصحة. تستخدم الجداول التي تم إنشاؤها باستخدام Databricks Runtime 4.1 الإصدار الجديد تلقائيا ولا يمكن كتابتها بواسطة الإصدارات القديمة من Databricks Runtime. يجب ترقية الجداول الموجودة للاستفادة من هذه التحسينات. لترقية جدول موجود، قم أولا بترقية كافة المهام التي تكتب إلى الجدول. ثم قم بالتشغيل:

    com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")

    راجع كيف تدير Azure Databricks توافق ميزات Delta Lake؟ لمزيد من المعلومات.

  • يتم الآن التحقق من صحة عمليات الكتابة مقابل المخطط الحالي للجدول بدلا من إضافة أعمدة مفقودة من الجدول الوجهة تلقائيا كما كان من قبل. لتمكين السلوك السابق، قم بتعيين mergeSchema الخيار إلى true. راجع التحقق من صحة مخطط Delta Lake.

  • إذا كنت تقوم بتشغيل إصدارات سابقة من Databricks Delta، يجب ترقية جميع المهام قبل استخدام Databricks Runtime 4.1. إذا رأيت أي من هذه الأخطاء، قم بالترقية إلى Databricks Runtime 4.1:

    java.lang.NumberFormatException: For input string: "00000000000000....crc"
scala.MatchError

  • لم يعد بإمكان الجداول أن تحتوي على أعمدة تختلف فقط حسب الحالة.

  • يجب الآن أن تكون تكوينات الجدول الخاصة ب Delta مسبوقة ب delta.

الميزات الجديدة

  • إدارة المخطط - تتحقق Databricks Delta الآن من صحة الإلحاقات والكتابة فوق جدول موجود للتأكد من أن المخطط الذي تتم كتابته يطابق المخطط.

    • تستمر Databricks Delta في دعم ترحيل المخطط التلقائي.
    • يدعم Databricks Delta الآن DDL التالي لتعديل المخطط بشكل صريح:
      • ALTER TABLE ADD COLUMN لإضافة أعمدة جديدة إلى جدول
      • ALTER TABLE CHANGE COLUMNS لتغيير ترتيب الأعمدة
      • ALTER TABLE [SET|UNSET] TBLPROPERTIES

    للحصول على التفاصيل، راجع التحقق من صحة مخطط Delta Lake.

  • دعم DDL والجدول المحسن

    • الدعم الكامل لجدول DDL و saveAsTable(). save() والآن saveAsTable() لديك دلالات متطابقة.
    • تدعم جميع أوامر DDL وDML كلا من اسم الجدول و delta.`<path-to-table>`.
    • SHOW PARTITIONS
    • SHOW COLUMNS
    • DESC TABLE
    • معلومات الجدول التفصيلية - يمكنك مشاهدة إصدارات القارئ والكاتب الحالية لجدول عن طريق تشغيل DESCRIBE DETAIL. راجع كيف تدير Azure Databricks توافق ميزة Delta Lake؟.
    • تفاصيل الجدول - تتوفر الآن معلومات البروفنس لكل كتابة إلى جدول. يعرض الشريط الجانبي Data أيضا معلومات الجدول التفصيلية والمحفوظات لجداول Databricks Delta. راجع مراجعة تفاصيل جدول Delta Lake مع تفاصيل الوصف.
    • جداول الدفق - يمكن إنشاء Streaming DataFrames باستخدام spark.readStream.format("delta").table("<table-name>").
    • جداول الإلحاق فقط - يدعم Databricks Delta الآن إدارة البيانات الأساسية. يمكنك حظر الحذف والتعديلات على جدول عن طريق تعيين خاصيةdelta.appendOnly=true الجدول.
    • MERGE INTO source - يضيف دعما أكثر شمولا إلى مواصفات الاستعلام المصدر ل MERGE. على سبيل المثال، يمكنك تحديد LIMITو ORDER BYINLINE TABLE في المصدر.
    • الدعم الكامل لقوائم التحكم بالوصول للجداول.

تحسينات الأداء

  • تقليل النفقات العامة لمجموعة الإحصائيات - تم تحسين كفاءة مجموعة الإحصائيات ويتم الآن جمع الإحصائيات فقط لعدد قابل للتكوين من الأعمدة، وتعيينها إلى 32 بشكل افتراضي. تم تحسين أداء الكتابة في Databricks Delta بنسبة تصل إلى 2x بسبب الانخفاض في حمل جمع الإحصائيات. لتكوين عدد الأعمدة، قم بتعيين خاصيةdelta.dataSkippingNumIndexedCols=<number-of-columns> الجدول.
  • دعم الحد من الضغط لأسفل - تستخدم الإحصائيات للحد من عدد الملفات التي تم مسحها ضوئيا للاستعلامات التي تحتوي LIMIT على دالات تقييم على أعمدة الأقسام. ينطبق هذا على الاستعلامات في دفاتر الملاحظات بسبب التأثير الضمني limit=1000 لجميع أوامر دفتر الملاحظات.
  • تصفية الدفع في مصدر البث - تستخدم استعلامات الدفق الآن التقسيم عند بدء دفق جديد لتخطي البيانات غير ذات الصلة.
  • يعمل التوازي المحسن في OPTIMIZE - OPTIMIZE الوقت الحالي كمهمة Spark واحدة وسيستخدم جميع التوازي المتاح على نظام المجموعة (كان يقتصر سابقا على 100 ملف مضغوط في كل مرة).
  • يستخدم تخطي البيانات في DML - UPDATEDELETEو و MERGE الآن الإحصائيات عند تحديد موقع الملفات التي تحتاج إلى إعادة الكتابة.
  • الاحتفاظ بنقاط التفتيش المنخفضة - يتم الآن الاحتفاظ بنقاط التحقق لمدة يومين (لا يزال يتم الاحتفاظ بالمحفوظات لمدة 30) لتقليل تكاليف التخزين لسجل المعاملات.

سلوك واجهة برمجة التطبيقات

  • سلوك insertInto(<table-name>) في Databricks Delta هو نفس سلوك مصادر البيانات الأخرى.
    • إذا لم يتم تحديد أي وضع أو modeErrorIfExists، Ignoreأو Append، يقوم بإلحاق البيانات في DataFrame بجدول Databricks Delta.
    • إذا كان mode هو Overwrite، يحذف جميع البيانات في الجدول الموجود ويدرج البيانات من DataFrame في جدول Databricks Delta.
  • إذا تم تخزينه مؤقتا، يجب أن يكون الجدول الوجهة MERGE غير مخزن يدويا.

تحسينات قابلية الاستخدام

  • التحقق من صحة ترحيل حمل العمل - الأخطاء الشائعة التي تحدث عند ترحيل أحمال العمل إلى Databricks Delta تطرح الآن استثناء بدلا من الفشل:
    • استخدام format("parquet") لقراءة جدول أو كتابته.
    • القراءة أو الكتابة مباشرة إلى قسم (أي ، /path/to/delta/part=1).
    • تفريغ الدلائل الفرعية لجدول.
    • INSERT OVERWRITE DIRECTORY استخدام Parquet على جدول.
  • تكوين غير حساس لحالة الأحرف - خيارات خصائص DataFrame Reader/Writer والجدول غير حساسة لحالة الأحرف (بما في ذلك مسار القراءة ومسار الكتابة).
  • أسماء الأعمدة - يمكن أن تتضمن أسماء أعمدة الجدول الآن نقاطا.

مشكلات معروفة

  • توجد إدراجات عبارات الإدراج المتعدد في وحدات عمل مختلفة، بدلا من نفس المعاملة.

إصلاح الأخطاء

  • تم إصلاح حلقة لا نهائية عند بدء دفق جديد على جدول تحديث سريع.

عمليات الإهمال

لا يعالج Structured Streaming الإدخال الذي ليس إلحاقا ويطرح استثناء إذا حدثت أي تعديلات على الجدول المستخدم كمصدر. في السابق يمكنك تجاوز هذا السلوك باستخدام العلامة ignoreFileDeletion ، ولكن تم إهماله الآن. بدلا من ذلك، استخدم ignoreDeletes أو ignoreChanges. راجع جدول Delta كمصدر.

التغييرات والتحسينات الأخرى

  • يتم تمكين Query Watchdog لكافة المجموعات لجميع الأغراض التي تم إنشاؤها باستخدام واجهة المستخدم.
  • أداء محسن من جانب برنامج التشغيل لذاكرة التخزين المؤقت ل DBIO
  • أداء محسن لفك ترميز Parquet عبر أداة فك ترميز Parquet أصلية جديدة
  • تحسين الأداء لإزالة التعبير الفرعي الشائع
  • تحسين أداء تخطي البيانات للجدول الكبير الذي ينضم إلى الجداول الصغيرة (ربط جدول أبعاد الحقائق)
  • display() يعرض الآن الأعمدة التي تحتوي على أنواع بيانات الصور بتنسيق HTML منسق.
  • تحسينات على تسجيل نماذج MLflow وتحميلها وتسجيلها ونشرها
    • تمت ترقية dbml-local إلى أحدث إصدار 0.4.1
    • تم إصلاح الخطأ مع النماذج المصدرة مع threshold تحديد المعلمة
    • إضافة دعم لتصدير OneVsRestModel، GBTClassificationModel
  • ترقية بعض مكتبات Python المثبتة:
    • pip: من 9.0.1 إلى 10.0.0b2
    • setuptools: من 38.5.1 إلى 39.0.1
    • إعصار: 4.5.3 إلى 5.0.1
    • العجلة: 0.30.0 إلى 0.31.0
  • ترقية العديد من مكتبات R المثبتة. راجع مكتبات R المثبتة.
  • تمت ترقية Azure Data Lake Store SDK من 2.0.11 إلى 2.2.8.
  • تمت ترقية CUDA إلى 9.0 من 8.0 وCUDNN إلى 7.0 من 6.0 لمجموعات GPU.

Apache Spark

يتضمن Databricks Runtime 4.1 Apache Spark 2.3.0. يتضمن هذا الإصدار جميع الإصلاحات والتحسينات المضمنة في Databricks Runtime 4.0 (غير مدعوم)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

  • [SPARK-24007][SQL] قد ينشئ EqualNull خزينة ل FloatType و DoubleType نتيجة خاطئة بواسطة codegen.
  • [SPARK-23942][PYTHON] [SQL] يجعل التجميع في PySpark كإجراء لمستمع منفذ الاستعلام
  • [SPARK-23815][CORE] قد يفشل وضع الكتابة فوق القسم الديناميكي لكتابة Spark writer في كتابة الإخراج على قسم متعدد المستويات
  • [SPARK-23748][SS] إصلاح عملية SS المستمرة لا يدعم مشكلة SubqueryAlias
  • [SPARK-23963][SQL] معالجة عدد كبير من الأعمدة في الاستعلام بشكل صحيح على جدول Hive المستند إلى النص
  • [SPARK-23867][SCHEDULER] استخدام droppedCount في logWarning
  • [SPARK-23816][CORE] يجب أن تتجاهل المهام التي تم إيقافها FetchFailures.
  • [SPARK-23809][SQL] يجب تعيين SparkSession النشط بواسطة getOrCreate
  • [SPARK-23966][SS] إعادة بناء التعليمات البرمجية لكافة منطق كتابة ملف نقطة التحقق في واجهة CheckpointFileManager الشائعة
  • [SPARK-21351][SQL] تحديث قابلية القيم الخالية استنادا إلى إخراج الأطفال
  • [SPARK-23847][PYTHON] [SQL] إضافة asc_nulls_first، asc_nulls_last إلى PySpark
  • [SPARK-23822][SQL] تحسين رسالة الخطأ لأخطاء مخطط Parquet
  • [SPARK-23823][SQL] الاحتفاظ بالأصل في transformExpression
  • [SPARK-23838][WEBUI] يتم عرض استعلام SQL قيد التشغيل على أنه "مكتمل" في علامة تبويب SQL
  • [SPARK-23802][SQL] يمكن أن يترك نشرEmptyRelation خطة الاستعلام في حالة لم يتم حلها
  • [SPARK-23727][SQL] دعم دفع عوامل التصفية لأسفل ل DateType في parquet
  • [SPARK-23574][SQL] الإبلاغ عن SinglePartition في DataSourceV2ScanExec عندما يكون هناك مصنع قارئ بيانات واحد بالضبط.
  • [SPARK-23533][SS] إضافة دعم لتغيير StartOffset ل ContinuousDataReader
  • [SPARK-23491][SS] إزالة إلغاء مهمة صريحة من إعادة تكوين ContinuousExecution
  • [SPARK-23040][CORE] إرجاع مكرر قابل للمقاطعة لقارئ التبديل العشوائي
  • [SPARK-23827][SS] يجب أن يضمن StreamingJoinExec تقسيم بيانات الإدخال إلى عدد محدد من الأقسام
  • [SPARK-23639][SQL] الحصول على الرمز المميز قبل عميل init metastore في SparkSQL CLI
  • [SPARK-23806]يمكن أن يسبب Broadcast.unpersist استثناء فادحا عند استخدامه...
  • [SPARK-23599][SQL] استخدام RandomUUIDGenerator في تعبير Uuid
  • [SPARK-23599][SQL] إضافة منشئ UUID من أرقام عشوائية Pseudo
  • [SPARK-23759][واجهة المستخدم] تعذر ربط واجهة مستخدم Spark باسم مضيف / IP محدد
  • [SPARK-23769][CORE] إزالة التعليقات التي تعطل فحص Scalastyle دون داع
  • [SPARK-23614][SQL] إصلاح تبادل إعادة الاستخدام غير الصحيح عند استخدام التخزين المؤقت
  • [SPARK-23760][SQL] يجب على CodegenContext.withSubExprEliminationExprs حفظ/استعادة حالة CSE بشكل صحيح
  • [SPARK-23729][CORE] احترام جزء URI عند حل globs
  • [SPARK-23550][CORE] تنظيف Utils
  • [SPARK-23288][SS] إصلاح مقاييس الإخراج باستخدام متلقي parquet
  • [SPARK-23264][SQL] إصلاح scala. MatchError في literals.sql.out
  • [SPARK-23649][SQL] تخطي الأحرف غير مسموح به في UTF-8
  • [SPARK-23691][PYTHON] استخدام sql_conf util في اختبارات PySpark حيثما أمكن ذلك
  • [SPARK-23644][CORE] [واجهة المستخدم] استخدام المسار المطلق لاستدعاء REST في SHS
  • [SPARK-23706][PYTHON] spark.conf.get(value, default=None) يجب أن ينتج None في PySpark
  • [SPARK-23623][SS] تجنب الاستخدام المتزامن للمستهلكين المخزنين مؤقتا في CachedKafkaConsumer
  • [SPARK-23670][SQL] إصلاح تسرب الذاكرة على SparkPlanGraphWrapper
  • [SPARK-23608][CORE] [WEBUI] إضافة المزامنة في SHS بين attachSparkUI وفصل وظائفSparkUI لتجنب مشكلة التعديل المتزامنة إلى معالجات Jetty
  • [SPARK-23671][CORE] إصلاح الشرط لتمكين تجمع مؤشر ترابط SHS.
  • [SPARK-23658][LAUNCHER] يستخدم InProcessAppHandle فئة خاطئة في getLogger
  • [SPARK-23642][DOCS] الفئة الفرعية ل AccumulatorV2 هي إصلاح scaladoc ل Scaladoc
  • [SPARK-22915][MLLIB] اختبارات الدفق ل spark.ml.feature، من N إلى Z
  • [SPARK-23598][SQL] جعل الأساليب في BufferedRowIterator عامة لتجنب خطأ وقت التشغيل لاستعلام كبير
  • [SPARK-23546][SQL] إعادة بناء التعليمات البرمجية للأساليب/القيم عديمة الحالة في CodegenContext
  • [SPARK-23523][SQL] إصلاح النتيجة غير الصحيحة الناتجة عن القاعدة OptimizeMetadataOnlyQuery
  • [SPARK-23462][SQL] تحسين رسالة خطأ الحقل المفقودة في StructType
  • [SPARK-23624][SQL] مراجعة مستند طريقة pushFilters في Datasource V2
  • [SPARK-23173][SQL] تجنب إنشاء ملفات parquet تالفة عند تحميل البيانات من JSON
  • [SPARK-23436][SQL] استنتاج القسم كتاريخ فقط إذا كان يمكن تحويله إلى Date
  • [SPARK-23406][SS] تمكين الصلات الذاتية لتدفق الدفق
  • [SPARK-23490][SQL] تحقق من storage.locationUri باستخدام الجدول الموجود في CreateTable
  • [SPARK-23524]يجب عدم التحقق من وجود تلف في كتل التبديل المحلية الكبيرة.
  • [SPARK-23525][SQL] دعم ALTER TABLE CHANGE COLUMN COMMENT لجدول الخلية الخارجي
  • [SPARK-23434][SQL] يجب ألا يحذر Spark دليل بيانات التعريف لمسار ملف HDFS
  • [SPARK-23457][SQL] تسجيل مستمعي إكمال المهام أولا في ParquetFileFormat
  • [SPARK-23329][SQL] إصلاح وثائق دالات المثلثات
  • [SPARK-23569][PYTHON] السماح pandas_udf بالعمل مع وظائف نمط python3 ذات التعليقات التوضيحية
  • [SPARK-23570][SQL] إضافة Spark 2.3.0 في HiveExternalCatalogVersionsSuite
  • [SPARK-23517][PYTHON] جعل _pyspark.util. exception_message إنتاج التتبع من جانب Java بواسطة Py4JJavaError
  • [SPARK-23508][CORE] إصلاح BlockmanagerId في حالة حدوث oom blockManagerIdCache
  • [SPARK-23448][SQL] توضيح سلوك محلل JSON وCSV في المستند
  • [SPARK-23365][CORE] لا تقم بضبط منفذي num عند قتل المنفذين الخاملة.
  • [SPARK-23438][DSTREAMS] إصلاح فقدان البيانات D عمليات الدفق مع WAL عند تعطل برنامج التشغيل
  • [SPARK-23475][واجهة المستخدم] إظهار المراحل التي تم تخطيها أيضا
  • [SPARK-23518][SQL] تجنب الوصول إلى metastore عندما يرغب المستخدمون فقط في قراءة إطارات البيانات وكتابتها
  • [SPARK-23406][SS] تمكين الصلات الذاتية لتدفق الدفق
  • [SPARK-23541][SS] السماح لمصدر Kafka بقراءة البيانات بتوازي أكبر من عدد أقسام المقالة
  • [SPARK-23097][SQL] [SS] ترحيل مصدر مأخذ توصيل النص إلى الإصدار 2
  • [SPARK-23362][SS] ترحيل مصدر Kafka Microbatch إلى الإصدار 2
  • [SPARK-23445]إعادة بناء التعليمات البرمجية ل ColumnStat
  • [SPARK-23092][SQL] ترحيل MemoryStream إلى واجهات برمجة تطبيقات DataSourceV2
  • [SPARK-23447][SQL] تنظيف قالب codegen للحرفية
  • [SPARK-23366]تحسين مسار القراءة السريع في ReadAheadInputStream
  • [SPARK-22624][PYSPARK] كشف تبديل تقسيم النطاق

التحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 4.1.

بيئة النظام

  • نظام التشغيل: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 لمجموعات Python 2 و3.5.2 لمجموعات Python 3.
  • R: R الإصدار 3.4.4 (2018-03-15)
  • مجموعات GPU: يتم تثبيت مكتبات NVIDIA GPU التالية:
    • Tesla driver 375.66
    • CUDA 9.0
    • cuDNN 7.0

مكتبات Python المثبتة

مكتبة إصدار مكتبة إصدار مكتبة إصدار
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 روبوت الدردشة 1.4.70
brewer2mpl 1.4.1 شهادة 2016.2.28 cffi 1.7.0
تجزئة 2.3.0 سمة ملونة 0.3.7 configobj 5.0.6
التشفير 1.5 دورة 0.10.0 Cython 0.24.1
ديكور 4.0.10 docutils 0.14 قائمة تعداد 34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
صمام مدمج 2.0.4 العقود الاجله 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 Ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
جينجا 2 2.8 مسار jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 العلامات خزينة 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 باتسي 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 وساده 3.3.1
pip 10.0.0b2 رقائق 3.9 مجموعة أدوات المطالبة 1.0.7
psycopg2 2.6.2 عملية ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
الطلبات 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
شفرة 0.18.1 نظف 0.32 بحر محمول 0.7.1
أدوات الإعداد 39.0.1 simplejson 3.8.2 بسيط3 1.0
أحادي الموضع 3.4.0.3 ستة 1.10.0 نماذج الإحصائيات 0.6.1
اعصار 5.0.1 سمات السمات 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 عجله 0.31.0
wsgiref 0.1.2

مكتبات R المثبتة

مكتبة إصدار مكتبة إصدار مكتبة إصدار
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
الأساس 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 بت 1.1-12 bit64 0.9-7
bitops 1.0-6 كائن ثنائي كبير الحجم 1.1.1 boot 1.3-20
المشروب 1.0-6 broom 0.4.4 car 3.0-0
carData 3.0-1 علامة إقحام 6.0-79 cellranger 1.1.0
كرون 2.3-52 فئة 7.3-14 cli 1.0.0
نظام مجموعة 2.0.7 codetools 0.2-15 colorspace 1.3-2
العلامة الشائعة 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
مجموعات البيانات 3.4.4 DBI 0.8 ddalpha 1.3.1.1
DEoptimR 1.0-8 تنازلي 1.1.1 devtools 1.13.5
دي كرومات 2.0-0 digest 0.6.15 أحمر خافت 0.1.0
doMC 1.3.5 dplyr 0.7.4 معدل الارتداد الدفاعي 0.0.3
forcats 0.3.0 Foreach 1.4.4 foreign 0.8-69
غيغابايت 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
graphics 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 H2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr ⁦⁩⁦⁩1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 أكثر طفاية 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
مشروع الخريطة 1.2.6 خرائط 3.3.0 أصنام الخرائط 0.9-2
MASS 7.3-49 مصفوفة 1.2-13 نماذج المصفوفة 0.4-1
المذكرة 1.1.0 الأساليب 3.4.4 mgcv 1.8-23
mime 0.5 مينقا 1.2.4 نور 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 الثناء 1.0.0 prettyunits 1.0.2
بروك 1.11.0 prodlim 1.6.1 proto 1.0.0
النفسي 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
ريو 0.5.10 rlang 0.2.0 قاعدة قوية 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 سبارك 2.3.0 SparseM 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.41-3 tcltk 3.4.4 TeachingDemos 2.10
اختبار الذي 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 الأدوات 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

مكتبات Java و Scala المثبتة (إصدار نظام مجموعة Scala 2.11)

معرف مجموعة معرف البيانات الاصطناعية إصدار
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws دعم aws-java-sdk 1.11.313
com.amazonaws مكتبات aws-java-sdk-swf 1.11.22
com.amazonaws مساحات عمل aws-java-sdk 1.11.313
com.amazonaws jmespath-java 1.11.313
البحث في com.جزر hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics تيار 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks اختبارات dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo مظلل 3.0.3
com.esotericsoftware سجل الحد الأدنى 1.3.0
com.fasterxml زميل 1.0.0
com.fasterxml.jackson.core التعليقات التوضيحية ل جاكسون 2.6.7
com.fasterxml.jackson.core جاكسون النواة 2.6.7
com.fasterxml.jackson.core جاكسون-databind 2.6.7.1
com.fasterxml.jackson.dataformat جاكسون-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype جاكسون-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil أداة تحميل jniloader 1.1
com.github.fommil.netlib الذاكرة الأساسية 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava الجوافه 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox cp عظمي 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning ضغط lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter برد-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter مجموعة parquet-hadoop 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity محللات أحادية التكافؤ 2.5.9
com.vlkan خزائن مسطحة 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
شائعات-beanutils شائعات-beanutils 1.7.0
شائعات-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
المجموعات المشتركة المجموعات المشتركة 3.2.2
تكوين المشتركات تكوين المشتركات 1.6
commons-dbcp commons-dbcp 1.4
أداة تجزئة الشائعات أداة تجزئة الشائعات 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
تسجيل المشتركات تسجيل المشتركات 1.1.3
commons-net commons-net 2.2
تجمع مشترك تجمع مشترك 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift أداة ضغط الهواء 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics المقاييس-الفحوصات الصحية 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus واجهة سطر الأوامر البسيطة 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx جامع 0.7
javax.activation التنشيط 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation واجهة برمجة تطبيقات التحقق من الصحة 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
التفاف دائري التفاف دائري 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic خصائص eigenbase 1.1.5
net.iharder قاعدة 64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr وقت تشغيل antlr 3.4
org.antlr وقت تشغيل antlr4 4.7
org.antlr سلسلة قوالب 3.2.1
org.apache.ant النمل 1.9.2
org.apache.ant نملة-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.سهم تنسيق السهم 0.8.0
org.apache.سهم ذاكرة الأسهم 0.8.0
org.apache.سهم خط متجه للسهم 0.8.0
org.apache.avro افرو 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro اختبارات avro-ipc 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite الكالسيت-أفاتيكا 1.2.0 حاضنة
org.apache.calcite نواة الكالسيت 1.2.0 حاضنة
org.apache.calcite الكالسيت-linq4j 1.2.0 حاضنة
org.apache.commons ضغط الشائعات 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator عميل أمين 2.7.1
org.apache.curator إطار عمل أمين 2.7.1
org.apache.curator وصفات أمين 2.7.1
org.apache.derby ديربي 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop تعليقات توضيحية ل hadoop 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop عميل hadoop 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0 حاضنة
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy اللبلاب 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet عمود باركيه 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet ترميز باركيه 1.8.2-databricks1
org.apache.parquet تنسيق باركيه 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet باركيه جاكسون 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5 مظلل 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson جاكسون جاكرس 1.9.13
org.codehaus.jackson جاكسون-mapper-asl 1.9.13
org.codehaus.jackson جاكسون-xc 1.9.13
org.codehaus.janino محول برمجي مشترك 3.0.8
org.codehaus.janino جانينو 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty عميل jetty 9.3.20.v20170531
org.eclipse.jetty متابعة jetty 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty وكيل jetty 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty خادم jetty 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 محدد موقع hk2 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external إعادة حزم الأوبالين 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged جيرسي جوافا 2.22.2
org.glassfish.jersey.containers جيرسي حاوية-servlet 2.22.2
org.glassfish.jersey.containers جيرسي-حاوية-servlet-core 2.22.2
org.glassfish.jersey.core جيرسي-العميل 2.22.2
org.glassfish.jersey.core جيرسي المشتركة 2.22.2
org.glassfish.jersey.core خادم جيرسي 2.22.2
org.glassfish.jersey.media جيرسي-وسائل الإعلام-جاكسب 2.22.2
org.hibernate مدقق الإسبات 5.1.1.Final
org.iq80.snappy لاذع 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging تسجيل jboss 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis داء objenesis 2.1
org.postgresql الانترنت 42.1.4
org.roaringbitmap هديرBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt واجهة الاختبار 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp نسيم macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark غير مستخدم 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
مستوى org.typelevel machinist_2.11 0.6.1
مستوى org.typelevel ماكرو-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml ثعبان الثعبان 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52