Databricks Runtime 10.0 (غير مدعوم)

  • مقالة

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 10.0 وDatabricks Runtime 10.0 Photon، مدعومة من Apache Spark 3.2.0. أصدرت Databricks هذه الصور في أكتوبر 2021. الفوتون في المعاينة العامة.

ميزات وتحسينات جديدة

إصدار جديد من Apache Spark

Databricks Runtime 10.0 وDatabricks Runtime 10.0 Photon تتضمن Apache Spark 3.2.0. للحصول على التفاصيل، راجع Apache Spark.

تدعم عبارة SELECT الآن عبارة QUALIFY لتصفية نتائج دالة النافذة

SELECT تدعم العبارة QUALIFY الآن عبارة . QUALIFY يمكن استخدامها لتصفية نتائج وظائف النافذة. يجب أن تكون دالة نافذة واحدة أو أكثر موجودة في SELECT القائمة أو QUALIFY الشرط. على سبيل المثال:

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

دعم نظام المجموعة ل JDK 11 (معاينة عامة)

يوفر Databricks الآن دعم نظام المجموعة ل Java Development Kit (JDK) 11.

عند إنشاء نظام مجموعة، يمكنك تحديد أن نظام المجموعة يستخدم JDK 11 (لكل من برنامج التشغيل والمنفذ). للقيام بذلك، أضف متغير البيئة التالي إلى Advanced Options > Spark > Environment Variables:

JNAME=zulu11-ca-amd64

يتعامل "المحمل التلقائي" الآن مع المخططات على أنها قابلة للقيمة الخالية

يتعامل "المحمل التلقائي" الآن مع جميع المخططات المستنتجة والموفرة من قبل المستخدم على أنها قابلة للقيمة الخالية بشكل افتراضي. هذا لتجنب تلف البيانات المحتمل في الحالات التي تحتوي فيها البيانات على حقول فارغة للأعمدة غير القابلة للقيم الخالية. يتم تقديم تكوين جديد لتتبع هذا السلوك، spark.databricks.cloudFiles.schema.forceNullable. بشكل افتراضي، يحتوي هذا التكوين على إعداد spark.sql.streaming.fileSource.schema.forceNullable، الذي يستخدمه FileStreamSource في Apache Spark ويتم تعيينه إلى true افتراضيا.

كسر التغييرات

كسر التغييرات لجميع مستخدمي Spark SQL

  • التكوين الجديد spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled : عند تعيينه إلى true، يسمح بمجموعة فرعية من دالات تقييم المساواة المترابطة عند تجميع استعلام فرعي. الإعداد الافتراضي هو true.
  • التكوين الجديد spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled : عند التعيين إلى true، يحظر إنشاء الأسماء المستعارة تلقائيا عند إنشاء طرق العرض. الإعداد الافتراضي هو true.
  • التكوين الجديد spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled : عند التعيين إلى true، لا يتم السماح CREATE TABLE AS SELECT بموقع غير فارغ. الإعداد الافتراضي هو true. لاحظ أنه عند spark.sql.legacy.allowNonEmptyLocationInCTAS تعيين أيضا إلى true، لا يكون لهذا التكوين أي تأثير، ومع CREATE TABLE AS SELECT موقع غير فارغ مسموح به دائما.

التغييرات العاجلة لمستخدمي Spark SQL الذين يقومون بتمكين وضع ANSI

للحصول على معلومات حول وضع ANSI، راجع توافق ANSI في وقت تشغيل Databricks.

  • التكوين الجديد spark.databricks.behaviorChange.SC83587NextDayDOW.enabled : عند التعيين إلى true، تطرح وسيطة غير صالحة dayOfWeek للدالة next_dayIllegalArgumentException في وضع ANSI؛ وإلا فإنها ترجع null. الإعداد الافتراضي هو true.
  • التكوين الجديد spark.databricks.behaviorChange.SC83796CanCast.enabled : عند التعيين إلى true، يمكن قواعد بناء جملة التحويل الصريحة الجديدة في وضع ANSI. الإعداد الافتراضي هو true.
  • التكوين الجديد spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled : عند التعيين إلى true، يتم طرح استثناء خطأ تحليل عند تحويل سلسلة إلى قيمة منطقية؛ وإلا، يتم إرجاع null. الإعداد الافتراضي هو true.
  • التكوين الجديد spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled : عند التعيين إلى true، تطرح الدالة abs استثناء إذا كان الإدخال خارج النطاق. الإعداد الافتراضي هو true.

كسر التغييرات لجميع مستخدمي Python

  • تقوم واجهة برمجة تطبيقات delta.tables.DeltaTable.convertToDelta Python الآن بإرجاع كائن Python الصحيح DeltaTable الذي يمكن استخدامه لتشغيل أوامر Delta Lake. في السابق، أرجع كائنا داخليا لا يمكن استدعاؤه مباشرة.

ترقيات المكتبة

ترقية Apache Hadoop 3

  • يقوم Databricks Runtime 10.0 بترقية تبعية Hadoop من Hadoop 2.7.4 إلى Hadoop 3.3.1.

تغييرات السلوك

  • يستخدم Hadoop 3 مكتبات hadoop-client-api و hadoop-client-runtime بدلا من مكتبة hadoop-common ، والتي تظلل بعض تبعيات الجهات الخارجية التي يمكن استخدامها في واجهات برمجة التطبيقات أو الملحقات العامة Hadoop.
  • تغيرت خيارات تكوين Hadoop 3 منذ Hadoop 2. للحصول على خيارات Hadoop 3.3.1، راجع core-default.xml.
  • قامت Databricks بتحديث بعض التكوينات الافتراضية ل Hadoop 3 لتكون متسقة مع Hadoop 2، للتأكد من أن موصلات التخزين لها نفس إعدادات المصادقة الافتراضية ومستويات الأداء:
    • fs.azure.authorization.caching.enable = false
    • fs.s3a.attempts.maximum = 10
    • fs.s3a.block.size = 67108864
    • fs.s3a.connection.timeout = 50000
    • fs.s3a.max.total.tasks = 1000
    • fs.s3a.retry.limit = 20
    • fs.s3a.retry.throttle.interval = 500ms
    • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
    • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
  • تمت ترقية موصل Google Cloud Storage (GCS) من 2.1.6 إلى 2.2.2.
  • يستخدم s3a:// موصل Amazon Redshift الآن النظام. تم s3n:// إهمال المخطط.
  • يعالج أسماء فئات OSS لواجهة برمجة تطبيقات Amazon S3 MetadataStore بالإضافة إلى الفئات المظللة. وهذا يمكن معالجة تكوينات OSS دون الحاجة إلى أسماء الفئات المظللة.
    • على سبيل المثال، يمكنك تحديد org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore الفئة في تكوين Hadoop.
  • يجعل و new Configuration() متسقة sparkContext.hadoopConfiguration .
    • الآن في كل مرة يتم فيها إنشاء تكوين Hadoop جديد، سيكون متسقا مع تكوين Hadoop المحدد مسبقا في Databricks Runtime، بما في sparkContext.hadoopConfiguration ذلك أنظمة نظام الملفات وتكوينها الافتراضي.
  • على الرغم من أن موصلات تخزين Hadoop المضمنة في Databricks Runtime متوافقة تماما مع Hadoop 3.3.1، إلا أنها غير مضمونة لتكون متزامنة مع موصلات OSS Hadoop 3.3.1 وقد يكون لها سلوك مختلف.
    • لا يزال موصل Amazon S3 يسمح (على الرغم من وجود تحذير) بالمصادقة السرية للمستخدم في عناوين URL S3، مقارنة ب HADOOP-14833 الذي يزيله.
  • يقوم globStatus الآن بإرجاع النتائج التي تم فرزها دائما (HADOOP-10798)
  • تمت إضافة fs.s3a.endpoint إذا كانت منطقة unset وfs.s3a.endpoint فارغة (SPARK-35878)
    • قد لا يتم تشغيل الدقة التلقائية لمنطقة Amazon S3 المقدمة من Databricks في بعض الحالات، بسبب تعيين نقطة النهاية العمومية. هذه ليست مشكلة، حيث ستحل AWS SDK المنطقة بشكل صحيح.
  • إضافة fs.s3a.downgrade.syncable.exceptions إذا لم يتم تعيينها (SPARK-35868)
  • لا تعتمد برامج ترميز LZ4 وSnapy على مكتبة Hadoop الأصلية (HADOOP-17125)

مشكلات معروفة

  • SPARK-36681 سيفشل استخدام SnappyCodec لكتابة ملف تسلسل مع UnsatisfiedLinkError بسبب مشكلة معروفة في Hadoop 3.3.1(HADOOP-17891)

Apache Spark

يتضمن Databricks Runtime 10.0 Apache Spark 3.2.0.

في هذا القسم:

النقاط الرئيسية

  • دعم طبقة واجهة برمجة تطبيقات Pandas على PySpark(SPARK-34849)
  • جلسات العمل المستندة إلى EventTime (نافذة الجلسة)(SPARK-10816)
  • دعم أنواع الفاصل الزمني ل ANSI SQL (SPARK-27790)
  • وضع ANSI GA(SPARK-35030)
  • توحيد رسائل الاستثناء في Spark (SPARK-33539)

Core وSpark SQL

تحسينات توافق ANSI SQL

  • دعم أنواع الفاصل الزمني ل ANSI SQL (SPARK-27790)
  • قواعد بناء جملة الإكراه من النوع الجديد في وضع ANSI (SPARK-34246)

تحسينات في الأداء

  • تحسين الاستعلام
    • إزالة التجميعات المكررة في المحسن (SPARK-33122)
    • الضغط لأسفل على الحد من خلال Project with Join(SPARK-34622)
    • تقدير العلاقة الأساسية لعامل تشغيل الاتحاد والفرز والنطاق (SPARK-33411)
    • UnwrapCastInBinaryComparison support In/InSet predicate(SPARK-35316)
    • الاحتفاظ بالإحصاءات الضرورية بعد تقليم القسم (SPARK-34119)
  • تنفيذ الاستعلام
    • تمكين تجمع المخزن المؤقت Zstandard بشكل افتراضي (SPARK-34340، SPARK-34390)
    • إضافة نوع التعليمات البرمجية لجميع أنواع الانضمام من صلة دمج الفرز (SPARK-34705)
    • تحسين الانضمام إلى الحلقة المتداخلة (SPARK-34706)
    • دعم مستويين من خرائط التجزئة لتجميع التجزئة النهائي (SPARK-35141)
    • السماح للكتاب المتزامنين بكتابة أقسام ديناميكية وجدول مستودع (SPARK-26164)
    • تحسين أداء FETCH_PRIOR المعالجة في Thriftserver(SPARK-33655)

تحسينات الاتصال أو

  • الباركيه
    • ترقية Parquet إلى 1.12.1 (SPARK-36726)
    • قراءة أنواع parquet غير الموقعة المخزنة كنوع فعلي int32 في parquet(SPARK-34817)
    • قراءة النوع المنطقي ل Parquet غير الموقع int64 المخزن كنوع فعلي موقع int64 إلى عشري (20، 0)(SPARK-34786)
    • تحسين Parquet In filter pushdown(SPARK-32792)
  • ORC
    • ترقية ORC إلى الإصدار 1.6.11 (SPARK-36482)
    • دعم التطور الموضعي القسري ORC (SPARK-32864)
    • دعم العمود المتداخل في قارئ ORC المتجه (SPARK-34862)
    • دعم ضغط ZSTD وLZ4 في مصدر بيانات ORC (SPARK-33978، SPARK-35612)
  • افرو
    • ترقية Avro إلى الإصدار 1.10.2 (SPARK-34778)
    • دعم تطور مخطط Avro لجداول Hive المقسمة مع "avro.schema.literal" (SPARK-26836)
    • إضافة خيارات مصدر بيانات Avro جديدة للتحكم في إعادة قاعدة التاريخ والوقت في القراءة (SPARK-34404)
    • إضافة دعم ل url المخطط المقدم من المستخدم في Avro (SPARK-34416)
    • إضافة دعم لمطابقة مخطط Catalyst-to-Avro الموضعي (SPARK-34365)
  • Json
    • ترقية جاكسون إلى الإصدار 2.12.3 (SPARK-35550)
    • السماح لمصادر بيانات Json بكتابة أحرف غير ascii كنقاط تعليمات برمجية (SPARK-35047)
  • جدبك
    • حساب خطوة القسم الأكثر دقة في JDBCRelation(SPARK-34843)
  • عامل تصفية دعم Hive Metastore حسب not-in(SPARK-34538)

تحسينات الميزات

  • فرعي
    • تحسين الاستعلامات الفرعية المرتبطة (SPARK-35553)
  • دالات مضمنة جديدة
  • استخدام Apache Hadoop 3.3.1 بشكل افتراضي (SPARK-29250)
  • إضافة المجموع الاختباري للكتل العشوائية (SPARK-35275)
  • تمكين spark.storage.replication.proactive بشكل افتراضي (SPARK-33870)
  • دعم تنظيف التخزين الاحتياطي أثناء إيقاف SparkContext(SPARK-34142)
  • دعم تعدادات Java من Scala Dataset API(SPARK-23862)
  • يجب أن يكون ADD JAR مع إحداثيات اللبلاب متوافقا مع سلوك Hive الانتقالي (SPARK-34506)
  • دعم الأمر ADD ARCHIVE و LIST ARCHIVES (SPARK-34603)
  • دعم مسارات متعددة لأوامر ADD FILE/JAR/ARCHIVE(SPARK-35105)
  • دعم ملفات الأرشيف كموارد لإنشاء دالة باستخدام بناء الجملة (SPARK-35236)
  • تحميل SparkSessionExtensions من ServiceLoader(SPARK-35380)
  • إضافة دالة الجمل إلى الدالات. {scala,py} (SPARK-35418)
  • تطبيق spark.sql.hive.metastorePartitionPruning للجداول غير Hive التي تستخدم Hive metastore لإدارة الأقسام (SPARK-36128)
  • نشر سبب فقدان exec إلى واجهة مستخدم الويب (SPARK-34764)
  • تجنب ربط غير محدد مع CTEs (SPARK-36447)
  • تحليل الدعم لكافة الجداول في قاعدة بيانات معينة (SPARK-33687)
  • توحيد رسائل الاستثناء في Spark (SPARK-33539)
  • الدعم (IGNORE | RESPECT) NULLS for LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE(SPARK-30789)

تغييرات ملحوظة أخرى

  • رصد
    • مقاييس جديدة ل ExternalShuffleService(SPARK-35258)
    • إضافة واجهات برمجة تطبيقات REST ومعلمات جديدة على مستوى المرحلة (SPARK-26399)
    • دعم توزيعات مقاييس المهام والمنفذ لتوزيعات المقاييس في واجهة برمجة تطبيقات REST (SPARK-34488)
    • إضافة مقاييس احتياطية لتجميع التجزئة (SPARK-35529)
  • إضافة count_distinct كخيار إلى Dataset#summary(SPARK-34165)
  • تنفيذ ScriptTransform في sql/core(SPARK-31936)
  • جعل مهلة رسالة كشف أخطاء تشغيل BlockManagerMaster قابلة للتكوين (SPARK-34278)
  • جعل اسم خدمة التبديل العشوائي قابلا للتكوين من جانب العميل والسماح بتجاوز التكوين المستند إلى classpath على جانب الخادم (SPARK-34828)
  • يجب أن يحتفظ ExecutorMetricsPoller بإدخال المرحلة في stageTCMP حتى يحدث رسالة كشف أخطاء الاتصال (SPARK-34779)
  • استبدال إذا بجملة عامل التصفية في RewriteDistinctAggregates(SPARK-34882)
  • إصلاح الفشل عند تطبيق CostBasedJoinReorder على الصلة الذاتية (SPARK-34354)
  • يجب أن يحترم CREATE TABLE LIKE خصائص الجدول المحجوزة (SPARK-34935)
  • شحن ملف الإعدادات إلى برنامج التشغيل في وضع نظام مجموعة YARN (SPARK-34472)
  • حل الأعمدة الشائعة المكررة من USING/NATURAL JOIN(SPARK-34527)
  • إخفاء خصائص العرض الداخلية لوصف cmd للجدول (SPARK-35318)
  • دعم حل السلاسل المفقودة لتوزيع/نظام المجموعة حسب/تلميح إعادة تقسيم (SPARK-35331)
  • تجاهل الخطأ عند التحقق من المسار في FileStreamSink.hasMetadata(SPARK-34526)
  • تحسين دعم الملتزم السحري s3a عن طريق الاستدلال على التكوينات المفقودة (SPARK-35383)
  • السماح بحذف : في سلسلة نوع STRUCT (SPARK-35706)
  • إضافة عامل تشغيل جديد للتمييز بين إمكانية تحسين AQE بأمان (SPARK-35786)
  • إلحاق حقول بنية متداخلة جديدة بدلا من الفرز ل unionByName مع تعبئة خالية (SPARK-35290)
  • يجب أن تحتفظ ArraysZip بأسماء الحقول لتجنب إعادة كتابتها بواسطة محلل/محسن (SPARK-35876)
  • استخدام Null كاسم نوع NullType(SPARK-36224)
  • تقديم واجهة برمجة تطبيقات جديدة إلى FileCommitProtocol تسمح بتسمية الملفات المرنة (SPARK-33298)

تغييرات السلوك

راجع أدلة الترحيل لكل مكون: Spark Core.

دفق منظم

الميزات الرئيسية

  • جلسات العمل المستندة إلى EventTime (نافذة الجلسة)(SPARK-10816)
  • ترقية عميل Kafka إلى 2.8.0 (SPARK-33913)
  • Trigger.AvailableNow لتشغيل استعلامات الدفق مثل Trigger.Once في دفعات متعددة في Scala(SPARK-36533)

تغييرات ملحوظة أخرى

  • تقديم خيار جديد في مصدر Kafka لتحديد الحد الأدنى لعدد السجلات للقراءة لكل مشغل (SPARK-35312)
  • إضافة أحدث الإزاحات إلى تقدم المصدر (SPARK-33955)

PySpark

Project Zen

  • واجهة برمجة تطبيقات Pandas على Spark (SPARK-34849)
  • تعطل دعم faulthanlder لعامل Python (SPARK-36062)
  • استخدام قاعدة تسمية الأفعى عبر واجهات برمجة التطبيقات (SPARK-34306)
  • تمكين spark.sql.execution.pyspark.udf.simplifiedTraceback.enabled افتراضيا (SPARK-35419)
  • دعم الاستدلال على الإملاء المتداخل كبنية عند إنشاء DataFrame (SPARK-35929)

تغييرات ملحوظة أخرى

  • تمكين وضع مؤشر الترابط مثبت بشكل افتراضي (SPARK-35303)
  • إضافة دعم NullType لعمليات تنفيذ الأسهم (SPARK-33489)
  • إضافة دعم self_destruct السهم إلى toPandas (SPARK-32953)
  • إضافة واجهة برمجة تطبيقات تضمين هدف مؤشر الترابط لوضع مؤشر ترابط pyspark (SPARK-35498)

تغييرات السلوك

راجع أدلة الترحيل.

MLlib

تحسينات الأداء

  • تحسين تحويل BucketedRandomProjectionLSH (SPARK-34220)
  • w2v findSynonyms optimization(SPARK-34189)
  • تحسين GEMM المتناثر عن طريق تخطي التحقق المنضم (SPARK-35707)
  • تحسين أداء ML ALS recommendForAll by GEMV(SPARK-33518)

تحسينات تدريب النموذج

  • مجمع الخدمات اللوجستية لإعادة بناء التعليمات البرمجية - دعم التوسيط الظاهري (SPARK-34797)
  • الانحدار اللوجستي الثنائي مع توسيط دعم التقاطع (SPARK-34858، SPARK-34448)
  • الانحدار اللوجستي متعدد الحدود مع توسيط دعم التقاطع (SPARK-34860)

تحسينات BLAS

  • استبدال com.github.fommil.netlib بالكامل بواسطة dev.ludovic.netlib:2.0(SPARK-35295)
  • إضافة تطبيق BLAS متجه (SPARK-33882)
  • تسريع BLAS الاحتياطي باستخدام dev.ludovic.netlib(SPARK-35150)

تغييرات ملحوظة أخرى

  • إصلاح تحويل OVR تعارض العمود المحتمل (SPARK-34356)

الإهمال والإزالة

  • إهمال spark.launcher.child الاتصال ionTimeout(SPARK-33717)
  • إهمال GROUP BY ... GROUPING SETS (...) وترقية GROUP BY GROUPING SETS (...) (SPARK-34932)
  • إهمال ps.broadcast API (SPARK-35810)
  • إهمال الوسيطة num_files (SPARK-35807)
  • إهمال DataFrame.to_spark_io (SPARK-35811)

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 10.0.

بيئة النظام

  • نظام التشغيل: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

مكتبات Python المثبتة

مكتبة إصدار مكتبة إصدار مكتبة إصدار
Antergos Linux 2015.10 (ISO-Rolling) dirs 1.4.4 تثبيت خلفي 0.2.0
boto3 1.16.7 روبوت الدردشة 1.19.7 شهادة 2020.12.5
تجزئة 4.0.0 دورة 0.10.0 Cython 0.29.23
dbus-python 1.2.16 ديكور 5.0.6 استياء 0.3.3
معلومات توزيعية 0.23ubuntu1 نظرة عامة على الواجهات 1.0.0 قفل الملف 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 جدي 0.17.2 مسار jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver ⁦⁩⁦⁩1.3.1 الكوالا 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
باتسي 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
وساده 8.2.0 pip 21.0.1 بشكل مخطط 5.1.0
مجموعة أدوات المطالبة 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
عملية ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
الطلبات 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 شفرة 1.6.2 بحر محمول 0.11.1
أدوات الإعداد 52.0.0 ستة 1.15.0 ssh-import-id 5.10
نماذج الإحصائيات 0.12.2 مثابره 8.0.1 threadpoolctl 2.1.0
اعصار 6.1 سمات السمات 5.0.5 ترقيات غير مراقبة 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
عجله 0.36.2

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN في 2021-09-21.

مكتبة إصدار مكتبة إصدار مكتبة إصدار
askpass 1.1 assertthat 0.2.1 backports 1.2.1
الأساس 4.1.1 base64enc 0.1-3 بت 4.0.4
bit64 4.0.5 كائن ثنائي كبير الحجم 1.2.2 boot 1.3-28
المشروب 1.0-6 بريو 1.1.2 broom 0.7.9
bslib 0.3.0 ذاكرة التخزين المؤقت 1.0.6 callr 3.7.0
علامة إقحام 6.0-88 cellranger 1.1.0 كرون 2.3-56
فئة 7.3-19 cli 3.0.1 clipr 0.7.1
نظام مجموعة 2.1.2 codetools 0.2-18 colorspace 2.0-2
العلامة الشائعة 1.7 compiler 4.1.1 config 0.3.1
cpp11 0.3.1 crayon 1.4.1 بيانات الاعتماد ⁦⁩⁦⁩1.3.1
curl 4.3.2 data.table 1.14.0 مجموعات البيانات 4.1.1
DBI 1.1.1 dbplyr 2.1.1 تنازلي 1.3.0
devtools 2.4.2 diffobj 0.3.4 digest 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 علامة الحذف 0.3.2
التقييم 0.14 fansi 0.5.0 مسافة بعيدة 2.1.0
خريطة سريعة 1.1.0 forcats 0.5.1 Foreach 1.5.1
foreign 0.8-81 صياغه 0.2.0 fs 1.5.0
future 1.22.1 future.apply 1.8.1 الغرغره 1.2.0
generics 0.1.0 غيرت 1.4.1 ggplot2 3.3.5
غ 1.3.0 صور gitcred 0.1.1 glmnet 4.1-2
Globals 0.14.0 glue 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 gower 0.2.2 graphics 4.1.1
grDevices 4.1.1 grid 4.1.1 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.4.3
highr 0.9 hms 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.3 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
Ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 knitr 1.34 labeling 0.4.2
لاحقا 1.3.0 lattice 0.20-44 lava 1.6.10
دورة الحياة 1.0.0 listenv 0.8.0 lubridate 1.7.10
magrittr 2.0.1 markdown 1.1 MASS 7.3-54
مصفوفة 1.3-4 المذكرة 2.0.0 الأساليب 4.1.1
mgcv 1.8-37 mime 0.11 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
parallel 4.1.1 بالتوازي 1.28.1 pillar 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.2
plogr 0.2.0 plyr 1.8.6 الثناء 1.0.0
prettyunits 1.1.1 بروك 1.18.0 processx 3.5.2
prodlim 2019.11.13 التقدم 1.2.2 متدرج التقدم 0.8.0
وعود 1.2.0.1 proto 1.0.0 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 طيور الراب 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.1
readxl ⁦⁩⁦⁩1.3.1 recipes 0.1.16 rematch 1.0.1
إعادة المباراة2 2.1.2 Remotes 2.4.0 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.11 rmarkdown 2.11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0.13 تحويلات 2.1.1 rvest 1.0.1
ساس 0.4.0 scales 1.1.1 selectr 0.4-2
معلومات الجلسة 1.1.1 الشكل 1.4.6 لامعه 1.6.0
قوالب المصدر 0.1.7 sparklyr 1.7.2 سبارك 3.2.0
spatial 7.3-11 splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.1 stats4 4.1.1
stringi 1.7.4 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2.10
اختبار الذي 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse ⁦⁩⁦⁩1.3.1 timeDate 3043.102
tinytex 0.33 الأدوات 4.1.1 tzdb 0.1.2
استخدام هذا 2.0.1 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
غرفة vroom 1.5.5 والدو 0.3.1 whisker 0.4
withr 2.4.2 xfun 0.26 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)

معرف مجموعة معرف البيانات الاصطناعية إصدار
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws دعم aws-java-sdk 1.11.655
com.amazonaws مكتبات aws-java-sdk-swf 1.11.22
com.amazonaws مساحات عمل aws-java-sdk 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics تيار 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo مظلل 4.0.2
com.esotericsoftware سجل الحد الأدنى 1.3.0
com.fasterxml زميل 1.3.4
com.fasterxml.jackson.core التعليقات التوضيحية ل جاكسون 2.12.2
com.fasterxml.jackson.core جاكسون النواة 2.12.2
com.fasterxml.jackson.core جاكسون-databind 2.12.2
com.fasterxml.jackson.dataformat جاكسون-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype جاكسون-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.كافيين الكافيين 2.3.4
com.github.fommil أداة تحميل jniloader 1.1
com.github.fommil.netlib الذاكرة الأساسية 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink تينك 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava الجوافه 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox cp عظمي 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning ضغط lzf 1.0.3
com.sun.istack وقت تشغيل istack-commons 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter برد-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity محللات أحادية التكافؤ 2.9.1
com.zaxxer HikariCP 3.1.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
المجموعات المشتركة المجموعات المشتركة 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
تسجيل المشتركات تسجيل المشتركات 1.1.3
commons-net commons-net 3.1
تجمع مشترك تجمع مشترك 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib بلاس 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift أداة ضغط الهواء 0.19
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics المقاييس-الفحوصات الصحية 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus واجهة سطر الأوامر البسيطة 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx جامع 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation التنشيط 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction واجهة برمجة تطبيقات المعاملات 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
التفاف دائري التفاف دائري 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
أشجار maven hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr وقت تشغيل antlr 3.5.2
org.antlr وقت تشغيل antlr4 4.8
org.antlr سلسلة قوالب 3.2.1
org.apache.ant النمل 1.9.2
org.apache.ant نملة-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.سهم تنسيق السهم 2.0.0
org.apache.سهم ذاكرة أساسية للسهم 2.0.0
org.apache.سهم سهم-ذاكرة-netty 2.0.0
org.apache.سهم خط متجه للسهم 2.0.0
org.apache.avro افرو 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons ضغط الشائعات 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator عميل أمين 2.13.0
org.apache.curator إطار عمل أمين 2.13.0
org.apache.curator وصفات أمين 2.13.0
org.apache.derby ديربي 10.14.2.0
org.apache.hadoop وقت تشغيل عميل hadoop 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive عميل hive-llap 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0 حاضنة
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy اللبلاب 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet عمود باركيه 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet ترميز باركيه 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet باركيه جاكسون 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus التعليقات التوضيحية للجمهور 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework مدقق كهومي 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson جاكسون-mapper-asl 1.9.13
org.codehaus.janino محول برمجي مشترك 3.0.16
org.codehaus.janino جانينو 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty عميل jetty 9.4.40.v20210413
org.eclipse.jetty متابعة jetty 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty وكيل jetty 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty خادم jetty 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket عميل websocket 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket خادم websocket 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 محدد موقع hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external إعادة حزم الأوبالين 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb وقت تشغيل jaxb 2.3.2
org.glassfish.jersey.containers جيرسي حاوية-servlet 2.34
org.glassfish.jersey.containers جيرسي-حاوية-servlet-core 2.34
org.glassfish.jersey.core جيرسي-العميل 2.34
org.glassfish.jersey.core جيرسي المشتركة 2.34
org.glassfish.jersey.core خادم جيرسي 2.34
org.glassfish.jersey.inject جيرسي-hk2 2.34
org.hibernate.validator مدقق الإسبات 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging تسجيل jboss 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains التعليقات التوضيحية 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis داء objenesis 2.5.1
org.postgresql الانترنت 42.2.19
org.roaringbitmap هديرBitmap 0.9.14
org.roaringbitmap الحشوات 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt واجهة الاختبار 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark غير مستخدم 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten ثلاثتين إضافية 1.5.0
org.tukaani xz 1.8
مستوى org.typelevel algebra_2.12 2.0.0-M2
مستوى org.typelevel cats-kernel_2.12 2.0.0-M4
مستوى org.typelevel machinist_2.12 0.6.8
مستوى org.typelevel ماكرو-compat_2.12 1.1.1
مستوى org.typelevel spire-macros_2.12 0.17.0-M1
مستوى org.typelevel spire-platform_2.12 0.17.0-M1
مستوى org.typelevel spire-util_2.12 0.17.0-M1
مستوى org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml ثعبان الثعبان 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1