Databricks Runtime 7.4 (غير مدعوم)
أصدرت Databricks هذه الصورة في نوفمبر 2020.
توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 7.4، مدعومة من Apache Spark 3.0.
الميزات الجديدة
في هذا القسم:
- ميزات وتحسينات Delta Lake
- يدعم "التحميل التلقائي" الآن تفويض إعداد موارد إعلامات الملفات للمسؤولين
- يمنح الامتياز الجديد
USAGEالمسؤولين تحكما أكبر في امتيازات الوصول إلى البيانات - تم تمكين DBFS FUSE الآن للمجموعات الممكنة للمرور
ميزات وتحسينات Delta Lake
يوفر هذا الإصدار ميزات وتحسينات Delta Lake التالية:
- تسمح واجهة برمجة التطبيقات الجديدة ل Delta Lake بالتحقق من أن البيانات المضافة إلى جدول تفي بالقيود
- تتيح لك واجهة برمجة التطبيقات الجديدة التراجع عن جدول Delta إلى إصدار أقدم من الجدول
- يسمح إصدار البدء الجديد بإعادة أحدث التغييرات فقط في مصدر تدفق Delta Lake
- تحسين استقرار
OPTIMIZE
تسمح واجهة برمجة التطبيقات الجديدة ل Delta Lake بالتحقق من أن البيانات المضافة إلى جدول تفي بالقيود
يدعم CHECK Delta Lake الآن القيود. عند توفيرها، تتحقق Delta Lake تلقائيا من أن البيانات المضافة إلى جدول تفي بالتعبير المحدد.
لإضافة CHECK قيود، استخدم ALTER TABLE ADD CONSTRAINTS الأمر . للحصول على التفاصيل، راجع القيود على Azure Databricks.
تتيح لك واجهة برمجة التطبيقات الجديدة التراجع عن جدول Delta إلى إصدار أقدم من الجدول
يمكنك الآن التراجع عن جداول Delta إلى الإصدارات القديمة RESTORE باستخدام الأمر :
SQL
RESTORE <table> TO VERSION AS OF n;
RESTORE <table> TO TIMESTAMP AS OF 'yyyy-MM-dd HH:mm:ss';
Python
from delta.tables import DeltaTable
DeltaTable.forPath(spark, path).restoreToVersion(n)
DeltaTable.forPath(spark, path).restoreToTimestamp('yyyy-MM-dd')
التطوير
import io.delta.tables.DeltaTable
DeltaTable.forPath(spark, path).restoreToVersion(n)
DeltaTable.forPath(spark, path).restoreToTimestamp("yyyy-MM-dd")
RESTORE ينشئ تثبيتا جديدا يعيد جميع التغييرات التي تم إجراؤها على الجدول منذ الإصدار الذي تريد استعادته. تتم استعادة جميع البيانات وبيانات التعريف الموجودة، والتي تتضمن المخطط والقيود ومعرفات المعاملات المتدفقة COPY INTO وبيانات التعريف وإصدار بروتوكول الجدول. للحصول على التفاصيل، راجع استعادة جدول Delta.
يسمح إصدار البدء الجديد بإعادة أحدث التغييرات فقط في مصدر تدفق Delta Lake
لإرجاع أحدث التغييرات فقط، حدد startingVersion ك latest. للحصول على التفاصيل، راجع تحديد الموضع الأولي.
تحسين استقرار OPTIMIZE
OPTIMIZE (بدون أي دالات تقييم للقسم) يمكن أن يتوسع إلى تشغيل على جداول مع عشرات الملايين من الملفات الصغيرة. في السابق، كان برنامج تشغيل Apache Spark ينفد من الذاكرة OPTIMIZE ولن يكتمل.OPTIMIZE الآن يعالج جداول كبيرة جدا مع عشرات الملايين من الملفات.
يدعم "التحميل التلقائي" الآن تفويض إعداد موارد إعلامات الملفات للمسؤولين
تسمح واجهة برمجة تطبيقات Scala الجديدة للمسؤولين بإعداد موارد إعلام الملفات للتحميل التلقائي. يمكن لمهندسي البيانات الآن تشغيل تدفقات التحميل التلقائي الخاصة بهم بأذونات أقل عن طريق تفويض إعداد المورد الأولي لمسؤوليهم. راجع تكوين موارد إعلام الملف أو إدارتها يدويا.
يمنح الامتياز الجديد USAGE المسؤولين تحكما أكبر في امتيازات الوصول إلى البيانات
لتنفيذ إجراء على كائن في قاعدة بيانات، يجب الآن منح USAGE الامتياز على قاعدة البيانات هذه بالإضافة إلى الامتيازات المطلوبة لتنفيذ الإجراء. يتم منح الامتياز USAGE لقاعدة بيانات أو كتالوج. مع إدخال الامتياز USAGE ، لم يعد بإمكان مالك الجدول أن يقرر من جانب واحد مشاركته مع مستخدم آخر؛ يجب أن يكون لدى USAGE المستخدم أيضا الامتياز في قاعدة البيانات التي تحتوي على الجدول.
في مساحات العمل التي تم تمكين التحكم في الوصول إلى الجدول بها، users تتمتع المجموعة تلقائيا بامتياز USAGE الجذر CATALOG.
للحصول على التفاصيل، راجع امتياز الاستخدام.
تم تمكين DBFS FUSE الآن للمجموعات الممكنة للمرور
يمكنك الآن القراءة والكتابة من DBFS باستخدام تحميل FUSE عند /dbfs/ استخدام مجموعة عالية التزامن ممكنة لتمرير بيانات الاعتماد. يتم دعم التركيبات العادية. التحميلات التي تتطلب بيانات اعتماد المرور غير مدعومة.
التحسينات
يدعم IFF Spark SQL و CHARINDEX كمرادفات ل IF و POSITION
في Databricks Runtime IF() هو مرادف ل CASE WHEN <cond> THEN <expr1> ELSE <expr2> END
يدعم IFF() وقت تشغيل Databricks الآن كمرادف ل IF()
SELECT IFF(c1 = 1, 'Hello', 'World'), c1 FROM (VALUES (1), (2)) AS T(c1)
=> (Hello, 1)
(World, 2)
CHARINDEX هو اسم بديل للدالة POSITION . CHARINDEX البحث عن موضع التكرار الأول لسلسلة داخل سلسلة أخرى باستخدام فهرس بدء اختياري.
VALUES(CHARINDEX('he', 'hello from hell', 2))
=> 12
مخرجات متعددة لكل خلية ممكنة لدفاتر ملاحظات Python بشكل افتراضي
قدم Databricks Runtime 7.1 دعما لمخرجات متعددة لكل خلية في دفاتر ملاحظات Python (و٪python خلايا داخل دفاتر ملاحظات غير Python)، ولكن طلب منك تمكين الميزة لدفتر الملاحظات. يتم تمكين هذه الميزة بشكل افتراضي في Databricks Runtime 7.4. راجع عرض مخرجات متعددة لكل خلية.
تحسينات الإكمال التلقائي لدفاتر ملاحظات Python
يعرض الإكمال التلقائي ل Python معلومات نوع إضافية تم إنشاؤها من تحليل ثابت للتعليمات البرمجية باستخدام مكتبة Jedi. يمكنك الضغط على المفتاح Tab لعرض قائمة بالخيارات.
تحسين display متجهات Spark ML في معاينة Spark DataFrame
display يعرض التنسيق الآن تسميات لنوع المتجه (متفرق أو كثيف) والطول والمؤشرات (للخطوط المتجهة المتفرقة) والقيم.
إصلاحات أخرى
- تم إصلاح مشكلة الانتقاء في
collections.namedtupleدفاتر الملاحظات. - تم إصلاح مشكلة الانتقاء مع الفئات والأساليب المعرفة بشكل تفاعلي.
- تم إصلاح الخطأ الذي تسبب في فشل الاستدعاءات
mlflow.start_run()عند المرور أو المجموعات الممكنة للتحكم في الوصول إلى الجدول.
ترقيات المكتبة
- مكتبات Python التي تمت ترقيتها:
- قام jedi بالترقية من 0.14.1 إلى 0.17.2.
- تمت ترقية koalas من 1.2.0 إلى 1.3.0.
- تم ترقية parso من 0.5.2 إلى 0.7.0.
- ترقية العديد من مكتبات R المثبتة. راجع مكتبات R المثبتة.
Apache Spark
يتضمن Databricks Runtime 7.4 Apache Spark 3.0.1. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 7.3 LTS (غير مدعوم)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:
- [SPARK-33170] [SQL] إضافة تكوين SQL للتحكم في سلوك الفشل السريع في FileFormatWriter
- [SPARK-33136] [SQL] إصلاح المعلمة التي تم تبديلها عن طريق الخطأ في V2WriteCommand.outputResolved
- [SPARK-33134] [SQL] إرجاع النتائج الجزئية فقط لكائنات JSON الجذر
- [SPARK-33038] [SQL] اجمع بين الخطة الأولية والحالية ل AQE...
- [SPARK-33118] [SQL] فشل إنشاء جدول مؤقت مع الموقع
- [SPARK-33101] [ML] جعل تنسيق LibSVM ينشر تكوين Hadoop من خيارات DS إلى نظام ملفات HDFS الأساسي
- [SPARK-33035] [SQL] التحديثات الإدخالات القديمة لتعيين السمات في QueryPlan#transformUpWithNewOutput
- [SPARK-33091] [SQL] تجنب استخدام الخريطة بدلا من foreach لتجنب التأثير الجانبي المحتمل لدى المتصلين ب OrcUtils.readCatalystSchema
- [SPARK-33073] [PYTHON] تحسين معالجة الأخطاء على Pandas إلى فشل تحويل الأسهم
- [SPARK-33043] [ML] معالجة spark.driver.maxResultSize=0 في الحساب الاستدلالي في RowMatrix
- [SPARK-29358] [SQL] جعل unionByName يملأ الأعمدة المفقودة اختياريا بالقيم الخالية
- [SPARK-32996] [واجهة مستخدم الويب] معالجة ExecutorMetrics الفارغة في ExecutorMetricsJsonSerializer
- [SPARK-32585] [SQL] دعم تعداد scala في ScalaReflection
- [SPARK-33019] [CORE] استخدام spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1 بشكل افتراضي
- [SPARK-33018] [SQL] إصلاح مشكلة إحصائيات التقدير إذا كان لدى الطفل 0 بايت
- [SPARK-32901] [CORE] عدم تخصيص الذاكرة أثناء تسرب الفرز غير الآمن
- [SPARK-33015] [SQL] استخدام millisToDays() في قاعدة ComputeCurrentTime
- [SPARK-33015] [SQL] حساب التاريخ الحالي مرة واحدة فقط
- [SPARK-32999] [SQL] استخدام Utils.getSimpleName لتجنب الوصول إلى اسم الفئة المضطل في TreeNode
- [SPARK-32659] [SQL] بث الصفيف بدلا من تعيين في InSubqueryExec
- [SPARK-32718] [SQL] إزالة الكلمات الأساسية غير الضرورية لوحدات الفاصل الزمني
- [SPARK-32886] [WEBUI] إصلاح الارتباط 'غير المحدد' في طريقة عرض المخطط الزمني للحدث
- [SPARK-32898] [CORE] إصلاح المنفذ الخطأRunTime عند انتهاء المهمة قبل البدء الحقيقي
- [SPARK-32635] [SQL] إضافة حالة اختبار جديدة في وحدة محفز
- [SPARK-32930] [CORE] استبدال أساليب isFile/isDirectory المهملة
- [SPARK-32906] [SQL] يجب ألا تتغير أسماء حقول البنية بعد تسوية العوامات
- [SPARK-24994] [SQL] إضافة محسن UnwrapCastInBinaryComparison لتبسيط القيمة الحرفية المتكاملة
- [SPARK-32635] [SQL] إصلاح الانتشار القابل للطي
- [SPARK-32738] [CORE] يجب تقليل عدد مؤشرات الترابط النشطة إذا حدث خطأ فادح في
Inbox.process - [SPARK-32900] [CORE] السماح ل UnsafeExternalSorter بالتسرب عند وجود القيم الخالية
- [SPARK-32897] [PYTHON] عدم إظهار تحذير الإهمال في SparkSession.builder.getOrCreate
- [SPARK-32715] [CORE] إصلاح تسرب الذاكرة عند فشل تخزين أجزاء البث
- [SPARK-32715] [CORE] إصلاح تسرب الذاكرة عند فشل تخزين أجزاء البث
- [SPARK-32872] [CORE] منع BytesToBytesMap عند MAX_CAPACITY من تجاوز حد النمو
- [SPARK-32876] [SQL] تغيير الإصدارات الاحتياطية الافتراضية إلى 3.0.1 و2.4.7 في HiveExternalCatalogVersionsSuite
- [SPARK-32840] [SQL] يمكن أن يحدث أن تكون قيمة الفاصل الزمني غير صالحة لاصقة فقط مع الوحدة
- [SPARK-32819] [SQL] يجب أن تكون المعلمة ignoreNullability فعالة بشكل متكرر
- [SPARK-32832] [SS] استخدام CaseInsensitiveMap لخيارات DataStreamReader/Writer
- [SPARK-32794] [SS] إصلاح خطأ حالة الزاوية النادرة في محرك الدفعات الصغيرة مع بعض الاستعلامات ذات الحالة + عدم وجود دفعات بيانات + مصادر V1
- [SPARK-32813] [SQL] الحصول على التكوين الافتراضي للقارئ المتجه ParquetSource إذا لم يكن هناك SparkSession نشط
- [SPARK-32823] [واجهة مستخدم الويب] إصلاح تقارير موارد واجهة المستخدم الرئيسية
- [SPARK-32824] [CORE] تحسين رسالة الخطأ عندما ينسى المستخدم .amount في تكوين مورد
- [SPARK-32614] [SQL] لا تطبق معالجة التعليقات إذا تم إلغاء تعيين "التعليق" ل CSV
- [SPARK-32638] [SQL] تصحيح المراجع عند إضافة أسماء مستعارة في WidenSetOperationTypes
- [SPARK-32810] [SQL] يجب أن تتجنب مصادر بيانات CSV/JSON مسارات الكآبة عند الاستدلال على المخطط
- [SPARK-32815] [ML] إصلاح خطأ تحميل مصدر بيانات LibSVM على مسارات الملفات باستخدام بيانات تعريف glob
- [SPARK-32753] [SQL] نسخ العلامات فقط إلى عقدة بدون علامات
- [SPARK-32785] [SQL] يجب ألا ينتج عن الفاصل الزمني مع الأجزاء المتدلية قيمة خالية
- [SPARK-32764] [SQL] -0.0 يجب أن يكون مساويا ل 0.0
- [SPARK-32810] [SQL] يجب أن تتجنب مصادر بيانات CSV/JSON مسارات الكآبة عند الاستدلال على المخطط
- [SPARK-32779] [SQL] تجنب استخدام واجهة برمجة التطبيقات المتزامنة ل SessionCatalog في تدفق withClient، وهذا يؤدي إلى DeadLock
- [SPARK-32791] [SQL] يجب ألا يكون لمقياس الجدول غير المقسم وقت تشذيب قسم ديناميكي
- [SPARK-32767] [SQL] يجب أن يعمل ربط المستودع إذا كان spark.sql.shuffle.partitions أكبر من رقم المستودع
- [SPARK-32788] [SQL] يجب ألا يحتوي فحص الجدول غير المقسم على عامل تصفية القسم
- [SPARK-32776] [SS] يجب عدم تحسين الحد في البث بعيدا عن طريق نشرEmptyRelation
- [SPARK-32624] [SQL] إصلاح الانحدار في CodegenContext.addReferenceObj على أنواع Scala المتداخلة
- [SPARK-32659] [SQL] تحسين اختبار تقليم DPP على النوع غير الذري
- [SPARK-31511] [SQL] جعل وحدات البايتToBytesMap مكررات مؤشر ترابط آمنة
- [SPARK-32693] [SQL] مقارنة إطاري بيانات بنفس المخطط باستثناء الخاصية التي تقبل القيم الخالية
- [SPARK-28612] [SQL] مستند الأسلوب الصحيح ل DataFrameWriterV2.replace()
تحديثات الصيانة
راجع تحديثات صيانة Databricks Runtime 7.4.
بيئة النظام
- نظام التشغيل: Ubuntu 18.04.5 LTS
- Java: Zulu 8.48.0.53-CA-linux64 (النسخة 1.8.0_265-b11)
- Scala: 2.12.10
- Python: 3.7.5
- R: R الإصدار 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
مكتبات Python المثبتة
| مكتبة | الإصدار | مكتبة | الإصدار | مكتبة | الإصدار |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | تثبيت خلفي | 0.1.0 | boto3 | 1.12.0 |
| روبوت الدردشة | 1.15.0 | شهادة | 2020.6.20 | cffi | 1.14.0 |
| تجزئة | 3.0.4 | التشفير | 2.8 | دورة | 0.10.0 |
| Cython | 0.29.15 | ديكور | 4.4.1 | docutils | 0.15.2 |
| نقاط الإدخال | 0.3 | idna | 2.8 | ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils | 0.2.0 | جدي | 0.17.2 |
| مسار jmespath | 0.10.0 | joblib | 0.14.1 | jupyter-client | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | الكوالا | 1.3.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | pandas | 1.0.1 |
| parso | 0.7.0 | باتسي | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | pip | 20.0.2 | مجموعة أدوات المطالبة | 3.0.3 |
| psycopg2 | 2.8.4 | عملية ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | الطلبات | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | شفرة | 1.4.1 | بحر محمول | 0.10.0 |
| أدوات الإعداد | 45.2.0 | ستة | 1.14.0 | ssh-import-id | 5.7 |
| نماذج الإحصائيات | 0.11.0 | اعصار | 6.0.3 | سمات السمات | 4.3.3 |
| ترقيات غير مراقبة | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | عجله | 0.34.2 |
مكتبات R المثبتة
يتم تثبيت مكتبات R من لقطة Microsoft CRAN على XXXX-XX-XX.
| مكتبة | الإصدار | مكتبة | الإصدار | مكتبة | الإصدار |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.1.8 |
| الأساس | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| بت | 1.1-15.2 | bit64 | 0.9-7 | كائن ثنائي كبير الحجم | 1.2.1 |
| boot | 1.3-25 | المشروب | 1.0-6 | broom | 0.7.0 |
| callr | 3.4.3 | علامة إقحام | 6.0-86 | cellranger | 1.1.0 |
| كرون | 2.3-55 | فئة | 7.3-17 | cli | 2.0.2 |
| clipr | 0.7.0 | نظام مجموعة | 2.1.0 | codetools | 0.2-16 |
| colorspace | 1.4-1 | العلامة الشائعة | 1.7 | compiler | 3.6.3 |
| config | 0.3 | covr | 3.5.0 | crayon | 1.3.4 |
| خط متقاطع | 1.1.0.1 | curl | 4.3 | data.table | 1.12.8 |
| مجموعات البيانات | 3.6.3 | DBI | 1.1.0 | dbplyr | 1.4.4 |
| تنازلي | 1.2.0 | devtools | 2.3.0 | digest | 0.6.25 |
| dplyr | 0.8.5 | DT | 0.14 | علامة الحذف | 0.3.1 |
| التقييم | 0.14 | fansi | 0.4.1 | مسافة بعيدة | 2.0.3 |
| خريطة سريعة | 1.0.1 | forcats | 0.5.0 | Foreach | 1.5.0 |
| foreign | 0.8-76 | صياغه | 0.2.0 | fs | 1.4.2 |
| generics | 0.0.2 | ggplot2 | 3.3.2 | غ | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | Globals | 0.12.5 |
| glue | 1.4.1 | gower | 0.2.2 | graphics | 3.6.3 |
| grDevices | 3.6.3 | grid | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0.8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.1 | httpuv | 1.5.4 | httr | 1.4.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | Ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.2 | iterators | 1.0.12 |
| jsonlite | 1.7.0 | KernSmooth | 2.23-17 | knitr | 1.29 |
| labeling | 0.3 | لاحقا | 1.1.0.1 | lattice | 0.20-41 |
| lava | 1.6.7 | lazyeval | 0.2.2 | دورة الحياة | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | markdown | 1.1 |
| MASS | 7.3-53 | المصفوفة | 1.2-18 | المذكرة | 1.1.0 |
| الأساليب | 3.6.3 | mgcv | 1.8-33 | mime | 0.9 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.8 | munsell | 0.5.0 |
| nlme | 3.1-149 | nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.2 | parallel | 3.6.3 | pillar | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | الثناء | 1.0.0 |
| prettyunits | 1.1.1 | بروك | 1.16.2 | processx | 3.4.3 |
| prodlim | 2019.11.13 | التقدم | 1.2.2 | وعود | 1.1.1 |
| proto | 1.0.0 | ps | 1.3.3 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.4.1 | randomForest | 4.6-14 |
| طيور الراب | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | readr | 1.3.1 | readxl | 1.3.1 |
| recipes | 0.1.13 | rematch | 1.0.1 | إعادة المباراة2 | 2.1.2 |
| Remotes | 2.1.1 | reprex | 0.3.0 | reshape2 | 1.4.4 |
| ريكس | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.7 |
| rmarkdown | 2.3 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.0 | rstudioapi | 0.11 | تحويلات | 2.0.2 |
| rvest | 0.3.5 | scales | 1.1.1 | selectr | 0.4-2 |
| معلومات الجلسة | 1.1.1 | الشكل | 1.4.4 | لامعه | 1.5.0 |
| قوالب المصدر | 0.1.7 | sparklyr | 1.3.1 | سبارك | 3.0.0 |
| spatial | 7.3-11 | splines | 3.6.3 | sqldf | 0.4-11 |
| SQUAREM | 2020.3 | stats | 3.6.3 | stats4 | 3.6.3 |
| stringi | 1.4.6 | stringr | 1.4.0 | survival | 3.2-7 |
| sys | 3.3 | tcltk | 3.6.3 | TeachingDemos | 2.10 |
| اختبار الذي | 2.3.2 | tibble | 3.0.3 | tidyr | 1.1.0 |
| tidyselect | 1.1.0 | tidyverse | 1.3.0 | timeDate | 3043.102 |
| tinytex | 0.24 | الأدوات | 3.6.3 | استخدام هذا | 1.6.1 |
| utf8 | 1.1.4 | utils | 3.6.3 | uuid | 0.1-4 |
| vctrs | 0.3.1 | viridisLite | 0.3.0 | whisker | 0.4 |
| withr | 2.2.0 | xfun | 0.15 | xml2 | 1.3.2 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.2.1 |
مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)
| معرف مجموعة | معرف البيانات الاصطناعية | الإصدار |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | دعم aws-java-sdk | 1.11.655 |
| com.amazonaws | مكتبات aws-java-sdk-swf | 1.11.22 |
| com.amazonaws | مساحات عمل aws-java-sdk | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | تيار | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo مظلل | 4.0.2 |
| com.esotericsoftware | سجل الحد الأدنى | 1.3.0 |
| com.fasterxml | زميل | 1.3.4 |
| com.fasterxml.jackson.core | التعليقات التوضيحية ل جاكسون | 2.10.0 |
| com.fasterxml.jackson.core | جاكسون النواة | 2.10.0 |
| com.fasterxml.jackson.core | جاكسون-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | جاكسون-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | جاكسون-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.كافيين | الكافيين | 2.3.4 |
| com.github.fommil | أداة تحميل jniloader | 1.1 |
| com.github.fommil.netlib | الذاكرة الأساسية | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | الجوافه | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | cp عظمي | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.ning | ضغط lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | برد-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | محللات أحادية التكافؤ | 2.9.0 |
| com.zaxxer | HikariCP | 3.1.0 |
| شائعات-beanutils | شائعات-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| المجموعات المشتركة | المجموعات المشتركة | 3.2.2 |
| تكوين المشتركات | تكوين المشتركات | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| أداة تجزئة الشائعات | أداة تجزئة الشائعات | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| تسجيل المشتركات | تسجيل المشتركات | 1.1.3 |
| commons-net | commons-net | 3.1 |
| تجمع مشترك | تجمع مشترك | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | أداة ضغط الهواء | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | المقاييس-الفحوصات الصحية | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | التنشيط | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | واجهة برمجة تطبيقات المعاملات | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| التفاف دائري | التفاف دائري | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | وقت تشغيل antlr | 3.5.2 |
| org.antlr | وقت تشغيل antlr4 | 4.7.1 |
| org.antlr | سلسلة قوالب | 3.2.1 |
| org.apache.ant | النمل | 1.9.2 |
| org.apache.ant | نملة-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.سهم | تنسيق السهم | 0.15.1 |
| org.apache.سهم | ذاكرة الأسهم | 0.15.1 |
| org.apache.سهم | خط متجه للسهم | 0.15.1 |
| org.apache.avro | افرو | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | ضغط الشائعات | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | عميل أمين | 2.7.1 |
| org.apache.curator | إطار عمل أمين | 2.7.1 |
| org.apache.curator | وصفات أمين | 2.7.1 |
| org.apache.derby | ديربي | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | تعليقات توضيحية ل hadoop | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | عميل hadoop | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | عميل hive-llap | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 حاضنة |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | اللبلاب | 2.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | orc-shims | 1.5.10 |
| org.apache.parquet | عمود باركيه | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | ترميز باركيه | 1.10.1-databricks6 |
| org.apache.parquet | تنسيق باركيه | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | باركيه جاكسون | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | السرعة | 1.5 |
| org.apache.xbean | xbean-asm7 مظلل | 4.15 |
| org.apache.yetus | التعليقات التوضيحية للجمهور | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | جاكسون جاكرس | 1.9.13 |
| org.codehaus.jackson | جاكسون-mapper-asl | 1.9.13 |
| org.codehaus.jackson | جاكسون-xc | 1.9.13 |
| org.codehaus.janino | محول برمجي مشترك | 3.0.16 |
| org.codehaus.janino | جانينو | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | عميل jetty | 9.4.18.v20190429 |
| org.eclipse.jetty | متابعة jetty | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | وكيل jetty | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | خادم jetty | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | محدد موقع hk2 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | إعادة حزم الأوبالين | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | جيرسي حاوية-servlet | 2.30 |
| org.glassfish.jersey.containers | جيرسي-حاوية-servlet-core | 2.30 |
| org.glassfish.jersey.core | جيرسي-العميل | 2.30 |
| org.glassfish.jersey.core | جيرسي المشتركة | 2.30 |
| org.glassfish.jersey.core | خادم جيرسي | 2.30 |
| org.glassfish.jersey.inject | جيرسي-hk2 | 2.30 |
| org.glassfish.jersey.media | جيرسي-وسائل الإعلام-جاكسب | 2.30 |
| org.hibernate.validator | مدقق الإسبات | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | تسجيل jboss | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | داء objenesis | 2.5.1 |
| org.postgresql | الانترنت | 42.1.4 |
| org.roaringbitmap | هديرBitmap | 0.7.45 |
| org.roaringbitmap | الحشوات | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | واجهة الاختبار | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | غير مستخدم | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | ثلاثتين إضافية | 1.5.0 |
| org.tukaani | xz | 1.5 |
| مستوى org.typelevel | algebra_2.12 | 2.0.0-M2 |
| مستوى org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| مستوى org.typelevel | machinist_2.12 | 0.6.8 |
| مستوى org.typelevel | ماكرو-compat_2.12 | 1.1.1 |
| مستوى org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| مستوى org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| مستوى org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| مستوى org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | ثعبان الثعبان | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |