Databricks Runtime 8.3 (غير مدعوم)

  • مقالة

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 8.3 وDatabricks Runtime 8.3 Photon، مدعوم من Apache Spark 3.1.1. أصدرت Databricks هذه الصور في يونيو 2021. الفوتون في المعاينة العامة.

ميزات وتحسينات جديدة

الأعمدة التي تم إنشاؤها في جداول Delta (معاينة عامة)

يدعم Delta Lake الآن الأعمدة التي تم إنشاؤها، وهي نوع خاص من الأعمدة التي يتم إنشاء قيمها تلقائيا استنادا إلى دالة محددة من قبل المستخدم عبر أعمدة أخرى في جدول Delta. يمكنك استخدام معظم دالات SQL المضمنة لإنشاء قيم هذه الأعمدة التي تم إنشاؤها. على سبيل المثال، يمكنك إنشاء عمود تاريخ تلقائيا (لتقسيم الجدول حسب التاريخ) من عمود الطابع الزمني؛ تحتاج أي عمليات كتابة في الجدول إلى تحديد البيانات لعمود الطابع الزمني فقط. يمكنك إنشاء جداول Delta بأعمدة تم إنشاؤها باستخدام واجهات برمجة تطبيقات SQL أو Scala أو Java أو Python.

لمزيد من المعلومات، راجع الأعمدة التي تم إنشاؤها في Delta Lake.

ميزات التحميل التلقائي وتحسيناته

استنتاج المخطط لملفات CSV في "المحمل التلقائي"

يدعم التحميل التلقائي الآن استنتاج المخطط وتطوره على ملفات CSV. يوفر Auto Loader الإمكانات التالية أعلى محلل CSV الموجود في Apache Spark:

  • دمج المخطط: يمكن لأداة التحميل التلقائي استيعاب ملفات CSV التي تحتوي على مخطط مختلف (عدد مختلف من الأعمدة، وترتيب مختلف للأعمدة) عبر الملفات.
  • عمود البيانات المنقذة: يمكنك استخدام عمود البيانات المنقذة لإنقاذ البيانات غير المتوقعة التي قد تظهر في ملفات CSV. يتضمن ذلك البيانات التي لا يمكن تحليلها في نوع البيانات المتوقع، أو الأعمدة التي تحتوي على غلاف مختلف أو قيم فارغة في الرأس، أو أعمدة إضافية لم تكن جزءا من المخطط المتوقع.

للحصول على التفاصيل، راجع تكوين استنتاج المخطط وتطوره في Auto Loader.

وقت بدء التشغيل المحسن لتدفقات التحميل التلقائي

تقوم تدفقات التحميل التلقائي الآن بتنفيذ التعبئة الأولية للدفق بشكل غير متزامن عند البدء لأول مرة، مما يؤدي إلى وقت بدء تشغيل أسرع بكثير للدفق. يمكن أن يسمح لك هذا بالتكرار بسرعة على التعليمات البرمجية الخاصة بك مع بيانات الإنتاج، خاصة عندما تضطر إلى استيعاب البيانات من الدلائل التي تحتوي على ملايين أو مليارات الملفات.

بالإضافة إلى ذلك، يتم أيضا تحسين وقت تمهيد تشغيل التدفقات التي يتم إعادة تشغيلها، لأننا قمنا بالتوازي مع تنزيل وتحميل ملفات RocksDB التي يستفيد منها "المحمل التلقائي" لتوفير دلالات مرة واحدة بالضبط.

إدخال قائمة دليل أسرع في "المحمل التلقائي"

لقد قمنا بتحسين كفاءة إدراج الدليل في Auto Loader بشكل كبير. أحد الآثار الجانبية لتحسين الأداء هذا هو أن الدفق قد يصدر المزيد من طلبات القائمة إلى نظام التخزين عندما لا توجد بيانات جديدة لمعالجتها، ما قد يؤدي إلى زيادة في رسوم طلب القائمة. كأفضل ممارسة عامة، توصي Databricks بتعيين فاصل زمني معقول للمشغل لتدفقات تدفق الإنتاج. راجع اعتبارات الإنتاج للبث المنظم.

تقليل حمل التخزين لنقاط التحقق من التحميل التلقائي

تقوم تدفقات التحميل التلقائي الآن تلقائيا بتنظيف الملفات القديمة في دليل نقطة التحقق بشكل غير متزامن للحفاظ على حجم دليل نقطة التحقق من النمو إلى أجل غير مسمى وتقليل تكاليف التخزين.

يتضمن التحميل التلقائي مسار الملف في عمود البيانات المنقذة عند توفره

يوفر عمود البيانات المنقذة تلقائيا مسار ملف البيانات المنقذة عند الاقتضاء في عمود يسمى _file_ path. يمكن أن يساعدك هذا في تعقب السبب الجذري لمشكلات جودة البيانات. لا يتم تضمين العمود إذا كان مخطط البيانات يحتوي على عمود يسمى _file_path. يمكنك استخدام تكوين spark.databricks.sql.rescuedDataColumn.filePath.name SQL لإعادة تسمية العمود إذا لزم الأمر.

يدعم التحميل التلقائي إعادة تسمية الملفات في Azure Data Lake Storage Gen2 في وضع إعلام الملف

يدعم التحميل التلقائي الآن أحداث BlobRenamed ل Azure Data Lake Storage Gen2 عند التشغيل في وضع إعلام الملف. لمعالجة الملفات التي يتم تحميلها إلى حاوية Azure Data Lake Storage Gen2 من خلال عملية إعادة تسمية مع إعلامات الملفات، ابدأ دفق جديد باستخدام أداة التحميل التلقائي باستخدام Databricks Runtime 8.3. للتأكد من معالجة ملف مرة واحدة بالضبط، تأكد من أن الدليل المصدر الذي تتم إعادة تسمية الملف منه غير مراقب بواسطة "المحمل التلقائي".

إنشاء جداول Delta باستخدام واجهات برمجة تطبيقات برمجية جديدة (معاينة عامة)

يمكنك الآن إنشاء جداول Delta جديدة برمجيا (باستخدام Scala وJava وPython) دون استخدام واجهات برمجة تطبيقات DataFrame. تتيح لك واجهات برمجة التطبيقات الجديدة DeltaTableBuilder وواجهات DeltaColumnBuilder برمجة التطبيقات تحديد جميع تفاصيل الجدول التي يمكنك تحديدها باستخدام SQL CREATE TABLE.

لمزيد من المعلومات، راجع إنشاء جدول.

الحساب الصحيح لأحجام جدول Delta في SQL ANALYZE

يحسب منطق التحليل الموجود حجم الجدول لجداول Delta بشكل غير صحيح ويحدث الكتالوج بحجم غير صحيح. الإصلاح هو الحصول على حجم جدول Delta من سجل Delta.

مقاييس مفصلة لأداء RocksDB عند استخدام RocksDBStateStore

إذا قمت بتكوين استعلام Structured Streaming لاستخدام RocksDB كمخزن الحالة، يمكنك الآن الحصول على رؤية أفضل لأداء RocksDB، مع مقاييس مفصلة حول الحصول على/وضع زمن الانتقال وزمن انتقال الضغط ووصول ذاكرة التخزين المؤقت وما إلى ذلك. تتوفر هذه المقاييس من خلال StreamingQueryProgress واجهات برمجة التطبيقات و StreamingQueryListener لمراقبة استعلام دفق.

لمزيد من المعلومات، راجع تكوين مخزن حالة RocksDB على Azure Databricks.

عمليات الكتابة المحسنة التلقائية

يتم الآن تمكين عمليات الكتابة المحسنة على جداول دلتا المقسمة تلقائيا لتحديث وحذف الاستعلامات التي تحتوي على استعلامات فرعية.

تمكين الصلات ذات المستودعات إذا تم تجميع جانب صلة واحد فقط في مستودع

يتيح التكوين spark.databricks.sql.minBucketsForBucketedJoin الجديد صلة مستودعية إذا تم تجميع جانب صلة واحد فقط في مستودع وكان عدد المستودعات لا يقل عن قيمة التكوين هذه. بشكل افتراضي، قيمة التكوين هذه هي نفس رقم أقسام التبديل العشوائي الافتراضي (200).

تحسين الأمان عند تعريف Spark UDFs (معاينة عامة)

وظائف current_user معلومات المستخدم ولم is_member يعد من الممكن تجاوزها بواسطة وظائف مؤقتة بما في ذلك Python spark.udf.register أو SQL create or replace temp function.

تقليل عدد الطلبات إلى سجل المخطط للاستعلامات باستخدام from_avro

لم تعد الاستعلامات مع from_avro دعم سجل المخطط تولد العديد من الطلبات إلى خدمة تسجيل المخطط، ما يوفر التكلفة التشغيلية.

نتائج متعددة في R مع ListResults (معاينة عامة)

تدعم دفاتر ملاحظات Databricks R الآن نتائج متعددة في كل خلية. في السابق تم عرض نتيجة واحدة فقط لكل خلية دفتر ملاحظات. يتم حاليا عرض نتائج خلية واحدة في دفاتر ملاحظات R بالترتيب التالي:

  1. RShiny URL
  2. الارض
  3. عرض مخرجاتHTML
  4. الجداول
  5. Stdout

ترقيات المكتبة

  • مكتبة Python التي تمت ترقيتها:
    • تمت ترقية koalas من 1.7.0 إلى 1.8.0.
    • تمت ترقية pandas من 1.1.3 إلى 1.1.5.
    • تمت ترقية s3transfer من 0.3.4 إلى 0.3.6.
  • مكتبة R التي تمت ترقيتها:
    • تمت ترقية SparkR من 3.1.1 إلى 3.1.2.
  • مكتبة Java التي تمت ترقيتها:
    • mariadb-java-client من 2.1.2 إلى 2.2.5.
    • عمود باركيه من 1.10.1-databricks6 إلى 1.10.1-databricks9
    • parquet-common من 1.10.1-databricks6 إلى 1.10.1-databricks9
    • ترميز parquet من 1.10.1-databricks6 إلى 1.10.1-databricks9
    • parquet-hadoop من 1.10.1-databricks6 إلى 1.10.1-databricks9
    • parquet-jackson من 1.10.1-databricks6 إلى 1.10.1-databricks9

Apache Spark

يتضمن Databricks Runtime 8.3 Apache Spark 3.1.1. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 8.2 (غير مدعوم)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

  • [SPARK-34614] [SQL] وضع ANSI: يجب أن يؤدي تحويل سلسلة إلى منطقية إلى طرح استثناء عند تحليل الخطأ
  • [SPARK-34246] [متابعة] تغيير تعريف 'findTightestCommonT...
  • [SPARK-35213] [SQL] الاحتفاظ بالترتيب الصحيح للبنى المتداخلة في عمليات متسلسل مع الحقل
  • [SPARK-35096] [SQL] يجب أن يلتزم SchemaPruning spark.sql.caseSensitive config
  • [SPARK-35227] [BUILD] تحديث محلل حزم spark في SparkSubmit
  • [SPARK-35224] [SQL] إصلاح تجاوز المخزن المؤقت في MutableProjectionSuite
  • [SPARK-34245] [CORE] تأكد من أن Master يزيل المنفذين الذين فشلوا في إرسال الحالة النهائية
  • [SPARK-34856] [SQL] وضع ANSI: السماح بصب الأنواع المعقدة كنوع سلسلة
  • [SPARK-34946] [SQL] حظر الاستعلام الفرعي العددي غير المعتمد المترابط في التجميع
  • [SPARK-35014] إصلاح نمط PhysicalAggregation لعدم إعادة كتابة التعبيرات القابلة للطي
  • [SPARK-34769] [SQL] AnsiTypeCoercion: إرجاع أقرب con...

بيئة النظام

  • نظام التشغيل: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.52.0.23-CA-linux64 (النسخة 1.8.0_282-b08)
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: R الإصدار 4.0.4 (2021-02-15)
  • Delta Lake 1.0.0

مكتبات Python المثبتة

مكتبة إصدار مكتبة إصدار مكتبة إصدار
dirs 1.4.4 asn1crypto 1.4.0 تثبيت خلفي 0.2.0
boto3 1.16.7 روبوت الدردشة 1.19.7 قصبات البروتليب 0.7.0
شهادة 2020.12.5 cffi 1.14.3 تجزئة 3.0.4
التشفير 3.1.1 دورة 0.10.0 Cython 0.29.21
ديكور 4.4.2 استياء 0.3.1 docutils 0.15.2
نقاط الإدخال 0.3 نظرة عامة على الواجهات 1.0.0 قفل الملف 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 جدي 0.17.2 مسار jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 الكوالا 1.8.0 matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 parso 0.7.0
باتسي 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pip 20.2.4 بشكل مخطط 4.14.3 مجموعة أدوات المطالبة 3.0.8
protobuf 3.17.0 psycopg2 2.8.5 عملية ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
الطلبات 2.24.0 اعاده المحاوله 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 شفرة 1.5.2 بحر محمول 0.10.0
أدوات الإعداد 50.3.1 ستة 1.15.0 نماذج الإحصائيات 0.12.0
threadpoolctl 2.1.0 اعصار 6.0.4 سمات السمات 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
عجله 0.35.1

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN في 2020-11-02.

مكتبة إصدار مكتبة إصدار مكتبة إصدار
askpass 1.1 assertthat 0.2.1 backports 1.2.1
الأساس 4.0.4 base64enc 0.1-3 BH 1.72.0-3
بت 4.0.4 bit64 4.0.5 كائن ثنائي كبير الحجم 1.2.1
boot 1.3-27 المشروب 1.0-6 بريو 1.1.0
broom 0.7.2 callr 3.5.1 علامة إقحام 6.0-86
cellranger 1.1.0 كرون 2.3-56 فئة 7.3-18
cli 2.2.0 clipr 0.7.1 نظام مجموعة 2.1.1
codetools 0.2-18 colorspace 2.0-0 العلامة الشائعة 1.7
compiler 4.0.4 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 بيانات الاعتماد 1.3.0
خط متقاطع 1.1.0.1 curl 4.3 data.table 1.13.4
مجموعات البيانات 4.0.4 DBI 1.1.0 dbplyr 2.0.0
تنازلي 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
علامة الحذف 0.3.1 التقييم 0.14 fansi 0.4.1
مسافة بعيدة 2.0.3 خريطة سريعة 1.0.1 forcats 0.5.0
Foreach 1.5.1 foreign 0.8-81 صياغه 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
غيرت 1.0.2 ggplot2 3.3.2 غ 1.2.0
صور gitcred 0.1.1 glmnet 4.0-2 Globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.0.4
grDevices 4.0.4 grid 4.0.4 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 لاحقا 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 دورة الحياة 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-53.1 مصفوفة 1.3-2
المذكرة 1.1.0 الأساليب 4.0.4 mgcv 1.8-33
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-15
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.4
بالتوازي 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 الثناء 1.0.0 prettyunits 1.1.1
بروك 1.16.2 processx 3.4.5 prodlim 2019.11.13
التقدم 1.2.2 وعود 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 طيور الراب 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl ⁦⁩⁦⁩1.3.1 recipes 0.1.15
rematch 1.0.1 إعادة المباراة2 2.1.2 Remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 ريكس 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0.13
تحويلات 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 معلومات الجلسة 1.1.1 الشكل 1.4.5
لامعه 1.5.0 قوالب المصدر 0.1.7 sparklyr 1.5.2
سبارك 3.1.2 spatial 7.3-11 splines 4.0.4
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.4
stats4 4.0.4 stringi 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.4
TeachingDemos 2.10 اختبار الذي 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 الأدوات 4.0.4
استخدام هذا 2.0.0 utf8 1.1.4 utils 4.0.4
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
والدو 0.2.3 whisker 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)

معرف مجموعة معرف البيانات الاصطناعية إصدار
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws دعم aws-java-sdk 1.11.655
com.amazonaws مكتبات aws-java-sdk-swf 1.11.22
com.amazonaws مساحات عمل aws-java-sdk 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics تيار 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo مظلل 4.0.2
com.esotericsoftware سجل الحد الأدنى 1.3.0
com.fasterxml زميل 1.3.4
com.fasterxml.jackson.core التعليقات التوضيحية ل جاكسون 2.10.0
com.fasterxml.jackson.core جاكسون النواة 2.10.0
com.fasterxml.jackson.core جاكسون-databind 2.10.0
com.fasterxml.jackson.dataformat جاكسون-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype جاكسون-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.كافيين الكافيين 2.3.4
com.github.fommil أداة تحميل jniloader 1.1
com.github.fommil.netlib الذاكرة الأساسية 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava الجوافه 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox cp عظمي 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning ضغط lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter برد-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity محللات أحادية التكافؤ 2.9.1
com.zaxxer HikariCP 3.1.0
شائعات-beanutils شائعات-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
المجموعات المشتركة المجموعات المشتركة 3.2.2
تكوين المشتركات تكوين المشتركات 1.6
commons-dbcp commons-dbcp 1.4
أداة تجزئة الشائعات أداة تجزئة الشائعات 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
تسجيل المشتركات تسجيل المشتركات 1.1.3
commons-net commons-net 3.1
تجمع مشترك تجمع مشترك 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift أداة ضغط الهواء 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics المقاييس-الفحوصات الصحية 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus واجهة سطر الأوامر البسيطة 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx جامع 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation التنشيط 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction واجهة برمجة تطبيقات المعاملات 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
التفاف دائري التفاف دائري 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
أشجار maven hive-2.3__hadoop-2.7 liball_deps_2.12
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr وقت تشغيل antlr 3.5.2
org.antlr وقت تشغيل antlr4 4.8-1
org.antlr سلسلة قوالب 3.2.1
org.apache.ant النمل 1.9.2
org.apache.ant نملة-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.سهم تنسيق السهم 2.0.0
org.apache.سهم ذاكرة أساسية للسهم 2.0.0
org.apache.سهم سهم-ذاكرة-netty 2.0.0
org.apache.سهم خط متجه للسهم 2.0.0
org.apache.avro افرو 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons ضغط الشائعات 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator عميل أمين 2.7.1
org.apache.curator إطار عمل أمين 2.7.1
org.apache.curator وصفات أمين 2.7.1
org.apache.derby ديربي 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop تعليقات توضيحية ل hadoop 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop عميل hadoop 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive عميل hive-llap 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 حاضنة
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy اللبلاب 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet عمود باركيه 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet ترميز باركيه 1.10.1-databricks9
org.apache.parquet تنسيق باركيه 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet باركيه جاكسون 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity السرعة 1.5
org.apache.xbean xbean-asm7 مظلل 4.15
org.apache.yetus التعليقات التوضيحية للجمهور 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson جاكسون جاكرس 1.9.13
org.codehaus.jackson جاكسون-mapper-asl 1.9.13
org.codehaus.jackson جاكسون-xc 1.9.13
org.codehaus.janino محول برمجي مشترك 3.0.16
org.codehaus.janino جانينو 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty عميل jetty 9.4.36.v20210114
org.eclipse.jetty متابعة jetty 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty وكيل jetty 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty خادم jetty 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 محدد موقع hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external إعادة حزم الأوبالين 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers جيرسي حاوية-servlet 2.30
org.glassfish.jersey.containers جيرسي-حاوية-servlet-core 2.30
org.glassfish.jersey.core جيرسي-العميل 2.30
org.glassfish.jersey.core جيرسي المشتركة 2.30
org.glassfish.jersey.core خادم جيرسي 2.30
org.glassfish.jersey.inject جيرسي-hk2 2.30
org.glassfish.jersey.media جيرسي-وسائل الإعلام-جاكسب 2.30
org.hibernate.validator مدقق الإسبات 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging تسجيل jboss 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis داء objenesis 2.5.1
org.postgresql الانترنت 42.1.4
org.roaringbitmap هديرBitmap 0.9.0
org.roaringbitmap الحشوات 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt واجهة الاختبار 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark غير مستخدم 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten ثلاثتين إضافية 1.5.0
org.tukaani xz 1.5
مستوى org.typelevel algebra_2.12 2.0.0-M2
مستوى org.typelevel cats-kernel_2.12 2.0.0-M4
مستوى org.typelevel machinist_2.12 0.6.8
مستوى org.typelevel ماكرو-compat_2.12 1.1.1
مستوى org.typelevel spire-macros_2.12 0.17.0-M1
مستوى org.typelevel spire-platform_2.12 0.17.0-M1
مستوى org.typelevel spire-util_2.12 0.17.0-M1
مستوى org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml ثعبان الثعبان 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52