Databricks Runtime 8.3 (EoS)
Not
Bu Databricks Runtime sürümü desteği sona erdi. Destek sonu tarihi için bkz . Destek sonu geçmişi. Desteklenen tüm Databricks Runtime sürümleri için bkz . Databricks Runtime sürüm notları sürümleri ve uyumluluğu.
Aşağıdaki sürüm notları, Apache Spark 3.1.1 tarafından desteklenen Databricks Runtime 8.3 ve Databricks Runtime 8.3 Photon hakkında bilgi sağlar. Databricks bu sürümü Haziran 2021'de yayımladı. Photon, Genel Önizleme aşamasındadır.
Yeni özellikler ve geliştirmeler
- Delta tablolarında oluşturulan sütunlar (Genel Önizleme)
- Otomatik Yükleyici özellikleri ve geliştirmeleri
- Yeni programlı API'lerle Delta tabloları oluşturma (Genel Önizleme)
- SQL'de Delta tablo boyutlarının doğru hesaplanması
ANALYZE - RocksDBStateStore kullanılırken RocksDB performansının ayrıntılı ölçümleri
- Otomatik İyileştirilmiş Yazma İşlemleri
- Yalnızca bir birleşim tarafı demetlenmişse, demetli birleştirmeleri etkinleştirme
- Spark UDF'lerini tanımlarken geliştirilmiş güvenlik (Genel Önizleme)
- ile sorgular için şema kayıt defterine yönelik istek sayısı azaltıldı
from_avro - ListResults ile R'de birden çok sonuç (Genel Önizleme)
Delta tablolarında oluşturulan sütunlar (Genel Önizleme)
Delta Lake artık, Delta tablosundaki diğer sütunlar üzerinde kullanıcı tarafından belirtilen bir işleve göre değerleri otomatik olarak oluşturulan özel bir sütun türü olan oluşturulan sütunları destekliyor. Bu oluşturulan sütunların değerlerini oluşturmak için çoğu yerleşik SQL işlevini kullanabilirsiniz. Örneğin, zaman damgası sütunundan otomatik olarak bir tarih sütunu (tabloyu tarihe göre bölümleme için) oluşturabilirsiniz; tabloya yapılan tüm yazma işlemleri için yalnızca zaman damgası sütununa ait veriler belirtilmesi gerekir. SQL, Scala, Java veya Python API'lerini kullanarak oluşturulan sütunlarla Delta tabloları oluşturabilirsiniz.
Daha fazla bilgi için bkz . Delta Lake tarafından oluşturulan sütunlar.
Otomatik Yükleyici özellikleri ve geliştirmeleri
- Otomatik Yükleyici'de CSV dosyaları için şema çıkarımı
- Otomatik Yükleyici akışları için geliştirilmiş başlangıç süresi
- Otomatik Yükleyici'de daha hızlı dizin listesi
- Otomatik Yükleyici denetim noktaları için daha az depolama yükü
- Otomatik Yükleyici, kullanılabilir olduğunda kurtarılan veri sütununa dosya yolunu ekler
- Otomatik Yükleyici, dosya bildirim modunda Azure Data Lake Storage 2. Nesil dosya yeniden adlandırmalarını destekler
Otomatik Yükleyici'de CSV dosyaları için şema çıkarımı
Otomatik Yükleyici artık CSV dosyalarında şema çıkarımı ve evrimi destekliyor. Otomatik Yükleyici, Apache Spark'taki mevcut CSV ayrıştırıcısının üzerinde aşağıdaki özellikleri sağlar:
- Şema birleştirme: Otomatik Yükleyici, farklı şemaya sahip CSV dosyalarını (farklı sayıda sütun, farklı sütun sırası) dosyalar arasında alabilir.
- Kurtarılan veri sütunu: CSV dosyalarınızda görünebilecek beklenmeyen verileri kurtarmak için kurtarılan veri sütununu kullanabilirsiniz. Bu, beklenen veri türünde ayrıştırılmayan verileri, üst bilgide farklı büyük/küçük harf veya null değerleri olan sütunları veya beklenen şemanın parçası olmayan ek sütunları içerir.
Ayrıntılar için bkz . Otomatik Yükleyici'de şema çıkarımı ve evrimi yapılandırma.
Otomatik Yükleyici akışları için geliştirilmiş başlangıç süresi
Otomatik Yükleyici akışları artık ilk kez başlatılırken akışın ilk geri doldurmasını zaman uyumsuz olarak gerçekleştirerek akış için çok daha hızlı bir başlangıç süresi sağlar. Bu, özellikle milyonlarca veya milyarlarca dosya içeren dizinlerden veri almak zorunda olduğunuzda, üretim verileriyle kodunuzu hızla yinelemenize olanak sağlayabilir.
Ayrıca, Auto Loader'ın tam olarak bir kez semantik sağlamak için yararlandığı RocksDB dosyalarının indirilmesi ve karşıya yüklenmesini paralelleştirdiğimiz için, yeniden başlatılan akışların bootstrap süresi de iyileştirilir.
Otomatik Yükleyici'de daha hızlı dizin listesi
Otomatik Yükleyici'de dizin listesinin verimliliğini büyük ölçüde geliştirdik. Bu performans geliştirmesinin bir yan etkisi, işlenmek üzere yeni veri olmadığında akışın depolama sistemine daha fazla liste isteği yayabilmesi ve bu da liste isteği ücretlerinde artışa neden olabilir. Databricks, genel bir en iyi yöntem olarak üretim akışı işlem hatları için makul bir tetikleyici aralığı ayarlamanızı önerir. Bkz . Yapılandırılmış Akış için üretimle ilgili dikkat edilmesi gerekenler.
Otomatik Yükleyici denetim noktaları için daha az depolama yükü
Otomatik Yükleyici akışları artık denetim noktası dizini boyutunun süresiz olarak büyümesini ve depolama maliyetlerini azaltmasını sağlamak için denetim noktası dizinindeki eski dosyaları zaman uyumsuz olarak otomatik olarak temizler.
Otomatik Yükleyici, kullanılabilir olduğunda kurtarılan veri sütununa dosya yolunu ekler
Kurtarılan veri sütunu, adlı _file_ pathbir sütunda uygun olduğunda kurtarılan verilerin dosya yolunu otomatik olarak sağlar. Bu, veri kalitesi sorunlarının kök nedenini izlemenize yardımcı olabilir. Veri şeması adlı _file_pathbir sütun içeriyorsa sütun dahil değildir. Gerekirse sütunu yeniden adlandırmak için SQL yapılandırmasını spark.databricks.sql.rescuedDataColumn.filePath.name kullanabilirsiniz.
Otomatik Yükleyici, dosya bildirim modunda Azure Data Lake Storage 2. Nesil dosya yeniden adlandırmalarını destekler
Otomatik Yükleyici artık dosya bildirim modunda çalışırken Azure Data Lake Storage 2. Nesil için BlobRenamed olaylarını destekliyor. Azure Data Lake Storage 2. Nesil kapsayıcısına yüklenen dosyaları dosya bildirimleriyle yeniden adlandırma işlemiyle işlemek için Databricks Runtime 8.3 kullanarak Otomatik Yükleyici ile yeni bir akış başlatın. Bir dosyanın tam olarak bir kez işlendiğinden emin olmak için, dosyanın yeniden adlandırıldığı kaynak dizinin Otomatik Yükleyici tarafından izlenmediğinden emin olun.
Yeni programlı API'lerle Delta tabloları oluşturma (Genel Önizleme)
Artık DataFrame API'lerini kullanmadan program aracılığıyla (Scala, Java ve Python kullanarak) yeni Delta tabloları oluşturabilirsiniz. Yeni DeltaTableBuilder ve DeltaColumnBuilder API'ler, SQL CREATE TABLEkullanarak belirtebileceğiniz tüm tablo ayrıntılarını belirtmenize olanak sağlar.
Daha fazla bilgi için bkz . Tablo oluşturma.
SQL'de Delta tablo boyutlarının doğru hesaplanması ANALYZE
Mevcut analiz mantığı Delta tabloları için tablo boyutunu yanlış hesaplar ve kataloğu yanlış boyutta güncelleştirir. Düzeltme, Delta tablosundaki delta tablosunun boyutunu Delta günlüğünden almaktır.
RocksDBStateStore kullanılırken RocksDB performansının ayrıntılı ölçümleri
Yapılandırılmış Akış sorgunuzu durum deposu olarak RocksDB kullanacak şekilde yapılandırdıysanız artık alma/yerleştirme gecikme süreleri, sıkıştırma gecikme süreleri, önbellek isabetleri gibi ayrıntılı ölçümlerle RocksDB'nin performansına daha iyi görünürlük sağlayabilirsiniz. Bu ölçümler akış sorgusunu StreamingQueryProgressizlemek için ve StreamingQueryListener API'leri aracılığıyla kullanılabilir.
Daha fazla bilgi için bkz . Azure Databricks'te RocksDB durum depolarını yapılandırma.
Otomatik İyileştirilmiş Yazma İşlemleri
Bölümlenmiş Delta tablolarında iyileştirilmiş Yazma işlemleri artık alt sorgular içeren güncelleştirme ve silme sorguları için otomatik olarak etkinleştirilmiştir.
Yalnızca bir birleşim tarafı demetlenmişse, demetli birleştirmeleri etkinleştirme
Yeni bir yapılandırma spark.databricks.sql.minBucketsForBucketedJoin , yalnızca bir birleştirme tarafı demetlenmişse ve demet sayısı bu yapılandırma değerinden küçük değilse, demetli birleştirmeyi etkinleştirir. Varsayılan olarak, bu yapılandırma değeri varsayılan karıştırma bölümleri numarasıyla (200) aynıdır.
Spark UDF'lerini tanımlarken geliştirilmiş güvenlik (Genel Önizleme)
Kullanıcı bilgileri işlevleri current_user ve is_member artık Python spark.udf.register veya SQL create or replace temp functiongibi geçici işlevler tarafından geçersiz kılınamıyor.
ile sorgular için şema kayıt defterine yönelik istek sayısı azaltıldı from_avro
Şema kayıt defteri desteğine sahip from_avro sorgular artık şema kayıt defteri hizmetine çok fazla istek oluşturarak işletimsel maliyet tasarrufu sağlamaz.
ListResults ile R'de birden çok sonuç (Genel Önizleme)
Databricks R not defterleri artık her hücrede birden çok sonucu destekliyor. Daha önce her not defteri hücresi için yalnızca tek bir sonuç işlendi. Şu anda R not defterlerindeki tek bir hücrenin sonuçları aşağıdaki sırada görüntülenir:
- RShiny URL'si
- Çizim
- displayHTML çıkışları
- Tablolar
- stdout
Kitaplık yükseltmeleri
- Yükseltilen Python kitaplığı:
- koalas 1.7.0'dan 1.8.0'a yükseltildi.
- pandas, 1.1.3'ten 1.1.5'e yükseltildi.
- s3transfer 0.3.4'ten 0.3.6'ya yükseltildi.
- Yükseltilen R kitaplığı:
- SparkR, 3.1.1'den 3.1.2 sürümüne yükseltildi.
- Yükseltilen Java kitaplığı:
- 2.1.2 ile 2.2.5 arası mariadb-java-client.
- 1.10.1-databricks6 ile 1.10.1-databricks9 arası parquet sütunu
- parquet-common from 1.10.1-databricks6 to 1.10.1-databricks9
- 1.10.1-databricks6 ile 1.10.1-databricks9 arası parquet kodlama
- 1.10.1-databricks6 ile 1.10.1-databricks9 arası parquet-hadoop
- parquet-jackson from 1.10.1-databricks6 to 1.10.1-databricks9
Apache Spark
Databricks Runtime 8.3, Apache Spark 3.1.1'i içerir. Bu sürüm, Databricks Runtime 8.2'de (EoS) yer alan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmelerini içerir:
- [SPARK-34614] [SQL] ANSI modu: Dizeyi Boole'a Atama ayrıştırma hatasında özel durum oluşturmalıdır
- [SPARK-34246] [TAKİP] 'findTightestCommonT...
- [SPARK-35213] [SQL] İç içe yapıların doğru sıralamasını withField işlemleriyle zincirlenmiş durumda tutun
- [SPARK-35096] [SQL] SchemaPruning spark.sql.caseSensitive yapılandırmasına uymalıdır
- [SPARK-35227] [DERLE] SparkSubmit'te spark paketleri için çözümleyiciyi güncelleştirme
- [SPARK-35224] [SQL] Arabellek taşma sorununu düzeltme
MutableProjectionSuite - [SPARK-34245] [CORE] Master'ın tamamlanmış durumu gönderemeyen yürütücüleri kaldırdığından emin olun
- [SPARK-34856] [SQL] ANSI modu: Karmaşık türleri dize türü olarak atamaya izin ver
- [SPARK-34946] [SQL] Toplamada desteklenmeyen bağıntılı skaler alt sorgularını engelleme
- [SPARK-35014] Katlanabilir ifadeleri yeniden yazmamak için PhysicalAggregation desenini düzeltme
- [SPARK-34769] [SQL] AnsiTypeCoercion: en yakın eksiyi döndür...
Sistem ortamı
- İşletim Sistemi: Ubuntu 18.04.5 LTS
- Java: Zulu 8.52.0.23-CA-linux64 (derleme 1.8.0_282-b08)
- Scala: 2.12.10
- Python: 3.8.8
- R: R sürüm 4.0.4 (2021-02-15)
- Delta Lake 1.0.0
Yüklü Python kitaplıkları
| Kitaplık | Sürüm | Kitaplık | Sürüm | Kitaplık | Sürüm |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | geri arama | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| sertifikalı | 2020.12.5 | cffi | 1.14.3 | chardet | 3.0.4 |
| şifreleme | 3.1.1 | bisikletçi | 0.10.0 | Cython | 0.29.21 |
| dekoratör | 4.4.2 | daistlib | 0.3.1 | docutils | 0.15.2 |
| giriş noktaları | 0.3 | modellere genel bakış | 1.0.0 | dosya kilidi | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | Koala | 1.8.0 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | pandas | 1.1.5 | parso | 0.7.0 |
| Patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pip | 20.2.4 | çizim | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.0 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| serçe | 1.0.1 | pycparser | 2.20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| istekler | 2.24.0 | Yeniden deneniyor... | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | seaborn | 0.10.0 |
| kurulum araçları | 50.3.1 | Altı | 1.15.0 | statsmodeller | 0.12.0 |
| threadpoolctl | 2.1.0 | hortum | 6.0.4 | traitlets | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| tekerlek | 0.35.1 |
Yüklü R kitaplıkları
R kitaplıkları 2020-11-02'de Microsoft CRAN anlık görüntüsünden yüklenir.
| Kitaplık | Sürüm | Kitaplık | Sürüm | Kitaplık | Sürüm |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.2.1 |
| temel | 4.0.4 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| başlatma | 1.3-27 | Brew | 1.0-6 | Brio | 1.1.0 |
| süpürge | 0.7.2 | çağıran | 3.5.1 | şapka işareti | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | class | 7.3-18 |
| cli | 2.2.0 | küçük resim | 0.7.1 | cluster | 2.1.1 |
| codetools | 0.2-18 | renk alanı | 2.0-0 | commonmark | 1.7 |
| derleyicisi | 4.0.4 | config | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | Crayon | 1.3.4 | kimlik bilgileri | 1.3.0 |
| Karışma | 1.1.0.1 | Curl | 4.3 | data.table | 1.13.4 |
| veri kümeleri | 4.0.4 | DBİ | 1.1.0 | dbplyr | 2.0.0 |
| Desc | 1.2.0 | geliştirici araçları | 2.3.2 | diffobj | 0.3.2 |
| düzenlemek | 0.6.27 | dplyr | 1.0.2 | DT | 0,16 |
| üç nokta | 0.3.1 | değerlendir | 0,14 | fansi | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | yabancı | 0.8-81 | demirhane | 0.2.0 |
| Fs | 1.5.0 | gelecek | 1.21.0 | Generics | 0.1.0 |
| gert | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | globaller | 0.14.0 |
| tutkal | 1.4.2 | Gower | 0.2.2 | grafikler | 4.0.4 |
| grDevices | 4.0.4 | Kılavuz | 4.0.4 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | liman | 2.3.1 |
| daha yüksek | 0.8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | Yineleyicilerde | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-18 | örgü örme | 1.30 |
| Etiketleme | 0.4.2 | sonra | 1.1.0.1 | kafes | 0.20-41 |
| lav | 1.6.8.1 | lazyeval | 0.2.2 | yaşam döngüsü | 0.2.0 |
| dinleyici | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| markdown | 1.1 | KÜTLE | 7.3-53.1 | Matris | 1.3-2 |
| not defteri | 1.1.0 | yöntemler | 4.0.4 | mgcv | 1.8-33 |
| Mıme | 0,9 | ModelMetrics | 1.2.2.2 | modelleyici | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-15 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.0.4 |
| paralel olarak | 1.22.0 | sütun | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | övgü | 1.0.0 | prettyunits | 1.1.1 |
| Yordam | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| ilerleme | 1.2.2 | Söz | 1.1.1 | Proto | 1.0.0 |
| Ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | yemek tarifleri | 0.1.15 |
| Rövanş | 1.0.1 | rematch2 | 2.1.2 | Kumanda | 2.2.0 |
| reprex | 0.3.0 | yeniden şekillendirme2 | 1.4.4 | rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2,6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-7 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| ters çevirmeler | 2.0.2 | rvest | 0.3.6 | Terazi | 1.1.1 |
| seçici | 0.4-2 | sessioninfo | 1.1.1 | şekil | 1.4.5 |
| parlak | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.2 | uzamsal | 7.3-11 | Splines | 4.0.4 |
| sqldf | 0.4-11 | KAREM | 2020.5 | Istatistik | 4.0.4 |
| istatistikler4 | 4.0.4 | stringi | 1.5.3 | dizeleyici | 1.4.0 |
| beka | 3.2-7 | sys | 3.4 | tcltk | 4.0.4 |
| TeachingDemos | 2.10 | test edin | 3.0.0 | tibble | 3.0.4 |
| derleyici | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| timeDate | 3043.102 | tinytex | 0.28 | araçlar | 4.0.4 |
| usethis | 2.0.0 | utf8 | 1.1.4 | Yardımcılar | 4.0.4 |
| uuid | 0.1-4 | vctr'lar | 0.3.5 | viridisLite | 0.3.0 |
| Waldo | 0.2.3 | bıyık | 0.4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | Zip | 2.1.1 |
Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)
| Grup Kimliği | Yapıt Kimliği | Sürüm |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | akış | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo gölgeli | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | sınıf arkadaşı | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | kafein | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | çekirdek | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | Profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-ayrıştırıcıları | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2,6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | koleksiyoncu | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | etkinleştirme | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.razorvine | pirolit | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | süper csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | ok biçimi | 2.0.0 |
| org.apache.arrow | ok-bellek çekirdeği | 2.0.0 |
| org.apache.arrow | ok-bellek-netty | 2.0.0 |
| org.apache.arrow | ok-vektör | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1,20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3,10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | küratör çerçevesi | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop ek açıklamaları | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-meta veri deposu | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | sarmaşık | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet kodlaması | 1.10.1-databricks9 |
| org.apache.parquet | parquet biçimi | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | hız | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | hedef kitle ek açıklamaları | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-derleyici | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-bulucu | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss günlüğü | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.0 |
| org.roaringbitmap | dolgular | 0.9.0 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test arabirimi | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | Kullanılma -yan | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |