Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Uyarı
Bu Databricks Runtime sürümü desteği sona erdi. Destek sonu tarihi için bkz. Destek sonu ve kullanım süresi sonu geçmişi. Desteklenen tüm Databricks Runtime sürümlerini görmek için Databricks Runtime sürüm notları, versiyonlar ve uyumluluk kısmına bakınız.
Aşağıdaki sürüm notları, Apache Spark 3.4.0 tarafından desteklenen Databricks Runtime 13.0 hakkında bilgi sağlar.
Databricks bu sürümü Nisan 2023'te yayımladı.
Yeni özellikler ve geliştirmeler
- H3 ifadeleri artık doğrusal coğrafyaları destekliyor
- Ganglia yerine küme ölçümleri eklendi
- Spark 3.4.0 yayınlandı
- Sorgu planlaması ve yürütme arasında bir dosya değiştirilirse Photon bir hata döndürür
- Tahmine Dayalı G/Ç için yeni özellikler
- Tahmine Dayalı G/Ç özellikleri için genişletilmiş destek
- Başka bir Databricks çalışma alanına bağlanmak için Databricks bağlayıcısını kullanma
- Unity Kataloğu'nda paylaşılan kümeyle Yapılandırılmış Akış için ek Kafka seçenekleri
- Yapılandırılmış Akış ile Delta tablosu değişikliklerini atla
- Delta tabloları için
özelliği - Dosya bloğu başlangıcını ve uzunluğunu ifade eden yeni meta veri sütun alanlarını
- Yeni H3 jeo-uzamsal işlevleri
- Yeni SQL yerleşik işlevleri
- Python not defterlerinde
%sql Python otomatik olarak yeniden başlatılmaz - Cluster kapsamlı Python kütüphaneleri, root olmayan bir kullanıcı tarafından yüklenir
H3 ifadeleri artık doğrusal coğrafyaları destekliyor
h3_coverash3 ve h3_coverash3string işlevleri artık doğrusal (linestring ve multilinestring) coğrafyaları destekliyor. İşlevler, belirtilen çözünürlükte en az sayıda H3 hücresi kapsayan bir küme oluşturur. Bkz. h3_coverash3 ve h3_coverash3string.
Ganglia yerine küme ölçümleri eklendi
Databricks Runtime sürüm 13 ve üzeri için Ganglia ölçümleri, Azure Databricks küme ölçümleriyle değiştirilir. Databricks Runtime sürüm 12 ve altı için Ganglia ölçümlerini kullanmaya devam edebilirsiniz. Küme ölçümlerinden memnun olunamayan Ganglia ölçümlerine bağlı bir iş akışınız varsa Azure Databricks hesap ekibinize başvurun. Bkz İşlem ölçümlerini görüntüle.
Spark 3.4.0 yayınlandı
Apache Spark 3.4.0 genel kullanıma sunuldu. Bkz . Spark Sürüm 3.4.0.
Sorgu planlaması ve yürütme arasında bir dosya değiştirilirse Photon bir hata döndürür
Sorgu planlaması ve yürütme arasında bir dosya güncelleştirilirse foton sorguları artık bir hata döndürür. Bu değişiklik öncesinde, Sorgu planlama ve yürütme arasında değişiklik süresi değişse bile Photon bir dosyayı okur ve bu da öngörülemeyen sonuçlara yol açabilir.
Tahmine Dayalı G/Ç için yeni özellikler
Foton, artık SATIRSAY ve ARALIK modları için kayan çerçeveleri {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING } kullanarak destekler.
Tahmine Dayalı G/Ç özellikleri için genişletilmiş destek
Şemanız yalnızca skaler sütunlar içerdiğinde CSV, AVRO ve DataFrame önbelleğe alma veri kaynakları için Photon genişletilmiş destek sağladı. Ayrıca haritalar, yapılar ve diziler gibi iç içe türler için destek genişletilir.
Başka bir Databricks çalışma alanına bağlanmak için Databricks bağlayıcısını kullanma
Azure Databricks bağlayıcısı, başka bir çalışma alanında yapılandırılan işlem kaynaklarına bağlanmanızı ve sonuçları geçerli Azure Databricks çalışma alanınıza döndürmenizi sağlar. Azure Databricks JDBC sürücüsü artık Databricks Runtime'a eklenmiştir. Bkz . Başka bir Databricks çalışma alanına bağlanmak için Databricks bağlayıcısını kullanma.
Unity Kataloğu'nda paylaşılan kümeyle Yapılandırılmış Akış için ek Kafka seçenekleri
Artık paylaşılan erişim kümelerinde Yapılandırılmış Akış kullandığınızda Kafka sertifikalarını Unity Kataloğu tarafından yönetilen dış konumlarda depolamak için kakfa.ssl.truststore.location ve kafak.ssl.keystore.location ayarlarını kullanabilirsiniz. DBFS kökünde konumları kullanamazsınız.
Yapılandırılmış Akış ile Delta tablosu değişikliklerini atlama
Artık skipChangeCommits kullanarak UPDATE, MERGEve DELETE işlemleri için Delta tablosuna veri değiştirme işlemelerini yoksayabilirsiniz. Bu, artık kullanım dışı olan öğesinin yerini alır ignoreChanges. Bkz . Kaynak Delta tablolarındaki değişiklikleri işleme.
Delta tabloları için CREATE TABLE LIKE özelliği
CREATE TABLE LIKE artık Delta tabloları kullanılırken destekleniyor.
Dosya bloğu başlangıcını ve uzunluğunu belirten yeni meta veri sütunu alanları
Artık _metadata sütunuyla giriş dosyaları için aşağıdaki meta veri bilgilerini alabilirsiniz: file_block_start ve file_block_length. Daha fazla bilgi için bkz. Dosya meta verileri sütunu.
Yeni H3 jeo-mekânsal işlevleri
Yeni h3_coverash3 ve h3_coverash3string ifadeleri, Foton etkinleştirildiğinde jeo-uzamsal işleme için kullanılabilir. Bkz. H3 jeo-uzamsal işlevleri.
Yeni SQL yerleşik işlevleri
Aşağıdaki işlevler eklendi:
-
array_insert(dizi, dizin, elem)
array'inelemkonumuna eklendiği genişletilmiş birindexdöndürür. -
luhn_check(numStr) eğer
trueLuhn algoritması kontrolünden geçersenumStrdöndürür.
Python not defterlerinde %sql
Boş olmayan tüm %sql sonuçları Python not defterlerine artık _sqldf veya IPython'un çıkış önbelleğe alma sistemi kullanılarak erişilebilir. Bu, DataFrame sonucunun kullanımını Python basitleştirir. Bu, önceki Databricks Runtime sürümlerinde, daha önce _sqldf olduğu gibi her zaman yeniden atanmamış olan bir davranış değişikliğidir.
_sqldf, %sql kullanılarak yürütüldüğünde, hücresi sonucu yeniden atanmaz.
%pip otomatik olarak yeniden başlatılmıyor Python
virtualEnv'i değiştiren Python not defterlerinde %pip komutlarını çalıştırdıktan sonra Databricks artık Python işlemini otomatik olarak yeniden başlatmaz. Python işlemini yeniden başlatmak için dbutils.library.restartPython()'ı çağırın. Bu değişiklikle, %pip komutları Databricks'te Jupyter Notebook'lara benzer şekilde davranır ve !pip ile %sh pip komutlarıyla tutarlıdır. Databricks, %pip veya !pip yerine %sh pip önerir.
Küme kapsamlı Python kitaplıkları kök olmayan bir kullanıcı kullanılarak yüklenir
Kitaplıklar artık kitaplık yüklemelerinden sorumlu olan kök olmayan bir kullanıcı kullanılarak yüklenir. Başlatma betiklerinde pip yükleme davranışını yapılandırmak istiyorsanız [genel düzey dosyasını https://pip.pypa.io/en/stable/topics/configuration/#configuration-files] kullanın.
Hata düzeltmeleri
- Komutlarda
%shaşağıdaki düzeltmeler yapılmıştır:- UTF-8 karakter içermeyen çıkış artık desteklenmektedir.
- Komut iptal edildiğinde alt işlemler artık kesintiye uğrar.
Kitaplık yükseltmeleri
- Yükseltilmiş Python kitaplıkları:
- asttokens sürüm değişikliği 2.0.5'ten 2.2.1'e
- 22.3.0 ile 22.6.0 arasından siyah
- boto3 1.21.32 ile 1.24.28
- botocore 1.24.32'den 1.27.28'e güncellendi
- certifi 2021.10.8'den 2022.9.14'e kadar
- cffi 1.15.0 ile 1.15.1 arasındaki
- 3.4.8 ile 37.0.1 arasında şifreleme
- Cython 0.29.28 ile 0.29.32 arasında
- 1.2.16 ile 1.2.18 arası dbus-python
- 0,11 ile 0,12 arası docstring-to-markdown
- 0.8.3'ten 1.2.0'a yürütme
- facets-overview 1.0.0'dan 1.0.2'ye kadar
- fastjsonschema 2.16.2 ile 2.16.3
- 3.9.0 ile 3.10.7 arasında dosya kilidi
- ipykernel 6.15.3 versiyonundan 6.17.1 versiyonuna
- 8.5.0 ile 8.10.0 arasında ipython
- joblib 1.1.1'den 1.2.0'ye
- 4.4.0 ile 4.16.0 arasındaki jsonschema
- 6.1.12 ile 7.3.4 arası jupyter-client
- Kiwisolver 1.3.2 ile 1.4.2
- matplotlib 3.5.1 versiyonundan 3.5.2 versiyonuna
- matplotlib-inline 0.1.2 ile 0.1.6 arası
- 5.3.0 ile 5.5.0 arasında nbformat
- 6.4.8 ile 6.4.12 arasında not defteri
- pandas sürümü 1.4.2'den 1.4.4'e
- Pillow 9.0.1'den 9.2.0'ye
- pip 21.2.4'ten 22.2.2'ye
- platformdirs 2.6.2'den 2.5.2'ye
- plotly 5.6.0'dan 5.9.0'a
- 0.13.1 ile 0.14.1 arası prometheus-client
- 3.0.20'den 3.0.36'ya prompt-toolkit
- psutil 5.8.0'dan 5.9.0'a
- pyflakes 2.5.0'dan 3.0.1'e
- PyGObject 3.36.0 ile 3.42.1 arasında
- pyparsing 3.0.4'ten 3.0.9'a
- 1.1.283 ile 1.1.294 arasında pyright
- python-lsp-server 1.6.0 ile 1.7.1 arası
- pytz sürüm 2021.3'ten 2022.1'e
- pyzmq 22.3.0 ile 23.2.0 arasında
- 2.27.1'den 2.28.1'e istekler
- rope 0.22.0'dan 1.7.0'a
- s3transfer 0.5.0'dan 0.6.0'a
- 1.0.2 ile 1.1.1 arası scikit-learn
- scipy sürümü 1.7.3'ten 1.9.1'e
- 61.2.0 ile 63.4.1 için kurulum araçları
- ssh-import-id 5.10'dan 5.11'e
- 0.2.0 ile 0.6.2 arasında yığın verileri
- testpath sürümü 0.5.0'dan 0.6.0'ya
- tomli 1.2.2'den 2.0.1'e
- ujson sürümü 5.1.0'dan 5.4.0'a güncelleme
- 1.26.9'dan 1.26.11'e urllib3
- virtualenv 20.8.0 ile 20.16.3
- whatthepatch sürümü 1.0.4'ten 1.0.2'ye
- tekerlek 0.37.0 ile 0.37.1
- Güncellenmiş R kitaplıkları:
- 10.0.0 ile 10.0.1'den 10.0.1'e kadar olan ok
- bit 4.0.4'ten 4.0.5'e
- süpürge 1.0.1'den 1.0.3'e
- bslib 0.4.1'den 0.4.2'ye
- chron 2.3-58'den 2.3-59'a
- cli 3.4.1'den 3.6.0'a yükseltme
- renk alanı 2.0-3 ile 2.1-0 arası
- curl 4.3.3'ten 5.0.0'a yükseltme
- data.table 1.14.4'ten 1.14.6'ya
- dbplyr 2.2.1 ile 2.3.0
- özet 0.6.30 ile 0.6.31
- 1.0.10 ile 1.1.0 aralığındaki dplyr
- e1071 1.7-12 ile 1.7-13 arası
- 0,18'den 0,20'ye kadar değerlendirme
- fansi 1.0.3'ten 1.0.4'e
- fontawesome sürümü 0.4.0'dan 0.5.0'a
- forcats 0.5.2'den 1.0.0'a
- fs 1.5.2 ile 1.6.1
- gelecek 1.29.0 ile 1.31.0
- gargle 1.2.1 sürümünden 1.3.0 sürümüne
- 1.9.1'den 1.9.2'ye kadar gert
- 4.1-4 ile 4.1-6 arası glmnet
- 0.16.1'den 0.16.2'ye global değişkenler
- gower 1.0.0'dan 1.0.1'e
- 0,9'dan 0,10'a yükseltildi
- htmltools 0.5.3'ten 0.5.4'e
- htmlwidgets 1.5.4'ten 1.6.1'e
- httpuv 1.6.6 sürümünden 1.6.8 sürümüne
- 0.2.6'dan 0.2.7'ye isoband
- 1.8.3 ile 1.8.4 arasındaki jsonlite
- knitr 1,40'tan 1,42'ye
- lava 1.7.0'dan 1.7.1'e
- listenv versiyonunu 0.8.0'dan 0.9.0'a yükseltme
- lubridate 1.9.0'dan 1.9.1'e
- markdown 1,3 ile 1,5
- modelr 0.1.9'dan 0.1.10'a
- openssl 2.0.4 sürümünden 2.0.5 sürümüne
- 1.32.1'den 1.34.0'a paralel olarak
- pkgbuild 1.3.1'den 1.4.0'e
- pkgdown 2.0.6'dan 2.0.7'ye
- pkgload 1.3.1'den 1.3.2'ye
- plyr 1.8.7'den 1.8.8'e
- progressr güncellemeleri 0.11.0 sürümünden 0.13.0 sürümüne
- purrr sürüm 0.3.5'ten 1.0.1'e
- ragg 1.2.4'ten 1.2.5'e
- Rcpp 1.0.9 ile 1.0.10
- readxl 1.4.1'den 1.4.2'ye
- 1.0.3 ila 1.0.4 yemek tarifleri
- rmarkdown 2.18 sürümünden 2.20 sürümüne
- RODBC 1.3-19 ile 1.3-20 arası
- roxygen2 7.2.1 ile 7.2.3
- 2.2.18 ile 2.2.20 arasında RSQLite
- sass sürümü 0.4.2'den 0.4.5'e güncellendi
- parlak 1.7.3 ile 1.7.4
- 0.1.7 ile 0.1.7-1 arası kaynak araçları
- sparklyr 1.7.8 ile 1.7.9
- SparkR 3.3.2 ile 3.4.0
- 7.3-11'den 7.3-15'e kadar uzamsal
- stringi 1.7.8 ile 1.7.12 arasında
- dizeleyici 1.4.1'den 1.5.0'a
- 3.4-0 ile 3.5-3 arası hayatta kalma
- testthat 3.1.5'ten 3.1.6'ya
- tidyr'ın 1.2.1 versiyonundan 1.3.0 versiyonuna
- 0.1.1 ile 0.2.0 arasında zaman değişimi
- timeDate 4021.106'dan 4022.108'a
- tinytex 0,42'den 0,44'e
- utf8 1.2.2 sürümünden 1.2.3 sürümüne
- 0.5.0 ile 0.5.2 arasında vctr'lar
- vroom'un 1.6.0 sürümünden 1.6.1 sürümüne güncellenmesi
- whisker 0.4'ten 0.4.1'e
- xfun 0,34'ten 0,37'ye
- yaml 2.3.6 ile 2.3.7
- Yükseltilmiş Java kitaplıkları:
- com.amazonaws.aws-java-sdk-autoscaling sürümü 1.12.189'dan 1.12.390'a güncellendi
- com.amazonaws.aws-java-sdk-cloudformation 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-cloudfront 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-cloudhsm 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-cloudsearch 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-cloudtrail 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-cloudwatch 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-cloudwatchmetrics sürüm 1.12.189'dan 1.12.390'a yükseltildi.
- com.amazonaws.aws-java-sdk-codedeploy sürümü 1.12.189'dan 1.12.390'a güncellendi.
- com.amazonaws.aws-java-sdk-cognitoidentity 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-cognitosync 1.12.189 ile 1.12.390 arasında
- com.amazonaws.aws-java-sdk-config 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-core 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-datapipeline 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-directconnect sürüm 1.12.189'dan 1.12.390 sürümüne
- com.amazonaws.aws-java-sdk-directory 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-dynamodb 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-ec2 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-ecs 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-efs 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-elasticache 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-elasticbeanstalk 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-elasticloadbalancing 1.12.189 sürümünden 1.12.390 sürümüne
- com.amazonaws.aws-java-sdk-elastictranscoder 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-emr 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-glacier 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-glue 1.12.189 sürümünden 1.12.390 sürümüne
- com.amazonaws.aws-java-sdk-iam 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-importexport 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-kinesis 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-kms 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-lambda 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-logs 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-machinelearning 1.12.189'dan 1.12.390'a
- com.amazonaws.aws-java-sdk-opsworks 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-rds 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-redshift 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-route53 sürümü 1.12.189'dan 1.12.390'a güncellendi
- com.amazonaws.aws-java-sdk-s3 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-ses 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-simpledb 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-simpleworkflow 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-sns 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-sqs 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-ssm 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-storagegateway 1.12.189 ile 1.12.390 arası
- com.amazonaws.aws-java-sdk-sts 1.12.189 ile 1.12.390 arasında
- com.amazonaws.aws-java-sdk-support sürümü 1.12.189'dan 1.12.390'a güncellenmiştir.
- com.amazonaws.aws-java-sdk-workspaces 1.12.189 ile 1.12.390 arası
- com.amazonaws.jmespath-java 1.12.189 ile 1.12.390 arası
- com.fasterxml.jackson.core.jackson-annotations 2.13.4'den 2.14.2'e
- com.fasterxml.jackson.core.jackson-core 2.13.4 ile 2.14.2 arası
- com.fasterxml.jackson.core.jackson-databind 2.13.4.2'den 2.14.2'ye
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 2.13.4 ile 2.14.2 arasında
- com.fasterxml.jackson.datatype.jackson-datatype-joda 2.13.4 ile 2.14.2 arası
- com.fasterxml.jackson.module.jackson-module-paranamer 2.13.4'tan 2.14.2'ye
- com.fasterxml.jackson.module.jackson-module-scala_2.12 2.13.4'ten 2.14.2'ye
- com.github.luben.zstd-jni 1.5.2-1 ile 1.5.2-5 arası
- com.google.code.gson.gson 2.8.6 ile 2.8.9 arasındaki
- com.google.crypto.tink.tink sürümü 1.6.1'den 1.7.0'a geçiş
- com.h2database.h2 2.0.204 ile 2.1.214 arasında
- com.jcraft.jsch 0.1.50 ile 0.1.55
- com.ning.compress-lzf 1.1 ile 1.1.2 arasında
- commons-fileupload.commons-fileupload 1.3.3'ten 1.5'e
- dev.ludovic.netlib.arpack 2.2.1 ile 3.0.3 arasında
- dev.ludovic.netlib.blas 2.2.1 ile 3.0.3 arasında
- dev.ludovic.netlib.lapack 2.2.1 ile 3.0.3 arasında
- 0.6.9 ile 0.6.3 arasındaki io.delta.delta-sharing-spark_2.12
- io.dropwizard.metrics.metrics-core 4.1.1 ile 4.2.10 arası
- 4.1.1 ile 4.2.10 arası io.dropwizard.metrics.metrics-graphite
- io.dropwizard.metrics.metrics-healthchecks 4.1.1 sürümünden 4.2.10 sürümüne
- 4.1.1 ile 4.2.10 arası io.dropwizard.metrics.metrics-jetty9
- 4.1.1 ile 4.2.10 arası io.dropwizard.metrics.metrics-jmx
- 4.1.1 ile 4.2.10 arasındaki io.dropwizard.metrics.metrics-json
- io.dropwizard.metrics.metrics-jvm 4.1.1 ile 4.2.10 arası
- io.dropwizard.metrics.metrics-servlets 4.1.1 ile 4.2.10 arası
- io.netty.netty-all sürümü 4.1.74.Final'den 4.1.87.Final'e güncellendi
- io.netty.netty-buffer 4.1.74.Final'den 4.1.87.Final'e
- io.netty.netty-codec sürümü 4.1.74.Final'den 4.1.87.Final'e yükseltildi
- io.netty.netty-common, 4.1.74.Final sürümünden 4.1.87.Final sürümüne güncellendi.
- io.netty.netty-handler 4.1.74.Final sürümünden 4.1.87.Final sürümüne
- io.netty.netty-resolver 4.1.74.Final sürümünden 4.1.87.Final sürümüne
- io.netty.netty-transport 4.1.74.Final sürümünden 4.1.87.Final sürümüne
- io.netty.netty-transport-classes-epoll sürümünden 4.1.74.Final 4.1.87.Final'a
- io.netty.netty-transport-classes-kqueue 4.1.74.Final sürümünden 4.1.87.Final sürümüne
- io.netty.netty-transport-native-unix-common 4.1.74.Final'dan 4.1.87.Final'a
- joda-time.joda-time sürümü 2.10.13'ten 2.12.1'e güncellendi
- net.razorvine.pickle 1.2'den 1.3'e
- net.snowflake.snowflake-jdbc 3.13.29 ile 3.13.22 arası
- org.antlr.antlr4-runtime 4.8 ile 4.9.3 arası
- org.apache.ant.ant 1.9.2'den 1.9.16'ya
- org.apache.ant.ant-jsch 1.9.2 ile 1.9.16 arası
- org.apache.ant.ant-launcher 1.9.2 ile 1.9.16 arası
- org.apache.arrow.arrow-format 7.0.0'dan 11.0.0'a
- org.apache.arrow.arrow-memory-core sürümü 7.0.0'dan 11.0.0'a yükseltildi
- org.apache.arrow.arrow-memory-netty 7.0.0'dan 11.0.0'a
- org.apache.arrow.arrow-vector 7.0.0'dan 11.0.0'e
- org.apache.avro.avro 1.11.0'dan 1.11.1'e
- org.apache.avro.avro-ipc 1.11.0 ile 1.11.1 arası
- org.apache.avro.avro-mapred sürüm güncellemesi 1.11.0'dan 1.11.1'e
- org.apache.httpcomponents.httpclient 4.5.13 ile 4.5.14 arasında
- org.apache.httpcomponents.httpcore 4.4.14 ile 4.4.16 arasında
- 2.18.0 ile 2.19.0 arası org.apache.logging.log4j.log4j-1.2-api
- 2.18.0 ile 2.19.0 arası org.apache.logging.log4j.log4j-api
- 2.18.0 ile 2.19.0 arası org.apache.logging.log4j.log4j-core
- org.apache.orc.orc-core 1.7.8'dan 1.8.2-shaded-protobuf'a
- org.apache.orc.orc-mapreduce 1.7.8 sürümünden 1.8.2-shaded-protobuf sürümüne
- org.apache.orc.orc-shims 1.7.8'den 1.8.2'ye
- org.apache.xbean.xbean-asm9-shaded sürümü 4.20'den 4.22'ye güncellendi.
- org.apache.zookeeper.zookeeper 3.6.2 sürümünden 3.6.3 sürümüne
- org.apache.zookeeper.zookeeper-jute 3.6.2 sürümünden 3.6.3 sürümüne
- org.eclipse.jetty.jetty-client 9.4.46.v20220331 sürümünden 9.4.50.v20221201 sürümüne
- org.eclipse.jetty.jetty-continuation 9.4.46.v20220331 sürümünden 9.4.50.v20221201 sürümüne
- org.eclipse.jetty.jetty-http 9.4.46.v20220331 sürümünden 9.4.50.v20221201 sürümüne
- org.eclipse.jetty.jetty-io 9.4.46.v20220331 - 9.4.50.v20221201
- org.eclipse.jetty.jetty-jndi'nin sürümü 9.4.46.v20220331'den 9.4.50.v20221201'e yükseltildi
- org.eclipse.jetty.jetty-plus sürümü güncellendi: 9.4.46.v20220331'dan 9.4.50.v20221201'e
- org.eclipse.jetty.jetty-proxy 9.4.46.v20220331'den 9.4.50.v20221201'e
- org.eclipse.jetty.jetty-security 9.4.46.v20220331'den 9.4.50.v20221201'e
- org.eclipse.jetty.jetty-server 9.4.46.v20220331 sürümünden 9.4.50.v20221201 sürümüne güncellendi.
- org.eclipse.jetty.jetty-servlet 9.4.46.v20220331'den 9.4.50.v20221201'e
- org.eclipse.jetty.jetty-servlets 9.4.46.v20220331 sürümünden 9.4.50.v20221201 sürümüne güncellendi
- org.eclipse.jetty.jetty-util sürüm 9.4.46.v20220331'den 9.4.50.v20221201'e
- org.eclipse.jetty.jetty-util-ajax sürümü, 9.4.46.v20220331'den 9.4.50.v20221201'e güncellendi.
- org.eclipse.jetty.jetty-webapp sürümü 9.4.46.v20220331'den 9.4.50.v20221201'e
- org.eclipse.jetty.jetty-xml versiyonu 9.4.46.v20220331'den 9.4.50.v20221201'e güncellenmiştir.
- org.eclipse.jetty.websocket.websocket-api sürüm güncellemesi 9.4.46.v20220331'den 9.4.50.v20221201'e
- org.eclipse.jetty.websocket.websocket-client sürümü 9.4.46.v20220331'tan 9.4.50.v20221201'e
- org.eclipse.jetty.websocket.websocket-common 9.4.46.v20220331 sürümünden 9.4.50.v20221201 sürümüne
- org.eclipse.jetty.websocket.websocket-server sürümünü 9.4.46.v20220331'dan 9.4.50.v20221201'e yükseltme
- org.eclipse.jetty.websocket.websocket-servlet 9.4.46.v20220331'dan 9.4.50.v20221201'e
- org.hibernate.validator.hibernate-validator 6.1.0.Final ile 6.1.7.Final arası
- org.mlflow.mlflow-spark 2.1.1 ile 2.2.0 arası
- org.postgresql.postgresql 42.3.3'ten 42.3.8'e
- org.roaringbitmap.RoaringBitmap 0.9.25 ile 0.9.39 arasında
- org.roaringbitmap.shims 0.9.25 ile 0.9.39 arasında
- org.rocksdb.rocksdbjni 6.28.2 ile 7.8.3 arasında
- org.scala-lang.scala-compiler_2.12- 2.12.14 - 2.12.15
- org.scala-lang.scala-library_2.12- 2.12.14 - 2.12.15
- org.scala-lang.scala-reflect_2.12 2.12.14'ten 2.12.15'e
- org.scalanlp.breeze-macros_2.12 1.2'den 2.1.0'a
- 1.2 ile 2.1.0 org.scalanlp.breeze_2.12
- org.slf4j.jcl-over-slf4j 1.7.36'dan 2.0.6'ya
- org.slf4j.jul-to-slf4j sürüm 1.7.36'dan 2.0.6'ya güncellendi
- org.slf4j.slf4j-api 1.7.36'dan 2.0.6'ya
- org.threeten.threeten-extra 1.5.0 ile 1.7.1 arası
- org.wildfly.openssl.wildfly-openssl 1.0.7.Final ile 1.1.3.Final arası
- org.yaml.snakeyaml 1.24 ile 1.33
Apache Spark
Databricks Runtime 13.0, Apache Spark 3.4.0'ı içerir.
- Spark SQL
- Spark Core
- Yapılandırılmış Akış
- Spark Connect
- PySpark
- MLLIB
- SparkR
- Canlı Kullanıcı Arayüzü ve Tarihçe Sunucusu Hizmeti
- İnşa Et
Spark SQL
Features
- Tablolardaki sütunlar için varsayılan değerler desteğini uygulayın (SPARK-38334)
- add Dataset.as(StructType) (SPARK-39625)
- Parametreli SQL desteği (SPARK-41271, SPARK-42702)
- Ekleyin: Unpivot / melt (SPARK-38864, SPARK-39876)
- "Yan sütun takma ad referansları" desteği (SPARK-27561)
- Sonuç kaydırma şartını destekle (SPARK-28330, SPARK-39159)
- Saat dilimi veri türü olmadan Zaman Damgası desteği (SPARK-35662)
- Zaman yolculuğunda skaler alt sorgu desteği (SPARK-39306)
- Katalog API'sini 3 katmanlı ad alanıyla uyumlu hale getirme ( SPARK-39235
) - Dataframe seçeneklerini kullanarak TimeTravel için saniye cinsinden timestamp desteği (SPARK-39633)
- SparkSession.config(Map) ekleme (SPARK-40163)
- Oturum kataloğunun varsayılan veritabanını değiştirme desteği (SPARK-35242)
- Spark için Protobuf desteği - from_protobuf VE to_protobuf (SPARK-40654)
- Kaynakla eşleşmeyen sorgu cümleciğini MERGE INTO'a ekleyin (SPARK-40921)
- CREATE TABLE sütun seçenekleri için sıralama kısıtlamasını gevşet (SPARK-40944)
- Dataframe üzerine yazma komutu için SQL Eşdeğeri (SPARK-40956)
- Gerekli alt çıkış olmadan dış referansları barındırmak için oluşturma desteği (SPARK-41441)
- ORDER BY TÜMÜ (SPARK-41637)
- GROUP BY TÜMÜ (SPARK-41635)
- flatMapSortedGroups ve cogroupSorted işlevlerini ekle (SPARK-38591)
- Bağıntılı eşitlik dışı koşula sahip alt sorguları destekleme (SPARK-36114)
- UNION/INTERSECT/EXCEPT aracılığıyla bağıntılı alt sorguları destekleme (SPARK-36124)
ANSI Uyumluluğu
- ANSI SQL modu: Geçersiz harita sütunu erişiminde her zaman null döndürür (SPARK-40066)
- Çift tırnaklı tanımlayıcıları destekle (SPARK-40585)
- ANSI SQL modu: Round/Bround, tamsayı taşmasında bir hata döndürmelidir (SPARK-42045)
- ANSI aralıklarına integral atama desteği (SPARK-40008)
- ANSI aralıklarına ondalık atama desteği (SPARK-40014)
- Yüzdebirlik işlevlerden daha geniş ANSI aralık türleri döndürme (SPARK-40151)
- ANSI aralıklarını ondalıklara dönüştürme desteği (SPARK-39470)
- ANSI modunda integrallere aralık atama desteği (SPARK-39451)
- Hata sınıfları için SQLSTATE kullanımını sağlamlaştırma (SPARK-41994)
Functions
- FROM yan tümcesinde tablo değerli oluşturucu işlevlerini destekleyin (SPARK-41594)
- ANSI Toplama İşlevini Destekleme: REGR_SXY (SPARK-37681)
- ANSI Toplama İşlevini Destekleme: REGR_R2 (SPARK-37641)
- ANSI Toplama İşlevini Destekleme: REGR_SXX (SPARK-37672)
- ANSI Toplama İşlevini Destekleme: REGR_SYY (SPARK-37702)
- ANSI Toplama İşlevini Destekleme: REGR_SLOPE (SPARK-39230)
- ANSI Toplama İşlevini Destekleme: REGR_INTERCEPT (SPARK-37623)
- ANSI biriktirme fonksiyonu PERCENTILE_CONT'u pencere işlevi olarak destekleyin (SPARK-38219)
- ANSI Toplama İşlevini Destekleme: PERCENTILE_DISC (SPARK-37691)
- SPLIT_PART işlevini destekle (SPARK-38063)
- Destek TRY_AVG işlevi (SPARK-38589)
- TRY_TO_BINARY işlevini destekle (SPARK-38590)
- yeni belirtimlere göre TO_NUMBER ve TRY_TO_NUMBER SQL işlevlerini destekleme (SPARK-38796)
- ANSI genel değer belirtimini ve işlevini destekleme - KULLANICI (SPARK-39138)
- Ondalık değerleri dize olarak biçimlendirmek için TO_CHAR ve TRY_TO_CHAR işlevlerini destekleyin (SPARK-28516)
- Destekle ANY_VALUE toplama işlevini (SPARK-39213)
- EQUAL_NUL işlevini destekle (SPARK-39305)
- Toplama işlevi MEDIAN'ı (SPARK-39320) destekleme
- REGEXP_COUNT işlevine destek ver (SPARK-39618)
- REGEXP_INSTR işlevine destek ekle (SPARK-39744)
- REGEXP_SUBSTR işlevinin desteklenmesi (SPARK-39695)
- Destek UNPIVOT işlevi (SPARK-39876)
- TRY_TO_TIMESTAMP işlevine destek ver (SPARK-39795)
- Yerleşik işlev olarak url kodlama/kod çözme desteği ve URL ile ilgili işlevleri düzenleme (SPARK-39741)
- Birleştirme işlevi MODE'u (SPARK-39808) destekleme
- Destek GET işlevi (SPARK-40109)
- Fonksiyon diğer adlarını ekle: LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
- TO_BINARY işlevini geliştirme (SPARK-40112)
- Destek CURRENT_SCHEMA (SPARK-41323)
- Veri maskeleme desteği için yerleşik MASK işlevi (SPARK-40687)
- Üst düzey işlevi destekleme: ARRAY_COMPACT (SPARK-41235)
- ARRAY_APPEND işlevine destek (SPARK-41232)
- ARRAY_INSERT işlevini destekle (SPARK-41234)
- LUHN_CHECK işlevini destekle (SPARK-42191)
- ARRAY_SORT işlevi için destek (sütun, karşılaştırıcı) (SPARK-39925)
Veri Kaynakları
- DS v2'de Destek Kolonu İstatistikleri (SPARK-41378)
- DS v2'de Depolama Bölmeli Birleştirme (SPJ) (SPARK-37375)
- DS v2'de satır düzeyi işlemler (SPARK-35801)
- DS v2 Tarama arabirimine SupportsReportOrdering karışımını ekleyin (SPARK-38647)
- CSV şema çıkarımı için TARİH türünü belirle ( SPARK-39469)
- DS v2 özel ölçüm API'sinde (SPARK-39635) sürücü ölçümlerini destekleme
- Dağıtım ve sıralama, DS v2 işlevini yazılı olarak destekler (SPARK-39607)
- StringEndsWith/Contains desteğinin Parquet'e eklenmesi için sözlük filtresinden (SPARK-39002) yararlanacağız.
- Spark Parquet vektörleştirilmiş okuyucuda UDT desteği (SPARK-39086)
- Parquet dosyaları için satır dizinlerini desteklemek amacıyla METADATA sütununu genişlet (SPARK-37980)
- Parquet FIXED_LEN_BYTE_ARRAY türünü okuma desteği (SPARK-41096)
- Filtreleme koşullarının sırasını iyileştirin (SPARK-40045)
- MSSQL JDBC ile CTE ve geçici tablo sorgularını destekleme (SPARK-37259)
- Veri Kaynağı seçeneklerinde ignoreCorruptFiles ve ignoreMissingFiles desteği (SPARK-38767)
- WriteFiles'a v1 yazma özelliğini çekme (SPARK-41407)
- Dış veri dosyalarını kapsayacak okuma tarafı karakter doldurma ekleyin (SPARK-40697)
Sorgu İyileştirme
- İlişkili olmayan skaler alt sorgularını birleştirme (SPARK-34079)
- Bloom filtresi Birleştirmelerini varsayılan olarak etkinleştirme (SPARK-38841)
- distinctKeys (SPARK-38832) ile toplama ifadesindeki gereksiz "distinct"'i kaldırın.
- Yinelenmelerden arındırılmış CTE'ler için koşul itme ve sütun ayıklama desteği (SPARK-37670)
- Toplama işlevleri akış tarafında yinelenen agnostikse dış birleştirmeyi kaldır (SPARK-38886)
- Yalnızca sol/sağ taraftaki sütunlar seçilmişse ve diğer taraftaki birleştirme anahtarları benzersizse sol/sağ dış birleşimi kaldırın (SPARK-39172).
- Global Sıralamayı RepartitionByExpression'la optimize et (SPARK-39911)
- TransposeWindow kuralını iyileştirme (SPARK-38034)
- LocalLimit (SPARK-40050) aracılığıyla sıralamaların kaldırılmasını desteklemek için EliminateSorts'ı geliştirin
- Birleştirme koşulu boşsa yerel sınırı her iki tarafa itin (SPARK-40040)
- İyileştirici için PushProjectionThroughLimit ekleme (SPARK-40501)
- Destek PIVOT/UNPIVOT çocuklarla birleştir (SPARK-41195)
- Birden çok belirsiz Filtre ile sütun ayıklama desteği ( spark-41017
) - AQE önbelleğiyle çıktı bölümlemesi ve sıralamasını geliştirme (SPARK-41048)
- Dengeli bir ifade ağacı koşulu oluşturarak çoklu benzer performansı geliştirme (SPARK-41167)
- Sıralamayı, RepartitionByExpression öğesinin alt öğesiyse kaldırın (SPARK-36703)
- Tamamlanan sorgu aşamalarından (SPARK-39991) kullanılabilir sütun istatistiklerini kullanma
- WindowSpecDefinition'da ifadeleri yeniden kullanma (SPARK-41805)
- Tüm diğer adları hesaba katmak için AliasAwareOutputPartitioning ve AliasAwareQueryOutputOrdering'i geliştirin (SPARK-40086, SPARK-42049)
- Python UDF'ler (SPARK-42115) üzerinden sınır aşağı itme
Kod Oluşturma ve Sorgu Yürütme
- Paralel olarak çalışan BroadcastNestedLoopJoinExec içinde defaultJoin yapın (SPARK-40487)
- HiveGenericUDF için Codegen Desteği (SPARK-42051)
- SinglePartition'a karıştırma işlevini ekleme (SPARK-41986)
- DPP, budama işlemi için Union'ı (SPARK-39217) destekler.
Diğer Önemli Değişiklikler
- Otomatik Bölüm İstatistikleri Toplamayı Destekle (SPARK-38573)
- Thrift Sunucusu'nda hata iletilerini biçimlendirme (SPARK-40098)
- Plan normalleştirmesi için bir uzantı API'si ekleyerek önbelleğe alma yapın (SPARK-41183)
- Fiziksel türleri tanıtarak Spark türlerini yeniden düzenleme (SPARK-41226)
- OneOf alan desteği ve özyineleme denetimleri (SPARK-41396)
- Sütun çözümleme mantığını merkezileştir (SPARK-41405)
- Plan değişikliği doğrulamasını geliştirme (SPARK-42081)
- SparkPath'i tür güvenliği için tanıtma (SPARK-41970)
- Veri Kümesi API'sinde geçici görünüm oluştururken db_name.view_name için Hata Fırlatma (SPARK-41090)
- Mask işlevinin bağımsız değişkeninin varsayılan değerini -1 yerine NULL (SPARK-42070) olarak değiştirin
Spark Core
Hizmetten çıkarma
- Şuffle verileri taşındığında kullanım dışı bırakılmış yürütücüde gereksiz görev yeniden çalıştırmalarından kaçının (SPARK-41469)
- Devre dışı bırakılmış yürütücüden kaynaklanan sahne getirme hatasını yoksay (SPARK-40481)
- spark.storage.demission'i etkinleştirin. (rdd|shuffle)Blocks.enabled varsayılan olarak (SPARK-40198)
- ESS devre dışı bırakıldığında YARN devre dışı bırakma desteği ekleme (SPARK-30835)
Scheduler
- Aşama zamanlamanın yerel küme modunu (SPARK-41949) desteklemesini sağlama
- Dinamik ayırma devre dışı bırakıldığında tek başına küme için destek aşaması düzeyinde görev kaynak profili (SPARK-39853)
- Driver'ın ExecutorExitCode (SPARK-39957) almasını etkinleştirmek için onDisconnected gecikmesi
- Aşama görev ölçümleri aracılığıyla tahmini geliştirme (SPARK-32170)
- Tek başına küme için aşama düzeyinde kaynak zamanlama desteği ekleme (SPARK-39062)
- LaunchTask iletilerinin gönderilememesinden kaynaklanan Aşama hatalarını önlemek için LaunchTask işlemini geliştirin (SPARK-39955)
Karıştırmak
- Push Tabanlı Karıştırma istemci tarafı okuma ölçümleri ekleyin (SPARK-36620)
- Gönderme tabanlı karıştırma için sunucu tarafı ölçümlerini karıştırma (SPARK-33573)
- MergedShuffleCleaner'ın veritabanı kapanmadan önce kapatılmış olduğundan emin olun (SPARK-40186)
- Karışık hizmet durum deposu için RocksDB desteği ekleme (SPARK-38888)
- Uzak/dış karıştırma durumunu DB olarak depolamak için kullanılan LevelDB'yi kapsülleme (SPARK-38909)
- Spark.dynamicAllocation.shuffleTracking.enabled öğesini varsayılan olarak etkinleştirme (SPARK-3984)
- Yeniden başlatmayı korumak için nm düzeyinde db'de durum depolamak için anında iletme tabanlı karıştırma hizmetini etkinleştirme (SPARK-33236)
- Yayımlanan yürütücüler için shuffle servis kullanarak shuffle bloklarını kaldırın (SPARK-37618)
Diğer Önemli Değişiklikler
- Yalnızca IPv6 ortamını destekleme (SPARK-39457)
- Spark.kryo.unsafe'i varsayılan olarak etkinleştirme (SPARK-42137)
- Küme modunda vekil kullanıcıyla keyfi belirlenmiş özel sınıf yollarına izin verme (SPARK-41958)
- Yürütücü kaybolduysa BlockManager yeniden kaydından kaçının (SPARK-41360)
- Tek bir görev sonucunun 2 GB 'a sığması gereken sınırlamayı kaldırın (SPARK-40622)
- Kullanım dışı bırakılan spark.akka.* yapılandırmalarının desteğini kaldırın (SPARK-40401)
- Varsayılan günlüğü, log4j davranışıyla tutarlı hale getirmek için stderr olarak değiştirin (SPARK-40406)
- Sonuç boyutunu hesaplarken DirectTaskResult meta verilerini dışlama (SPARK-40261)
- take() davranışında ilk bölüm numarasını özelleştirmeye izin ver (SPARK-40211)
- Eşitlenmiş yerine kesilebilir kilidi kullanın Executor.updateDependencies() (SPARK-40235) içinde.
- Görev hatası her zaman görev hatası dinleyicilerini tetiklemelidir (SPARK-40106)
- İzlemeyi veya yoklamayı seçmeli olarak devre dışı bırakma özelliğini ekleme (SPARK-36462)
- Serileştirilmemiş yayın ilişkilerini sürücüde önbelleğe almayın (SPARK-39983)
- TaskMemoryManager ile UnsafeExternalSorter.SpillableIterator (SPARK-39283) arasındaki kilitlenme düzeltildi
- Bir aşamadaki sayı bölümlerini TaskContext(SPARK-38679) ile kullanıma sunma
- Bellek ek yükü faktörünü yapılandırılabilir hale getirme (SPARK-38194)
- ShellBasedGroupsMappingProvider'da bash -c kullanmaktan kaçının (SPARK-38992)
Yapılandırılmış Akış
Ana Özellikler
- Eşzamansız İlerleme İzleme (SPARK-39591)
- Python Yapılandırılmış Akışta Rastgele Durum Bilgisi olan İşleme (SPARK-40434)
- Yapılandırılmış Akışta Protobuf Desteği (SPARK-40653)
- Geç kayıt filtrelemeyi düzeltip durum bilgisi olan operatörlerin zincirleme işlemlerini destekleme (SPARK-40925)
Diğer Önemli Değişiklikler
- Hadoop'un Durdurulabilir arabirimini (SPARK-40039) temel alan akış kontrol noktası dosya yöneticisini tanıtmak
- Trigger.Once ve Promote Trigger.AvailableNow'ı kullanımdan kaldırın (SPARK-39805)
- Katalog tablosunun bilgilerini akış sorgusunda mantıksal plana göstermek (SPARK-39564)
- Akış havuzlarından ölçüm toplama desteği (SPARK-38564)
- DStream API'sini kullanımdan kaldırma (SPARK-42075)
- Kafka ofseti getirme yapılandırmasının varsayılan değerini değiştirin (SPARK-40844)
- PySpark'ta foreachBatch çıkışı için kullanıcı fonksiyonunda DataFrame'de klonlanmış Spark oturumu sağlama (SPARK-41379)
Spark Connect
Python İstemcisi
- DataFrame API'lerini uygulama (SPARK-41279)
- Sütun API'sini Uygula (SPARK-41282)
- Fonksiyonlar API'sini Uygulama (SPARK-41283)
- SparkSession API'sini uygulama (SPARK-41281)
- G/Ç API'sini uygulama (SPARK-41284)
- Katalog API'sini Uygula (SPARK-41289)
- Python'de Kullanıcı Tanımlı İşlevler desteği (SPARK-41661)
- Pandas/Ok İşlevi API'si desteği (SPARK-42393)
- Çalışma Zamanı SQL yapılandırması desteği (SPARK-42499)
- Spark Connect için derleme, paketleme ve altyapı (SPARK-41286)
- Spark Connect Python İstemcisi için ek açıklamalar yazın (SPARK-40451)
Scala İstemcisi
- Temel Scala İstemcisini uygulama (SPARK-41534, SPARK-42133, SPARK-42043, SPARK-41822)
- SparkSession API'sini uygulama (SPARK-42639, SPARK-42581, SPARK-42564, SPARK-42544, SPARK-42631)
- Veri Çerçevesi API'sini uygulama (SPARK-42440, SPARK-42559, SPARK-42558, SPARK-42556, SPARK-42468, SPARK-42529, SPARK-42561, SPARK-42894, SPARK-41874, SPARK-42691, SPARK-42692, SPARK-42481, SPARK-42541, SPARK-42542, SPARK-42520, SPARK-41823)
- Sütun API'sini Uygulama (SPARK-42441, SPARK-42560)
- İşlevler API'sini uygulama (SPARK-42461, SPARK-42579, SPARK-42527, SPARK-42531, SPARK-42495, SPARK-42557)
- G/Ç API'sini uygulama (SPARK-42457, SPARK-42555, SPARK-42690, SPARK-42878, SPARK-42757, SPARK-42482, SPARK-42733, SPARK-42518)
- Çalışma Zamanı SQL yapılandırmasını uygulama (SPARK-42586)
- Temel Kullanıcı Tanımlı İşlev desteği (SPARK-42283, SPARK-42653, SPARK-42543)
- Temel Türemiş API desteği (SPARK-42580, SPARK-42605)
- Spark Connect için test altyapısı (SPARK-42172, SPARK-42377, SPARK-42599)
- REPL Desteğinin Uygulanması (SPARK-42656, SPARK-42884)
PySpark
Spark'ta Pandas API'si
- Önemli geliştirme
- Python Yapılandırılmış Akışta Rastgele Durum Bilgisi olan İşleme (SPARK-40434)
- Pandas API eksik parametrelerini uygulama (SPARK-42883)
- Pandas 1.5 desteği (SPARK-40576)
- Ana özellik
- Series.searchsorted işlevini uygula (SPARK-40330)
- Series.autocorr'u uygula (SPARK-38774)
- DataFrame.mode'u uygulamak (SPARK-40138)
- DataFrame.boxplot ve DataFrame.plot.box uygulayın (SPARK-38993)
- Uygula DataFrame.corrwith (SPARK-38907)
- DataFrame.resample ve Series.resample'ı uygulamak (SPARK-39081)
- DataFrame.interpolate ve Series.interpolate'ın uygulanması (SPARK-38844)
- DataFrame.ewm ve Series.ewm uygula (SPARK-38785)
- GroupBy.prod gerçekleştirilmesi (SPARK-40334)
- GroupBy.nth'yi Uygulama (SPARK-40333)
- GroupBy.quantile'i Uygula (SPARK-40332)
- GroupBy.sem'i uygulayın (SPARK-40305)
- GroupBy.mad'i uygulama (SPARK-39284)
- GroupBy.skew uygula (SPARK-39246)
- GroupBy.ewm Uygula (SPARK-39129)
- GroupBy konumsal dizin oluşturma desteği (SPARK-38947)
Diğer Önemli Değişiklikler
- Önemli geliştirmeler
- PySpark kullanıcı tanımlı işlevleri (SPARK-40281) için bellek profili oluşturucu sağlama
- Katalog API'sini 3 katmanlı ad alanıyla uyumlu hale getirme ( SPARK-39235
) - PySpark'ta NumPy giriş desteği (SPARK-39405)
- PySpark hata geliştirmeleri (SPARK-41597)
- Başlıca özellikler
- PySpark'ta parametreli SQL desteği (SPARK-41666)
- 'median' işlevini uygulama (SPARK-40003)
- 'mode' işlevini uygulama (SPARK-40007)
- 'unpivot/melt' işlevini uygulama (SPARK-39877)
- PySpark'ta Varchar desteği (SPARK-39760)
- PySpark'ta CharType Desteği (SPARK-39809)
MLLIB
- PyTorch Dağıtımcısını Uygulama (SPARK-41589)
- Veri doğrulamayı birleştirme (SPARK-38584)
- ALS'nin karıştırma boyutunu küçültün (SPARK-40476, SPARK-40745)
- İkincelemeleri kaldırma isotonik regresyon çakışan özellikler (SPARK-41008)
- KMeans girdi vektörlerini bloklar (SPARK-30661)
- nDCG değerlendirmesi için ilgi puanı ekleme (SPARK-39446)
SparkR
- Unpivot / melt (SPARK-41267) ekle
- array_sort(sütun, karşılaştırıcı) ekleyin (SPARK-40167)
- R'de birden çok "Sütun" bırakma desteği (SPARK-40087)
- SparkR ile Arrow 9.0.0 desteği (SPARK-40114)
- Katalog API'sini 3 katmanlı ad alanıyla uyumlu hale getirme (SPARK-39579, SPARK-39646, SPARK-39645, SPARK-39236, SPARK-39716, SPARK-39719)
- R 4.2.0 (SPARK-39372) desteği
Canlı Arayüz ve Geçmiş Sunucusu Hizmeti
- Büyük uygulamalar için daha iyi Spark kullanıcı arabirimi ölçeklenebilirliği ve Sürücü kararlılığı (SPARK-41053)
- Varsayılan olarak spark.history.store.hybridStore.diskBackend için RocksDB kullanma (SPARK-42277)
- Kök yürütme altında iç içe yürütmeleri gruplandır (SPARK-41752)
- Ortam sekmesinde ölçüm özelliklerini gösterme (SPARK-39110)
- StagePage giriş boyutu/kayıtlarının düzeltilmesi, kayıtlar sıfırdan büyük olduğunda gösterilmiyor (SPARK-34777)
- Json4s yerine Jackson kullanarak olay günlüğü JsonProtocol performansını geliştirme (SPARK-39489)
- spark.history.fs.update.batchSize (SPARK-39225) desteğinin desteklenmesi
İnşa et
- cloudpickle'i v2.2.0 (SPARK-40991) olarak güncelleyin
- Python 3.7 Desteğini kullanımdan kaldırın (SPARK-39861)
- Destek Python 3.11 (SPARK-41454)
- dev.ludovic.netlib 3.0.2'ye güncelle (SPARK-40251)
- Breeze'i 2.0 (spark-39616
) olarak güncelleştirin - slf4j sürümünü 2.0.6 sürümüne güncelleştirin (SPARK-41561)
- Kubernetes-client sürümünü 6.4.1 sürümüne güncelleştirin (SPARK-42362)
- rocksdbjni'yi 7.9.2 ( spark-42129
) olarak güncelleştirin - Apache Arrow'u 11.0.0 sürümüne güncelle (SPARK-42161)
- Apache Kafka'yi 3.3.2'ye (SPARK-42109) yükseltme
Bakım güncelleştirmeleri
Bkz . Databricks Runtime 13.0 bakım güncelleştirmeleri.
Sistem ortamı
- İşletim Sistemi: Ubuntu 22.04.2 LTS
- Java: Zulu 8.68.0.21-CA-linux64
- Scala: 2.12.15
- Python: 3.10.6
- R: 4.2.2
- Delta Gölü: 2.3.0
Yüklü Python kitaplıkları
| Kütüphane | Sürüm | Kütüphane | Sürüm | Kütüphane | Sürüm |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | argon2-cffi | 21.3.0 | argon2-cffi-bağlantıları | 21.2.0 |
| ast jetonları | 2.2.1 | özellikler | 21.4.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | siyah | 22.6.0 | beyazlatma | 4.1.0 |
| sinyal lambası | 1.4 | boto3 | 1.24.28 | botocore | 1.27.28 |
| sertifika | 2022.9.14 | cffi | 1.15.1 | chardet | 4.0.0 |
| karakter seti normalleştirici | 2.0.4 | tıkla | 8.0.4 | şifreleme | 37.0.1 |
| bisikletçi | 0.11.0 | Cython | 0.29.32 | dbus-python | 1.2.18 |
| debugpy | 1.5.1 | dekoratör | 5.1.1 | defusedxml modülü | 0.7.1 |
| distlib | 0.3.6 | docstring'i markdown formatına dönüştürme | 0,12 | giriş noktaları | 0.4 |
| Uygulamak | 1.2.0 | fasetler-genel bakış | 1.0.2 | fastjsonschema | 2.16.3 |
| dosya kilidi | 3.10.7 | font araçları | 4.25.0 | googleapis-common-protos kütüphaneleri | 1.56.4 |
| grpcio | 1.48.1 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
| Uluslararası Alan Adları Uygulaması (IDNA) | 3.3 | importlib-metadata | 4.6.4 | ipykernel | 6.17.1 |
| ipython | 8.10.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| Jedi | 0.18.1 | Jeepney (Filipinler'de yaygın bir toplu taşıma aracı) | 0.7.1 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib kütüphanesi | 1.2.0 | JSON şeması | 4.16.0 |
| Jupyter Client | 7.3.4 | jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 |
| JupyterLab widget'leri | 1.0.0 | anahtarlık | 23.5.0 | kiwisolver | 1.4.2 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| MarkupSafe | 2.0.1 | matplotlib (Python için popüler bir grafik kütüphanesi) | 3.5.2 | matplotlib-inline | 0.1.6 |
| Mccabe | 0.7.0 | hatalı ayarlamak | 0.8.4 | more-itertools kütüphanesi | 8.10.0 |
| mypy uzantıları | 0.4.3 | nbclient | 0.5.13 | nbconvert (belge dönüştürme aracı) | 6.4.4 |
| nbformat | 5.5.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| notebook | 6.4.12 | numpy kütüphanesi | 1.21.5 | oauthlib (kimlik doğrulama kütüphanesi) | 3.2.0 |
| Ambalaj | 21.3 | Pandalar | 1.4.4 | pandoc filtreleri | 1.5.0 |
| Parso | 0.8.3 | pathspec | 0.9.0 | avanak | 0.5.2 |
| pexpect | 4.8.0 | pickleshare (Python veri saklama modülü) | 0.7.5 | Yastık | 9.2.0 |
| Pip | 22.2.2 | platformdirs | 2.5.2 | Plotly yazılımı | 5.9.0 |
| fişimsi | 1.0.0 | prometheus-client | 0.14.1 | Prompt Araç Takımı | 3.0.36 |
| Protobuf | 3.19.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 7.0.0 |
| pycparser kütüphanesi | 2.21 | pyflakes (bir Python kod analiz aracı) | 3.0.1 | Pygmentler | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT (JWT'leri Python ile oluşturmak, kodlamak ve doğrulamak için kullanılan bir kütüphane) | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing (bir Python kütüphanesi) | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil (Python tarih ve saat işleme kütüphanesi) | 2.8.2 | python-lsp-jsonrpc | 1.0.0 | python-lsp-server (Python LSP Sunucusu) | 1.7.1 |
| pytoolconfig | 1.2.2 | pytz kütüphanesi (Python zaman dilimi hesaplamaları için kullanılan) | 2022.1 | pyzmq | 23.2.0 |
| requests | 2.28.1 | halat | 1.7.0 | s3transfer | 0.6.0 |
| scikit-learn | 1.1.1 | scipy (Python için bir bilimsel hesaplama kütüphanesi) | 1.9.1 | denizanadan | 0.11.2 |
| Gizli Depo | 3.3.1 | Send2Trash | 1.8.0 | kurulum araçları | 63.4.1 |
| altı | 1.16.0 | çorba süzgeci | 2.3.1 | ssh-import-id—SSH kimlik aktarımı komutu | 5.11 |
| yığın verisi | 0.6.2 | statsmodeller | 0.13.2 | Azim | 8.0.1 |
| tamamlandı | 0.13.1 | testyolu | 0.6.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | Tomli | 2.0.1 | kasırga | 6.1 |
| Traitlets (Python kütüphanesi/modülü) | 5.1.1 | ujson (hızlı JSON işleme kütüphanesi) | 5.4.0 | katılımsız yükseltmeler | 0,1 |
| urllib3 | 1.26.11 | virtualenv | 20.16.3 | wadllib | 1.3.6 |
| wcwidth (bir karakterin genişliğini hesaplayan fonksiyon) | 0.2.5 | web kodlamaları | 0.5.1 | yama nedir | 1.0.2 |
| tekerlek | 0.37.1 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
| fermuar çek | 1.0.0 |
Yüklü R kitaplıkları
R kitaplıkları, 2023-02-10'da Microsoft CRAN anlık görüntüsünden yüklenir.
| Kütüphane | Sürüm | Kütüphane | Sürüm | Kütüphane | Sürüm |
|---|---|---|---|---|---|
| yön oku | 10.0.1 | şifre iste | 1.1 | iddia et ki | 0.2.1 |
| geri aktarımlar | 1.4.1 | temel | 4.2.2 | base64enc | 0.1-3 |
| bit (veri birimi) | 4.0.5 | bit 64 | 4.0.5 | yığın | 1.2.3 |
| başlatmak | 1.3-28 | Demlemek | 1.0-8 | şevk | 1.1.3 |
| süpürge | 1.0.3 | bslib | 0.4.2 | önbelleğim | 1.0.6 |
| çağırıcı | 3.7.3 | caret | 6.0-93 | hücresayacı | 1.1.0 |
| cron | 2.3-59 | sınıf | 7.3-21 | CLI | 3.6.0 |
| Clipr | 0.8.0 | saat | 0.6.1 | küme | 2.1.4 |
| codetools | 0,2-19 | renk alanı | 2.1 - 0 | commonmark | 1.8.1 |
| derleyici | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| boya kalemi | 1.5.2 | credentials | 1.3.2 | Kıvrım | 5.0.0 |
| veri tablosu | 1.14.6 | veri kümeleri | 4.2.2 | DBİ | 1.1.3 |
| dbplyr | 2.3.0 | Açıklama | 1.4.2 | geliştirme araçları | 2.4.5 |
| diffobj | 0.3.5 | özetlemek | 0.6.31 | aşağı yönlü aydınlatma | 0.4.2 |
| dplyr | 1.1.0 | dtplyr | 1.2.2 | e1071 | 1.7-13 |
| ellipsis | 0.3.2 | değerlendirmek | 0,20 | hayran kitlesi | 1.0.4 |
| renkler | 2.1.1 | hızlıharita | 1.1.0 | fontawesome (web ve grafik tasarımda kullanılan bir ikon paketi) | 0.5.0 |
| dışlanmışlar | 1.0.0 | foreach döngüsü | 1.5.2 | yabancı | 0.8-82 |
| dökümhane | 0.2.0 | fs | 1.6.1 | gelecek | 1.31.0 |
| Gelecek.Uygula | 1.10.0 | ağzı gargara yapmak | 1.3.0 | Genel terimler | 0.1.3 |
| gert | 1.9.2 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-6 | küreseller | 0.16.2 |
| yapıştırıcı | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| Gower Yarımadası | 1.0.1 | Grafikler | 4.2.2 | grDevices | 4.2.2 |
| Ağ | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtablo | 0.3.1 | hardhat | 1.2.0 | sığınak | 2.5.1 |
| daha yüksek | 0.10 | HMS | 1.1.2 | HTML araçları | 0.5.4 |
| htmlwidgets | 1.6.1 | httpuv | 1.6.8 | httr | 1.4.4 |
| Kimlikler | 1.0.1 | ini | 0.3.1 | İpred | 0.9-13 |
| İzobant | 0.2.7 | Yineleyiciler | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.4 | KernSmooth | 2,23–20 | knitr | 1.42 |
| Etiketleme | 0.4.2 | daha sonra | 1.3.0 | örgü | 0.20-45 |
| Lav | 1.7.1 | yaşam döngüsü | 1.0.3 | dinleyici | 0.9.0 |
| Lubridate (R programlama dilinde tarih ve zaman işlemleri için kullanılan bir paket) | 1.9.1 | magrittr | 2.0.3 | işaretleme | 1.5 |
| kütle | 7.3-58.2 | Matris | 1.5-1 | ezberlemek | 2.0.1 |
| yöntemler | 4.2.2 | mgcv | 1.8-41 | Mim Sanatı | 0,12 |
| mini kullanıcı arayüzü | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.10 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | OpenSSL | 2.0.5 | paralel | 4.2.2 |
| paralel olarak | 1.34.0 | sütun | 1.8.1 | pkgbuild | 1.4.0 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2 |
| plogr | 0.2.0 | plyr | 1.8.8 | övgü | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | ProcessX | 3.8.0 |
| _prodlim_ | 2019.11.13 | profvis | 0.3.7 | ilerleme | 1.2.2 |
| progressr | 0.13.0 | Sözler | 1.2.0.1 | Prototip | 1.0.0 |
| vekil | 0,4-27 | PostScript | 1.7.2 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest algoritması | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.10 | RcppEigen | 0.3.3.9.3 |
| Okuyucu | 2.1.3 | readxl (Excel dosyalarını okuma kütüphanesi) | 1.4.2 | yemek tarifleri | 1.0.4 |
| Rövanş | 1.0.1 | Rövanş 2 | 2.1.2 | Uzaktan kumandalar | 2.4.2 |
| tekrar üretilebilir örnek | 2.0.2 | yeniden şekillendirme2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.20 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart (R dilinde sınıflandırma veya regresyon modelleri için kullanılan bir paket) | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.20 | rstudioapi | 0,14 | R sürümleri | 2.1.2 |
| rvest | 1.0.3 | Sass | 0.4.5 | Ölçekler / Teraziler | 1.2.1 |
| seçici | 0,4-2 | oturum bilgisi | 1.2.2 | şekil | 1.4.6 |
| ışıltılı | 1.7.4 | sourcetools | 0.1.7-1 | sparklyr | 1.7.9 |
| SparkR | 3.4.0 | mekânsal | 7.3-15 | Splinler | 4.2.2 |
| sqldf | 0,4-11 | SQUAREM | 2021.1 | Istatistik | 4.2.2 |
| istatistikler4 | 4.2.2 | string | 1.7.12 | stringr | 1.5.0 |
| hayatta kalma | 3.5-3 | Sistem | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | TestThat | 3.1.6 | metin şekillendirme | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | zaman değişimi | 0.2.0 | zamanTarih | 4022.108 |
| tinytex | 0.44 | araçlar | 4.2.2 | tzdb | 0.3.0 |
| URL denetleyici | 1.0.1 | bunu kullan | 2.1.6 | utf8 | 1.2.3 |
| yardımcı araçlar | 4.2.2 | UUID (evrensel benzersiz tanımlayıcı) | 1.1-0 | "vctrs" | 0.5.2 |
| viridisLite | 0.4.1 | Vroom | 1.6.1 | Waldo | 0.4.0 |
| vibrisse | 0.4.1 | birlikte | 2.5.0 | xfun | 0,37 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml (YAML veri formatı) | 2.3.7 | Zip dosyası | 2.2.2 |
Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)
| Grup Kimliği | Eser Kimliği | Sürüm |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis Client | 1.12.0 |
| com.amazonaws | AWS Java SDK Otomatik Ölçeklendirme | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch (AWS Java Yazılım Geliştirme Kiti, CloudSearch) | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity (Amazon Web Services Java Yazılım Geliştirme Kiti - Cognito Kimlik) | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | AWS Java SDK Yapılandırması | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline (Amazon Web Services için Java SDK Data Pipeline hizmeti) | 1.12.390 |
| com.amazonaws | AWS Java Yazılım Geliştirme Kiti - Direct Connect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs (Amazon Web Services Java Yazılım Geliştirme Kiti - EFS) | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache (AWS Java Yazılım Geliştirme Kiti - ElastiCache) | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk (Amazon Web Services için Java SDK'sı "Elastic Beanstalk") | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (AWS için Java SDK - Yük Dengeleme Modülü) | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder (AWS Java SDK'si için Elastic Transcoder) | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr (Amazon EMR için Java SDK'sı) | 1.12.390 |
| com.amazonaws | AWS Java SDK Glacier - Amazon Web Services'in bir Java yazılım geliştirme kitidir. | 1.12.390 |
| com.amazonaws | AWS Java SDK Glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis (AWS Java Yazılım Geliştirme Kiti - Kinesis) | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms (Java yazılım geliştirme kiti) | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs (AWS Java yazılım geliştirme kiti günlükleri) | 1.12.390 |
| com.amazonaws | AWS Java SDK Makine Öğrenimi | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds (Amazon Web Services Java Yazılım Geliştirme Kiti - RDS) | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift (Amazon Web Services için Java SDK'sı, Redshift) | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns (AWS Java Yazılım Geliştirme Kiti - SNS) | 1.12.390 |
| com.amazonaws | AWS Java SDK için SQS | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | AWS Java SDK Depolama Geçidi | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support (Amazon Web Services Java SDK Desteği) | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries (AWS Java SDK SWF kütüphaneleri) | 1.11.22 |
| com.amazonaws | aws-java-sdk-çalışma alanları | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | veri akışı | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kriyogenik gölgeli | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | sınıf arkadaşı | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations (Jackson açıklamaları) | 2.14.2 |
| com.fasterxml.jackson.core | jackson-core | 2.14.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.14.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor veri formatı için kullanılan kütüphane | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.14.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.14.2 |
| com.github.ben-manes.caffeine | kafein | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-yerliler |
| com.github.fommil.netlib | yerel_sistem-java | 1.1 |
| com.github.fommil.netlib | yerel_sistem-java | 1.1-yerliler |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-yerliler |
| com.github.fommil.netlib | netlib-yerel_sistem-linux-x86_64 | 1.1-yerliler |
| com.github.luben | zstd-jni | 1.5.2-5 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.9 |
| com.google.crypto.tink | Tınk | 1.7.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava meyvesi | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.1.214 |
| com.helger | Profil Analizcisi | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.SÜRÜM |
| com.lihaoyi | kaynak_kodu_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store yazılım geliştirme kiti (SDK) | 2.3.9 |
| com.ning | compress-lzf (veri sıkıştırma algoritması) | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | JSON | 1.8 |
| com.thoughtworks.paranamer | Paranamer | 2.8 |
| com.trueaccord.lenses | lensler_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-fonksiyon_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity analiz edicileri | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec kütüphanesi | commons-codec kütüphanesi | 1,15 |
| commons-collections (ortak koleksiyonlar) | commons-collections (ortak koleksiyonlar) | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| ortak-dosya-yükleme | ortak-dosya-yükleme | 1.5 |
| Apache Commons HTTP İstemcisi | Apache Commons HTTP İstemcisi | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging (ortak günlükleme) | commons-logging (ortak günlükleme) | 1.1.3 |
| ortak havuz | ortak havuz | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | Blas | 3.0.3 |
| dev.ludovic.netlib | LAPACK | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | hava kompresörü | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.3 |
| io.dropwizard.metrics | ölçüm çekirdeği | 4.2.10 |
| io.dropwizard.metrics | metrics-graphite | 4.2.10 |
| io.dropwizard.metrics | ölçütler ve sağlık kontrolleri | 4.2.10 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.10 |
| io.dropwizard.metrics | JMX metrikleri | 4.2.10 |
| io.dropwizard.metrics | metrik-json | 4.2.10 |
| io.dropwizard.metrics | metrics-jvm | 4.2.10 |
| io.dropwizard.metrics | metrik-servlet'ler | 4.2.10 |
| io.netty | netty-all | 4.1.87.Final |
| io.netty | Netty-Buffer | 4.1.87.Final |
| io.netty | Netty codec | 4.1.87.Final |
| io.netty | Netty codec HTTP | 4.1.87.Final |
| io.netty | netty-codec-http2 | 4.1.87.Final |
| io.netty | netty-codec-socks | 4.1.87.Final |
| io.netty | netty-ortak | 4.1.87.Final |
| io.netty | netty-handler | 4.1.87.Final |
| io.netty | netty-handler-proxy | 4.1.87.Final |
| io.netty | Netty Çözümleyici | 4.1.87.Final |
| io.netty | Netty Taşıma | 4.1.87.Final |
| io.netty | netty-transport-classes-epoll | 4.1.87.Final |
| io.netty | netty-transport-sınıfları-kqueue | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common (Unix tabanlı ortak taşıma için Netty modülü) | 4.1.87.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | koleksiyoncu | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation yöntemi | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | Aktivasyon | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | işlem API'si | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | turşu | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | Süper CSV | 2.2.0 |
| net.kar tanesi | snowflake-ingest-sdk (Veri Yükleme SDK'sı) | 0.9.6 |
| net.kar tanesi | Snowflake-JDBC | 3.13.22 |
| net.sourceforge.f2j | arpack_tümleştirilmiş_tüm | 0,1 |
| org.acplt.remotetea | uzaktan-tea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | ANTLR Çalışma Zamanı | 3.5.2 |
| org.antlr | antlr4-runtime kütüphanesi | 4.9.3 |
| org.antlr | dizi şablonu | 3.2.1 |
| org.apache.ant | karınca | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | Ant-Launcher | 1.9.16 |
| org.apache.arrow | ok biçimli format | 11.0.0 |
| org.apache.arrow | ok bellek çekirdeği | 11.0.0 |
| org.apache.arrow | Arrow-Memory-Netty | 11.0.0 |
| org.apache.arrow | ok vektörü | 11.0.0 |
| org.apache.avro | Euro | 1.11.1 |
| org.apache.avro | avro-ipc | 1.11.1 |
| org.apache.avro | avro-mapred | 1.11.1 |
| org.apache.commons | "commons-collections4" | 4.4 |
| org.apache.commons | commons-compress (arşiv dosyalarıyla çalışmak için Java API'si) | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | ortak metin | 1.10.0 |
| org.apache.curator | küratör-istemci | 2.13.0 |
| org.apache.curator | küratör yazılım çerçevesi | 2.13.0 |
| org.apache.curator | Küratör Tarifleri | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-hafıza | 2.0.0 |
| org.apache.derby | Derbi | 10.14.2.0 |
| org.apache.hadoop | Hadoop istemci çalışma zamanı | 3.3.4 |
| org.apache.hive | hive-beeline (Apache Hive için etkileşimli bir komut satırı aracı) | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde kütüphanesi | 2.3.9 |
| org.apache.hive | Arı kovanı düzeltici parçalar | 2.3.9 |
| org.apache.hive | hive depolama arabirimi | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-zamanlayıcı | 2.3.9 |
| org.apache.httpcomponents: Apache HTTP bileşenleri | httpclient | 4.5.14 |
| org.apache.httpcomponents: Apache HTTP bileşenleri | httpcore | 4.4.16 |
| org.apache.ivy | Ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.19.0 |
| org.apache.logging.log4j | log4j-api | 2.19.0 |
| org.apache.logging.log4j | log4j-core | 2.19.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.19.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.8.2 gölgeli-protobuf |
| org.apache.orc | orc-mapreduce | 1.8.2 gölgeli-protobuf |
| org.apache.orc | orc takozları | 1.8.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift kütüphanesi | 0.12.0 |
| org.apache.xbean | xbean-asm9-gölgelendirilmiş | 4.22 |
| org.apache.yetus | izleyici notları | 0.13.0 |
| org.apache.zookeeper | hayvanat bahçesi görevlisi | 3.6.3 |
| org.apache.zookeeper | hayvanat bahçesi bekçisi-jüt | 3.6.3 |
| org.checkerframework (denetleyici çerçevesi) | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-derleyici | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-continuation (Jetty-bağlantı devamı) | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-http | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-io | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-jndi | 9.4.50.v20221201 |
| org.eclipse.jetty | Jetty-plus | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty vekil sunucusu | 9.4.50.v20221201 |
| org.eclipse.jetty | rıhtım güvenliği | 9.4.50.v20221201 |
| org.eclipse.jetty | Jetty sunucusu | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servlet | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servletler | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util (yardımcı program) | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.50.v20221201 |
| org.eclipse.jetty | Jetty web uygulaması | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-xml | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-api (Web Soket API'si) | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | WebSocket istemcisi | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | WebSocket sunucusu | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.50.v20221201 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-lokasyon tespit cihazı | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi kaynak bulucu | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-yeniden paketlendi | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | Jersey kapsayıcı servleti | 2.36 |
| org.glassfish.jersey.containers | Jersey konteyner servlet çekirdek | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | Orijinal kontekstte "jersey-common" ifadesi İngilizce olarak kullanılmaya devam edilebilir veya daha fazla ayrıntı sağlanarak uygun Türkçe karşılığı kullanılabilir. | 2.36 |
| org.glassfish.jersey.core | jersey-server (Jersey sunucusu) | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator (Java doğrulama kütüphanesi) | 6.1.7.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss log kaydı | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | Açıklamalar | 17.0.0 |
| org.joda | joda-convert (Joda Zaman Dönüştürücü) | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | MariaDB Java istemci | 2.7.4 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.8 |
| org.roaringbitmap | RoaringBitmap | 0.9.39 |
| org.roaringbitmap | takozlar | 0.9.39 |
| org.rocksdb | rocksdbjni | 7.8.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test arayüzü | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j (JCL üzeri SLF4J) | 2.0.6 |
| org.slf4j | jul-to-slf4j | 2.0.6 |
| org.slf4j | slf4j-api | 2.0.6 |
| org.threeten | ÜçOn-Ekstra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl kütüphanesi | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.33 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools (kripto araçları) | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |