Aracılığıyla paylaş

Databricks Runtime 11.0 (desteklenmiyor)

  • Makale

Aşağıdaki sürüm notları, Apache Spark 3.3.0 tarafından desteklenen Databricks Runtime 11.0 hakkında bilgi sağlar. Databricks bu görüntüleri Haziran 2022'de yayımladı.

Yeni özellikler ve geliştirmeler

Apache Spark'ın yeni sürümü

Databricks Runtime 11.0 ve Databricks Runtime 11.0 Photon, Apache Spark 3.3.0'ı içerir. Ayrıntılar için bkz . Apache Spark.

Python not defterleri artık IPython çekirdeğini kullanıyor

Databricks Runtime 11.0 ve üzerinde Python not defterleri Python kodunu yürütmek için IPython çekirdeğini kullanır. Bkz . IPython çekirdeği.

ipywidget desteği

Artık Databricks Python not defterlerinizi etkileşimli hale getirmek için ipywidgets kullanabilirsiniz. Bkz. ipywidgets.

Synapse bağlayıcısı artık Parquet verilerini eski olmayan modda yazıyor

Azure Synapse bağlayıcısı artık Parquet verilerini eski olmayan modda yazıyor. PolyBase kullanırken zaman damgası biçimini ve COPY hem toplu iş hem de akış iş yükleri için komutları korurINT96.

ARTıK ABFS istemcisi SAS belirteci kullandığında HTTPS düzeni zorunlu kılındı

Azure Blob Dosya Sistemi (ABFS) istemcisi Paylaşılan Erişim İmzası (SAS) belirteci kullandığında, HTTPS düzeni artık zorlanır.

SQL: DESC artık için bir diğer addır DESCRIBE

Artık dış konumları veya depolama kimlik bilgilerini açıklarken diğer DESCRIBE ad olarak kullanabilirsinizDESC. Örneğin:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: Yeni current_version işlev çıkışları sürüm ayrıntıları

Yeni current_version işlev varsa geçerli Databricks Runtime sürümünü, varsa geçerli Databricks SQL sürümünü ve diğer ilgili sürüm ayrıntılarını döndürür. Sürümle ilgili bilgileri sorgulamak için bu yeni işlevi kullanın. Bkz. current_version işlevi.

Eksik delta tablosu kısıtlamasını bırakmak artık bir hataya neden olur

Şimdi bir Delta tablosu kısıtlamasını ada göre bırakmaya çalışırsanız ve bu kısıtlama yoksa bir hata alırsınız. Kısıtlama yoksa hata vermeyen önceki davranışı almak için şimdi deyimini IF EXISTS kullanmanız gerekir. Bkz. ALTER TABLE.

SQL: Deyimindeki SELECT yeni EXCEPT yan tümce sütunları seçimden dışlar

SELECT deyimleri artık sütunları seçimin EXCEPT dışında tutmak için yan tümcesini destekliyor. Örneğin, SELECT * EXCEPT (x) FROM table dışındaki xtüm tablesütunlarını döndürür. İç içe sütunlara da izin verilir. Örneğin, SELECT * EXCEPT (x.a) FROM table tüm tablesütunlarını döndürür, ancak yapısından xalanını a atlar.

Delta tablolarında sütunları bırakma desteği (Genel Önizleme)

Bir Delta tablosundan sırasıyla bir sütunu veya sütun listesini yalnızca meta veri işlemi olarak bırakmak için veya ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) kullanabilirsinizALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name>. Temel Parquet dosyalarında yer alan ancak delta tablosuna artık görünmedikleri için sütunlar etkili bir şekilde "geçici olarak silinir".

Bırakılan sütunlar gibi geçici olarak silinen verileri içeren dosyalara bir dosya yeniden yazma işlemi tetiklemek için kullanabilirsiniz REORG TABLE <table-name> APPLY (PURGE) .

Bırakılan sütunları içeren ve tarafından REORG TABLEyeniden yazılan eski dosyalar da dahil olmak üzere silinen dosyaları fiziksel depolama alanından kaldırmak için kullanabilirsinizVACUUM.

COPY INTO Gelişmeler

Artık boş yer tutucu Delta tabloları oluşturabilirsiniz; böylece şema daha sonra bir COPY INTO komut sırasında çıkarılır:

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

Yukarıdaki SQL deyimi bir kez etkilidir ve verileri bir Delta tablosuna tam olarak bir kez almak için çalışacak şekilde zamanlanabilir.

Not

Boş Delta tablosu dışında COPY INTOkullanılamaz. Şemasız Delta tablolarına veri yazmak için ve MERGE INTO kullanamazsınızINSERT INTO. ile COPY INTOtabloya veri eklendikten sonra tablo sorgulanabilir.

Almakta olduğunuz veriler bir bozulma sorunu nedeniyle okunamıyorsa, içinde olarak ayarlayarak ignoreCorruptFilestrueFORMAT_OPTIONSbozuk dosyaları atlayabilirsiniz:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

komutu, COPY INTO sütundaki num_skipped_corrupt_files bozulma nedeniyle atlanan dosya sayısını döndürür. Bu ölçüm, Delta tablosunda çalıştırıldıktan DESCRIBE HISTORY sonra altındaki numSkippedCorruptFiles sütunda da görünüroperationMetrics.

Bozuk dosyalar tarafından COPY INTOizlenmez, bu nedenle bozulma düzeltilirse sonraki bir çalıştırmada yeniden yüklenebilirler. Modda çalıştırarak COPY INTOVALIDATE hangi dosyaların bozuk olduğunu görebilirsiniz.

CONVERT TO DELTA artık Unity Kataloğu etkin ortamlarda (Genel Önizleme) destekleniyor

Unity-Catalog özellikli ortamlarda artık CONVERT TO DELTA şunları yapabilirsiniz:

  • Dış konumlardaki Parquet dosyalarını Delta Lake'e dönüştürün.
  • Parquet dış tablolarını Delta tablolarına dönüştürün.

Davranış değişiklikleri

SQL: lpad ve rpad işlevleri artık bayt dizilerini destekliyor

lpad ve rpad işlevleri, dizelere ek olarak bayt dizileri için destek eklemek üzere güncelleştirildi.

içindeki format_string dize biçimine izin verir ve printf artık buna izin verme %0$

ve printf işlevlerinde format_string biçimin %0$ belirtilmesi artık varsayılan olarak bir hata oluşturur. Bu değişiklik, Databricks Runtime'ın önceki sürümlerinde ve yaygın üçüncü taraf veritabanlarında beklenen davranışı korumaktır. Bağımsız değişkenin bağımsız değişken listesindeki konumunu belirtmek için bağımsız değişken dizini kullandığınızda ilk bağımsız değişken her zaman başvurmalıdır %1$ .

CSV dosyalarındaki null değerler artık varsayılan olarak sıralanmamış boş dizeler olarak yazılır

CSV dosyalarındaki null değerler daha önce tırnak içine alınmış boş dizeler olarak yazılmıştı. Bu sürümle birlikte, CSV dosyalarındaki null değerler artık varsayılan olarak sıralanmamış boş dizeler olarak yazılır. Önceki davranışa dönmek için yazma işlemleri seçeneğini "" olarak ayarlayınnullValue.

Tablo özelliği external artık ayrılmıştır

Özelliği external artık varsayılan olarak ayrılmış bir tablo özelliğidir. ve yan tümceleriyle CREATE TABLE ... TBLPROPERTIESALTER TABLE ... SET TBLPROPERTIES özelliğini kullandığınızda external artık özel durumlar oluşturulur.

Log4j, Log4j 1'den Log4j 2'ye yükseltilir

Log4j 1, Log4j 2'ye yükseltiliyor. Eski Log4j 1 bağımlılıkları kaldırılıyor.

Daha önce Databricks Runtime'a dahil edilen Log4j 1 sınıflarına bağımlıysanız, bu sınıflar artık yoktur. Bağımlılıklarınızı Log4j 2'ye yükseltmeniz gerekir.

Log4j 2'ye bağlı özel eklentileriniz veya yapılandırma dosyalarınız varsa, bunlar artık bu sürümde Log4j 2 sürümüyle çalışmayabilir. Yardım için Azure Databricks hesap ekibinize başvurun.

Maven'dan yüklenen kitaplıklar artık işlem düzleminizde varsayılan olarak çözümlenir

Maven kitaplıkları artık bir kümeye kitaplık yüklediğinizde işlem düzleminizde varsayılan olarak çözümlenir. Kümeniz Maven Central erişimine sahip olmalıdır. Alternatif olarak, Spark yapılandırma özelliğini ayarlayarak önceki davranışa geri dönebilirsiniz:

spark.databricks.libraries.enableMavenResolution false

Hata düzeltmeleri

  • , UnaryNodeve için LeafNodeApache Spark ile BinaryNode Databricks Runtime arasındaki ikili uyumluluk düzeltildi ve sınıflar artık Apache Spark 3.3.0 ve üzeri sürümlerle uyumlu. Databricks Runtime ile üçüncü taraf bir paket kullanırken aşağıdaki veya benzer bir iletiyle karşılaşırsanız paketi Apache Spark 3.3.0 veya üzeri ile yeniden derleyin: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Kitaplık yükseltmeleri

  • Yükseltilen Python kitaplıkları:
    • platformdirs from 2.5.1 to 2.5.2
    • 3.20.0 ile 3.20.1 arasındaki protobuf
  • Yükseltilen R kitaplıkları:
    • 1.2.2 ile 1.2.3 blobu
    • süpürge 0.7.12 ile 0.8.0
    • 6.0-91 ile 6.0-92 arası şapka işareti
    • cli 3.2.0 ile 3.3.0
    • 1.0.8 ile 1.0.9 aralığındaki dplyr
    • gelecek 1.24.0 ile 1.25.0
    • future.apply from 1.8.1 to 1.9.0
    • gert 1.5.0 ile 1.6.0
    • ggplot2 3.3.5 ile 3.3.6
    • 4.1-3 ile 4.1-4 arası glmnet
    • haven 2.4.3 ile 2.5.0
    • httr 1.4.2 ile 1.4.3
    • 1,38'den 1,39'a kadar örgü örme
    • magrittr 2.0.2 ile 2.0.3
    • paralel olarak 1.30.0 ile 1.31.1
    • ps from 1.6.0 to 1.7.0
    • 1.1-2 ile 1.1-3 arasında RColorBrewer
    • RcppEigen 0.3.3.9.1 ile 0.3.3.9.2
    • readxl 1.3.1 ile 1.4.0
    • 2,13 ile 2,14 arasında rmarkdown
    • 2.0.2 ile 2.0.3 arasında rprojroot
    • 2.2.11 ile 2.2.13 arasında RSQLite
    • 1.1.1 ile 1.2.0 ölçekleri
    • 3.1.2'den 3.1.4'e kadar olan test
    • 3.1.6 ile 3.1.7 tibble
    • tinytex 0,37 ile 0,38
    • tzdb 0.2.0 ile 0.3.0
    • 1.0-4 ile 1.1-0 arası uuid
    • 0.3.8 ile 0.4.1 arasında vctr
  • Yükseltilen Java kitaplıkları:
    • com.fasterxml.jackson.core.jackson-annotations from 2.13.0 to 2.13.3
    • com.fasterxml.jackson.core.jackson-core 2.13.0 ile 2.13.3 arası
    • com.fasterxml.jackson.core.jackson-databind from 2.13.0 to 2.13.3
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 2.13.0 ile 2.13.3 arasında
    • com.fasterxml.jackson.datatype.jackson-datatype-joda 2.13.0 ile 2.13.3 arası
    • com.fasterxml.jackson.module.jackson-module-paranamer from 2.13.0 to 2.13.3
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 from 2.13.0 to 2.13.3
    • com.google.crypto.tink.tink 1.6.0 ile 1.6.1
    • com.ning.compress-lzf 1.0.3 ile 1.1 arasında
    • dev.ludovic.netlib.arpack 2.2.0 ile 2.2.1 arasında
    • dev.ludovic.netlib.blas 2.2.0 ile 2.2.1 arasında
    • dev.ludovic.netlib.lapack 2.2.0 ile 2.2.1 arasında
    • io.netty.netty-all 4.1.73.Final'den 4.1.74.Final'e
    • io.netty.netty-buffer 4.1.73.Final'den 4.1.74.Final'e
    • 4.1.73.Final'den 4.1.74.Final'e io.netty.netty-codec
    • io.netty.netty-common from 4.1.73.Final to 4.1.74.Final
    • io.netty.netty-handler from 4.1.73.Final to 4.1.74.Final
    • io.netty.netty-resolver from 4.1.73.Final to 4.1.74.Final
    • io.netty.netty-tcnative-classes from 2.0.46.Final to 2.0.48.Final
    • io.netty.netty-transport from 4.1.73.Final to 4.1.74.Final
    • io.netty.netty-transport-classes-epoll from 4.1.73.Final to 4.1.74.Final
    • io.netty.netty-transport-classes-kqueue from 4.1.73.Final to 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-aarch_64 4.1.73.Final'den 4.1.74.Final'e
    • io.netty.netty-transport-native-epoll-linux-x86_64 4.1.73.Final'den 4.1.74.Final'e
    • io.netty.netty-transport-native-kqueue-osx-aarch_64 4.1.73.Final'den 4.1.74.Final'e
    • io.netty.netty-transport-native-kqueue-osx-x86_64 4.1.73.Final'den 4.1.74.Final'e
    • io.netty.netty-transport-native-unix-common from 4.1.73.Final to 4.1.74.Final
    • 2.10.12 ile 2.10.13 arası joda-time.joda-time
    • org.apache.commons.commons-math3 3.4.1 ile 3.6.1 arası
    • org.apache.httpcomponents.httpcore 4.4.12 ile 4.4.14 arasında
    • org.apache.orc.orc-core 1.7.3 ile 1.7.4 arası
    • org.apache.orc.orc-mapreduce 1.7.3 ile 1.7.4 arasında
    • org.apache.orc.orc-shims 1.7.3 ile 1.7.4 arası
    • org.eclipse.jetty.jetty-client from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-continuation from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-http from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-io from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-jndi from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-plus 9.4.43.v20210629 ile 9.4.46.v20220331 arasında
    • org.eclipse.jetty.jetty-proxy from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-security from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-server from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlet from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlets from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util-ajax from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-webapp from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-xml from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-api from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-client from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-common from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-server from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-servlet from 9.4.43.v20210629 to 9.4.46.v20220331
    • 2.2.5 ile 2.7.4 arası org.mariadb.jdbc.mariadb-java-client
    • org.postgresql.postgresql 42.2.19 ile 42.3.3
    • org.roaringbitmap.RoaringBitmap 0.9.23 ile 0.9.25 arasında
    • org.roaringbitmap.shims 0.9.23 ile 0.9.25 arasında
    • org.rocksdb.rocksdbjni 6.20.3 ile 6.24.2 arasında
    • org.slf4j.jcl-over-slf4j from 1.7.32 to 1.7.36
    • org.slf4j.jul-to-slf4j from 1.7.32 to 1.7.36
    • org.slf4j.slf4j-api 1.7.30 ile 1.7.36 arası

Apache Spark

Databricks Runtime 11.0, Apache Spark 3.3.0'ı içerir.

Bu bölümde:

Spark SQL ve Core

ANSI modu

  • ANSI modunda yeni açık atama söz dizimi kuralları (SPARK-33354)
  • Dizin ANSI modunda null ise Elt() null döndürmelidir (SPARK-38304)
  • Öğe dizi/eşlem içinde yoksa isteğe bağlı olarak null sonuç döndür (SPARK-37750)
  • Sayısal tür ile zaman damgası türü arasında atamaya izin ver (SPARK-37714)
  • ANSI ayrılmış anahtar sözcüklerini varsayılan olarak devre dışı bırakma (SPARK-37724)
  • İşlev çağırmayı çözümlemek için mağaza atama kurallarını kullanma (SPARK-37438)
  • Datetime ile Sayısal arasında atamaya izin vermek için yapılandırma ekleme (SPARK-37179)
  • İsteğe bağlı olarak ANSI ayrılmış anahtar sözcüklerini zorunlu kılmak için yapılandırma ekleme (SPARK-37133)
  • Interval ile String değişmez değeri arasında ikili işlemlere izin verme (SPARK-36508)

Özellik geliştirmeleri

  • ANSI SQL INTERVAL türlerini destekleme (SPARK-27790)
  • Hata İletisi Geliştirmeleri (SPARK-38781)
  • Spark SQL için Gizli Dosya Meta Verileri Desteği (SPARK-37273)
  • Ham dize değişmez değeri desteği (SPARK-36371)
  • Batch Dataset.observe() için yardımcı sınıfı (SPARK-34806)
  • Destek, yeniden dengeleme için ilk bölüm numarasını belirtme (SPARK-38410)
  • API için dropNamespace basamaklı modu destekleme (SPARK-37929)
  • Depolama atamasına ve tarih saat türleri arasında örtük atamaya izin ver (SPARK-37707)
  • Toplama, ilk ve son, belirlenimci toplama işlevleri olmalıdır (SPARK-32940)
  • Karmaşık aşırı yüklemeleri olan işlevler için ExpressionBuilder ekleme (SPARK-37164)
  • Ada göre birleşime dizi desteği ekleme (SPARK-36546)
  • Veri çerçevesinin meta verilerini güncelleştirmek için df.withMetadata: söz dizimi şekeri ekleme (SPARK-36642)
  • Ham dize değişmez değeri desteği (SPARK-36371)
  • Varsayılan desenle tarihleri/zaman damgalarını ayrıştırmada CAST kullanma (SPARK-36418)
  • Veri Kümesi için iç içe şemada değer sınıfını destekleme (SPARK-20384)
  • AS OF söz dizimi desteği ekleme (SPARK-37219)
  • Çekirdek belirtmek için TABLESAMPLE'da REPEATABLE ekleme (SPARK-37165)
  • Geçerli kataloğu değiştirmek için ansi söz dizimi set catalog xxx ekleme (SPARK-36841)
  • ILIKE Desteği (ALL | HERHANGİ Bİr | SOME) - büyük/küçük harfe duyarsız LIKE (SPARK-36674, SPARK-36736, SPARK-36778)
  • Destek sorgusu aşaması, çalışma zamanı istatistiklerini biçimlendirilmiş açıklama modunda gösterir (SPARK-38322)
  • Sıralama birleştirme birleştirmesi için taşma boyutu ölçümleri ekleme (SPARK-37726)
  • SHOW İŞLEVLERI'nin SQL söz dizimini güncelleştirme (SPARK-37777)
  • DROP COLUMN [VARSA] söz dizimini destekleme (SPARK-38939)
  • Yeni yerleşik işlevler ve uzantıları (SPARK-38783)

Performans geliştirmeleri

  • Tam aşamalı kod oluşturma
    • Gruplandırma anahtarları olmadan sıralama toplaması için kod gen ekleme (SPARK-37564)
    • Tam dış sıralama birleştirme birleştirmesi için kod gen ekleme (SPARK-35352)
    • Tam dış karışık karma birleştirme (SPARK-32567) için kod-nesil ekleme
    • Varlık sıralama birleştirmesi için kod gen ekleme (SPARK-37316)
  • Aşağı itme (filtreler)
    • RebalancePartitions aracılığıyla filtreleri aşağı gönderme (SPARK-37828)
    • Boole sütun filtresi (SPARK-36644) aşağı gönderme
    • Birleştirme koşulu boşsa sol yarı/birleştirmeyi önlemenin sağ tarafı için aşağı itme sınırı 1 (SPARK-37917)
    • Aşağı itme için daha fazla standart toplama işlevi çevirin (SPARK-37527)
    • Toplama/birleşim aracılığıyla boş ilişki yayma desteği (SPARK-35442)
    • Satır Düzeyi Çalışma Zamanı Filtreleme (SPARK-32268)
    • Satır düzeyi çalışma zamanı filtrelerinde Sol Yarı Birleştirme desteği (SPARK-38565)
    • Yinelenenleri kaldırılmış CTE'ler için koşul gönderme ve sütun ayıklama desteği (SPARK-37670)
  • Vektörleştirme
    • ConstantColumnVector uygulama ve gizli dosya meta verilerinin performansını geliştirme (SPARK-37896)
    • VectorizedPlainValuesReader.readBooleans (SPARK-35867) için vektörleştirilmiş okumayı etkinleştirme
  • Düğümleri birleştirme/kaldırma/değiştirme
    • Aralarında proje varsa birleşimleri birleştirme (SPARK-37915)
    • İki atamayı güvenli bir şekilde üst düzeye çıkarabiliyorsak tek bir yayında birleştirin (SPARK-37922)
    • RepartitionByExpression(SPARK-36703) öğesinin alt öğesiyse Sort öğesini kaldırın
    • Yalnızca diğer adla akış tarafında DISTINCT varsa dış birleşimi kaldırır (SPARK-37292)
    • Alt öğe zaten sıralanmışsa karmayı sıralama toplamasıyla değiştirin (SPARK-37455)
    • Yalnızca pahalı ifadeleri çoğaltmazsak projeleri daraltma (SPARK-36718)
    • RewritePredicateSubquery'nin ardından yedekli diğer adları kaldırma (SPARK-36280)
    • İlişkili olmayan skaler alt sorgularını birleştirme (SPARK-34079)
  • Bölümleme
    • Statik bölüm ayıklaması varsa dinamik bölüm ayıklama eklemeyin (SPARK-38148)
    • İyileştirici kurallarında RebalancePartitions'ı geliştirme (SPARK-37904)
    • Bölümleri yeniden dengelemek için küçük bölüm faktörü ekleme (SPARK-37357)
  • Katılın
    • DynamicJoinSelection'da Yayın karma birleştirmesini indirgemek için ince ayar mantığı (SPARK-37753)
    • SEMI/ANTI karıştırılmış karma birleştirme (SPARK-36794) için ilişki oluştururken yinelenen birleştirme anahtarlarını yoksayma
    • Ek karıştırma (SPARK-33832) sunsa bile çarpık birleştirmeyi iyileştirme desteği
  • AQE
    • Destek, AQE İyileştiricisi'nde sınırları ortadan kaldırma (SPARK-36424)
    • Normal ve AQE İyileştiricisi'nde bir satırlık planı iyileştirme (SPARK-38162)
  • Aggregate.groupOnly katlanabilir ifadeleri destekler (SPARK-38489)
  • ByteArrayMethods dizisiEquals, hizalanmamış platformla (SPARK-37796) hizalama denetimini hızla atlamalıdır
  • CTESubstitution kuralına ağaç deseni ayıklama ekleme (SPARK-37379)
  • Daha fazla Not işleci basitleştirmesi ekleme (SPARK-36665)
  • UnwrapCastInBinaryComparison'da BooleanType Desteği (SPARK-36607)
  • Birleşim, ilk null atanamayan ifadeden sonraki tüm ifadeleri bırakır (SPARK-36359)
  • Ayrı öznitelikleri yaymak için mantıksal plan ziyaretçisi ekleme (SPARK-36194)

Yerleşik bağlayıcı geliştirmeleri

  • Genel
    • Veri kaynağından datetime'ın geçici seri hale getirilmesi (SPARK-38437)
    • Create/alter tablosunda yolunun ilk harfi eğik çizgi olduğunda tablo konumunu mutlak olarak değerlendirin (SPARK-38236)
    • Boş statik sayı türü bölümünden baştaki sıfırları kaldırma (SPARK-35561)
    • Veri Kaynağı seçeneklerinde ve ignoreMissingFiles desteği ignoreCorruptFiles (SPARK-38767)
    • Komut SHOW CATALOGS ekle (SPARK-35973)
  • Parke
    • Alan kimliklerine göre eşleşen şema sütun adlarını etkinleştirme (SPARK-38094)
    • Parquet'de veri okurken/yazarken onay alanı adını kaldırma (SPARK-27442)
    • Destek vektörleştirilmiş okuma boole değerleri Parquet DataPage V2 (SPARK-37864) ile RLE kodlaması kullanır
    • Vektörleştirilmiş yol için Parquet v2 veri sayfası kodlamasını (DELTA_BINARY_PACKED) destekleyin (SPARK-36879)
    • Parquet/Avro meta verilerine kaydedilen oturum saat dilimindeki zaman damgalarını yeniden temel alma (SPARK-37705)
    • Toplama için bölüm sütununa göre grup aşağı gönderme (SPARK-36646)
    • Parquet (SPARK-36645) için toplama (En Az/En Fazla/Sayı) gönderimi
    • Parquet: Alan kimliğine göre eşleşen şema sütunlarını etkinleştirme (SPARK-38094)
    • G1GC ve ON_HEAP kullanılıyorsa varsayılan sayfa boyutunu LONG_ARRAY_OFFSET küçültme (SPARK-37593)
    • Parquet V2 desteği için vektörleştirilmiş DELTA_BYTE_ARRAY ve DELTA_LENGTH_BYTE_ARRAY kodlamaları uygulama (SPARK-37974)
    • Parquet vektörleştirilmiş okuyucu için karmaşık türleri destekleme (SPARK-34863)
  • ORC
    • Ork'ta mevcut verileri okurken/yazarken onay alanı adını kaldırma (SPARK-37965)
    • ORC için toplu gönderim (SPARK-34960)
    • ORC veri kaynaklarından ANSI aralıklarını okuma ve yazma desteği (SPARK-36931)
    • ORC veri kaynaklarında yalnızca sayı sütun adlarını destekleme (SPARK-36663)
  • JSON
    • JSON okuyucusunda tırnak içine alınan NaN ve Infinity değerlerini ayrıştırırken allowNonNumericNumbers değerini dikkate alın (SPARK-38060)
    • VARSAYıLAN olarak CSV/JSON'da datetime için CAST kullanma (SPARK-36536)
    • Json okuyucusunda MapType'ta desteklenmeyen anahtar türleri için hata iletisini hizalama (SPARK-35320)
  • CSV
    • CSV'den bozuk kayıt sütununa başvuruda bulunarak düzeltme (SPARK-38534)
    • null değerler varsayılan olarak "" boş Dizeleri yerine hiçbir şey olarak kaydedilmemelidir (SPARK-37575)
  • JDBC
    • IMMEDIATE deyimini DB2 diyalekt kesme uygulamasına ekleme (SPARK-30062)
  • Kovan
    • Hive demetli tablo yazma desteği (Hive karmalı Hive dosya biçimleri) (SPARK-32712)
    • İstemci tarafında Hive bölümlerini filtrelemek için ifadeleri kullanma (SPARK-35437)
    • HiveTableScanExec için Dinamik Bölüm ayıklamayı destekleme (SPARK-36876)
    • InsertIntoHiveDir dönüştürülebilirse veri kaynağını kullanmalıdır (SPARK-38215)
    • Hive demetli tablo yazma desteği (Hive karması ile Parquet/ORC biçimi) (SPARK-32709)

Düğümün yetkisini alma

  • Geri dönüş Depolama rastgele "uzak" ana bilgisayar adını (SPARK-38062) çözümlemeye çalışmamalıdır
  • ExecutorMonitor.onExecutorRemoved, ExecutorDecommission işlemini tamamlandı olarak işlemelidir (SPARK-38023)

Diğer önemli değişiklikler

  • BlockInfoManager'a ayrıntılı kilitleme ekleme (SPARK-37356)
  • Spark gpu/fpga kaynak türlerini özel YARN kaynak türüne eşleme desteği (SPARK-37208)
  • Dengesizse doğru karıştırma bloğu boyutunu bildirin (SPARK-36967)
  • Ağ katmanında Netty Günlüğünü Destekleme (SPARK-36719)

Yapılandırılmış Akış

Başlıca özellikler

  • Trigger.AvailableNow'un Trigger.Once in multiple batchs (SPARK-36533) gibi akış sorgularını çalıştırmasını sağlayın

Diğer önemli değişiklikler

PySpark

Spark'ta Pandas API'si

Önemli geliştirmeler
  • Varsayılan olarak 'dağıtılmış-sıralı' dizin iyileştirmesi (SPARK-36559, SPARK-36338)
    • Spark üzerinde pandas API'sinde dizin türünü ve adını belirtme desteği (SPARK-36709)
    • Spark üzerinde pandas API için SQL planlarında varsayılan dizin türünü gösterme (SPARK-38654)
Başlıca özellikler
  • SparkSQL yerel ps.merge_asof uygulama (SPARK-36813)
  • Spark üzerinde pandas API'sinde TimedeltaIndex desteği (SPARK-37525)
  • Python'ın timedelta'sını destekleme (SPARK-37275, SPARK-37510)
  • CategoricalAccessor/CategoricalIndex içinde işlevleri uygulama (SPARK-36185)
  • Spark üzerinde pandas API'sinde SQL API için Python'ın standart dize biçimlendiricisini kullanır (SPARK-37436)
  • Timedelta Series/Index'in temel işlemlerini destekleme (SPARK-37510)
  • Destek ps. MultiIndex.dtypes (SPARK-36930)
  • Index.map uygulama (SPARK-36469)
  • Seri uygulama.xor ve Series.rxor (SPARK-36653)
  • Integral ps'nin birli işlecini invert uygulayın. Seri/Dizin (SPARK-36003)
  • DataFrame.cov uygulama (SPARK-36396)
  • için destek str ve zaman damgası (Seri|DataFrame).describe() (SPARK-37657)
  • (SPARK-38763) lambda column parametresini DataFrame.renamedestekleme

Diğer önemli değişiklikler

Hataya neden olan değişiklikler
  • Belgelerde ve python/docs'ta Python 3.6 desteğine başvuruları bırakma (SPARK-36977)
  • Yerleşik turşuyu cloudpickle (SPARK-32079) olarak değiştirerek namedtuple hack'i kaldırın
  • En düşük pandas sürümünü 1.0.5'e (SPARK-37465) çarpın
  • Önemli geliştirmeler
    • Python/Pandas UDF'leri için profil oluşturucu sağlama (SPARK-37443)
    • PySpark'ta SQL API için Python'ın standart dize biçimlendiricisini kullanır (SPARK-37516)
    • PySpark özel durumlarında SQL durumunu ve hata sınıfını kullanıma sunma (SPARK-36953)
    • Python çalışanı kilitlendiğinde faulthanlder'ı yakalamayı deneyin (SPARK-36062)
Başlıca özellikler

MLLIB

Başlıca özellikler

  • trainKMeansModel'e distanceMeasure param ekleme (SPARK-37118)
  • KMeans ve al do gibi LogisticRegression.setInitialModel'i kullanıma sunma (SPARK-36481)
  • Destek CrossValidatorModel her paramMap için ölçümlerin standart sapmasını alır (SPARK-36425)

Önemli geliştirmeler

  • Ayırmaları geciktirerek MLlib'de bazı treeAggregate'leri iyileştirme (SPARK-35848)
  • ml/param/shared.py için satır içi tür ipuçlarına _shared_params_code_gen.py'yi yeniden yazın (SPARK-37419)

Diğer önemli değişiklikler

SparkR

Kullanıcı arabirimi

  • Aşama düzeyinde spekülasyon ölçümleri özeti (SPARK-36038)
  • StagePage'de okuma getirme bekleme süresini karıştırmak için birleşik karıştırma okuma engelleme süresi (SPARK-37469)
  • KULLANıCı arabiriminde SQL yürütmesi için değiştirilmiş yapılandırmalar ekleme (SPARK-34735)
  • ThriftServer'ın spark.sql.redaction.string.regex (SPARK-36400) değerini tanımasını sağlama
  • Uygulama kullanıcı arabiriminde başlatıldıktan sonra işleyici ekleme ve başlatma (SPARK-36237)
  • SQL sekmesinin grafik düğümüne işleme süresi ekleme (SPARK-34399)
  • Spark Geçmiş Sunucusu'nda RocksDB arka ucu desteği (SPARK-37680)
  • Kullanıcı arabiriminde Spark üzerinde Pandas API seçeneklerini gösterme (SPARK-38656)
  • SQL kullanıcı arabirimi sayfasında 'SQL' adını 'SQL / DataFrame' olarak yeniden adlandırın (SPARK-38657)

Derleme

Bakım güncelleştirmeleri

Bkz . Databricks Runtime 11.0 (desteklenmiyor).

Sistem ortamı

  • İşletim Sistemi: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Gölü: 1.2.1

Yüklü Python kitaplıkları

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 geri arama 0.2.0 backports.entry-points-selectable 1.1.1
Çamaşır suyu 4.0.0 boto3 1.21.18 botocore 1.24.18
sertifikalı 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 Cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 hata ayıklama 1.4.1 Dekoratör 5.1.0
defusedxml 0.7.1 daistlib 0.3.4 distro-info 0.23ubuntu1
Entrypoints 0.3 modellere genel bakış 1.0.0 dosya kilidi 3.6.0
ıdna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab pencere öğeleri 1.0.0 kiwisolver 1.3.1
İşaretlemeyi Kasa 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
yanlış 0.8.4 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 not defteri 6.4.5
numpy 1.20.3 Ambalaj 21.0 pandas 1.3.4
pandocfilters 1.4.3 parso 0.8.2 Patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Yastık 8.4.0
Pip 21.2.4 platformdirs 2.5.2 çizim 5.6.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 3.20.1
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
serçe 7.0.0 pycparser 2.20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pirsistent 0.18.0 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
pytz 2021.3 pyzmq 22.2.1 istekler 2.26.0
requests-unixsocket 0.2.0 s3transfer 0.5.2 scikit-learn 0.24.2
scipy 1.7.1 Sinan 0.11.2 Send2Trash 1.8.0
kurulum araçları 58.0.4 Altı 1.16.0 ssh-import-id 5.10
statsmodeller 0.12.2 Azim 8.0.1 terminado 0.9.4
test yolu 0.5.0 threadpoolctl 2.2.0 Kasırga 6.1
traitlets 5.1.0 katılımsız yükseltmeler 0,1 urllib3 1.26.7
virtualenv 20.8.0 wcwidth 0.2.5 webencodings 0.5.1
Tekerlek 0.37.0 widgetsnbextension 3.6.0

Yüklü R kitaplıkları

R kitaplıkları 2022-05-06 tarihinde Microsoft CRAN anlık görüntüsünden yüklenir.

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
askpass 1.1 assertthat 0.2.1 Backports 1.4.1
temel 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 başlatma 1.3-28
Brew 1.0-7 Brio 1.1.3 Süpürge 0.8.0
bslib 0.3.1 önbellek 1.0.6 çağıran 3.7.0
şapka işareti 6.0-92 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.3.0 küçük resim 0.8.0
cluster 2.1.3 codetools 0.2-18 renk alanı 2.0-3
commonmark 1.8.0 derleyicisi 4.1.3 config 0.3.1
cpp11 0.4.2 Crayon 1.5.1 kimlik bilgileri 1.3.2
Curl 4.3.2 data.table 1.14.2 veri kümeleri 4.1.3
DBİ 1.1.2 dbplyr 2.1.1 Desc 1.4.1
geliştirici araçları 2.4.3 diffobj 0.3.5 Özet 0.6.29
dplyr 1.0.9 dtplyr 1.2.1 e1071 1.7-9
üç nokta 0.3.2 değerlendir 0,15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 Yabancı 0.8-82
Forge 0.2.0 Fs 1.5.2 Gelecek 1.25.0
future.apply 1.9.0 Gargara 1.2.0 Generics 0.1.2
gert 1.6.0 ggplot2 3.3.6 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-4 Globals 0.14.0
Tutkal 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 grafikler 4.1.3 grDevices 4.1.3
Kılavuz 4.1.3 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 sabit hat 0.2.0 Haven 2.5.0
daha yüksek 0,9 Hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.3
Kimlik 1.0.1 ını 0.3.1 ipred 0.9-12
isoband 0.2.5 Yineleyicilerde 1.0.14 jquerylib 0.1.4
jsonlite 1.8.0 KernSmooth 2.23-20 örgü örme 1.39
Etiketleme 0.4.2 Sonra 1.3.0 Kafes 0.20-45
Lav 1.6.10 yaşam döngüsü 1.0.1 dinleyici 0.8.0
lubridate 1.8.0 magrittr 2.0.3 markdown 1.1
MASS 7.3-56 Matris 1.4-1 not defteri 2.0.1
yöntemler 4.1.3 mgcv 1.8-40 Mıme 0,12
ModelMetrics 1.2.2.2 modelleyici 0.1.8 munsell 0.5.0
nlme 3.1-157 nnet 7.3-17 numDeriv 2016.8-1.1
openssl 2.0.0 parallel 4.1.3 paralel olarak 1.31.1
Ayağı 1.7.0 pkgbuild 1.3.1 pkgconfig 2.0.3
pkgload 1.2.4 plogr 0.2.0 plyr 1.8.7
Övgü 1.0.0 prettyunits 1.1.1 Yordam 1.18.0
processx 3.5.3 prodlim 2019.11.13 ilerleme 1.2.2
ilerleme durumu 0.10.0 Söz 1.2.0.1 Proto 1.0.0
Proxy 0.4-26 Ps 1.7.0 purrr 0.3.4
r2d3 0.2.6 R6 2.5.1 randomForest 4.7-1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.8.3 RcppEigen 0.3.3.9.2 readr 2.1.2
readxl 1.4.0 yemek tarifleri 0.2.0 Rövanş 1.0.1
rematch2 2.1.2 Kumanda 2.4.2 reprex 2.0.1
yeniden şekillendirme2 1.4.4 rlang 1.0.2 rmarkdown 2,14
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1.16
rprojroot 2.0.3 Rserve 1.8-10 RSQLite 2.2.13
rstudioapi 0,13 ters çevirmeler 2.1.1 rvest 1.0.2
Sass 0.4.1 Terazi 1.2.0 seçici 0.4-2
sessioninfo 1.2.2 Şekil 1.4.6 Parlak 1.7.1
sourcetools 0.1.7 sparklyr 1.7.5 SparkR 3.3.0
Kayma 7.3-11 Splines 4.1.3 sqldf 0.4-11
KAREM 2021.1 Istatistik 4.1.3 istatistikler4 4.1.3
stringi 1.7.6 dizeleyici 1.4.0 Hayatta kalma 3.2-13
sys 3.4 tcltk 4.1.3 test edin 3.1.4
Türk 3.1.7 derleyici 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0,38
araçlar 4.1.3 tzdb 0.3.0 usethis 2.1.5
utf8 1.2.2 Yardımcılar 4.1.3 uuid 1.1-0
vctr'lar 0.4.1 viridisLite 0.4.0 Vroom 1.5.7
Waldo 0.4.0 Bıyık 0.4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 Zip 2.2.0

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)

Grup Kimliği Yapıt Kimliği Sürüm
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics akış 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo gölgeli 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine Kafein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib çekirdek 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-ayrıştırıcıları 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Toplayıcı 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation etkinleştirme 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna Jna 5.8.0
net.razorvine Turşu 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv süper csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow ok biçimi 7.0.0
org.apache.arrow ok-bellek çekirdeği 7.0.0
org.apache.arrow ok-bellek-netty 7.0.0
org.apache.arrow ok-vektör 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro eşlemeli 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator küratör çerçevesi 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy sarmaşık 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.4
org.apache.orc orc-mapreduce 1.7.4
org.apache.orc orc-shims 1.7.4
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet kodlaması 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9 gölgeli 4.20
org.apache.yetus hedef kitle ek açıklamaları 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework dama-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-derleyici 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-bulucu 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss günlüğü 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Ek açıklama -ları 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap dolgular 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test arabirimi 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark Kullanılma -yan 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1