Databricks Runtime 15.2
Aşağıdaki sürüm notları, Apache Spark 3.5.0 tarafından desteklenen Databricks Runtime 15.2 hakkında bilgi sağlar.
Databricks bu sürümü Mayıs 2024'te yayımladı.
İpucu
Destek sonuna (EoS) ulaşmış Databricks Runtime sürümlerinin sürüm notlarını görmek için bkz . Destek sonu Databricks Runtime sürüm notları. EoS Databricks Runtime sürümleri kullanımdan kaldırılmıştır ve güncelleştirilmemiş olabilir.
Davranış değişiklikleri
Vakum, COPY INTO meta veri dosyalarını temizler
ILE COPY INTO
yazılmış bir tabloda VACUUM çalıştırıldığında artık alınan dosyaları izlemeyle ilişkili başvurulmayan meta veriler temizlenir. 'nin işletimsel semantiği COPY INTO
üzerinde hiçbir etkisi yoktur.
Lakehouse Federasyonu genel kullanıma sunuldu (GA)
Databricks Runtime 15.2 ve sonraki sürümlerinde, aşağıdaki veritabanı türleri genelinde Lakehouse Federasyon bağlayıcıları genel olarak kullanılabilir (GA):
- MySQL
- PostgreSQL
- Amazon Redshift
- Snowflake
- Microsoft SQL Server
- Azure Synapse (SQL Veri Ambarı)
- Databricks
Bu sürümde ayrıca aşağıdaki geliştirmeler de yer alıvermektedir:
Snowflake ve Microsoft SQL Server bağlayıcılarında çoklu oturum açma (SSO) kimlik doğrulaması desteği.
Sunucusuz işlem ortamlarından SQL Server bağlayıcısı için destek Azure Özel Bağlantı. Bkz . 3. Adım: Özel uç nokta kuralları oluşturma.
Ek gönderim desteği (dize, matematik ve çeşitli işlevler).
Farklı sorgu şekilleri arasında geliştirilmiş gönderim başarı oranı.
Ek pushdown hata ayıklama özellikleri:
- Çıkış,
EXPLAIN FORMATTED
aşağı gönderilen sorgu metnini görüntüler. - Sorgu profili kullanıcı arabirimi, gönderilen sorgu metnini, federasyon düğüm tanımlayıcılarını ve JDBC sorgu yürütme sürelerini (ayrıntılı modda) görüntüler. Bkz. Sistem tarafından oluşturulan federasyon sorgularını görüntüleme.
- Çıkış,
BY POSITION
üst bilgisiz CSV dosyalarıyla kullanarak COPY INTO
sütun eşlemesi için
Databricks Runtime 15.2 ve sonraki sürümlerinde, kaynak sütunu hedef tablo sütunu eşlemesini basitleştirmek için üst bilgisiz CSV dosyaları için ile COPY INTO
anahtar sözcükleri (veya alternatif söz dizimini( col_name [ , <col_name> ... ] )
) kullanabilirsinizBY POSITION
. Bkz. Parametreler.
Spark görevleri hatayla Resubmitted
başarısız olduğunda bellek tüketimini azaltma
Databricks Runtime 15.2 ve sonraki sürümlerinde görevler hatayla Resubmitted
başarısız olduğunda Spark TaskInfo.accumulables()
yönteminin dönüş değeri boş olur. Daha önce yöntemi, daha önceki başarılı bir görev girişiminin değerlerini döndürdü. Bu davranış değişikliği aşağıdaki tüketicileri etkiler:
- sınıfını
EventLoggingListener
kullanan Spark görevleri. - Özel Spark Dinleyicileri.
Önceki davranışı geri yüklemek için olarak false
ayarlayınspark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled
.
Uyarlamalı sorgu yürütme planı sürümlerini görüntüleme devre dışı bırakıldı
Bellek tüketimini azaltmak için uyarlamalı sorgu yürütme (AQE) planı sürümleri artık Spark kullanıcı arabiriminde varsayılan olarak devre dışı bırakılmıştır. Spark kullanıcı arabiriminde AQE planı sürümlerini görüntülemeyi etkinleştirmek için true
olarak ayarlayınspark.databricks.sql.aqe.showPlanChangesInUI.enabled
.
Spark kullanıcı arabirimi bellek kullanımını azaltmak için korunan sorgulardaki sınır azaltıldı
Databricks Runtime 15.2 ve sonraki sürümlerinde, Azure Databricks işlemindeki Spark kullanıcı arabirimi tarafından tüketilen belleği azaltmak için kullanıcı arabiriminde görünen sorgu sayısı sınırı 1000'den 100'e indirilir. Sınırı değiştirmek için Spark yapılandırmasını kullanarak spark.sql.ui.retainedExecutions
yeni bir değer ayarlayın.
DESCRIBE HISTORY
şimdi sıvı kümeleme kullanan tablolar için kümeleme sütunlarını gösterir
Sorgu DESCRIBE HISTORY
çalıştırdığınızdaoperationParameters
, ve OPTIMIZE
işlemleri için CREATE OR REPLACE
sütun varsayılan olarak bir clusterBy
alan gösterir. Sıvı kümeleme kullanan bir Delta tablosu için clusterBy
, alan tablonun kümeleme sütunlarıyla doldurulur. Tablo sıvı kümelemesi kullanmıyorsa, alan boş olur.
Yeni özellikler ve geliştirmeler
Birincil ve yabancı anahtarlar için destek GA'dır
Databricks Runtime'da birincil ve yabancı anahtar desteği genel olarak kullanılabilir. GA sürümü, birincil ve yabancı anahtarları kullanmak için gereken ayrıcalıklarda aşağıdaki değişiklikleri içerir:
- Yabancı anahtar tanımlamak için tabloda yabancı anahtarın
SELECT
başvurduğu birincil anahtara sahip ayrıcalığınız olmalıdır. Daha önce gerekli olan birincil anahtara sahip tabloya sahip olmanız gerekmez. - yan tümcesini kullanarak bir birincil anahtarın
CASCADE
düşürülmesi, birincil anahtara başvuran yabancı anahtarları tanımlayan tablolarda ayrıcalık gerektirmez. Daha önce başvuran tabloların sahibi olmanız gerekiyordu. - Kısıtlamaları içeren bir tabloyu bırakmak için artık kısıtlama içermeyen tabloları bırakmayla aynı ayrıcalıklar gerekir.
Tablolar veya görünümlerle birincil ve yabancı anahtarları kullanmayı öğrenmek için bkz . CONSTRAINT yan tümcesi, ADD CONSTRAINT yan tümcesi ve DROP CONSTRAINT yan tümcesi.
Sıvı kümeleme GA'dır
Sıvı kümeleme desteği artık Databricks Runtime 15.2 ve üzeri kullanılarak genel kullanıma sunulmuştur. Bkz. Delta tabloları için sıvı kümeleme kullanma.
Tür genişletme Genel Önizleme'de
Artık Delta Lake tarafından desteklenen tablolarda tür genişletmeyi etkinleştirebilirsiniz. Tür genişletmesi etkinleştirilmiş tablolar, temel alınan veri dosyalarını yeniden yazmadan sütun türünü daha geniş bir veri türüne dönüştürmeye olanak sağlar. Bkz. Tür genişletme.
SQL birleştirme söz dizimine şema evrimi yan tümcesi eklendi
Artık işlem için şema evrimini WITH SCHEMA EVOLUTION
etkinleştirmek için sql birleştirme deyimine yan tümcesini ekleyebilirsiniz. Birleştirme için bkz. Şema evrimi söz dizimi.
PySpark özel veri kaynakları Genel Önizleme'de kullanılabilir
Özel veri kaynaklarından okuma ve Python kullanarak Apache Spark'taki özel veri havuzlarına yazma olanağı sağlayan Python (PySpark) DataSource API'sini kullanarak bir PySpark DataSource oluşturulabilir. Bkz. PySpark özel veri kaynakları
applyInPandas ve mapInPandas artık paylaşılan erişim moduyla Unity Kataloğu işlemlerinde kullanılabilir
Databricks Runtime 14.3 LTS bakım sürümünün applyInPandas
bir parçası olarak ve mapInPandas
UDF türleri artık Databricks Runtime 14.3 ve üzerini çalıştıran paylaşılan erişim modu işlemlerinde desteklenmektedir.
Not defterindeki tüm pencere öğelerini almak için dbutils.widgets.getAll() kullanma
Not defterindeki tüm pencere öğesi değerlerini almak için kullanındbutils.widgets.getAll()
. Bu, bir Spark SQL sorgusuna birden çok pencere öğesi değeri geçirirken özellikle yararlıdır.
Vakum envanteri desteği
Artık Delta tablosunda komutu çalıştırırken göz önünde bulundurmanız gereken bir dosya envanteri VACUUM
belirtebilirsiniz. OSS Delta belgelerine bakın.
Zstandard sıkıştırma işlevleri desteği
Artık verileri sıkıştırmak ve açmak için zst_compress, zstd_decompress ve BINARY
try_zstd_decompress işlevlerini kullanabilirsiniz.
Hata düzeltmeleri
SQL kullanıcı arabirimindeki sorgu planları artık doğru görüntüleniyor PhotonWriteStage
SQL kullanıcı arabiriminde görüntülendiğinde, write
sorgu planlarındaki komutlar hatalı bir şekilde işleç olarak gösterildi PhotonWriteStage
. Bu sürümle birlikte kullanıcı arabirimi aşama olarak gösterilecek PhotonWriteStage
şekilde güncelleştirilir. Bu yalnızca bir kullanıcı arabirimi değişikliğidir ve sorguların nasıl çalıştırılma şeklini etkilemez.
Ray, Ray kümelerini başlatmayla ilgili sorunları düzeltmek için güncelleştirildi
Bu sürüm, Ray kümelerinin Machine Learning için Databricks Runtime ile başlamasını engelleyen hataya neden olan bir değişikliği düzelten ray'in yama uygulanmış bir sürümünü içerir. Bu değişiklik, Ray işlevselliğinin Databricks Runtime'ın 15.2'den önceki sürümleriyle aynı olmasını sağlar.
GraphFrames, Spark 3.5 ile yanlış sonuçları düzeltecek şekilde güncelleştirildi
Bu sürüm, GraphFrames ve Spark 3.5 ile bazı algoritmalarda yanlış sonuçlara neden olan sorunları düzeltmek için GraphFrames paketine yönelik bir güncelleştirme içerir.
ve DataFrame.sortWithinPartitions()
işlevleri için DataFrame.sort()
düzeltilen hata sınıfı
Bu sürüm, dizin bağımsız değişkeni olarak geçirildiğinde 0
hata sınıfının oluştuğundan emin olmak ZERO_INDEX
için PySpark DataFrame.sort()
ve DataFrame.sortWithinPartitions()
işlevlerine yönelik bir güncelleştirme içerir. Daha önce hata sınıfı INDEX_NOT_POSITIVE
oluşturuldu.
ipywidgets 8.0.4'ten 7.7.2'ye düşürüldü
Databricks Runtime 15.0'da ipywidgets'in 8.0.4'e yükseltilmesiyle ortaya çıkan hataları düzeltmek için, Databricks Runtime 15.2'de ipywidgets 7.7.2 sürümüne düşürüldü. Bu, önceki Databricks Runtime sürümlerinde bulunan sürümle aynıdır.
Kitaplık yükseltmeleri
- Yükseltilen Python kitaplıkları:
- 3.1.42 ile 3.1.43 arasında GitPython
- 2.17.1 ile 2.18.0 arası google-api-core
- 2.28.1 ile 2.29.0 arası google-auth
- 2.15.0 ile 2.16.0 arası google-cloud-storage
- 1.62.0 ile 1.63.0 arası googleapis-common-protos
- ipywidgets from 8.0.4 to 7.7.2
- 2.11.1 ile 2.11.3 arası mlflow-skinny
- s3transfer 0.10.0 ile 0.10.1
- 0.4.4 ile 0.5.0 için sqlparse
- 4.7.1 ile 4.10.0 typing_extensions
- Yükseltilen R kitaplıkları:
- Yükseltilen Java kitaplıkları:
- com.amazonaws.aws-java-sdk-autoscaling from 1.12.390 to 1.12.610
- com.amazonaws.aws-java-sdk-cloudformation 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-cloudfront 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-cloudhsm from 1.12.390 to 1.12.610
- com.amazonaws.aws-java-sdk-cloudsearch from 1.12.390 to 1.12.610
- com.amazonaws.aws-java-sdk-cloudtrail from 1.12.390 to 1.12.610
- com.amazonaws.aws-java-sdk-cloudwatch 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-cloudwatchmetrics from 1.12.390 to 1.12.610
- com.amazonaws.aws-java-sdk-codedeploy from 1.12.390 to 1.12.610
- com.amazonaws.aws-java-sdk-cognitoidentity 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-cognitosync 1.12.390 ile 1.12.610 arasında
- com.amazonaws.aws-java-sdk-config 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-core 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-datapipeline 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-directconnect from 1.12.390 to 1.12.610
- com.amazonaws.aws-java-sdk-directory 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-dynamodb from 1.12.390 to 1.12.610
- com.amazonaws.aws-java-sdk-ec2 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-ecs 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-efs 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-elasticache 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-elasticbeanstalk 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-elasticloadbalancing from 1.12.390 to 1.12.610
- com.amazonaws.aws-java-sdk-elastictranscoder 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-emr 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-glacier 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-glue 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-iam 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-importexport 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-kinesis 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-kms 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-lambda 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-logs 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-machinelearning from 1.12.390 to 1.12.610
- com.amazonaws.aws-java-sdk-opsworks 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-rds 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-redshift from 1.12.390 to 1.12.610
- com.amazonaws.aws-java-sdk-route53 from 1.12.390 to 1.12.610
- com.amazonaws.aws-java-sdk-s3 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-ses 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-simpledb 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-simpleworkflow 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-sns 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-sqs 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-ssm 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-storagegateway 1.12.390 ile 1.12.610 arası
- com.amazonaws.aws-java-sdk-sts 1.12.390 ile 1.12.610 arasında
- com.amazonaws.aws-java-sdk-support from 1.12.390 to 1.12.610
- com.amazonaws.aws-java-sdk-workspaces 1.12.390 ile 1.12.610 arası
- com.amazonaws.jmespath-java 1.12.390 ile 1.12.610 arası
Apache Spark
Databricks Runtime 15.2, Apache Spark 3.5.0'ı içerir. Bu sürüm, Databricks Runtime 15.1'de (EoS) bulunan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:
- [SPARK-47941] [SC-163568] [SS] [Bağlan] ForeachBatch çalışan başlatma hatalarını PySpark için kullanıcılara yayma
- [SPARK-47412] [SC-163455][SQL] LPad/RPad için Harmanlama Desteği ekleyin.
- [SPARK-47907] [SC-163408][SQL] Bang'i yapılandırma altına alın
- [SPARK-46820] [SC-157093][PYTHON] Geri yükleyerek hata iletisi regresyonunu düzeltme
new_msg
- [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Çekirdek/MLLib/Kaynak yöneticileri: yapılandırılmış günlük geçişi
- [SPARK-47890] [SC-163324][BAĞLAN][PYTHON] Scala ve Python'a değişken işlevler ekleyin.
- [SPARK-47894] [SC-163086][CORE][WEBUI] Ana kullanıcı arabirimine sayfa ekleme
Environment
- [SPARK-47805] [SC-163459][SS] MapState için TTL Uygulama
- [SPARK-47900] [SC-163326] Örtük (UTF8_BINARY) harmanlama denetimi düzeltilir
- [SPARK-47902] [SC-163316][SQL]İşlem Geçerli Zamanı* ifadelerini katlanabilir hale getirme
- [SPARK-47845] [SC-163315][SQL][PYTHON][BAĞLAN] Scala ve Python için split işlevinde Sütun türü desteği
- [SPARK-47754] [SC-162144][SQL] Postgres: Çok boyutlu dizileri okumayı destekler
- [SPARK-47416] [SC-163001][SQL] CollationBenchmark #90339'a yeni işlevler ekleme
- [SPARK-47839] [SC-163075][SQL] RewriteWithExpression'da toplu hata düzeltildi
- [SPARK-47821] [SC-162967][SQL] is_variant_null ifadesi uygulama
- [SPARK-47883] [SC-163184][SQL] RowQueue ile gecikmeli yapma
CollectTailExec.doExecute
- [SPARK-47390] [SC-163306][SQL] PostgresDialect, TIMESTAMP'yi TIMESTAMP_TZ
- [SPARK-47924] [SC-163282][CORE] hata ayıklama günlüğü ekleme
DiskStore.moveFileToBlock
- [SPARK-47897] [SC-163183][SQL][3.5] Scala 2.12'de ExpressionSet performans regresyonu düzeltildi
- [SPARK-47565] [SC-161786][PYTHON] PySpark çalışan havuzu kilitlenme dayanıklılığı
- [SPARK-47885] [SC-162989][PYTHON][BAĞLAN] pyspark.resource'ı pyspark-connect ile uyumlu hale getirme
- [SPARK-47887] [SC-163122][BAĞLAN] Kullanılmayan içeri aktarmayı
spark/connect/common.proto
kaldırmaspark/connect/relations.proto
- [SPARK-47751] [SC-161991][PYTHON][BAĞLAN] pyspark.worker_utils pyspark-connect ile uyumlu hale getirme
- [SPARK-47691] [SC-161760][SQL] Postgres: Yazma tarafında çok boyutlu diziyi destekleme
- [SPARK-47617] [SC-162513][SQL] Harmanlamalar için TPC-DS test altyapısı ekleme
- [SPARK-47356] [SC-162858][SQL] ConcatWs &elt desteği ekleme (tüm harmanlamalar)
- [SPARK-47543] [SC-161234][BAĞLAN][PYTHON] DataFrame oluşturmaya izin vermek için Pandas DataFrame'den olarak
MapType
çıkarımdict
- [SPARK-47863] [SC-162974][SQL] ICU için harmanlamayı algılayan uygulama ile başlarken & uçları düzeltin
- [SPARK-47867] [SC-162966][SQL] JSON taramasında destek değişkeni.
- [SPARK-47366] [SC-162475][SQL][PYTHON] PySpark için VariantVal ekleme
- [SPARK-47803] [SC-162726][SQL] Değişkene dönüştürme desteği.
- [SPARK-47769] [SC-162841][SQL] schema_of_variant_agg ifadesi ekleyin.
- [SPARK-47420] [SC-162842][SQL] Test çıkışını düzeltme
- [SPARK-47430] [SC-161178][SQL] MapType için GROUP BY desteği
- [SPARK-47357] [SC-162751][SQL] Upper, Lower, InitCap desteği ekleme (tüm harmanlamalar)
- [SPARK-47788] [SC-162729][SS] Durum bilgisi olan işlemleri akışla aktarma için aynı karma bölümlemenin olduğundan emin olun
- [SPARK-47776] [SC-162291][SS] Durum bilgisi olan işlecin anahtar şemasında ikili eşitsizlik harmanlamasının kullanılmasına izin verme
- [SPARK-47673] [SC-162824][SS] ListState için TTL Uygulama
- [SPARK-47818] [SC-162845][BAĞLAN] Analiz isteklerinin performansını geliştirmek için SparkConnectPlanner'da plan önbelleğini tanıtın
- [SPARK-47694] [SC-162783][BAĞLAN] en büyük ileti boyutunu istemci tarafında yapılandırılabilir hale getirme
- [SPARK-47274] Revert "[SC-162479][PYTHON][SQL] Daha fazla kullanım...
- [SPARK-47616] [SC-161193][SQL] MySQL'den Spark SQL Veri Türlerini Eşlemek için Kullanıcı Belgesi Ekleme
- [SPARK-47862] [SC-162837][PYTHON][BAĞLAN]Proto dosyalarının oluşturulmasını düzeltme
- [SPARK-47849] [SC-162724][PYTHON][BAĞLAN] Sürüm betiğini pyspark-connect'i yayınlayacak şekilde değiştirme
- [SPARK-47410] [SC-162518][SQL] UTF8String ve CollationFactory'yi yeniden düzenleme
- [SPARK-47807] [SC-162505][PYTHON][ML] pyspark.ml pyspark-connect ile uyumlu hale getirme
- [SPARK-47707] [SC-161768][SQL] MySQL Bağlayıcısı/J 5.x için JSON türünün özel işlenmesi
- [SPARK-47765] "[SC-162636][SQL] Ayrıştırmalara SET COLLATION ekleme...
- [SPARK-47081] [SC-162151][BAĞLAN][TAKİP EDEMİ] İlerleme İşleyicisinin kullanılabilirliğini geliştirme
- [SPARK-47289] [SC-161877][SQL] Uzantıların açıklama planında genişletilmiş bilgileri günlüğe kaydetmesine izin ver
- [SPARK-47274] [SC-162479][PYTHON][SQL] PySpark DataFrame API hataları için daha kullanışlı bağlam sağlayın
- [SPARK-47765] [SC-162636][SQL] Ayrıştırıcı kurallarına SET COLLATION ekleme
- [SPARK-47828] [SC-162722][BAĞLAN][PYTHON]
DataFrameWriterV2.overwrite
geçersiz planla başarısız oluyor - [SPARK-47812] [SC-162696][BAĞLAN] ForEachBatch çalışanı için SparkSession Serileştirme desteği
- [SPARK-47253] [SC-162698][CORE] LiveEventBus'un olay kuyruğu tamamen boşaltılmadan durmasına izin ver
- [SPARK-47827] [SC-162625][PYTHON] Kullanım dışı bırakılan özellikler için eksik uyarılar
- [SPARK-47733] [SC-162628][SS] Sorgu ilerleme durumunun transformWithState işleci bölümü için özel ölçümler ekleme
- [SPARK-47784] [SC-162623][SS] TTLMode ve TimeoutMode'ı tek bir TimeMode'da birleştirin.
- [SPARK-47775] [SC-162319][SQL] Değişken belirtiminde kalan skaler türleri destekler.
- [SPARK-47736] [SC-162503][SQL] AbstractArrayType için destek ekleme
- [SPARK-47081] [SC-161758][BAĞLAN] Sorgu Yürütme İlerleme Durumunu Destekleme
- [SPARK-47682] [SC-162138][SQL] Değişkenden yayın desteği.
- [SPARK-47802] [SC-162478][SQL] () anlam yapısından() anlamlarına geri dön *
- [SPARK-47680] [SC-162318][SQL] variant_explode ifadesi ekleyin.
- [SPARK-47809] [SC-162511][SQL]
checkExceptionInExpression
her codegen modu için hatayı denetlemelidir - [SPARK-41811] [SC-162470][PYTHON][BAĞLAN] ile uygulama
SQLStringFormatter
WithRelations
- [SPARK-47693] [SC-162326][SQL] UTF8_BINARY_LCASE harmanlamada kullanılan UTF8String'in küçük harf karşılaştırması için iyileştirme ekleme
- [SPARK-47541] [SC-162006][SQL] İşlemleri destekleyen karmaşık türlerdeki harmanlanmış dizeler ters, array_join, concat, map
- [SPARK-46812] [SC-161535][BAĞLAN][PYTHON] mapInPandas / mapInArrow desteği ResourceProfile yapın
- [SPARK-47727] [SC-161982][PYTHON] SparkConf'ı hem SparkSession hem de SparkContext için kök düzeyine dönüştürme
- [SPARK-47406] [SC-159376][SQL] MYSQLDialect'te TIMESTAMP ve DATETIME'ı işleme
- [SPARK-47081] Revert "[SC-161758][CONNECT] Support Query Executi...
- [SPARK-47681] [SC-162043][SQL] schema_of_variant ifadesi ekleyin.
- [SPARK-47783] [SC-162222] Kullanmak üzere YY000 temizlemesi için bazı eksik SQLSTAT'lar ekleyin...
- [SPARK-47634] [SC-161558][SQL] Harita anahtarı normalleştirmesini devre dışı bırakmak için eski destek ekleme
- [SPARK-47746] [SC-162022] RocksDBStateEncoder'da sıra tabanlı aralık kodlaması uygulama
- [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec her zaman context.session kullanmalıdır
- [SPARK-47643] [SC-161534][SS][PYTHON] Python akış kaynağı için pyspark testi ekleme
- [SPARK-47582] [SC-161943][SQL] Catalyst logInfo'larını değişkenlerle yapılandırılmış günlük çerçevesine geçirme
- [SPARK-47558] [SC-162007][SS] ValueState için Durum TTL desteği
- [SPARK-47358] [SC-160912][SQL][HARMANLAMA] Doğru veri türünü döndürmek için yineleme ifadesi desteğini geliştirme
- [SPARK-47504] [SC-162044][SQL] StringTypeCollated için AbstractDataType simpleStrings'i çözümleme
- [SPARK-47719] "[SC-161909][SQL] Change spark.sql.legacy.t...
- [SPARK-47657] [SC-162010][SQL] Dosya kaynağı başına harmanlama filtresi gönderme desteği uygulama
- [SPARK-47081] [SC-161758][BAĞLAN] Sorgu Yürütme İlerleme Durumunu Destekleme
- [SPARK-47744] [SC-161999] Aralık kodlayıcıda negatif değerli baytlar için destek ekleme
- [SPARK-47713] [SC-162009][SQL][BAĞLAN] Kendi kendine birleştirme hatasını düzeltme
- [SPARK-47310] [SC-161930][SS] Durum deposunun değer bölümündeki birden çok değer için birleştirme işlemleri için mikro karşılaştırma ekleme
- [SPARK-47700] [SC-161774][SQL] treeNode ile hata iletilerinin biçimlendirmesini düzeltme
- [SPARK-47752] [SC-161993][PS][BAĞLAN] pyspark.pandas'ı pyspark-connect ile uyumlu hale getirme
- [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] Yapılandırılmış günlük çerçevesine logWarning/logInfo API'sini uygulama
- [SPARK-47107] [SC-161201][SS][PYTHON] Python akış veri kaynağı için bölüm okuyucu uygulama
- [SPARK-47553] [SC-161772][SS] transformWithState işleç API'leri için Java desteği ekleme
- [SPARK-47719] [SC-161909][SQL] spark.sql.legacy.timeParserPolicy varsayılan olarak DÜZELTİlDİ olarak değiştirin
- [SPARK-47655] [SC-161761][SS] Zamanlayıcıyı state-v2 için İlk Durum işleme ile tümleştirme
- [SPARK-47665] [SC-161550][SQL] SMALLINT kullanarak MYSQL'e ShortType Yazma
- [SPARK-47210] [SC-161777][SQL] Belirsiz destek olmadan örtük döküm ekleme
- [SPARK-47653] [SC-161767][SS] Negatif sayısal türler ve aralık tarama anahtarı kodlayıcı desteği ekleme
- [SPARK-46743] [SC-160777][SQL] Sabit katlamadan sonra hatayı sayma
- [SPARK-47525] [SC-154568][SQL] Eşleme özniteliklerinde alt sorgu bağıntı birleştirme desteği
- [SPARK-46366] [SC-151277][SQL] Yinelenen ifadeleri önlemek için BETWEEN içindeki WITH ifadesini kullanma
- [SPARK-47563] [SC-161183][SQL] Oluşturma işleminde harita normalleştirmesi ekleme
- [SPARK-42040] [SC-161171][SQL] SPJ: Bölüm istatistiklerini raporlamak için V2 giriş bölümü için yeni bir API tanıtın
- [SPARK-47679] [SC-161549][SQL] Doğrudan veya Hive konfederasyon adlarını kullanma
HiveConf.getConfVars
- [SPARK-47685] [SC-161566][SQL] türü için
Stream
desteği geri yüklemeDataset#groupBy
- [SPARK-47646] [SC-161352][SQL] Hatalı biçimlendirilmiş giriş için try_to_number NULL döndürmesini sağlama
- [SPARK-47366] [SC-161324][PYTHON] Pyspark ve veri çerçevesi parse_json diğer adları ekleme
- [SPARK-47491] [SC-161176][CORE] Dizin diğerlerinden önce
jars
sınıf yoluna jar ekleyinslf4j-api
- [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty projeleri CommandResults yerel olarak
- [SPARK-47364] [SC-158927][CORE] Eklentiler tek yönlü ileti yanıtladığında uyarı verme
PluginEndpoint
- [SPARK-47280] [SC-158350][SQL] ORACLE TIMESTAMP WITH TIMEZONE için saat dilimi sınırlamasını kaldırma
- [SPARK-47551] [SC-161542][SQL] variant_get ifadesi ekleyin.
- [SPARK-47559] [SC-161255][SQL] Değişken için Codegen Desteği
parse_json
- [SPARK-47572] [SC-161351][SQL] Pencere bölümünü zorlaSpec sıralanabilir.
- [SPARK-47546] [SC-161241][SQL] Parquet'den Variant okurken doğrulamayı geliştirme
- [SPARK-47543] [SC-161234][BAĞLAN][PYTHON] DataFrame oluşturmaya izin vermek için Pandas DataFrame'den olarak
MapType
çıkarımdict
- [SPARK-47485] [SC-161194][SQL][PYTHON][BAĞLAN] Veri çerçevesi API'sinde harmanlamalarla sütun oluşturma
- [SPARK-47641] [SC-161376][SQL] ve için
UnaryMinus
performansı geliştirmeAbs
- [SPARK-47631] [SC-161325][SQL] Kullanılmayan
SQLConf.parquetOutputCommitterClass
yöntemi kaldırma - [SPARK-47674] [SC-161504][CORE] Varsayılan olarak etkinleştir
spark.metrics.appStatusSource.enabled
- [SPARK-47273] [SC-161162][SS][PYTHON] Python veri akışı yazıcı arabirimini uygulayın.
- [SPARK-47637] [SC-161408][SQL] Daha fazla yerde errorCapturingIdentifier kullanma
- [SPARK-47497] "Revert "[SC-160724][SQL] Make to_csv support the output of array/struct/map/binary as pretty strings""
- [SPARK-47492] [SC-161316][SQL] Lexer'da boşluk kurallarını genişletme
- [SPARK-47664] [SC-161475][PYTHON][BAĞLAN] Sütun adını önbelleğe alınmış şemayla doğrulama
- [SPARK-47638] [SC-161339][PS][BAĞLAN] PS'de sütun adı doğrulamayı atlama
- [SPARK-47363] [SC-161247][SS] Durum API'si v2 için durum okuyucu uygulaması olmayan ilk durum.
- [SPARK-47447] [SC-160448][SQL] Parquet TimestampLTZ'nin TimestampNTZ olarak okunmasına izin ver
- [SPARK-47497] Revert "[SC-160724][SQL] Çıkışını
array/struct/map/binary
güzel dizeler olarak destekleyinto_csv
" - [SPARK-47434] [SC-160122][WEBUI] Bağlantı düzelt
statistics
StreamingQueryPage
- [SPARK-46761] [SC-159045][SQL] JSON yolundaki tırnak içine alınmış dizeler desteklenmelidir? karakter
- [SPARK-46915] [SC-155729][SQL] Hata sınıfını basitleştirme
UnaryMinus
Abs
ve hizalama - [SPARK-47431] [SC-160919][SQL] Oturum düzeyi varsayılan Harmanlama ekleme
- [SPARK-47620] [SC-161242][PYTHON][BAĞLAN] Sütunları sıralamak için yardımcı işlev ekleme
- [SPARK-47570] [SC-161165][SS] Aralık tarama kodlayıcı değişikliklerini zamanlayıcı uygulamasıyla tümleştirme
- [SPARK-47497] [SC-160724][SQL] çıkışını
array/struct/map/binary
güzel dizeler olarak destekleyinto_csv
- [SPARK-47562] [SC-161166][BAĞLAN] Dışında faktör değişmez değer işleme
plan.py
- [SPARK-47509] [SC-160902][SQL] Lambda ve daha yüksek sıralı işlevlerde alt sorgu ifadelerini engelleme
- [SPARK-47539] [SC-160750][SQL] yönteminin
castToString
dönüş değerini şu şekilde yapın:Any => UTF8String
- [SPARK-47372] [SC-160905][SS] Durum deposu sağlayıcısıyla kullanmak üzere aralık tarama tabanlı anahtar durumu kodlayıcı desteği ekleme
- [SPARK-47517] [SC-160642][CORE][SQL] Boyut görüntüleme için Utils.bytesToString'i tercih edin
- [SPARK-47243] [SC-158059][SS] Paketinin adını düzeltin
StateMetadataSource.scala
- [SPARK-47367] [SC-160913][PYTHON][BAĞLAN] Spark Connect ile Python veri kaynaklarını destekleme
- [SPARK-47521] [SC-160666][CORE] Dış depolamadan verileri okuma sırasında kullanma
Utils.tryWithResource
- [SPARK-47474] [SC-160522][CORE] SPARK-47461'i geri döndürme ve bazı açıklamalar ekleme
- [SPARK-47560] [SC-160914][PYTHON][BAĞLAN] Sütun adını önbelleğe alınmış şemayla doğrulamak için RPC'yi önleyin
- [SPARK-47451] [SC-160749][SQL] Destek to_json(değişken).
- [SPARK-47528] [SC-160727][SQL] DataTypeUtils.canWrite'ye UserDefinedType desteği ekleme
- [SPARK-44708] "[SC-160734][PYTHON] assertDataFrameEqual kullanmak için test_reset_index assert_eq geçirme"
- [SPARK-47506] [SC-160740][SQL] Harmanlanmış veri türleri için tüm dosya kaynağı biçimlerine destek ekleme
- [SPARK-47256] [SC-160784][SQL] Hata sınıflarına ad atama _LEGACY_ERROR_TEMP_102[4-7]
- [SPARK-47495] [SC-160720][CORE] k8s küme modu altında spark.jars'a iki kez eklenen birincil kaynak jar'ı düzeltildi
- [SPARK-47398] [SC-160572][SQL] İşlevin genişletilmesine izin vermek için InMemoryTableScanExec için bir özellik ayıklama
- [SPARK-47479] [SC-160623][SQL] İyileştirme, birden çok yol hata günlüğüne sahip ilişkilere veri yazamıyor
- [SPARK-47483] [SC-160629][SQL] Harmanlanmış dize dizilerinde toplama ve birleştirme işlemleri için destek ekleme
- [SPARK-47458] [SC-160237][CORE] Engel aşaması için en fazla eşzamanlı görevi hesaplamayla ilgili sorunu düzeltin
- [SPARK-47534] [SC-160737][SQL] Şuraya taşı
o.a.s.variant
:o.a.s.types.variant
- [SPARK-47396] [SC-159312][SQL] TIME WITHOUT TIME ZONE için TimestampNTZType genel eşlemesi ekleme
- [SPARK-44708] [SC-160734][PYTHON] assertDataFrameEqual kullanmak için test_reset_index assert_eq geçirme
- [SPARK-47309] [SC-157733][SC-160398][SQL] XML: Değer etiketleri için şema çıkarım testleri ekleme
- [SPARK-47007] [SC-160630][SQL] İfadeyi
MapSort
ekleme - [SPARK-47523] [SC-160645][SQL] Kullanım dışı bırakılan
JsonParser#getCurrentName
ile değiştirJsonParser#currentName
- [SPARK-47440] [SC-160635][SQL] Desteklenmeyen söz dizimlerinin MsSqlServer'a gönderilmesi düzeltildi
- [SPARK-47512] [SC-160617][SS] RocksDB durum deposu örneği kilit alma/sürüm ile kullanılan etiket işlemi türü
- [SPARK-47346] [SC-159425][PYTHON] Python planner çalışanları oluştururken daemon modunu yapılandırılabilir hale getirme
- [SPARK-47446] [SC-160163][CORE] Daha
BlockManager
önce uyarremoveBlockInternal
- [SPARK-46526] [SC-156099][SQL] Koşulların yalnızca dış tabloya başvurduğu bağıntılı alt sorgular üzerinde DESTEK LIMITI
- [SPARK-47461] [SC-160297][CORE] Özel işlevi
totalRunningTasksPerResourceProfile
kaldırmaExecutorAllocationManager
- [SPARK-47422] [SC-160219][SQL] Dizi işlemlerinde harmanlanmış dizeleri destekleme
- [SPARK-47500] [SC-160627][PYTHON][BAĞLAN] Dışından faktör sütunu adı işleme
plan.py
- [SPARK-47383] [SC-160144][CORE] Destek
spark.shutdown.timeout
yapılandırması - [SPARK-47342] [SC-159049]"[SQL] ZAMAN DILIMINE SAHIP DB2 TIMESTAMP için TimestampNTZ Desteği"
- [SPARK-47486] [SC-160491][BAĞLAN] Kullanılmayan özel
ArrowDeserializers.getString
yöntemi kaldırma - [SPARK-47233] [SC-154486][BAĞLAN][SS][2/2] İstemci tarafı akış sorgu dinleyicisi için istemci ve sunucu mantığı
- [SPARK-47487] [SC-160534][SQL] AnsiTypeCoercion'da kodu basitleştirme
- [SPARK-47443] [SC-160459][SQL] Harmanlamalar için Pencere Toplama desteği
- [SPARK-47296] [SC-160457][SQL][HARMANLAMA] İkili olmayan harmanlamalar için desteklenmeyen işlevler başarısız oldu
- [SPARK-47380] [SC-160164][BAĞLAN] Sunucu tarafında SparkSession'ın aynı olduğundan emin olun
- [SPARK-47327] [SC-160069][SQL] Sıralama anahtarlarını eşzamanlılık testini CollationFactorySuite'a taşıma
- [SPARK-47494] [SC-160495][Belge] Spark 3.3'ten bu yana Parquet zaman damgası çıkarımının davranış değişikliği için geçiş belgesi ekleme
- [SPARK-47449] [SC-160372][SS] Listeyi/zamanlayıcı birimi testlerini yeniden düzenleme ve bölme
- [SPARK-46473] [SC-155663][SQL] Yeniden kullanma
getPartitionedFile
yöntemi - [SPARK-47423] [SC-160068][SQL] Harmanlamalar - Harmanlamalı dizeler için işlem desteği ayarlama
- [SPARK-47439] [SC-160115][PYTHON] API başvuru sayfasında Belge Python Veri Kaynağı API'si
- [SPARK-47457] [SC-160234][SQL] Hadoop 3.4+ ile başa çıkabilmek için düzeltme
IsolatedClientLoader.supportsHadoopShadedClient
- [SPARK-47366] [SC-159348][SQL] parse_json uygulayın.
- [SPARK-46331] [SC-152982][SQL] DateTime ifadelerinin ve version() ifadesinin alt kümesinden CodegenFallback kaldırılıyor
- [SPARK-47395] [SC-159404] Diğer API'lere harmanlama ve harmanlama ekleme
- [SPARK-47437] [SC-160117][PYTHON][BAĞLAN] hata sınıfını düzeltme
DataFrame.sort*
- [SPARK-47174] [SC-154483][BAĞLAN][SS][1/2] İstemci tarafı akış sorgu dinleyicisi için sunucu tarafı SparkConnectListenerBusListener
- [SPARK-47324] [SC-158720][SQL] JDBC iç içe türler için eksik zaman damgası dönüştürmesi ekleme
- [SPARK-46962] [SC-158834][SS][PYTHON] Python akış veri kaynağı API'sine arabirim ekleme ve python akış veri kaynağını çalıştırmak için python çalışanı uygulama
- [SPARK-45827] [SC-158498][SQL] Veri türü denetimlerini CreatableRelationProvider'a taşıma
- [SPARK-47342] [SC-158874][SQL] ZAMAN DILIMINE SAHIP DB2 TIMESTAMP için TimestampNTZ desteği
- [SPARK-47399] [SC-159378][SQL] Harmanlamalarla ifadelerde oluşturulan sütunları devre dışı bırakma
- [SPARK-47146] [SC-158247][CORE] Sıralama birleştirme birleştirmesi yaparken olası iş parçacığı sızıntısı
- [SPARK-46913] [SC-159149][SS] transformWithState işleci ile işleme/olay süresi tabanlı zamanlayıcılar için destek ekleme
- [SPARK-47375] [SC-159063][SQL] içinde zaman damgası eşlemesi için yönergeler ekleme
JdbcDialect#getCatalystType
- [SPARK-47394] [SC-159282][SQL] H2Dialect için ZAMAN DILIMI ile TIMESTAMP desteği
- [SPARK-45827] "[SC-158498][SQL] Veri türü denetimlerini ...
- [SPARK-47208] [SC-159279][CORE] Temel ek yük belleğinin geçersiz kılınmasına izin ver
- [SPARK-42627] [SC-158021][SPARK-26494][SQL] YEREL SAAT DILIMI ILE Oracle TIMESTAMP desteği
- [SPARK-47055] [SC-156916][PYTHON] MyPy 1.8.0'a yükseltme
- [SPARK-46906] [SC-157205][SS] Akış için durum bilgisi olan işleç değişikliğini denetleme
- [SPARK-47391] [SC-159283][SQL] JDK 8 için test çalışması geçici çözümünü kaldırma
- [SPARK-47272] [SC-158960][SS] Durum API'si v2 için MapState uygulaması ekleyin.
- [SPARK-47375] [SC-159278][Belge][Takip] JDBC'nin preferTimestampNTZ seçenek belgesindeki bir hatayı düzeltme
- [SPARK-42328] [SC-157363][SQL] Hata sınıflarından _LEGACY_ERROR_TEMP_1175 kaldırma
- [SPARK-47375] [SC-159261][Belge][Takip] JDBC belgesinde preferTimestampNTZ seçenek açıklamasını düzeltme
- [SPARK-47344] [SC-159146] INVALID_IDENTIFIER hatanın kapsamını, tırnak içinde olmayan bir tanımlayıcıda '-' yakalamanın ötesine genişletip "IS ! NULL" ve diğerleri.
- [SPARK-47340] [SC-159039][SQL] StringType typename içindeki "harmanlama" değerini küçük harfle değiştirme
- [SPARK-47087] [SC-157077][SQL] Yapılandırma değeri denetiminde hata sınıfıyla Spark'ın özel durumunu yükseltin
- [SPARK-47327] [SC-158824][SQL] ICU Harmanlayıcısı'nda iş parçacığı güvenliği sorununu düzeltme
- [SPARK-47082] [SC-157058][SQL] Sınır dışı hata koşulunu düzeltme
- [SPARK-47331] [SC-158719][SS] İsteğe Bağlı Durum API'si v2 için SQL kodlayıcısını temel alan örnek sınıflarını/ilkelleri/POJO'ları kullanarak serileştirme.
- [SPARK-47250] [SC-158840][SS] RocksDB durum sağlayıcısı ve sütun ailelerinin kullanımı için ek doğrulamalar ve NERF değişiklikleri ekleme
- [SPARK-47328] [SC-158745][SQL] UCS_BASIC harmanlamayı UTF8_BINARY olarak yeniden adlandırın
- [SPARK-47207] [SC-157845][CORE] Destek
spark.driver.timeout
veDriverTimeoutPlugin
- [SPARK-47370] [SC-158956][Belge] Geçiş belgesi ekleme: Parquet dosyalarında TimestampNTZ tür çıkarımı
- [SPARK-47309] [SC-158827][SQL][XML] Şema çıkarım birimi testleri ekleme
- [SPARK-47295] [SC-158850][SQL] ve
endsWith
işlevleri içinstartsWith
ICU StringSearch eklendi - [SPARK-47343] [SC-158851][SQL] Değişken değeri yürütme anında null dize olduğunda
sqlString
NPE düzeltiliyor - [SPARK-46293] [SC-150117][BAĞLAN][PYTHON] Geçişli bağımlılığı kullanma
protobuf
- [SPARK-46795] [SC-154143][SQL] şununla
SparkUnsupportedOperationException
değiştirUnsupportedOperationException
:sql/core
- [SPARK-46087] [SC-149023][PYTHON] Belgelerde ve geliştirme gereksinimlerinde PySpark bağımlılıklarını eşitleme
- [SPARK-47169] [SC-158848][SQL] Harmanlanmış sütunlarda demeti devre dışı bırakma
- [SPARK-42332] [SC-153996][SQL] ComplexTypeMergingExpression'da gereksinimini SparkException olarak değiştirme
- [SPARK-45827] [SC-158498][SQL] Veri türü denetimlerini CreatableRelationProvider'a taşıma
- [SPARK-47341] [SC-158825][Bağlan] SparkConnectClientSuite'da birkaç testteki komutları ilişkilerle değiştirme
- [SPARK-43255] [SC-158026][SQL] _LEGACY_ERROR_TEMP_2020 hata sınıfını bir iç hatayla değiştirin
- [SPARK-47248] [SC-158494][SQL][HARMANLAMA] Geliştirilmiş dize işlevi desteği: içerir
- [SPARK-47334] [SC-158716][SQL]
withColumnRenamed
uygulamasını yeniden kullanmawithColumnsRenamed
- [SPARK-46442] [SC-153168][SQL] DS V2, PERCENTILE_CONT ve PERCENTILE_DISC göndermeyi destekler
- [SPARK-47313] [SC-158747][SQL] Scala eklendi. QueryExecution.toInternalError içinde MatchError işleme
- [SPARK-45827] [SC-158732][SQL] Java için değişken tekil türü ekleme
- [SPARK-47337] [SC-158743][SQL][DOCKER] DB2 docker görüntü sürümünü 11.5.8.0 sürümüne yükseltme
- [SPARK-47302] [SC-158609][SQL] Anahtar sözcüğü tanımlayıcı olarak harmanlama
- [SPARK-46817] [SC-154196][CORE] Komut ekleyerek
decommission
kullanımı düzeltmespark-daemon.sh
- [SPARK-46739] [SC-153553][SQL] Hata sınıfını ekleme
UNSUPPORTED_CALL
- [SPARK-47102] [SC-158253][SQL] Yapılandırma bayrağını
COLLATION_ENABLED
ekleme - [SPARK-46774] [SC-153925][SQL][AVRO] Avro yazma işlerinde kullanım dışı mapred.output.compress yerine mapreduce.output.fileoutputformat.compress kullanın
- [SPARK-45245] [SC-146961][PYTHON][BAĞLAN] PythonWorkerFactory: Çalışan geri bağlanmazsa zaman aşımı.
- [SPARK-46835] [SC-158355][SQL][Harmanlamalar] İkili olmayan harmanlamalar için birleştirme desteği
- [SPARK-47131] [SC-158154][SQL][HARMANLAMA] Dize işlevi desteği: contains, startswith, endswith
- [SPARK-46077] [SC-157839][SQL] JdbcDialect.compileValue dosyasında TimestampNTZConverter tarafından oluşturulan türü göz önünde bulundurun.
- [SPARK-47311] [SC-158465][SQL][PYTHON] PySpark'ın Python yolunda olmadığı Python özel durumlarını gizleme
- [SPARK-47319] [SC-158599][SQL] missingInput hesaplamayı geliştirme
- [SPARK-47316] [SC-158606][SQL] Postgres Dizisindeki TimestampNTZ düzeltmesi
- [SPARK-47268] [SC-158158][SQL][Harmanlamalar] Harmanlamalarla yeniden bölümlenme desteği
- [SPARK-47191] [SC-157831][SQL] Tablo/görünüm çıkarıldığında gereksiz ilişki aramasından kaçının
- [SPARK-47168] [SC-158257][SQL] Varsayılan harmanlanmamış dizelerle çalışırken parquet filtresi göndermeyi devre dışı bırakma
- [SPARK-47236] [SC-158015][CORE] Mevcut olmayan dosya girişini atlama düzeltmesi
deleteRecursivelyUsingJavaIO
- [SPARK-47238] [SC-158466][SQL] WSCG'de oluşturulan kodu yayın değişkeni yaparak yürütücü bellek kullanımını azaltın
- [SPARK-47249] [SC-158133][BAĞLAN] Gerçek durumlarına bakılmaksızın tüm bağlantı yürütmelerinin terk edilmiş olarak kabul edildiği hata düzeltildi
- [SPARK-47202] [SC-157828][PYTHON] tzinfo ile yazım hatası kesme tarih saatlerini düzeltme
- [SPARK-46834] [SC-158139][SQL][Harmanlamalar] Toplama desteği
- [SPARK-47277] [SC-158351][3.5] PySpark yardımcı işlevi assertDataFrameEqual akış DF'sini desteklememelidir
- [SPARK-47155] [SC-158473][PYTHON] Hata Sınıfı Sorununu Düzeltme
- [SPARK-47245] [SC-158163][SQL] INVALID_PARTITION_COLUMN_DATA_TYPE için hata kodunu geliştirme
- [SPARK-39771] [SC-158425][CORE] Çok fazla sayıda karıştırma bloğu oluşturulacaksa içine bir uyarı iletisi
Dependency
ekleyin. - [SPARK-47277] [SC-158329] PySpark yardımcı işlevi assertDataFrameEqual akış DF'sini desteklememelidir
- [SPARK-47293] [SC-158356][CORE] SparkSchema ile tek tek eklemek yerine batchSchema oluşturma
- [SPARK-46732] [SC-153517][BAĞLAN]Connect'in yapıt yönetimiyle Alt Sorgu/Yayın iş parçacığının çalışmasını sağlama
- [SPARK-44746] [SC-158332][PYTHON] Giriş tablolarını kabul eden işlevler için daha fazla Python UDTF belgesi ekleme
- [SPARK-47120] [SC-157517][SQL] Null karşılaştırması, Parquet filtresinde NPE'de üretilen alt sorgudan veri filtresi gönderme
- [SPARK-47251] [SC-158291][PYTHON] Komutun
sql
bağımsız değişkenindeargs
geçersiz türleri engelle - [SPARK-47251] "[SC-158121][PYTHON] Komutun
sql
bağımsız değişkenindenargs
geçersiz türleri engelle" - [SPARK-47015] [SC-157900][SQL] Harmanlanmış sütunlarda bölümleyi devre dışı bırakma
- [SPARK-46846] [SC-154308][CORE] Genişletmeyi
Serializable
açıkça yapmaWorkerResourceInfo
- [SPARK-46641] [SC-156314][SS] maxBytesPerTrigger eşiği ekleme
- [SPARK-47244] [SC-158122][BAĞLAN]
SparkConnectPlanner
iç işlevleri özel yapma - [SPARK-47266] [SC-158146][BAĞLAN]
ProtoUtils.abbreviate
Girişle aynı türü döndürme - [SPARK-46961] [SC-158183][SS] Tanıtıcıyı depolamak ve almak için ProcessorContext kullanma
- [SPARK-46862] [SC-154548][SQL] Çok satırlı modda CSV sütun ayıklamasını devre dışı bırakma
- [SPARK-46950] [SC-155803][CORE][SQL] Error sınıfını hizalama
not available codec
- [SPARK-46368] [SC-153236][CORE] REST Gönderim API'sinde destek
readyz
- [SPARK-46806] [SC-154108][PYTHON] Bağımsız değişken türü yanlış olduğunda spark.table için hata iletisini geliştirme
- [SPARK-47211] [SC-158008][BAĞLAN][PYTHON] Yoksayılan PySpark Connect dize harmanlaması düzeltildi
- [SPARK-46552] [SC-151366][SQL] şununla
SparkUnsupportedOperationException
değiştirUnsupportedOperationException
:catalyst
- [SPARK-47147] [SC-157842][PYTHON][SQL] PySpark harmanlanmış dize dönüştürme hatası düzeltildi
- [SPARK-47144] [SC-157826][BAĞLAN][SQL][PYTHON] CollateId protobuf alanı ekleyerek Spark Connect harmanlama hatasını düzeltme
- [SPARK-46575] [SC-153200][SQL][HIVE] HiveThriftServer2.startWithContext DevelopApi'nin yeniden denenebilir olmasını sağlayın ve ThriftServerWithSparkContextInHttpSuite'ın inceliğini düzeltin
- [SPARK-46696] [SC-153832][CORE] ResourceProfileManager'da işlev çağrıları değişken bildirimlerinden sonra gerçekleşmelidir
- [SPARK-47214] [SC-157862][Python] Sabit NULL bağımsız değişkenlerini ve diğer bağımsız değişken türlerini ayırt etmek için 'çözümle' yöntemi için UDTF API'sini oluşturma
- [SPARK-46766] [SC-153909][SQL][AVRO] AVRO veri kaynağı için ZSTD Arabellek Havuzu Desteği
- [SPARK-47192] [SC-157819] Bazı _LEGACY_ERROR_TEMP_0035 hatalarını dönüştürme
- [SPARK-46928] [SC-157341][SS] Rastgele Durum API'sine v2'de ListState desteği ekleyin.
- [SPARK-46881] [SC-154612][CORE] Destek
spark.deploy.workerSelectionPolicy
- [SPARK-46800] [SC-154107][CORE] Destek
spark.deploy.spreadOutDrivers
- [SPARK-45484] [SC-146014][SQL] Yanlış parquet sıkıştırma codec'i lz4raw kullanan hatayı düzeltin
- [SPARK-46791] [SC-154018][SQL] JavaTypeInference'ta Java Kümesini Destekleme
- [SPARK-46332] [SC-150224][SQL] Hata sınıfına geçiş
CatalogNotFoundException
CATALOG_NOT_FOUND
- [SPARK-47164] [SC-157616][SQL] Daha Geniş Türden Varsayılan Değer Yap v2'nin Dar Değişmez Değeri v1 ile aynı şekilde davranır
- [SPARK-46664] [SC-153181][CORE] Sıfır çalışan ve uygulama durumunda hızla kurtarmayı geliştirme
Master
- [SPARK-46759] [SC-153839][SQL][AVRO] Codec xz ve standart, avro dosyaları için sıkıştırma düzeyini destekler
Databricks ODBC/JDBC sürücü desteği
Databricks, son 2 yılda yayımlanan ODBC/JDBC sürücülerini destekler. Lütfen son yayınlanan sürücüleri indirin ve yükseltin (ODBC'yi indirin, JDBC'yi indirin).
Bkz . Databricks Runtime 15.2 bakım güncelleştirmeleri.
Sistem ortamı
- İşletim Sistemi: Ubuntu 22.04.4 LTS
- Java: Zulu 8.74.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.11.0
- R: 4.3.2
- Delta Gölü: 3.2.0
Yüklü Python kitaplıkları
Kitaplık | Sürüm | Kitaplık | Sürüm | Kitaplık | Sürüm |
---|---|---|---|---|---|
asttokens | 2.0.5 | astunparse | 1.6.3 | azure-core | 1.30.1 |
azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 | geri arama | 0.2.0 |
siyah | 23.3.0 | yanıp sönen | 1.4 | boto3 | 1.34.39 |
botocore | 1.34.39 | önbellek araçları | 5.3.3 | sertifikalı | 2023.7.22 |
cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
tıklama | 8.0.4 | cloudpickle | 2.2.1 | Comm | 0.1.2 |
konturlu | 1.0.5 | şifreleme | 41.0.3 | bisikletçi | 0.11.0 |
Cython | 0.29.32 | databricks-sdk | 0.20.0 | dbus-python | 1.2.18 |
hata ayıklama | 1.6.7 | dekoratör | 5.1.1 | daistlib | 0.3.8 |
giriş noktaları | 0.4 | Yürütme | 0.8.3 | modellere genel bakış | 1.1.1 |
dosya kilidi | 3.13.1 | fonttools | 4.25.0 | gitdb | 4.0.11 |
GitPython | 3.1.43 | google-api-core | 2.18.0 | google-auth | 2.29.0 |
google-cloud-core | 2.4.1 | google-cloud-storage | 2.16.0 | google-crc32c | 1.5.0 |
google-resumable-media | 2.7.0 | googleapis-common-protos | 1.63.0 | grpcio | 1.60.0 |
grpcio-status | 1.60.0 | httplib2 | 0.20.2 | idna | 3.4 |
importlib-metadata | 6.0.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
izodat | 0.6.1 | jedi | 0.18.1 | Jeepney | 0.7.1 |
jmespath | 0.10.0 | joblib | 1.2.0 | jupyter_client | 7.4.9 |
jupyter_core | 5.3.0 | anahtarlık | 23.5.0 | kiwisolver | 1.4.4 |
başlatma çubuğu | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.3 |
more-itertools | 8.10.0 | mypy uzantıları | 0.4.3 | nest-asyncio | 1.5.6 |
numpy | 1.23.5 | oauthlib | 3.2.0 | Ambalaj | 23,2 |
pandas | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
Patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
Yastık | 9.4.0 | Pip | 23.2.1 | platformdirs | 3.10.0 |
çizim | 5.9.0 | prompt-toolkit | 3.0.36 | proto-plus | 1.23.0 |
protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
ptyprocess | 0.7.0 | saf değerlendirme | 0.2.2 | serçe | 14.0.1 |
pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.52 |
pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.38 |
pyparsing | 3.0.9 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 |
pytz | 2022.7 | PyYAML | 6,0 | pyzmq | 23.2.0 |
istekler | 2.31.0 | rsa | 4,9 | s3transfer | 0.10.1 |
scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
Gizli Dizi | 3.3.1 | kurulum araçları | 68.0.0 | Altı | 1.16.0 |
smmap | 5.0.1 | sqlparse | 0.5.0 | ssh-import-id | 5.11 |
stack-data | 0.2.0 | statsmodeller | 0.14.0 | Azim | 8.2.2 |
threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | hortum | 6.3.2 |
traitlets | 5.7.1 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
ujson | 5.4.0 | katılımsız yükseltmeler | 0,1 | urllib3 | 1.26.16 |
virtualenv | 20.24.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
tekerlek | 0.38.4 | zipp | 3.11.0 |
Yüklü R kitaplıkları
R kitaplıkları Posit Paket Yöneticisi CRAN anlık görüntüsünden yüklenir.
Kitaplık | Sürüm | Kitaplık | Sürüm | Kitaplık | Sürüm |
---|---|---|---|---|---|
oku seçin | 14.0.0.2 | askpass | 1.2.0 | assertthat | 0.2.1 |
backports | 1.4.1 | temel | 4.3.2 | base64enc | 0.1-3 |
bigD | 0.2.0 | bit | 4.0.5 | bit64 | 4.0.5 |
bitops | 1.0-7 | blob | 1.2.4 | başlatma | 1.3-28 |
Brew | 1.0-10 | Brio | 1.1.4 | süpürge | 1.0.5 |
bslib | 0.6.1 | önbellek | 1.0.8 | çağıran | 3.7.3 |
şapka işareti | 6.0-94 | cellranger | 1.1.0 | chron | 2.3-61 |
class | 7.3-22 | cli | 3.6.2 | küçük resim | 0.8.0 |
saat | 0.7.0 | cluster | 2.1.4 | codetools | 0.2-19 |
renk alanı | 2.1-0 | commonmark | 1.9.1 | derleyicisi | 4.3.2 |
config | 0.3.2 | Çakışan | 1.2.0 | cpp11 | 0.4.7 |
Crayon | 1.5.2 | kimlik bilgileri | 2.0.1 | Curl | 5.2.0 |
data.table | 1.15.0 | veri kümeleri | 4.3.2 | DBİ | 1.2.1 |
dbplyr | 2.4.0 | Desc | 1.4.3 | geliştirici araçları | 2.4.5 |
diyagram | 1.6.5 | diffobj | 0.3.5 | düzenlemek | 0.6.34 |
aşağı aydınlatma | 0.4.3 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
e1071 | 1.7-14 | üç nokta | 0.3.2 | değerlendir | 0.23 |
fansi | 1.0.6 | farver | 2.1.1 | fastmap | 1.1.1 |
fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
yabancı | 0.8-85 | demirhane | 0.2.0 | Fs | 1.6.3 |
gelecek | 1.33.1 | future.apply | 1.11.1 | gargara | 1.5.2 |
Generics | 0.1.3 | gert | 2.0.1 | ggplot2 | 3.4.4 |
gh | 1.4.0 | git2r | 0.33.0 | gitcreds | 0.1.2 |
glmnet | 4.1-8 | globaller | 0.16.2 | tutkal | 1.7.0 |
googledrive | 2.1.1 | googlesheets4 | 1.1.1 | Gower | 1.0.1 |
grafikler | 4.3.2 | grDevices | 4.3.2 | Kılavuz | 4.3.2 |
gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.10.1 |
gtable | 0.3.4 | sabit hat | 1.3.1 | liman | 2.5.4 |
daha yüksek | 0.10 | Hms | 1.1.3 | htmltools | 0.5.7 |
htmlwidgets | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
httr2 | 1.0.0 | Kimlik | 1.0.1 | ini | 0.3.1 |
ipred | 0.9-14 | isoband | 0.2.7 | Yineleyicilerde | 1.0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.8 | sulu su | 0.1.0 |
KernSmooth | 2.23-21 | örgü örme | 1.45 | Etiketleme | 0.4.3 |
sonra | 1.3.2 | kafes | 0.21-8 | lav | 1.7.3 |
yaşam döngüsü | 1.0.4 | dinleyici | 0.9.1 | lubridate | 1.9.3 |
magrittr | 2.0.3 | markdown | 1.12 | KÜTLE | 7.3-60 |
Matris | 1.5-4.1 | not defteri | 2.0.1 | yöntemler | 4.3.2 |
mgcv | 1.8-42 | Mıme | 0,12 | miniUI | 0.1.1.1 |
mlflow | 2.10.0 | ModelMetrics | 1.2.2.2 | modelleyici | 0.1.11 |
munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
numDeriv | 2016.8-1.1 | openssl | 2.1.1 | parallel | 4.3.2 |
paralel olarak | 1.36.0 | sütun | 1.9.0 | pkgbuild | 1.4.3 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.4 |
plogr | 0.2.0 | plyr | 1.8.9 | övgü | 1.0.0 |
prettyunits | 1.2.0 | Yordam | 1.18.5 | processx | 3.8.3 |
prodlim | 2023.08.28 | profvis | 0.3.8 | ilerleme | 1.2.3 |
ilerleme durumu | 0.14.0 | Söz | 1.2.1 | Proto | 1.0.0 |
proxy | 0.4-27 | Ps | 1.7.6 | purrr | 1.0.2 |
R6 | 2.5.1 | ragg | 1.2.7 | randomForest | 4.7-1.1 |
rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | tepkiye dönüştürülebilir | 0.4.4 |
reactR | 0.5.0 | readr | 2.1.5 | readxl | 1.4.3 |
yemek tarifleri | 1.0.9 | Rövanş | 2.0.0 | rematch2 | 2.1.2 |
Kumanda | 2.4.2.1 | reprex | 2.1.0 | yeniden şekillendirme2 | 1.4.4 |
rlang | 1.1.3 | rmarkdown | 2,25 | RODBC | 1.3-23 |
roxygen2 | 7.3.1 | rpart | 4.1.21 | rprojroot | 2.0.4 |
Rserve | 1.8-13 | RSQLite | 2.3.5 | rstudioapi | 0.15.0 |
ters çevirmeler | 2.1.2 | rvest | 1.0.3 | Sass | 0.4.8 |
Terazi | 1.3.0 | seçici | 0.4-2 | sessioninfo | 1.2.2 |
şekil | 1.4.6 | parlak | 1.8.0 | sourcetools | 0.1.7-1 |
sparklyr | 1.8.4 | uzamsal | 7.3-15 | Splines | 4.3.2 |
sqldf | 0.4-11 | KAREM | 2021.1 | Istatistik | 4.3.2 |
istatistikler4 | 4.3.2 | stringi | 1.8.3 | dizeleyici | 1.5.1 |
beka | 3.5-5 | swagger | 3.33.1 | sys | 3.4.2 |
systemfonts | 1.0.5 | tcltk | 4.3.2 | test edin | 3.2.1 |
metin şekillendirme | 0.3.7 | tibble | 3.2.1 | derleyici | 1.3.1 |
tidyselect | 1.2.0 | tidyverse | 2.0.0 | zaman değişimi | 0.3.0 |
timeDate | 4032.109 | tinytex | 0.49 | araçlar | 4.3.2 |
tzdb | 0.4.0 | urlchecker | 1.0.1 | usethis | 2.2.2 |
utf8 | 1.2.4 | Yardımcılar | 4.3.2 | uuid | 1.2-0 |
V8 | 4.4.1 | vctr'lar | 0.6.5 | viridisLite | 0.4.2 |
Vroom | 1.6.5 | Waldo | 0.5.2 | bıyık | 0.4.1 |
withr | 3.0.0 | xfun | 0.41 | xml2 | 1.3.6 |
xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.8 |
zeallot | 0.1.0 | Zip | 2.3.1 |
Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)
Grup Kimliği | Yapıt Kimliği | Sürüm |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.610 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.610 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.610 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.610 |
com.amazonaws | aws-java-sdk-config | 1.12.610 |
com.amazonaws | aws-java-sdk-core | 1.12.610 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.610 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.610 |
com.amazonaws | aws-java-sdk-directory | 1.12.610 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.610 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.610 |
com.amazonaws | aws-java-sdk-ecs | 1.12.610 |
com.amazonaws | aws-java-sdk-efs | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.610 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.610 |
com.amazonaws | aws-java-sdk-emr | 1.12.610 |
com.amazonaws | aws-java-sdk-glacier | 1.12.610 |
com.amazonaws | aws-java-sdk-glue | 1.12.610 |
com.amazonaws | aws-java-sdk-iam | 1.12.610 |
com.amazonaws | aws-java-sdk-importexport | 1.12.610 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.610 |
com.amazonaws | aws-java-sdk-kms | 1.12.610 |
com.amazonaws | aws-java-sdk-lambda | 1.12.610 |
com.amazonaws | aws-java-sdk-logs | 1.12.610 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.610 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.610 |
com.amazonaws | aws-java-sdk-rds | 1.12.610 |
com.amazonaws | aws-java-sdk-redshift | 1.12.610 |
com.amazonaws | aws-java-sdk-route53 | 1.12.610 |
com.amazonaws | aws-java-sdk-s3 | 1.12.610 |
com.amazonaws | aws-java-sdk-ses | 1.12.610 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.610 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.610 |
com.amazonaws | aws-java-sdk-sns | 1.12.610 |
com.amazonaws | aws-java-sdk-sqs | 1.12.610 |
com.amazonaws | aws-java-sdk-ssm | 1.12.610 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.610 |
com.amazonaws | aws-java-sdk-sts | 1.12.610 |
com.amazonaws | aws-java-sdk-support | 1.12.610 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.610 |
com.amazonaws | jmespath-java | 1.12.610 |
com.clearspring.analytics | akış | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | databricks-sdk-java | 0.17.1 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo gölgeli | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | sınıf arkadaşı | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
com.fasterxml.jackson.core | jackson-core | 2.15.2 |
com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
com.github.ben-manes.caffeine | kafein | 2.9.3 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1-natives |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1-natives |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
com.github.luben | zstd-jni | 1.5.5-4 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.10.1 |
com.google.crypto.tink | Tink | 1.9.0 |
com.google.errorprone | error_prone_annotations | 2.10.0 |
com.google.flatbuffers | flatbuffers-java | 23.5.26 |
com.google.guava | guava | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.helger | Profiler | 1.1.1 |
com.ibm.icu | icu4j | 72.1 |
com.jcraft | jsch | 0.1.55 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.ning | compress-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.4.3 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.3 |
com.univocity | univocity-ayrıştırıcıları | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.16.0 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.13.0 |
commons-lang | commons-lang | 2,6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 3.0.3 |
dev.ludovic.netlib | Blas | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.25 |
io.delta | delta-sharing-client_2.12 | 1.0.5 |
io.dropwizard.metrics | metrics-annotation | 4.2.19 |
io.dropwizard.metrics | metrics-core | 4.2.19 |
io.dropwizard.metrics | metrics-graphite | 4.2.19 |
io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
io.dropwizard.metrics | metrics-jmx | 4.2.19 |
io.dropwizard.metrics | metrics-json | 4.2.19 |
io.dropwizard.metrics | metrics-jvm | 4.2.19 |
io.dropwizard.metrics | metrics-servlets | 4.2.19 |
io.netty | netty-all | 4.1.96.Final |
io.netty | netty-buffer | 4.1.96.Final |
io.netty | netty-codec | 4.1.96.Final |
io.netty | netty-codec-http | 4.1.96.Final |
io.netty | netty-codec-http2 | 4.1.96.Final |
io.netty | netty-codec-socks | 4.1.96.Final |
io.netty | netty-common | 4.1.96.Final |
io.netty | netty-handler | 4.1.96.Final |
io.netty | netty-handler-proxy | 4.1.96.Final |
io.netty | netty-resolver | 4.1.96.Final |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
io.netty | netty-tcnative-classes | 2.0.61.Final |
io.netty | netty-transport | 4.1.96.Final |
io.netty | netty-transport-classes-epoll | 4.1.96.Final |
io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.96.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | koleksiyoncu | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | etkinleştirme | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaction-api | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | turşu | 1.3 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | süper csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.10.11 |
org.apache.ant | ant-jsch | 1.10.11 |
org.apache.ant | ant-launcher | 1.10.11 |
org.apache.arrow | ok biçimi | 15.0.0 |
org.apache.arrow | ok-bellek çekirdeği | 15.0.0 |
org.apache.arrow | ok-bellek-netty | 15.0.0 |
org.apache.arrow | ok-vektör | 15.0.0 |
org.apache.avro | avro | 1.11.3 |
org.apache.avro | avro-ipc | 1.11.3 |
org.apache.avro | avro eşlemeli | 1.11.3 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.23.0 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | curator-client | 2.13.0 |
org.apache.curator | küratör çerçevesi | 2.13.0 |
org.apache.curator | curator-recipes | 2.13.0 |
org.apache.datasketches | datasketches-java | 3.1.0 |
org.apache.datasketches | datasketches-memory | 2.0.0 |
org.apache.derby | Derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | sarmaşık | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
org.apache.logging.log4j | log4j-api | 2.22.1 |
org.apache.logging.log4j | log4j-core | 2.22.1 |
org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
org.apache.orc | orc-core | 1.9.2 gölgeli-protobuf |
org.apache.orc | orc-mapreduce | 1.9.2 gölgeli-protobuf |
org.apache.orc | orc-shims | 1.9.2 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
org.apache.xbean | xbean-asm9 gölgeli | 4.23 |
org.apache.yetus | hedef kitle ek açıklamaları | 0.13.0 |
org.apache.zookeeper | zookeeper | 3.6.3 |
org.apache.zookeeper | zookeeper-jute | 3.6.3 |
org.checkerframework | dama-qual | 3.31.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-derleyici | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.collections | eclipse-collections | 11.1.0 |
org.eclipse.collections | eclipse-collections-api | 11.1.0 |
org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-bulucu | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
org.glassfish.jersey.core | jersey-client | 2.40 |
org.glassfish.jersey.core | jersey-common | 2.40 |
org.glassfish.jersey.core | jersey-server | 2.40 |
org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
org.hibernate.validator | hibernate-validator | 6.1.7.Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3.29.2-GA |
org.jboss.logging | jboss günlüğü | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | Ek açıklama -ları | 17.0.0 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mlflow | mlflow-spark_2.12 | 2.9.1 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.6.1 |
org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
org.roaringbitmap | dolgular | 0.9.45-databricks |
org.rocksdb | rocksdbjni | 8.3.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.15 |
org.scala-lang | scala-library_2.12 | 2.12.15 |
org.scala-lang | scala-reflect_2.12 | 2.12.15 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test arabirimi | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | sca en son uyumlu | 3.2.15 |
org.scalatest | scalatest-core_2.12 | 3.2.15 |
org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatest | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | jul-to-slf4j | 2.0.7 |
org.slf4j | slf4j-api | 2.0.7 |
org.slf4j | slf4j-simple | 1.7.25 |
org.threeten | threeten-extra | 1.7.1 |
org.tukaani | xz | 1.9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
org.xerial | sqlite-jdbc | 3.42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.3 |
org.yaml | snakeyaml | 2.0 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |