Databricks Runtime 11.1 (desteklenmiyor)

  • Makale

Aşağıdaki sürüm notları, Apache Spark 3.3.0 tarafından desteklenen Databricks Runtime 11.1 hakkında bilgi sağlar. Databricks bu görüntüleri Temmuz 2022'de yayımladı.

Yeni özellikler ve geliştirmeler

Foton GA'dır

Photon artık Databricks Runtime 11.1 sürümünden itibaren genel kullanıma sunulmuştur. Photon, doğrudan Apache Spark API'leriyle uyumlu olacak şekilde yazıldığından mevcut kodunuzla çalışan, Azure Databricks üzerindeki yerel vektörleştirilmiş sorgu altyapısıdır. Photon, modern donanımlardan yararlanmak için C++ dilinde geliştirilmiştir ve CPU'lardaki veri ve yönerge düzeyinde paralellikten yararlanarak gerçek dünya verilerinde ve uygulamalarında performansı geliştirerek veri gölünüzde yerel olarak yararlanmak için vektörleştirilmiş sorgu işlemedeki en son teknikleri kullanır.

Photon, mevcut SQL ve DataFrame API çağrılarınızı daha hızlı çalıştıran ve iş yükü başına toplam maliyetinizi azaltan yüksek performanslı çalışma zamanının bir parçasıdır. Photon, Databricks SQL ambarlarında varsayılan olarak kullanılır.

Yeni özellikler ve geliştirmeler şunlardır:

  • Yeni vektörleştirilmiş sıralama işleci
  • Yeni vektörleştirilmiş pencere işlevleri
  • Tüm bulutlarda yeni örnek türleri ve boyutları

Sınırlamalar:

  • Scala/Python UDF'leri Photon tarafından desteklenmiyor
  • RDD, Photon tarafından desteklenmiyor
  • Yapılandırılmış Akış Photon tarafından desteklenmiyor

Daha fazla bilgi için aşağıdaki Photon duyurularına bakın.

Foton: Yeni vektörleştirilmiş sıralama işleci

Photon artık sorgu , veya CLUSTER_BYile bir pencere işlevi içerdiğinde SORT_BYiçin vektörleştirilmiş sıralamayı ORDER BYdestekliyor.

Sınırlamalar: Foton genel bir ORDER BY yan tümceyi desteklemez. Pencere değerlendirmesi için sıralamalar fotoğraflanır, ancak genel sıralama Spark'ta çalışmaya devam eder.

Foton: Yeni vektörleştirilmiş pencere işlevleri

Foton artık birçok çerçeve türü ve işlevi için vektörleştirilmiş pencere işlevi değerlendirmesini destekliyor. Yeni pencere işlevleri şunlardır: row_number, rank, dense_rank, lag, lead, , percent_rank, ntileve nth_value. Desteklenen pencere çerçevesi türleri: çalıştırma (UNBOUNDED PRECEDING AND CURRENT ROW), ilişkisiz ()UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING çalıştırma, büyütme (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) ve küçültme (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Sınırlamalar:

  • Foton yalnızca ROWS tüm çerçeve türlerinin sürümlerini destekler.
  • Foton henüz kayan çerçeve türünü (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING ) desteklemez.

Foton: Desteklenen örnek türleri

  • dds_v5
  • ds_v5
  • eas_v4
  • eds_v4
  • eds_v5
  • es_v5
  • las_v3
  • ls_v3

Değişiklik veri akışı artık aralık dışı zaman damgalarını otomatik olarak işleyebilir

Değişiklik veri akışı (CDF) artık hata oluşturmadan en son işlemenin sürümünü geçen zaman damgalarını veya sürümleri sağlamanız için yeni bir moda sahip. Bu mod varsayılan olarak devre dışıdır. Yapılandırmayı spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabledtrueolarak ayarlayarak etkinleştirebilirsiniz.

SQL işlevlerini açıklama ve gösterme artık çıktılarında Unity Kataloğu adlarını gösteriyor (Genel Önizleme)

, , DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, , EXPLAINve SHOW CREATE TABLE komutları DESC TABLEartık her zaman çıktılarında katalog adını gösterir.

Otomatik Yükleyici'de Parquet dosyaları için şema çıkarımı ve evrimi (Genel Önizleme)

Otomatik Yükleyici artık Parquet dosyaları için şema çıkarımı ve evrimi destekliyor. JSON, CSV ve Avro biçimlerinde olduğu gibi artık kurtarılan veri sütununu kullanarak Parquet dosyalarınızda görünebilecek beklenmeyen verileri kurtarabilirsiniz. Bu, beklenen veri türünde ayrıştırılamayan verileri, farklı bir büyük/küçük harfe sahip sütunları veya beklenen şemanın parçası olmayan ek sütunları içerir. Gelen verilere yeni sütunlar eklerken şemayı otomatik olarak geliştirmek için Otomatik Yükleyici'yi yapılandırabilirsiniz. Bkz . Otomatik Yükleyici'de şema çıkarımı ve evrimi yapılandırma.

Otomatik Yükleyici artık Avro (GA) için şema geliştirmeyi destekliyor

Bkz . Otomatik Yükleyici'de şema çıkarımı ve evrimi yapılandırma.

Dinamik bölüm üzerine yazmalar için Delta Lake desteği

Delta Lake artık dinamik bölümün üzerine yazma modunun yazma işleminin yeni verileri işlediği her mantıksal bölümdeki tüm mevcut verilerin üzerine yazılmasını sağlar. Bkz . Delta Lake ile verilerin üzerine seçmeli olarak yazma.

Unity Kataloğu'nda oluşturulan nesneler için bilgi şeması desteği

Bilgi şeması, tablolar ve görünümler, kısıtlamalar ve yordamlar gibi çeşitli veritabanı nesnelerinin meta verilerine sql tabanlı, kendi kendini açıklayan bir API sağlar. Bilgi şemasında, şema kataloğu tarafından bilinen ve bkz. ayrıcalıklı olduğunuz nesneleri açıklayan bir görünüm kümesi bulursunuz. Kataloğun SYSTEM bilgi şeması, meta veri deposu içindeki tüm kataloglardaki nesneler hakkındaki bilgileri döndürür. Bkz. Bilgi şeması.

Unity Kataloğu ile Delta Lake tablolarında bilgilendirme kısıtlamaları (Genel Önizleme)

Artık Unity Kataloğu ile Delta Lake tablolarında bilgi birincil anahtarı ve yabancı anahtar kısıtlamaları tanımlayabilirsiniz. Bilgilendirme kısıtlamaları uygulanmaz. Bkz. CONSTRAINT yan tümcesi.

Unity Kataloğu GA'dır

Unity Kataloğu artık Databricks Runtime 11.1 sürümünden itibaren genel kullanıma sunulmuştur. Bkz. Unity Kataloğu nedir?.

Delta Sharing GA'dır

Delta Sharing artık Databricks Runtime 11.1 sürümünden itibaren genel kullanıma sunuldu.

Databricks ile Databricks Delta Sharing arasında belirteç alışverişine gerek kalmadan tam olarak yönetilir. Kullanıcı arabiriminde veya SQL ve REST API'leriyle sağlayıcılar, alıcılar ve paylaşımlar oluşturabilir ve yönetebilirsiniz.

Bazı özellikler arasında alıcı erişimini kısıtlama, IP erişim listeleri ve bölge kısıtlamalarıyla verileri sorgulama ve Delta Sharing yönetimini yönetici olmayanlara devretme sayılabilir. Ayrıca Veri Akışlarını Değiştir ile verilerde yapılan değişiklikleri sorgulayabilir veya artımlı sürümleri paylaşabilirsiniz. Bkz . Delta Sharing kullanarak verileri ve yapay zeka varlıklarını güvenli bir şekilde paylaşma.

Davranış değişiklikleri

DESCRIBE TABLE ve SHOW TABLE PROPERTIES için hassas özellikler redaction

DESCRIBE TABLE ve SHOW TABLE PROPERTIES komutları artık hassas özellikleri yeniden işlemeye devam etti.

Databricks Runtime 11.1 ve üzeri ile iş kümeleri varsayılan olarak tek kullanıcı erişim moduna geçer

Unity Kataloğu'na uygun olmak için, iş kullanıcı arabirimi veya işler API'si aracılığıyla oluşturulan Databricks Runtime 11.1 ve üzerini kullanan iş kümeleri varsayılan olarak tek kullanıcı erişim moduna geçer. Tek Kullanıcı erişim modu çoğu programlama dilini, küme özelliğini ve veri idaresi özelliklerini destekler. Kullanıcı arabirimi veya API aracılığıyla paylaşılan erişim modunu yapılandırmaya devam edebilirsiniz, ancak diller veya özellikler sınırlı olabilir.

Kitaplık yükseltmeleri

  • Yükseltilen Python kitaplıkları:
    • 3.6.0 ile 3.7.1 arasında dosya kilidi
    • çizim 5.6.0 ile 5.8.2
    • 3.20.1 ile 4.21.2 arasındaki protobuf
  • Yükseltilen R kitaplıkları:
    • chron from 2.3-56 to 2.3-57
    • DBI 1.1.2 ile 1.1.3
    • dbplyr 2.1.1 ile 2.2.0
    • e1071 1.7-9 ile 1.7-11 arası
    • 1.25.0'dan 1.26.1'e gelecek
    • 0.14.0 ile 0.15.1 genelleri
    • 0.2.0 ile 1.1.0
    • 0,9-12 ile 0,9-13 arası ipred
    • 2.0.0 ile 2.0.2 arasını açar
    • paralel olarak 1.31.1 ile 1.32.0
    • 3.5.3 ile 3.6.1 arasinda processx
    • ilerleme 0.10.0 ile 0.10.1
    • 0,4-26 ile 0,4-27 arası ara sunucu
    • ps from 1.7.0 to 1.7.1
    • randomForest from 4.7-1 to 4.7-1.1
    • roxygen2 7.1.2 ile 7.2.0
    • 1,8-10 ile 1,8-11 arasında Rserve
    • 2.2.13 ile 2.2.14 arasında RSQLite
    • sparklyr 1.7.5 ile 1.7.7
    • tinytex 0,38'den 0,40'a
    • 2.1.5 ile 2.1.6
    • 0,30 ile 0,31 xfun
  • Yükseltilen Java kitaplıkları:
    • 0.4.0 ile 0.5.0 arasındaki io.delta.delta-sharing-spark_2.12

Apache Spark

Databricks Runtime 11.2, Apache Spark 3.3.0'ı içerir. Bu sürüm, Databricks Runtime 11.1'e (desteklenmeyen) dahil olan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

  • [SPARK-40054] [SQL] try_cast() hata işleme söz dizimini geri yükleme
  • [SPARK-39489] [CORE] Json4s yerine Jackson kullanarak olay günlüğü JsonProtocol performansını geliştirme
  • [SPARK-39319] [CORE] [SQL] Sorgu bağlamlarını bir parçası olarak oluşturma SparkThrowable
  • [SPARK-40085] [SQL] Hataları göstermek için IllegalStateException yerine INTERNAL_ERROR hata sınıfını kullanın
  • [SPARK-40001] [SQL] JSON DEFAULT sütunlarına NULL yazma işlemi yapın ve depolama alanına 'null' yazın
  • [SPARK-39635] [SQL] DS v2 özel ölçüm API'sinde sürücü ölçümlerini destekleme
  • [SPARK-39184] [SQL] Büyük harfli sonuç dizisini tarih ve zaman damgası dizilerinde işleme
  • [SPARK-40019] [SQL] ArrayType'ın containsNull açıklamasını yeniden düzenleme ve collectionOperator'ın ifadesindeki yanlış anlama mantığını yeniden düzenleme containsNull
  • [SPARK-39989] [SQL] Katlanabilir ifadeyse tahmin sütunu istatistiklerini destekleme
  • [SPARK-39926] [SQL] Vektörleştirilmemiş Parquet taramaları için varsayılan sütun desteği sütunundaki hata düzeltildi
  • [SPARK-40052] [SQL] VectorizedDeltaBinaryPackedReader'da doğrudan bayt arabelleklerini işleme
  • [SPARK-40044] [SQL] Atama taşması hatalarında hedef aralık türünü düzeltme
  • [SPARK-39835] [SQL] Düzeltme EliminateSorts yerel sıralamanın altında genel sıralamayı kaldırıyor
  • [SPARK-40002] [SQL] Ntile kullanarak pencere boyunca sınırı aşağı itme
  • [SPARK-39976] [SQL] ArrayIntersect sol ifadede null değerini doğru işlemelidir
  • [SPARK-39985] [SQL] DataFrame'lerden eklenenlerde örtük DEFAULT sütun değerlerini etkinleştirme
  • [SPARK-39776] [SQL] JOIN ayrıntılı dizesi Birleştirme türü eklemelidir
  • [SPARK-38901] [SQL] DS V2, aşağı itme sair işlevlerini destekler
  • [SPARK-40028] [SQL] [Takip] Dize işlevleri örneklerini geliştirme
  • [SPARK-39983] [CORE] [SQL] Seri durumdan çıkarılmamış yayın ilişkilerini sürücüde önbelleğe alma
  • [SPARK-39812] [SQL] ile oluşturan AggregateExpression kodu basitleştirme toAggregateExpression
  • [SPARK-40028] [SQL] Dize ifadeleri için ikili örnekler ekleme
  • [SPARK-39981] [SQL] Atamada QueryExecutionErrors.castingCauseOverflowErrorInTableInsert özel durumunu oluşturma
  • [SPARK-40007] [PYTHON] [SQL] İşlevlere 'mod' ekleme
  • [SPARK-40008] [SQL] ANSI aralıklarına integral atama desteği
  • [SPARK-40003] [PYTHON] [SQL] İşlevlere 'ortanca' ekleme
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand sonuç ilişkisini geri almalıdır
  • [SPARK-39951] [SQL] İç içe alanlar için Parquet V2 sütunlu denetimini güncelleştirme
  • [SPARK-39775] [CORE] [AVRO] Avro şemalarını ayrıştırırken varsayılan değerleri doğrulamayı devre dışı bırakma
  • [SPARK-33236] [karıştırma] DBR 11.x'e geri bağlantı: Yeniden başlatmayı koruyarak çalışmayı korumak için NM düzeyinde db'de durum depolamak için Anında iletme tabanlı karıştırma hizmetini etkinleştirin
  • [SPARK-39836] [SQL] Yaygın yöntemi ayıklayarak V2ExpressionBuilder'i basitleştirin.
  • [SPARK-39867] [SQL] Genel sınır OrderPreservingUnaryNode'yi devralmamalıdır
  • [SPARK-39873] [SQL] Kaldırma OptimizeLimitZero ve birleştirme EliminateLimits
  • [SPARK-39961] [SQL] DS V2 anında iletme, yayın güvenliyse Döküm'e çevirin
  • [SPARK-39872] [SQL] içinde Dizi giriş api'siyle kullanılacak şekilde BytePackerForLong#unpack8Values değiştirme VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Gereksiz AliasHelper veya PredicateHelper bazı kurallar için kaldırma
  • [SPARK-39962] [WARMFIX] [ES-393486] [PYTHON] [SQL] Grup öznitelikleri boş olduğunda projeksiyonu uygulama
  • [SPARK-39900] [SQL] İkili biçimin koşul gönderimindeki kısmi veya olumsuz koşula yönelik adres
  • [SPARK-39904] [SQL] inferDate'ı tercihlerTarihi olarak yeniden adlandırın ve CSV veri kaynağındaki seçeneğin semantiğini netleştirin
  • [SPARK-39958] [SQL] Özel ölçüm nesnesi yüklenemediğinde uyarı günlüğü ekleme
  • [SPARK-39936] [SQL] Şemayı Spark Görünümlerinin özelliklerinde depolama
  • [SPARK-39932] [SQL] WindowExec son bölüm arabelleği temizlemelidir
  • [SPARK-37194] [SQL] Dinamik bölüm değilse v1 yazmada gereksiz sıralama yapmaktan kaçının
  • [SPARK-39902] [SQL] SparkUI'de Spark planı tarama düğümüne Tarama ayrıntıları ekleme
  • [SPARK-39865] [SQL] Tablo eklemenin taşma hatalarında doğru hata iletilerini göster
  • [SPARK-39940] [SS] DSv1 havuzuyla akış sorgusundaki katalog tablosunu yenileme
  • [SPARK-39827] [SQL] int taşmasında hata sınıfını ARITHMETIC_OVERFLOW kullanma add_months()
  • [SPARK-39914] [SQL] V1 Filtresi dönüştürmesine DS V2 Filtresi ekleme
  • [SPARK-39857] [SQL] El ile DBR 11.x arka bağlantı noktası; V2ExpressionBuilder In koşulu #43454 için yanlış LiteralValue veri türünü kullanıyor
  • [SPARK-39840] [SQL] [PYTHON] PythonArrowOutput'a simetri olarak PythonArrowInput'u hesaplama
  • [SPARK-39651] [SQL] Rand ile karşılaştırmak belirleyiciyse, budama filtresi koşulu
  • [SPARK-39877] [PYTHON] PySpark DataFrame API'sine unpivot ekleme
  • [SPARK-39847] [WARMFIX] [SS] Çağıran iş parçacığı kesintiye uğrarsa RocksDBLoader.loadLibrary() içindeki yarış durumu düzeltildi
  • [SPARK-39909] [SQL] JDBCV2Suite için aşağı gönderme bilgilerinin denetimini düzenleme
  • [SPARK-39834] [SQL] [SS] DataFrame'den geliyorsa LogicalRDD'nin kaynak istatistiklerini ve kısıtlamalarını ekleyin
  • [SPARK-39849] [SQL] Dataset.as(StructType) eksik yeni sütunları null değerle dolduruyor
  • [SPARK-39860] [SQL] Diğer ifadeler Koşul'un kapsamını genişletmelidir
  • [SPARK-39823] [SQL] [PYTHON] pyspark'ta Dataset.as Dataset.to olarak yeniden adlandırın ve DataFrame.to ekleyin
  • [SPARK-39918] [SQL] [KÜÇÜK] Hata iletisindeki "karşılaştırılamaz" sözcüğünü "uyumsuz" ile değiştirin
  • [SPARK-39857] [SQL] [3.3] V2ExpressionBuilder In koşulu için yanlış LiteralValue veri türünü kullanıyor
  • [SPARK-39862] [SQL] DBR 11.x'i hedefleyen PR 43654 için el ile geri bağlantı noktası: ALTER TABLE'a izin verecek/reddedecek şekilde SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS güncelleştir ... COLUMN komutlarını ayrı ayrı EKLEYIN.
  • [SPARK-39844] [SQL] DBR 11.x'i hedefleyen PR 43652 için el ile geri bağlantı noktası
  • [SPARK-39899] [SQL] İleti parametrelerinin 'a geçirilmesi düzeltilir InvalidUDFClassException
  • [SPARK-39890] [SQL] TakeOrderedAndProjectExec'in AliasAwareOutputOrdering devralmasını sağlama
  • [SPARK-39809] [PYTHON] PySpark'ta CharType desteği
  • [SPARK-38864] [SQL] Veri Kümesine unpivot / melt ekleme
  • [SPARK-39864] [SQL] Lazily register ExecutionListenerBus
  • [SPARK-39808] [SQL] Toplama işlevi MODE'unu destekleme
  • [SPARK-39839] [SQL] UnsafeRow yapısal bütünlük denetiminde sıfır olmayan offsetAndSize ile null değişken uzunluklu Ondalık özel durumunu işleme
  • [SPARK-39875] [SQL] Son sınıftaki yöntemi veya olarak private değiştirin protectedpackage-visible
  • [SPARK-39731] [SQL] TARIHLERI DÜZELTilmiş zaman ayrıştırıcı ilkesiyle "yyMdd" biçiminde ayrıştırırken CSV ve JSON veri kaynaklarında oluşan sorun düzeltildi
  • [SPARK-39805] [SS] Tetikleyiciyi Kaldır.Bir Kez ve Tetikleyiciyi Yükselt.AvailableNow
  • [SPARK-39784] [SQL] Catalyst İfadesini veri kaynağı filtresine çevirdikten sonra veri kaynağı filtresinin sağ tarafına Değişmez Değerler koyun
  • [SPARK-39672] [SQL] [3.1] Bağıntılı alt sorgu ile filtre uygulamadan önce projeyi kaldırma düzeltildi
  • [SPARK-39552] [SQL] v1 ve v2'i birleştirme DESCRIBE TABLE
  • [SPARK-39806] [SQL] Bölümlenmiş tabloya erişmek _metadata sorguyu kilitleyebilir
  • [SPARK-39810] [SQL] Catalog.tableExists iç içe ad alanını işlemelidir
  • [SPARK-37287] [SQL] FileFormatWriter'dan dinamik bölüm ve demet sıralamayı çekme
  • [SPARK-39469] [SQL] CSV şema çıkarımı için tarih türünü çıkarsama
  • [SPARK-39148] [SQL] DS V2 toplama gönderimi OFSET veya LIMIT ile çalışabilir
  • [SPARK-39818] [SQL] NULL alanlarla DEFAULT değerlerine sahip ARRAY, STRUCT, MAP türlerindeki hata düzeltildi
  • [SPARK-39792] [SQL] Ondalık ortalama için DecimalDivideWithOverflowCheck ekleme
  • [SPARK-39798] [SQL] in oluşturucusunda ile .toArray[Any] yeniden toSeq.toArray ölçeklendirmeGenericArrayData
  • [SPARK-39759] [SQL] JDBC'de listIndexes uygulama (H2 diyalekt)
  • [SPARK-39385] [SQL] Aşağı REGR_AVGX göndermeyi destekler ve REGR_AVGY
  • [SPARK-39787] [SQL] hata sınıfını işlev to_timestamp ayrıştırma hatasında kullanma
  • [SPARK-39760] [PYTHON] PySpark'ta Varchar desteği
  • [SPARK-39557] [SQL] DBR 11.x'e el ile geri bağlantı noktası: ARRAY, STRUCT, MAP türlerini DEFAULT değerleri olarak destekler
  • [SPARK-39758] [SQL] [3.3] Geçersiz desenlerde regexp işlevlerinden NPE düzeltildi
  • [SPARK-39749] [SQL] ANSI SQL modu: Ondalık'ı Dizeye dönüştürmede düz dize gösterimi kullanma
  • [SPARK-39704] [SQL] JDBC'de createIndex & dropIndex & indexExists uygulama (H2 diyalekt)
  • [SPARK-39803] [SQL] Yerine kullanın LevenshteinDistanceStringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] JDBC veri kaynağında TimestampNTZ türü desteği
  • [SPARK-39781] [SS] rocksdb durum deposu sağlayıcısına max_open_files sağlamak için destek ekleme
  • [SPARK-39719] [R] SparkR desteği 3L ad alanında databaseExists/getDatabase uygulama
  • [SPARK-39751] [SQL] Karma toplama anahtarı yoklamaları ölçümünü yeniden adlandırma
  • [SPARK-39772] Eski oluşturucularda veritabanı null olduğunda [SQL] ad alanı null olmalıdır
  • [SPARK-39625] [SPARK-38904] [SQL] Dataset.as(StructType) ekleme
  • [SPARK-39384] [SQL] JDBC diyalekt için yerleşik doğrusal regresyon toplama işlevlerini derleme
  • [SPARK-39720] [R] 3L ad alanı için SparkR'de tableExists/getTable uygulama
  • [SPARK-39744] [SQL] İşlevi REGEXP_INSTR ekleme
  • [SPARK-39716] [R] SparkR'de currentDatabase/setCurrentDatabase/listCatalogs 3L ad alanını destekler
  • [SPARK-39788] [SQL] için olarak dialectName yeniden adlandır catalogNameJdbcUtils
  • [SPARK-39647] [CORE] BlockManager'ı kaydetmeden önce yürütücüsü ESS'ye kaydedin
  • [SPARK-39754] [CORE] [SQL] Kullanılmayan veya gereksizleri import kaldırma {}
  • [SPARK-39706] [SQL] defaultValue ile eksik sütunu içinde sabit olarak ayarlayın ParquetColumnVector
  • [SPARK-39699] [SQL] CollapseProject'i koleksiyon oluşturma ifadeleri hakkında daha akıllı hale getirme
  • [SPARK-39737] [SQL] PERCENTILE_CONT ve PERCENTILE_DISC toplam filtreyi desteklemelidir
  • [SPARK-39579] [SQL] [PYTHON] [R] ListFunctions/getFunction/functionExists öğesini 3 katmanlı ad alanıyla uyumlu hale getirme
  • [SPARK-39627] [SQL] JDBC V2 anında iletme, derleme API'sini birleştirmelidir
  • [SPARK-39748] [SQL] [SS] DataFrame'den geliyorsa LogicalRDD için kaynak mantıksal planını dahil edin
  • [SPARK-39385] [SQL] İtme için doğrusal regresyon toplama işlevlerini çevirme
  • [SPARK-39695] [SQL] İşlevi REGEXP_SUBSTR ekleme
  • [SPARK-39667] [SQL] Tabloyu oluşturmak ve yayınlamak için yeterli bellek olmadığında başka bir geçici çözüm ekleyin
  • [SPARK-39666] [ES-337834] [SQL] ExpressionEncoder'da dikkate spark.sql.codegen.factoryMode almak için UnsafeProjection.create kullanın
  • [SPARK-39643] [SQL] DEFAULT değerlerinde alt sorgu ifadelerini yasakla
  • [SPARK-38647] [SQL] Tarama arabiriminde SupportsReportOrdering karışımı ekleme (DataSourceV2)
  • [SPARK-39497] [SQL] Eksik eşleme anahtarı sütununun analiz özel durumunu iyileştirme
  • [SPARK-39661] [SQL] Gereksiz SLF4J Günlükçü oluşturmaktan kaçının
  • [SPARK-39713] [SQL] ANSI modu: INVALID_ARRAY_INDEX hatası için try_element_at kullanma önerisi ekleme
  • [SPARK-38899] [SQL] DS V2, gönderme tarih saat işlevlerini destekler
  • [SPARK-39638] [SQL] Bölüm sütunlarını depolamak için kullanılacak ConstantColumnVector şekilde değiştirme OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Şu kaynaktan temizleme:ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)ColumnVectorUtils
  • [SPARK-39231] [SQL] Bölüm sütunlarını depolamak On/OffHeapColumnVector için yerine kullanın ConstantColumnVectorVectorizedParquetRecordReader
  • [SPARK-39547] [SQL] V2SessionCatalog, loadNamspaceMetadata içinde NoSuchDatabaseException oluşturmamalıdır
  • [SPARK-39447] [SQL] AdaptiveSparkPlanExec.doExecuteBroadcast içinde AssertionError kullanmaktan kaçının
  • [SPARK-39492] [SQL] Yeniden çalışma MISSING_COLUMN
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec alt çıkış sıralamasını dikkate almalıdır
  • [SPARK-39606] [SQL] Sipariş işlecini tahmin etmek için alt istatistikleri kullanma
  • [SPARK-39611] [PYTHON] [PS] array_ufunc'de yanlış diğer adları düzeltme
  • [SPARK-39656] [SQL] [3.3] DescribeNamespaceExec'te yanlış ad alanı düzeltildi
  • [SPARK-39675] [SQL] 'spark.sql.codegen.factoryMode' yapılandırmasını test amacından iç amaca değiştirme
  • [SPARK-39139] [SQL] DS V2, DS V2 UDF'ye göndermeyi destekler
  • [SPARK-39434] [SQL] Dizi dizini sınırlayıcı olmadığında çalışma zamanı hatası sorgu bağlamı sağlama
  • [SPARK-39479] [SQL] DS V2, matematik işlevlerini (ANSI olmayan) aşağı göndermeyi destekler
  • [SPARK-39618] [SQL] İşlevi REGEXP_COUNT ekleme
  • [SPARK-39553] [CORE] Scala 2.13 kullanılırken çok iş parçacıklı kayıt silme karıştırması NPE oluşturmamalıdır
  • [SPARK-38755] [PYTHON] [3.3] Eksik pandas genel işlevlerini gidermek için dosya ekleme
  • [SPARK-39444] [SQL] OptimizeSubqueries'i nonExcludableRules listesine ekleme
  • [SPARK-39316] [SQL] PromotePrecision ve CheckOverflow'u ondalık ikili aritmetik olarak birleştirme
  • [SPARK-39505] [UI] Kullanıcı arabiriminde işlenen kaçış günlüğü içeriği
  • [SPARK-39448] [SQL] Listeye ekle ReplaceCTERefWithRepartitionnonExcludableRules
  • [SPARK-37961] [SQL] Bazı mantıksal işleçler için maxRows/maxRowsPerPartition işlevini geçersiz kılma
  • [SPARK-35223] IssueNavigationLink Ekle'yi Geri Döndür
  • [SPARK-39633] [SQL] Dataframe seçeneklerini kullanarak TimeTravel için saniyeler içinde zaman damgası desteği
  • [SPARK-38796] [SQL] {try_}to_number işlevleriyle sayı biçimi dizeleri için belgeleri güncelleştirin
  • [SPARK-39650] [SS] Geriye dönük uyumlulukla yinelenenleri kaldırma akışındaki yanlış değer şeması düzeltildi
  • [SPARK-39636] [CORE] [UI] JsonProtocol'ta yığın Depolama Levels ve Task/Executor ResourceRequests'i etkileyen birden çok hatayı düzeltme
  • [SPARK-39432] [SQL] element_at(*, 0) ELEMENT_AT_BY_INDEX_ZERO döndürme
  • [SPARK-39349] Hata yolunun QA'sı için merkezi bir CheckError yöntemi ekleme
  • [SPARK-39453] [SQL] DS V2, toplama olmayan işlevleri (ANSI olmayan) aşağı göndermeyi destekler
  • [SPARK-38978] [SQL] DS V2, OFFSET işlecini aşağı göndermeyi destekler
  • [SPARK-39567] [SQL] Yüzdebirlik işlevlerinde ANSI aralıklarını destekleme
  • [SPARK-39383] [SQL] ALTER TABLE ALTER COLUMNS'da V2 veri kaynaklarında VARSAYıLAN sütunları destekleme
  • [SPARK-39396] [SQL] LDAP oturum açma özel durumu 'hata kodu 49 - geçersiz kimlik bilgileri' düzeltildi
  • [SPARK-39548] [SQL] Window yan tümcesi sorgusuyla CreateView Komutu yanlış bir pencere tanımı bulunamadı sorununa çarptı
  • [SPARK-39575] [AVRO] add ByteBuffer#rewind after ByteBuffer#get in Avr...
  • [SPARK-39543] v1'e geri dönme durumunda DataFrameWriterV2 seçeneği depolama özelliklerine geçirilmelidir
  • [SPARK-39564] [SS] Katalog tablosunun bilgilerini akış sorgusundaki mantıksal plana sunma
  • [SPARK-39582] [SQL] için "Since" işaretçisini düzeltme array_agg
  • [SPARK-39388] [SQL] Ork koşullarını aşağı iterken yeniden kullanma orcSchema
  • [SPARK-39511] [SQL] Birleştirme koşulu boşsa sol yarı/anti birleştirme için yerel sınır 1'i iyileştirin
  • [SPARK-38614] [SQL] percent_rank kullanan pencerede sınırı aşağı itme
  • [SPARK-39551] [SQL] AQE geçersiz plan denetimi ekleme
  • [SPARK-39383] [SQL] ALTER TABLE'da DEFAULT sütunlarını destekleme V2 veri kaynaklarına SÜTUN EKLEME
  • [SPARK-39538] [SQL] Gereksiz SLF4J Günlükçü oluşturmaktan kaçının
  • [SPARK-39383] [SQL] DBR 11.x'e el ile geri bağlantı: Birincil Çözümleyici'yi geçirmeyi atlamak için DEFAULT sütun desteğini yeniden düzenleme
  • [SPARK-39397] [SQL] İfadeli diğer adı desteklemek için AliasAwareOutputExpression'ı gevşetin
  • [SPARK-39496] [SQL] içinde null yapıyı işleme Inline.eval
  • [SPARK-39545] [SQL] Performansı geliştirmek için Scala 2.13'te için ExpressionSet geçersiz kılma concat yöntemi
  • [SPARK-39340] [SQL] DS v2 agg pushdown, en üst düzey sütunlar adına nokta eklemeye izin vermelidir
  • [SPARK-39488] [SQL] TempResolvedColumn hata işlemeyi basitleştirme
  • [SPARK-38846] [SQL] Teradata Sayısal Türü ile Spark DecimalType arasında açık veri eşlemesi ekleme
  • [SPARK-39520] [SQL] Scala 2.13'te için ExpressionSet geçersiz kılma -- yöntemi
  • [SPARK-39470] [SQL] ANSI aralıklarını ondalıklara dönüştürme desteği
  • [SPARK-39477] [SQL] SQLQueryTestSuite'ın altın dosyalarından "Sorgu sayısı" bilgilerini kaldırın
  • [SPARK-39419] [SQL] Karşılaştırıcı null döndürdüğünde özel durum oluşturacak ArraySort düzeltildi
  • [SPARK-39061] [SQL] Çıkış öznitelikleri için Inline null atanabilir değeri doğru ayarlama
  • [SPARK-39320] [SQL] Destek toplama işlevi MEDIAN
  • [SPARK-39261] [CORE] Hata iletileri için yeni satır biçimlendirmesini geliştirme
  • [SPARK-39355] [SQL] Tek sütun UnresolvedAttribute oluşturmak için quoted kullanır
  • [SPARK-39351] [SQL] SHOW CREATE TABLE, özellikleri yeniden işlemelidir
  • [SPARK-37623] [SQL] ANSI Toplama İşlevi Desteği: regr_intercept
  • [SPARK-39374] [SQL] Kullanıcı tarafından belirtilen sütun listesi için hata iletisini iyileştirme
  • [SPARK-39255] [SQL] [3.3] Hata iletilerini iyileştirme
  • [SPARK-39321] [SQL] TryCast'ı RuntimeReplaceable kullanmak için yeniden düzenleme
  • [SPARK-39406] [PYTHON] createDataFrame'de NumPy dizilerini kabul etme
  • [SPARK-39267] [SQL] DSL gereksiz simgesini temizleme
  • [SPARK-39171] [SQL] Atama ifadesini birleştirme
  • [SPARK-28330] [SQL] ANSI SQL desteği: sorgu ifadesinde sonuç uzaklığı yan tümcesi
  • [SPARK-39203] [SQL] Veritabanı URI'sini temel alarak tablo konumunu mutlak URI'ye yeniden yazma
  • [SPARK-39313] [SQL] toCatalystOrdering V2Expression çevrilemiyorsa başarısız olmalıdır
  • [SPARK-39301] [SQL] [PYTHON] Ok iyileştirmesi ile createDataFrame'de LocalRelation'ı kullanma ve Ok toplu iş boyutuna saygı duyma
  • [SPARK-39400] [SQL] spark-sql her durumda hive kaynak dizinini kaldırmalıdır

Bakım güncelleştirmeleri

Bkz . Databricks Runtime 11.1 bakım güncelleştirmeleri.

Sistem ortamı

  • İşletim Sistemi: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Gölü: 1.2.1

Yüklü Python kitaplıkları

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 geri arama 0.2.0 backports.entry-points-selectable 1.1.1
Siyah 22.3.0 Çamaşır suyu 4.0.0 boto3 1.21.18
botocore 1.24.18 sertifikalı 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 tıklama 8.0.3
Şifreleme 3.4.8 Cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 hata ayıklama 1.4.1 Dekoratör 5.1.0
defusedxml 0.7.1 daistlib 0.3.5 distro-info 0.23ubuntu1
Entrypoints 0.3 modellere genel bakış 1.0.0 dosya kilidi 3.8.0
ıdna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab pencere öğeleri 1.0.0 kiwisolver 1.3.1
İşaretlemeyi Kasa 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
yanlış 0.8.4 mypy uzantıları 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
not defteri 6.4.5 numpy 1.20.3 Ambalaj 21.0
pandas 1.3.4 pandocfilters 1.4.3 parso 0.8.2
pathspec 0.9.0 Patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Yastık 8.4.0 Pip 21.2.4
platformdirs 2.5.2 çizim 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 serçe 7.0.0
pycparser 2.20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pirsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 istekler 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
Sinan 0.11.2 Send2Trash 1.8.0 kurulum araçları 58.0.4
Altı 1.16.0 ssh-import-id 5.10 statsmodeller 0.12.2
Azim 8.0.1 terminado 0.9.4 test yolu 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
Kasırga 6.1 traitlets 5.1.0 yazma uzantıları 3.10.0.2
katılımsız yükseltmeler 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 Tekerlek 0.37.0
widgetsnbextension 3.6.0

Yüklü R kitaplıkları

R kitaplıkları, 2022-08-15'te Microsoft CRAN anlık görüntüsünden yüklenir.

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
askpass 1.1 assertthat 0.2.1 Backports 1.4.1
temel 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 başlatma 1.3-28
Brew 1.0-7 Brio 1.1.3 Süpürge 1.0.0
bslib 0.4.0 önbellek 1.0.6 çağıran 3.7.1
şapka işareti 6.0-93 cellranger 1.1.0 chron 2.3-57
class 7.3-20 cli 3.3.0 küçük resim 0.8.0
cluster 2.1.3 codetools 0.2-18 renk alanı 2.0-3
commonmark 1.8.0 derleyicisi 4.1.3 config 0.3.1
cpp11 0.4.2 Crayon 1.5.1 kimlik bilgileri 1.3.2
Curl 4.3.2 data.table 1.14.2 veri kümeleri 4.1.3
DBİ 1.1.3 dbplyr 2.2.1 Desc 1.4.1
geliştirici araçları 2.4.4 diffobj 0.3.5 Özet 0.6.29
aşağı aydınlatma 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 üç nokta 0.3.2 değerlendir 0,16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.1 foreach 1.5.2
Yabancı 0.8-82 Forge 0.2.0 Fs 1.5.2
Gelecek 1.27.0 future.apply 1.9.0 Gargara 1.2.0
Generics 0.1.3 gert 1.7.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
Globals 0.16.0 Tutkal 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 grafikler 4.1.3
grDevices 4.1.3 Kılavuz 4.1.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 sabit hat 1.2.0
Haven 2.5.0 daha yüksek 0,9 Hms 1.1.1
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 Kimlik 1.0.1 ını 0.3.1
ipred 0.9-13 isoband 0.2.5 Yineleyicilerde 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
örgü örme 1.39 Etiketleme 0.4.2 Sonra 1.3.0
Kafes 0.20-45 Lav 1.6.10 yaşam döngüsü 1.0.1
dinleyici 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1.1 MASS 7.3-56 Matris 1.4-1
not defteri 2.0.1 yöntemler 4.1.3 mgcv 1.8-40
Mıme 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelleyici 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 paralel olarak 1.32.1 Ayağı 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
Övgü 1.0.0 prettyunits 1.1.1 Yordam 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
ilerleme 1.2.2 ilerleme durumu 0.10.1 Söz 1.2.0.1
Proto 1.0.0 Proxy 0.4-27 Ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.0
yemek tarifleri 1.0.1 Rövanş 1.0.1 rematch2 2.1.2
Kumanda 2.4.2 reprex 2.0.1 yeniden şekillendirme2 1.4.4
rlang 1.0.4 rmarkdown 2,14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0,13
ters çevirmeler 2.1.1 rvest 1.0.2 Sass 0.4.2
Terazi 1.2.0 seçici 0.4-2 sessioninfo 1.2.2
Şekil 1.4.6 Parlak 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 Kayma 7.3-11
Splines 4.1.3 sqldf 0.4-11 KAREM 2021.1
Istatistik 4.1.3 istatistikler4 4.1.3 stringi 1.7.8
dizeleyici 1.4.0 Hayatta kalma 3.2-13 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 test edin 3.1.4
metin şekillendirme 0.3.6 Türk 3.1.8 derleyici 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0,40 araçlar 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
Yardımcılar 4.1.3 uuid 1.1-0 vctr'lar 0.4.1
viridisLite 0.4.0 Vroom 1.5.7 Waldo 0.4.0
Bıyık 0.4 withr 2.5.0 xfun 0.32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 Zip 2.2.0

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)

Grup Kimliği Yapıt Kimliği Sürüm
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics akış 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo gölgeli 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine Kafein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib çekirdek 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-ayrıştırıcıları 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Toplayıcı 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation etkinleştirme 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna Jna 5.8.0
net.razorvine Turşu 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv süper csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow ok biçimi 7.0.0
org.apache.arrow ok-bellek çekirdeği 7.0.0
org.apache.arrow ok-bellek-netty 7.0.0
org.apache.arrow ok-vektör 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro eşlemeli 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator küratör çerçevesi 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy sarmaşık 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orc-shims 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet kodlaması 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9 gölgeli 4.20
org.apache.yetus hedef kitle ek açıklamaları 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework dama-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-derleyici 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-bulucu 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss günlüğü 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Ek açıklama -ları 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap dolgular 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test arabirimi 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark Kullanılma -yan 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1