Aracılığıyla paylaş

Databricks Runtime 9.0 (desteklenmiyor)

  • Makale

Aşağıdaki sürüm notları, Apache Spark 3.1.2 tarafından desteklenen Databricks Runtime 9.0 ve Databricks Runtime 9.0 Photon hakkında bilgi sağlar. Databricks bu görüntüleri Ağustos 2021'de yayımladı. Photon, Genel Önizleme aşamasındadır.

Düzeltme

Bu sürüm notlarının önceki bir sürümünde Apache Parquet bağımlılıklarının 1.10'dan 1.12'ye yükseltildiği yanlış belirtildi. Aslında Parquet bağımlılıkları 1.10 sürümünde kalır. Yanlış sürüm notu kaldırıldı.

Yeni özellikler ve geliştirmeler

Veri kümelerinin özet istatistikleri için yeni API (Genel Önizleme)

Databricks Yardımcı Programları'ndaki yeni dbutils.data.summarize komut, Spark DataFrame'in sütunlarındaki özet istatistikleri otomatik olarak hesaplayan ve ardından sonuçları etkileşimli olarak görüntüleyen bir Spark işi başlatmanıza olanak tanır. Bu işlev Scala ve Python'da kullanılabilir. Bkz. Veri yardımcı programı (dbutils.data).

Azure Synapse bağlayıcısı için daha kolay dış veri kaynağı yapılandırması

Azure Synapse Analytics'te verileri sorgulama bağlayıcısının yeni externalDataSource seçeneği, Azure Synapse veritabanından okumak için önceden sağlanan bir dış veri kaynağı kullanmanıza olanak tanır. seçeneği externalDataSource , daha önce gerekli olan izin gereksinimini CONTROL ortadan kaldırır.

ayarı externalDataSourceyapılırken, dış veri kaynağı ve tempDir geçici depolamayı yapılandırmak için kullanılan seçenek, depolama hesabındaki aynı kapsayıcıya başvurmalıdır.

İsteğe bağlı olarak oturumu Amazon Redshift bağlayıcısı için belirtilen süreyle sınırlandırın

Azure Databricks bağlayıcısını kullanarak Amazon Redshift'i sorgulama bağlayıcısında yer alan yeni fs.s3a.assumed.role.session.duration seçenek, Redshift'in varsayılan bir rolle geçici S3 demetine eriştiği oturum için isteğe bağlı olarak bir süre ayarlamanıza olanak tanır.

Otomatik Yükleyici

İyileştirilmiş dosya listesi

Otomatik Yükleyici iyileştirmeleri AWS S3, Azure Data Lake Storage 2. Nesil (ADLS 2. Nesil) ve Google Cloud Storage (GCS) dahil olmak üzere bulut depolamada iç içe dizinleri listelerken performans iyileştirmeleri ve maliyet tasarrufu sağlar.

Örneğin, bu dizinlerdeki tüm dosyaları bulmak için olarak karşıya yüklenen /some/path/YYYY/MM/DD/HH/fileNamedosyalarınız varsa, Otomatik Yükleyici tüm alt dizinlerin paralel bir listesini yapmak için kullanılır ve bu da her yıl dizini için temel alınan depolamaya 365 (gün) * 24 (saat başına) = 8760 LIST API dizini çağrısı yapar. Otomatik Yükleyici, bu depolama sistemlerinden düzleştirilmiş bir yanıt alarak API çağrılarının sayısını depolama sistemindeki dosya sayısına her API çağrısı tarafından döndürülen sonuç sayısına (S3 için 1000, ADLS 2. Nesil için 5000 ve GCS için 1024) bölerek bulut maliyetlerinizi büyük ölçüde azaltır.

İyileştirilmiş görüntü veri depolaması

Otomatik Yükleyici artık alınan görüntü verilerini otomatik olarak algılayabilir ve okuma ve yazma performansını geliştirmek için Delta tablolarındaki depolama alanını iyileştirebilir. Bkz . Görüntü veya ikili verileri ML için Delta Lake'e alma.

İkili dosyalar için resim küçük resimleri (Genel Önizleme)

Otomatik Yükleyici kullanılarak Delta tabloları olarak yüklenen veya kaydedilen biçimli binaryFile görüntülerde ek açıklamalar eklenir, böylece tabloyu bir Azure Databricks not defterinde görüntülendiğinde görüntü küçük resimleri görüntülenir. Daha fazla bilgi için bkz . Resimler.

DirectoryRename olaylar birden çok dosyada atomik işlemeyi etkinleştirir

Databricks Runtime 9.0 ve üzerinde oluşturulan Otomatik Yükleyici akışları, dizin yeniden adlandırmalarını ve olayları dinleyecek RenameDirectory şekilde dosya olay bildirimlerini ayarlama Azure Data Lake Storage 2. Nesil. Birden çok dosyanın atomik olarak Otomatik Yükleyici'de görünmesini sağlamak için dizin yeniden adlandırmalarını kullanabilirsiniz.

SQL

'da SELECT * sütunları dışlama (Genel Önizleme)

SELECT * artık belirtilen en üst düzey sütunları genişletmenin dışında tutmanızı sağlayan bir EXCEPT anahtar sözcüğü destekler. Örneğin, SELECT * EXCEPT (b) FROM tbl şema (a, b, c) içeren bir tablodan olarak (a, c)genişletir.

SQL skaler işlevleri (Genel Önizleme)

CREATE FUNCTION artık SQL skaler işlevlerini destekliyor. Bir dizi bağımsız değişken alan ve tek bir skaler tür değeri döndüren skaler işlevler oluşturabilirsiniz. SQL işlevi gövdesi herhangi bir ifade olabilir. Örneğin:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Ayrıntılar için bkz . CREATE FUNCTION (SQL ve Python).

Alt sorgulardaki FROM önceki diğer adlara ve sütunlara başvuru yapma (Genel Önizleme)

Bir sorgunun FROM yan tümcesindeki alt sorgular artık, önceki öğelerdeki LATERAL diğer adlara ve sütunlara başvurmalarına olanak tanıyan anahtar sözcüğünden önce FROM gelebilir. Örneğin:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

LATERAL anahtar sözcüğü , CROSSve LEFT (OUTER) JOIN'yi desteklerINNER.

Bkz. Parametreler ve Parametreler.

R desteği

Not defteri kapsamlı R kitaplıkları (Genel Önizleme)

Not defteri kapsamlı kitaplıklar, kitaplıkları yüklemenize ve kapsamı not defteri oturumu olarak belirlenmiş bir ortam oluşturmanıza olanak tanır. Bu kitaplıklar aynı kümede çalışan diğer not defterlerini etkilemez. Kitaplıklar hem sürücü hem de çalışan düğümlerinde kullanılabilir, böylece bunlara kullanıcı tanımlı işlevlerde başvurabilirsiniz. Bkz. Not defteri kapsamlı R kitaplıkları.

R not defterlerinde uyarı iletileri

Seçeneğin warn varsayılan değeri artık R not defterleri içinde 1 olarak ayarlanmıştır. Sonuç olarak, komut sonucunun bir parçası olarak tüm uyarılar kullanıma sunulur. Seçenek hakkında warn daha fazla bilgi edinmek için bkz . Seçenekler Ayarları.

Yapılandırılmış Akış durum bilgisi olan işleme için ilk durumu belirterek yinelemekten kaçının

Artık işlecini kullanarak [flat]MapGroupsWithState yapılandırılmış akış durum bilgisi olan işleme için kullanıcı tanımlı bir başlangıç durumu belirtebilirsiniz.

Bkz . mapGroupsWithState için ilk durumu belirtme.

Delta MERGE INTO komutunun düşük karıştırmalı uygulaması kullanıma sunuldu (Genel Önizleme)

Delta MERGE INTO komutu, değiştirilmemiş satırların karıştırılma oranını azaltan yeni bir uygulamaya sahiptir. Bu, komutun performansını artırır ve tablodaki Z sıralama gibi mevcut kümelemenin korunmasına yardımcı olur. Düşük karıştırmalı birleştirmeyi etkinleştirmek için olarak trueayarlayınspark.databricks.delta.merge.enableLowShuffle. Bkz. Azure Databricks'te düşük karışık birleştirme.

Hata düzeltmeleri

  • Artık aynı ada sahip bir görünüm oluşturarak görünümün üzerine yazasınız.

Kitaplık yükseltmeleri

  • Yükseltilen Python kitaplıkları:
    • 2021.5.30 ile 2020.12.5
    • karakter 3.0.4 ile 4.0.0
    • Cython 0.29.21 ile 0.29.23 arasında
    • dekoratör 4.4.2 ile 5.0.6
    • 7.19.0 ile 7.22.0 arasında ipython
    • iş kolu 0.17.0 ile 1.0.1
    • 6.1.7 ile 6.1.12 arası jupyter-client
    • jupyter-core 4.6.3 ile 4.7.1 arası
    • Kiwisolver 1.3.0 ile 1.3.1
    • matplotlib 3.2.2 ile 3.4.2
    • pandas from 1.1.5 to 1.2.4
    • pip 20.2.4 ile 21.0.1
    • 3.0.8 ile 3.0.17 arası prompt-toolkit
    • 3.17.3 ile 3.17.2 arasındaki protobuf
    • ptyprocess from 0.6.0 to 0.7.0
    • pyarrow 1.0.1 ile 4.0.0 arasında
    • 2.7.2 ile 2.8.1 Arasında Pygments
    • pyzmq 19.0.2 ile 20.0.0 arasında
    • 2.24.0 ile 2.25.1 için istekler
    • s3transfer 0.3.6 ile 0.3.7
    • 0.23.2 ile 0.24.1 arası scikit-learn
    • 1.5.2'den 1.6.2'ye kadar scipy
    • seaborn 0.10.0 ile 0.11.1
    • 50.3.1 ile 52.0.0 için kurulum araçları
    • 0.12.0 ile 0.12.2
    • tornado 6.0.4 ile 6.1
    • virtualenv 20.2.1 ile 20.4.1
    • tekerlek 0.35.1 ile 0.36.2
  • Yükseltilen R kitaplıkları:
    • 1,3-3 ile 1,3-4 arası matris

Apache Spark

Databricks Runtime 9.0, Apache Spark 3.1.2 içerir. Bu sürüm, Databricks Runtime 8.4'e (desteklenmeyen) dahil olan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

  • [SPARK-35886] [SQL] [3.1] PromotePrecision, genCodePromotePrecision üzerine yazmamalıdır.
  • [SPARK-35879] [CORE] [SHUFFLE] collectFetchRequests'in neden olduğu performans gerilemesi düzeltilir
  • [SPARK-35817] [SQL] [3.1] Geniş Avro tablolarında sorguların performansını geri yükleme
  • [SPARK-35841] [SQL] Dizeyi ondalık türe atama,...
  • [SPARK-35783] [SQL] ORC verilerinin okunmasını azaltmak için görev yapılandırmasındaki okuma sütunları listesini ayarlama
  • [SPARK-35576] [SQL] [3.1] Ayarla komutunun sonucundaki hassas bilgileri yeniden işlem
  • [SPARK-35449] [SQL] [3.1] ElseValue ayarlanırsa yalnızca CaseWhen değerlerinden ortak ifadeleri ayıkla
  • [SPARK-35288] [SQL] StaticInvoke, tam bağımsız değişken sınıfları eşleşmesi olmadan yöntemini bulmalıdır
  • [SPARK-34794] [SQL] İç içe DataFrame işlevlerindeki lambda değişken adı sorunlarını düzeltme
  • [SPARK-35278] [SQL] Invoke, doğru sayıda parametreye sahip yöntemi bulmalıdır
  • [SPARK-35226] [SQL] JDBC veri kaynaklarında yenilemeyi desteklemeKrb5Config seçeneği
  • [SPARK-35244] [SQL] Invoke özgün özel durumu oluşturmalıdır
  • [SPARK-35213] [SQL] İç içe yapıların doğru sıralamasını withField işlemleriyle zincirlenmiş durumda tutun
  • [SPARK-35087] [UI] Tablodaki bazı sütunlar Aşama ayrıntısı sayfasının Yürütücüsü tarafından toplanan Ölçümler yanlış görünüyor.
  • [SPARK-35168] [SQL] mapred.reduce.tasks, adaptive.coalescePartitions.initialPartitionNum değil shuffle.partitions olmalıdır
  • [SPARK-35127] [UI] Farklı aşama ayrıntısı sayfaları arasında geçiş yaptığımızda, yeni açılan sayfadaki giriş öğesi boş olabilir
  • [SPARK-35142] [PYTHON] [ML] için yanlış dönüş türü rawPredictionUDF düzeltildi OneVsRestModel
  • [SPARK-35096] [SQL] SchemaPruning spark.sql.caseSensitive yapılandırmasına uymalıdır
  • [SPARK-34639] [SQL] [3.1] RelationalGroupedDataset.alias unresolvedAlias oluşturmamalıdır
  • [SPARK-35080] [SQL] Yalnızca bir alt sorgu toplandığında bağıntılı eşitlik koşullarının bir alt kümesine izin ver
  • [SPARK-35117] [UI] Devam eden görevlerin oranını vurgulamak için ilerleme çubuğunu geri değiştirme
  • [SPARK-35136] LiveStage.info ilk null değerini kaldırma
  • [SPARK-34834] [AĞ] TransportResponseHandler'da olası Bir Netty bellek sızıntısını düzeltme
  • [SPARK-35045] [SQL] Giriş arabelleğinin tekil olarak denetleneceği bir iç seçenek ekleme
  • [SPARK-35014] Katlanabilir ifadeleri yeniden yazmamak için PhysicalAggregation desenini düzeltme
  • [SPARK-35019] [PYTHON] [SQL] pyspark.sql tür ipuçlarının uyuşmazlıklarını düzeltin.*
  • [SPARK-34926] [SQL] [3.1] PartitioningUtils.getPathFragment() bölüm değerinin null olduğuna dikkat etmelidir
  • [SPARK-34630] [PYTHON] pyspark için typehint ekleyin.Sürüm
  • [SPARK-34963] [SQL] Yapı dizisinden büyük/küçük harfe duyarlı olmayan yapı alanını ayıklamak için iç içe sütun ayıklama düzeltildi
  • [SPARK-34988] [CORE] [3.1] CVE-2021-28165 için Jetty'i yükseltme
  • [SPARK-34922] [SQL] [3.1] CBO'da göreli maliyet karşılaştırma işlevi kullanma
  • [SPARK-34970] [SQL] [GÜVENLİk] [3.1] Explain() çıkışında Redact eşleme türü seçenekleri
  • [SPARK-34923] [SQL] Daha fazla plan için meta veri çıkışı boş olmalıdır
  • [SPARK-34949] [CORE] Yürütücü kapatılırken BlockManager'ın yeniden kaydını engelleme
  • [SPARK-34939] [CORE] Yayınlanmış eşleme durumlarını seri durumdan çıkaramadığında getirme hatası özel durumu oluşturma
  • [SPARK-34909] [SQL] conv() içinde negatifin işaretsiz olarak dönüştürülmesi düzeltildi
  • [SPARK-34845] [CORE] ProcfsMetricsGetter kısmi procfs ölçümlerini döndürmemelidir
  • [SPARK-34814] [SQL] LikeSimplification NULL işlemelidir
  • [SPARK-34876] [SQL] Null değer atanamayan toplamların defaultResult değerini doldurma
  • [SPARK-34829] [SQL] Daha yüksek sıralı işlev sonuçlarını düzeltme
  • [SPARK-34840] [SHUFFLE] Birleştirilmiş karıştırmada bozulma durumlarını düzeltir ...
  • [SPARK-34833] [SQL] Bağıntılı alt sorgular için doğru doldurmayı doğru uygulama
  • [SPARK-34630] [PYTHON] [SQL] pyspark.sql.Column.contains için typehint eklendi
  • [SPARK-34763] [SQL] col(), $"name" ve df("name") tırnak içine alınmış sütun adlarını düzgün işlemelidir
  • [SPARK-33482] [SPARK-34756] [SQL] Fix FileScan equality check
  • [SPARK-34790] [CORE] Io şifrelemesi etkinleştirildiğinde toplu olarak karıştırma bloklarını getirmeyi devre dışı bırakma
  • [SPARK-34803] [PYSPARK] Pandas veya pyarrow içeri aktarılamazsa yükseltilmiş ImportError'ı geçirin
  • [SPARK-34225] [CORE] addFile veya addJar için bir URI form dizesi geçirildiğinde daha fazla kodlama yapmayın
  • [SPARK-34811] [CORE] Gizli dizi ve belirteç gibi fs.s3a.access.key yeniden işlem
  • [SPARK-34796] [SQL] [3.1] DoProduce() içinde LIMIT code-gen için sayaç değişkenini başlatma
  • [SPARK-34128] [SQL] THRIFT-4805'te istenmeyen TTransportException uyarılarını gizleme
  • [SPARK-34776] [SQL] İç içe sütun ayıklama, Pencere tarafından üretilen öznitelikleri ayıklamamalıdır
  • [SPARK-34087] [3.1] [SQL] ExecutionListenerBus bellek sızıntısını düzeltme
  • [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords bağlam yerine Spark sınıf yükleyicisi kullanmalıdır
  • [SPARK-34719] [SQL] [3.1] Yinelenen sütun adlarıyla görünüm sorgusunu doğru çözümle
  • [SPARK-34766] [SQL] [3.1] Görünümler için maven yapılandırmasını yakalama
  • [SPARK-34731] [CORE] EventLoggingListener'da özellikleri yeniden oluştururken ConcurrentModificationException'ı kullanmaktan kaçının
  • [SPARK-34737] [SQL] [3.1] Giriş float'larını ikiye katla TIMESTAMP_SECONDS
  • [SPARK-34749] [SQL] [3.1] ResolveCreateNamedStruct'i Basitleştirme
  • [SPARK-34768] [SQL] Univocity'de varsayılan giriş arabelleği boyutuna saygı gösterin
  • [SPARK-34770] [SQL] Veritabanı yoksa InMemoryCatalog.tableExists başarısız olmamalıdır
  • [SPARK-34504] [SQL] DDL komutları için SQL geçici görünümlerini gereksiz şekilde çözümlemekten kaçının
  • [SPARK-34727] [SQL] Kayan kaydırmayı zaman damgasına dönüştürmedeki tutarsızlık düzeltilsin
  • [SPARK-34723] [SQL] Tüm aşama altında alt ifadenin ortadan kaldırılması için doğru parametre türü
  • [SPARK-34724] [SQL] GetDeclaredMethod yerine getMethod kullanarak Yorumlanan değerlendirmeyi düzeltme
  • [SPARK-34713] [SQL] CreateStruct'a göre ExtractValue ile grubu düzeltme
  • [SPARK-34697] [SQL] DESCRIBE FUNCTION ve SHOW FUNCTIONS açıklama || (dize birleştirme işleci)
  • [SPARK-34682] [SQL] Yansıma yerine PrivateMethodTester kullanma
  • [SPARK-34682] [SQL] CustomShuffleReaderExec'te kurallılaştırma hata denetimindeki regresyon düzeltilir
  • [SPARK-34681] [SQL] Eşit olmayan koşulla sol tarafı oluştururken tam dış karışık karma birleştirme için hata düzeltildi
  • [SPARK-34545] [SQL] pyrolite'in valueCompare özelliğiyle ilgili sorunları düzeltme
  • [SPARK-34607] [SQL] [3.1] jdk8u'da hatalı biçimlendirilmiş sınıf adı hatasını düzeltmek için ekle Utils.isMemberClass
  • [SPARK-34596] [SQL] NewInstance.doGenCode dosyasında Hatalı biçimlendirilmiş sınıf adına çarpmamak için Utils.getSimpleName kullanın
  • [SPARK-34613] [SQL] Düzeltme görünümü, ipucu yapılandırmasını devre dışı bırakma yakalamaz
  • [SPARK-32924] [WEBUI] Ana kullanıcı arabiriminde süre sütununun doğru sırada sıralanmış olmasını sağlama
  • [SPARK-34482] [SS] StreamExecution.logicalPlan için etkin SparkSession'ı düzeltme
  • [SPARK-34567] [SQL] CreateTableAsSelect de ölçümleri güncelleştirmelidir
  • [SPARK-34599] [SQL] INSERT INTO OVERWRITE'nin DSv2 için nokta içeren bölüm sütunlarını desteklememesi sorunu düzeltildi
  • [SPARK-34577] [SQL] Bir veri kümesine sütun ekleme/bırakma sorununu düzeltme DESCRIBE NAMESPACE
  • [SPARK-34584] [SQL] Statik bölüm, v2 tablolarına eklerken StoreAssignmentPolicy'yi de izlemelidir
  • [SPARK-34555] [SQL] DataFrame'den meta veri çıkışını çözümleme
  • [SPARK-34534] Blokları getirmek için FetchShuffleBlocks kullanıldığında blockIds sırasını düzeltme
  • [SPARK-34547] [SQL] Son çare olarak yalnızca çözümleme için meta veri sütunlarını kullanın
  • [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap, sütun adının nokta içerdiği için başarısız oluyor
  • [SPARK-34561] [SQL] v2 veri kümesinden/veri kümesinden sütun ekleme/bırakma sorununu düzeltme DESCRIBE TABLE
  • [SPARK-34556] [SQL] Yinelenen statik bölüm sütunlarının denetlenmesi büyük/küçük harfe duyarlı konfederasyona uyulmalıdır
  • [SPARK-34392] [SQL] DateTimeUtils içinde ZoneOffset +h:mm desteği. getZoneId
  • [SPARK-34550] [SQL] Hive meta deposuna gönderme filtresi sırasında InSet null değerini atla
  • [SPARK-34543] [SQL] v1'de spark.sql.caseSensitive bölüm belirtimini çözerken yapılandırmaya saygı gösterin SET LOCATION
  • [SPARK-34436] [SQL] DPP, LIKE ANY/ALL ifadesini destekler
  • [SPARK-34531] [CORE] PrometheusServlet'te Deneysel API etiketini kaldırma
  • [SPARK-34497] [SQL] JVM güvenlik bağlamı değişikliklerini geri yüklemek için yerleşik JDBC bağlantı sağlayıcıları düzeltildi
  • [SPARK-34515] [SQL] InSet getPartitionsByFilter sırasında null değer içeriyorsa NPE düzeltmesi
  • [SPARK-34490] [SQL] Görünüm bırakılan bir tabloya başvuruyorsa çözümleme başarısız olmalıdır
  • [SPARK-34473] [SQL] DataFrameReader.schema(StructType) içinde NPE'lerden kaçının
  • [SPARK-34384] [CORE] ResourceProfile API'leri için eksik belgeleri ekleme
  • [SPARK-34373] [SQL] HiveThriftServer2 startWithContext bir yarış sorunuyla yanıt vermemeye başlayabilir
  • [SPARK-20977] [CORE] CollectionAccumulator durumu için son olmayan bir alan kullanma
  • [SPARK-34421] [SQL] CTE'ler ile görünümlerdeki geçici işlevleri ve görünümleri çözme
  • [SPARK-34431] [CORE] Yalnızca bir kez yükle hive-site.xml
  • [SPARK-34405] [CORE] PrometheusServlet sınıfındaki timersLabels ortalama değerini düzeltme
  • [SPARK-33438] [SQL] Komut için tanımlı SQL Confs ile nesneleri hevesle başlatma set -v
  • [SPARK-34158] pom.xml'deki tek geliştirici Matei'sinin yanlış URL'si
  • [SPARK-34346] [CORE] [SQL] [3.1] spark.buffer.size tarafından ayarlanan io.file.buffer.size yüklenerek geçersiz kılınacak hive-site.xml yanlışlıkla performans gerilemesi oluşabilir
  • [SPARK-34359] [SQL] [3.1] SHOW DATABASES'in çıkış şemasını geri yüklemek için eski bir yapılandırma ekleyin
  • [SPARK-34331] [SQL] DS v2 meta veri sütun çözünürlüğünü hızlandırma
  • [SPARK-34318] [SQL] [3.1] Dataset.colRegex, yeni satırlar içeren sütun adları ve niteleyicilerle çalışmalıdır
  • [SPARK-34326] [CORE] [SQL] Geçici yolun uzunluğuna bağlı olarak SPARK-31793'te eklenen UTs düzeltilir
  • [SPARK-34319] [SQL] FlatMapCoGroupsInPandas/MapInPandas için yinelenen öznitelikleri çözümleme
  • [SPARK-34310] [CORE] [SQL] Haritayı ve düzleştirmeyi flatMap ile değiştirir
  • [SPARK-34083] [SQL] [3.1] Char/varchar harmanlamaları için TPCDS özgün tanımlarını kullanma
  • [SPARK-34233] [SQL] [3.1] İkili karşılaştırmada karakter doldurma için NPE DÜZELTildi
  • [SPARK-34270] [SS] StateStoreMetrics Birleştirme StateStoreCustomMetric'i geçersiz kılmamalıdır
  • [SPARK-34144] [SQL] Bir JDBC ilişkisine LocalDate ve Instant değerleri yazmaya çalışılırken özel durum oluştu
  • [SPARK-34273] [CORE] SparkContext durdurulduğunda BlockManager kaydını yeniden kaydetmeyin
  • [SPARK-34262] [SQL] [3.1] içinde v1 tablosunun önbelleğe alınmış verilerini yenileme ALTER TABLE .. SET LOCATION
  • [SPARK-34275] [CORE] [SQL] [MLLIB] Filtre ve boyutu sayıyla değiştirir
  • [SPARK-34260] [SQL] Geçici görünümü iki kez oluştururken UnresolvedException sorununu düzeltme
  • [SPARK-33867] [SQL] SQL sorguları oluşturulurken Instant ve LocalDate değerleri işlenmez
  • [SPARK-34193] [CORE] TorrentBroadcast blok yöneticisi yarış düzeltmesi yetkisini alma
  • [SPARK-34221] [WEBUI] Kullanıcı arabirimi sayfasında bir aşamanın başarısız olduğundan emin olun; ilgili hata iletisi doğru görüntülenebilir
  • [SPARK-34236] [SQL] v2 Üzerine yazma w/ null statik bölüm yükseltmesi düzeltilir İfade kaynak filtreye çevrilemiyor: null
  • [SPARK-34212] [SQL] Parquet dosyalarından yanlış ondalık okumayı düzeltme
  • [SPARK-34244] [SQL] regexp_extract_all Scala işlev sürümünü kaldırma
  • [SPARK-34235] [SS] spark.sql.hive dosyasını özel paket olarak oluşturma
  • [SPARK-34232] [CORE] Günlükte Redact SparkListenerEnvironmentUpdate olayı
  • [SPARK-34229] [SQL] Avro, dosya şemasıyla ondalık değerleri okumalıdır
  • [SPARK-34223] [SQL] InsertIntoHadoopFsRelationCommand içinde null olan statik bölüm için NPE DÜZELTİlDİ
  • [SPARK-34192] [SQL] Karakter doldurmayı yazma tarafına taşıma ve okuma tarafında uzunluk denetimini kaldırma
  • [SPARK-34203] [SQL] v1 In-Memory kataloğunda bölüm değerlerini 'a __HIVE_DEFAULT_PARTITION__ dönüştürme null
  • [SPARK-33726] [SQL] Toplama sırasında yinelenen alan adları için düzeltme
  • [SPARK-34133] [AVRO] Katalizörden Avroya alan eşleştirmesi gerçekleştirirken büyük/küçük harf duyarlılığına saygı gösterin
  • [SPARK-34187] [SS] Uzaklık doğrulaması denetlenirken yoklama sırasında elde edilen kullanılabilir uzaklık aralığını kullanın
  • [SPARK-34052] [SQL] [3.1] "CACHE TABLE .. AS SELECT ..."
  • [SPARK-34213] [SQL] içinde v1 tablosunun önbelleğe alınmış verilerini yenileme LOAD DATA
  • [SPARK-34191] [PYTHON] [SQL] udf aşırı yüklemesi için yazma ekleme
  • [SPARK-34200] [SQL] Belirsiz sütun başvurusu öznitelik kullanılabilirliğini dikkate almalıdır
  • [SPARK-33813] [SQL] [3.1] JDBC kaynağının MS SQL Server'ın uzamsal türlerini işleyemez olması sorunu düzeltildi
  • [SPARK-34178] [SQL] MultiInstanceRelation.newInstance tarafından oluşturulan yeni düğümün etiketlerini kopyalama
  • [SPARK-34005] [CORE] [3.1] Görev ucundaki her Yürütücü için en yüksek bellek ölçümlerini güncelleştirme
  • [SPARK-34115] [CORE] Yavaşlamadan kaçınmak için SPARK_TESTING gecikmeli değer olarak denetleyin
  • [SPARK-34153] [SQL] [3.1] [3.0] Kullanılmayan getRawTable() kaldırma HiveExternalCatalog.alterPartitions()
  • [SPARK-34130] [SQL] StaticInvoke ile char varchar doldurma ve uzunluk denetimi için ön form oluşturma
  • [SPARK-34027] [SQL] [3.1] içinde önbelleği yenile ALTER TABLE .. RECOVER PARTITIONS
  • [SPARK-34151] [SQL] şununla değiştirir:java.io.File.toURLjava.io.File.toURI.toURL
  • [SPARK-34140] [SQL] [3.1] QueryCompilationErrors.scala dosyasını org/apache/spark/sql/errors adresine taşıma
  • [SPARK-34080] [ML] [PYTHON] UnivariateFeatureSelector Ekleme
  • [SPARK-33790] [CORE] [3.1] SingleFileEventLogFileReader'da getFileStatus rpc çağrısını azaltın
  • [SPARK-34118] [CORE] [SQL] [3.1] Filtreyi değiştirir ve boşluğun mevcut veya tam olup olmadığını denetler
  • [SPARK-34114] [SQL] okuma tarafı karakter uzunluğu denetimi ve doldurma için sağa kırpmamalıdır
  • [SPARK-34086] [SQL] [3.1] RaiseError çok fazla kod oluşturuyor ve karakter varchar için uzunluk denetiminde kod oluşturma başarısız olabilir
  • [SPARK-34075] [SQL] [CORE] Gizli dizinler bölüm çıkarımı için listeleniyor
  • [SPARK-34076] [SQL] Önbellek boş değilse SQLContext.dropTempTable başarısız oluyor
  • [SPARK-34084] [SQL] [3.1] içindeki tablo istatistiklerinin otomatik güncelleştirilmesi düzeltildi ALTER TABLE .. ADD PARTITION
  • [SPARK-34090] [SS] KafkaTokenUtil.needTokenUpdate içinde kullanılan Cache HadoopDelegationTokenManager.isServiceEnabled sonucu
  • [SPARK-34069] [CORE] Sonlandırma engeli görevleri SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-34091] [SQL] Karışık toplu getirme etkinleştirildikten sonra devre dışı bırakabilmelidir
  • [SPARK-34059] [SQL] [CORE] [3.1] Bunu hevesle yürütmek için eşleme yerine for/foreach kullanın
  • [SPARK-34002] [SQL] ScalaUDF'de kodlayıcı kullanımını düzeltme
  • [SPARK-34060] [SQL] [3.1] İstatistikleri güncelleştirirken Hive tablo önbelleğini düzeltme ALTER TABLE .. DROP PARTITION
  • [SPARK-31952] [SQL] Toplama yaparken yanlış bellek sızıntısı ölçümünü düzeltme
  • [SPARK-33591] [SQL] [3.1] Bölüm belirtim değerlerinde tanıma null
  • [SPARK-34055] [SQL] [3.1] içinde önbelleği yenile ALTER TABLE .. ADD PARTITION
  • [SPARK-34039] [SQL] [3.1] ReplaceTable önbelleği geçersiz kılmalıdır
  • [SPARK-34003] [SQL] PaddingAndLengthCheckForCharVarchar ile ResolveAggregateFunctions arasındaki Kural çakışmalarını düzeltme
  • [SPARK-33938] [SQL] [3.1] LikeSimplification ile Like Like Any/All İyileştir
  • [SPARK-34021] [R] CRAN gönderimi için SparkR belgelerindeki hiper bağlantıları düzeltme
  • [SPARK-34011] [SQL] [3.1] [3.0] içinde önbelleği yenile ALTER TABLE .. RENAME TO PARTITION
  • [SPARK-33948] [SQL] Scala 2.13'te MapObjects.doGenCode yönteminin CodeGen hatası düzeltildi
  • [SPARK-33635] [SS] Performans regresyonunu düzeltmek için KafkaTokenUtil.needTokenUpdate içinde denetimin sırasını ayarlama
  • [SPARK-33029] [CORE] [WEBUI] Kullanıcı arabirimi yürütücü sayfasının sürücüyü hatalı bir şekilde dışlanmış olarak işaretlemesini düzeltme
  • [SPARK-34015] [R] gapply'de giriş zamanlamasını düzeltme
  • [SPARK-34012] [SQL] Geçiş kılavuzuyla conf spark.sql.legacy.parser.havingWithoutGroupByAsWhere true olduğunda davranışı tutarlı tutma
  • [SPARK-33844] [SQL] [3.1] InsertIntoHiveDir komutu, sütun adını da denetlemelidir
  • [SPARK-33935] [SQL] CBO maliyet işlevini düzeltme
  • [SPARK-33100] [SQL] Spark-sql'de köşeli ayraçlı açıklamanın içindeki noktalı virgülleri yoksayma
  • [SPARK-34000] [CORE] stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException düzeltmesi
  • [SPARK-33992] [SQL] allowInvokingTransformsInAnalyzer eklemek için transformUpWithNewOutput'u geçersiz kıl
  • [SPARK-33894] [SQL] Scala 2.13 ile çalışma zamanı derleme hatalarını önlemek için mllib'deki özel durum sınıflarının görünürlüğünü değiştirme
  • [SPARK-33950] [SQL] [3.1] [3.0] v1'de önbelleği yenileme ALTER TABLE .. DROP PARTITION
  • [SPARK-33980] [SS] spark.readStream.schema dosyasında char/varchar'ı geçersiz kılma
  • [SPARK-33945] [SQL] [3.1] İfade ağacından oluşan rastgele bir tohumu işler
  • [SPARK-33398] Spark 3.0'ın öncesinde ağaç modellerinin yüklenmesi düzeltildi
  • [SPARK-33963] [SQL] Tablo istatistiklerini kurallı hale getir HiveTableRelation
  • [SPARK-33906] [WEBUI] Tanımlanmamış peakMemoryMetrics nedeniyle ui Yürütücüsü sayfasının takılması hatasını düzeltme
  • [SPARK-33944] [SQL] SharedState seçeneklerinde ambar anahtarları için yanlış günlük kaydı
  • [SPARK-33936] [SQL] [3.1] Bağlayıcının arabirimleri eklendiğinde sürümü ekleyin
  • [SPARK-33916] [CORE] Geri dönüş depolama uzaklığını düzeltme ve sıkıştırma codec'i test kapsamını iyileştirme
  • [SPARK-33899] [SQL] [3.1] v1 SHOW TABLES/VIEWS on'da onay hatası düzeltildi spark_catalog
  • [SPARK-33901] [SQL] DLL'ler sonrasında Char ve Varchar görüntüleme hatalarını düzeltme
  • [SPARK-33897] [SQL] Join yönteminde 'cross' seçeneği ayarlanamıyor
  • [SPARK-33907] [SQL] [3.1] Ayrıştırma seçenekleri boşsa yalnızca JsonToStructs sütunlarını ayıklama
  • [SPARK-33621] [SPARK-33784] [SQL][3.1] Veri kaynağı yeniden yazma kurallarını eklemenin bir yolunu ekleme
  • [SPARK-33900] [WEBUI] Yalnızca remotebytesread kullanılabilir olduğunda karışık okuma boyutunu / kayıtlarını doğru göster
  • [SPARK-33892] [SQL] DESC'de karakter/varchar görüntüleme ve CREATE TABLE'U GÖSTER
  • [SPARK-33895] [SQL] Char ve Varchar, ThriftServer'ın MetaOperasyonunda başarısız oldu
  • [SPARK-33659] [SS] DataStreamWriter.toTable API'sinin geçerli davranışını belgele
  • [SPARK-33893] [CORE] Geri dönüş bloğu yöneticisini executorList'in dışında tutma
  • [SPARK-33277] [PYSPARK] [SQL] Görev sona erdikten sonra kullanımı durdurmak için ContextAwareIterator kullanma
  • [SPARK-33889] [SQL] [3.1] V2 tablolarında NPE'den SHOW PARTITIONS düzeltme
  • [SPARK-33879] [SQL] Char Varchar değerleri bölüm sütunları olarak w/ match hatasıyla başarısız oluyor
  • [SPARK-33877] [SQL] Sütun listesi ekleme için SQL başvuru belgeleri
  • [SPARK-33876] [SQL] Dış konum olan tablolardan karakter/varchar okuma için uzunluk denetimi ekleme
  • [SPARK-33846] [SQL] StructType.toDDL'de iç içe yerleştirilmiş şema için Açıklamaları Ekle
  • [SPARK-33860] [SQL] CatalystTypeConverters.convertToCatalyst'in özel Dizi değeriyle eşleşmesini sağlama
  • [SPARK-33834] [SQL] Char ve Varchar ile ALTER TABLE CHANGE COLUMN'ı doğrulama
  • [SPARK-33853] [SQL] EXPLAIN CODEGEN ve BenchmarkQueryTest alt sorgu kodunu göstermiyor
  • [SPARK-33836] [SS] [PYTHON] DataStreamReader.table ve DataStreamWriter.toTable'ı kullanıma sunma
  • [SPARK-33829] [SQL] [3.1] v2 tablolarını yeniden adlandırmak önbelleği yeniden oluşturmalıdır
  • [SPARK-33756] [SQL] BytesToBytesMap'in MapIterator'sını bir kez etkili hale getirme
  • [SPARK-33850] [SQL] EXPLAIN FORMATTED, AQE etkinse alt sorgular için planı göstermez
  • [SPARK-33841] [CORE] [3.1] İşlerin SHS'den yüksek yük altında aralıklı olarak kaybolmasıyla ilgili sorun düzeltildi
  • [SPARK-33593] [SQL] Vektör okuyucu ikili bölüm değeriyle yanlış veri aldı
  • [SPARK-26341] [WEBUI] Yürütücü bellek ölçümlerini aşama düzeyinde, Aşamalar sekmesinde kullanıma sunma
  • [SPARK-33831] [UI] Jetty 9.4.34'e güncelleştirme
  • [SPARK-33822] [SQL] CastSupport.cast HashJoin'de yöntemini kullanma
  • [SPARK-33774] [UI] [CORE] Ana Kümeye Dön" tek başına kümede 500 hatası döndürür
  • [SPARK-26199] [SPARK-31517] [R] İşleme stratejisi düzeltildi... sessizdeki adlar
  • [SPARK-33819] [CORE] [3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader olmalıdır package private
  • [SPARK-33697] [SQL] RemoveRedundantProjects varsayılan olarak sütun sıralamasını gerektirmelidir
  • [SPARK-33752] [SQL] [3.1] AnalysisException'ın getSimpleMessage'ının art arda noktalı virgül eklemesini önle
  • [SPARK-33788] [SQL] [3.1] [3.0] [2.4] HiveExternalCatalog.dropPartitions() içinden NoSuchPartitionsException oluşturma
  • [SPARK-33803] [SQL] DESCRIBE TABLE komutunda tablo özelliklerini tuşa göre sıralama
  • [SPARK-33786] [SQL] Tablo adı değiştirildiğinde önbelleğin depolama düzeyine dikkat edilmelidir
  • [SPARK-33273] [SQL] Alt sorgu yürütmesindeki bir yarış koşulunu düzeltme
  • [SPARK-33653] [SQL] [3.1] DSv2: YENİLEME TABLOSU tablonun kendisini geri çekmelidir
  • [SPARK-33777] [SQL] V2 SHOW PARTITIONS çıkışını sıralama
  • [SPARK-33733] [SQL] PullOutNondeterministic deterministic alanını denetlemeli ve toplamalıdır
  • [SPARK-33764] [SS] Durum deposu bakım aralığını SQL yapılandırması olarak yapma
  • [SPARK-33729] [SQL] Önbelleği yenilerken Spark, verileri alırken önbelleğe alınmış planı kullanmamalıdır
  • [SPARK-33742] [SQL] [3.1] HiveExternalCatalog.createPartitions() içinden PartitionsAlreadyExistException Oluşturma
  • [SPARK-33706] [SQL] partitionExists() içinde tam olarak belirtilen bölüm tanımlayıcısı iste
  • [SPARK-33740] [SQL] hive-site.xml'deki hadoop yapılandırmaları önceden var olan hadoop yapılandırmalarını geçersiz kılabilir
  • [SPARK-33692] [SQL] Görünüm, işlevi bulmak için yakalanan kataloğu ve ad alanını kullanmalıdır
  • [SPARK-33669] Yarn istemci modunda sc.stop olduğunda YARN uygulama durumu izleyicisinden yanlış hata iletisi
  • [SPARK-32110] [SQL] HyperLogLog++ içinde özel kayan sayıları normalleştirme
  • [SPARK-33677] [SQL] Desende escapeChar varsa LikeSimplification kuralını atlayın
  • [SPARK-33693] [SQL] spark.sql.hive.convertCTAS'i kullanımdan kaldırın
  • [SPARK-33641] [SQL] Yanlış sonuçlar üreten genel API'lerde yeni char/varchar türlerini geçersiz kılma
  • [SPARK-32680] [SQL] Çözümlenmemiş Sorgu ile V2 CTAS'ı Ön İşleme
  • [SPARK-33676] [SQL] Bölüm belirtiminin V2'deki şemayla tam olarak eşleşmesini gerektir ALTER TABLE .. ADD/DROP PARTITION
  • [SPARK-33670] [SQL] Bölüm sağlayıcısının v1 SHOW TABLE EXTENDED içinde Hive olduğunu doğrulayın
  • [SPARK-33663] [SQL] Mevcut olmayan geçici görünümlerde açma işleminin çağrılmaması gerekir
  • [SPARK-33667] [SQL] v1'de spark.sql.caseSensitive bölüm belirtimini çözerken yapılandırmaya saygı gösterin SHOW PARTITIONS
  • [SPARK-33652] [SQL] DSv2: DeleteFrom önbelleği yenilemelidir

Bakım güncelleştirmeleri

Bkz . Databricks Runtime 9.0 bakım güncelleştirmeleri.

Sistem ortamı

  • İşletim Sistemi: Ubuntu 20.04.2 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Yüklü Python kitaplıkları

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 geri arama 0.2.0
boto3 1.16.7 botocore 1.19.7 sertifikalı 2020.12.5
chardet 4.0.0 bisikletçi 0.10.0 Cython 0.29.23
dbus-python 1.2.16 dekoratör 5.0.6 daistlib 0.3.2
distro-info 0.23ubuntu1 modellere genel bakış 1.0.0 dosya kilidi 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 Koala 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Yastık 8.2.0 Pip 21.0.1 çizim 4.14.3
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 serçe 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
istekler 2.25.1 requests-unixsocket 0.2.0 Yeniden deneniyor... 1.3.3
s3transfer 0.3.7 scikit-learn 0.24.1 scipy 1.6.2
seaborn 0.11.1 kurulum araçları 52.0.0 Altı 1.15.0
ssh-import-id 5.10 statsmodeller 0.12.2 threadpoolctl 2.1.0
hortum 6.1 traitlets 5.0.5 katılımsız yükseltmeler 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
tekerlek 0.36.2

Yüklü R kitaplıkları

R kitaplıkları 2021-07-28'de Microsoft CRAN anlık görüntüsünden yüklenir.

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
askpass 1.1 assertthat 0.2.1 backports 1.2.1
temel 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
başlatma 1.3-28 Brew 1.0-6 Brio 1.1.0
süpürge 0.7.2 çağıran 3.5.1 şapka işareti 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-19
cli 2.2.0 küçük resim 0.7.1 cluster 2.1.2
codetools 0.2-18 renk alanı 2.0-0 commonmark 1.7
derleyicisi 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 Crayon 1.3.4 kimlik bilgileri 1.3.0
Karışma 1.1.0.1 Curl 4.3 data.table 1.13.4
veri kümeleri 4.1.0 DBİ 1.1.0 dbplyr 2.0.0
Desc 1.2.0 geliştirici araçları 2.3.2 diffobj 0.3.2
düzenlemek 0.6.27 dplyr 1.0.2 DT 0,16
üç nokta 0.3.1 değerlendir 0,14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 yabancı 0.8-81 demirhane 0.2.0
Fs 1.5.0 gelecek 1.21.0 Generics 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globaller 0.14.0
tutkal 1.4.2 Gower 0.2.2 grafikler 4.1.0
grDevices 4.1.0 Kılavuz 4.1.0 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 liman 2.3.1
daha yüksek 0.8 Hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Yineleyicilerde 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 örgü örme 1.30
Etiketleme 0.4.2 sonra 1.1.0.1 kafes 0.20-44
lav 1.6.8.1 lazyeval 0.2.2 yaşam döngüsü 0.2.0
dinleyici 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 KÜTLE 7.3-54 Matris 1.3-4
not defteri 1.1.0 yöntemler 4.1.0 mgcv 1.8-36
Mıme 0,9 ModelMetrics 1.2.2.2 modelleyici 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
paralel olarak 1.22.0 sütun 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 övgü 1.0.0 prettyunits 1.1.1
Yordam 1.16.2 processx 3.4.5 prodlim 2019.11.13
ilerleme 1.2.2 Söz 1.1.1 Proto 1.0.0
Ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 yemek tarifleri 0.1.15
Rövanş 1.0.1 rematch2 2.1.2 Kumanda 2.2.0
reprex 0.3.0 yeniden şekillendirme2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2,6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
ters çevirmeler 2.0.2 rvest 0.3.6 Terazi 1.1.1
seçici 0.4-2 sessioninfo 1.1.1 şekil 1.4.5
parlak 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 uzamsal 7.3-11 Splines 4.1.0
sqldf 0.4-11 KAREM 2020.5 Istatistik 4.1.0
istatistikler4 4.1.0 stringi 1.5.3 dizeleyici 1.4.0
beka 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 test edin 3.0.0 tibble 3.0.4
derleyici 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 araçlar 4.1.0
usethis 2.0.0 utf8 1.1.4 Yardımcılar 4.1.0
uuid 0.1-4 vctr'lar 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 bıyık 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 Zip 2.1.1

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)

Grup Kimliği Yapıt Kimliği Sürüm
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics akış 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo gölgeli 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml sınıf arkadaşı 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine kafein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib çekirdek 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-ayrıştırıcıları 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx koleksiyoncu 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation etkinleştirme 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pirolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv süper csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow ok biçimi 2.0.0
org.apache.arrow ok-bellek çekirdeği 2.0.0
org.apache.arrow ok-bellek-netty 2.0.0
org.apache.arrow ok-vektör 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator küratör çerçevesi 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop ek açıklamaları 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy sarmaşık 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet kodlaması 1.10.1-databricks9
org.apache.parquet parquet biçimi 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus hedef kitle ek açıklamaları 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-derleyici 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-bulucu 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss günlüğü 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap dolgular 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test arabirimi 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Kullanılma -yan 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52