Aracılığıyla paylaş

Databricks Runtime bakım güncelleştirmeleri

  • Makale

Bu makalede desteklenen Databricks Runtime sürümleri için bakım güncelleştirmeleri listelenmektedir. Mevcut bir kümeye bakım güncelleştirmesi eklemek için kümeyi yeniden başlatın. Desteklenmeyen Databricks Runtime sürümlerindeki bakım güncelleştirmeleri için bkz . Databricks Runtime için bakım güncelleştirmeleri (arşivlenmiş)...

Not

Sürümler hazırlanır. Azure Databricks hesabınız ilk sürüm tarihinden sonra birkaç gün boyunca güncelleştirilmeyebilir.

Databricks Runtime sürümleri

Yayına göre bakım güncelleştirmeleri:

Databricks Runtime 15.4

Bkz . Databricks Runtime 15.4 LTS.

  • 22 Ekim 2024, Cumartesi
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns kuralı, UnresolvedAttribute'u alt çıkışla çözümler
    • [SPARK-49867][SQL] GetColumnByOrdinal çağrılırken dizin sınırların dışında olduğunda hata iletisini geliştirin
    • [SPARK-49863][SQL] İç içe yapıların null atanabilirliğini korumak için NormalizeFloatingNumbers düzeltmesi
    • [SPARK-49829] Stream-stream join'te durum deposuna giriş ekleme iyileştirmesini gözden geçirme (doğruluk düzeltmesi)
    • [SPARK-49905] Karıştırmanın AQE'den değiştirilmesini önlemek için durum bilgisi olan işleç için ayrılmış ShuffleOrigin kullanın
    • [SPARK-46632][SQL] Eşdeğer üçüncül ifadelerin farklı alt öğeleri olduğunda alt ifadenin ortadan kaldırılması düzeltilir
    • [SPARK-49443][SQL][PYTHON] to_variant_object ifade uygulama ve schema_of_variant ifadelerin Değişken Nesneler için OBJECT yazdırmasını sağlama
    • [SPARK-49615] Hata düzeltmesi: ML sütun şeması doğrulamasının spark yapılandırmasıyla spark.sql.caseSensitiveuyumlu olmasını sağlayın.
  • 10 Ekim 2024, Cumartesi
    • [SPARK-49743][SQL] GetArrayStructFields ayıklaması sırasında OptimizeCsvJsonExpr şema alanlarını değiştirmemelidir
    • [SPARK-49688][BAĞLAN] Kesme ve yürütme planı arasındaki veri yarışlarını düzeltme
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] FlatMapGroupsWithState kullanıcı işlevi hatası için Hata sınıfını sınıflandırma
    • [SPARK-49460][SQL] İzleme: Olası NPE riskini düzeltme
  • 25 Eylül 2024, Cumartesi
    • [SPARK-49628][SQL] ConstantFolding değerlendirmeden önce durum bilgisi olan ifadeyi kopyalamalıdır
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
    • [SPARK-49492][BAĞLAN] Etkin olmayan ExecutionHolder'da yeniden ekleme girişimi
    • [SPARK-49458][BAĞLAN][PYTHON] ReattachExecute aracılığıyla sunucu tarafı oturum kimliği sağlama
    • [SPARK-49017][SQL] Birden çok parametre kullanıldığında Insert deyimi başarısız oluyor
    • [SPARK-49451] parse_json yinelenen anahtarlara izin verin.
    • Çeşitli hata düzeltmeleri.
  • 17 Eylül 2024, Cumartesi
    • [SPARK-48463][ML] Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor iç içe giriş sütunlarını destekleyen oluşturma
    • [SPARK-49409][BAĞLAN] CONNECT_SESSION_PLAN_CACHE_SIZE varsayılan değerini ayarlama
    • [SPARK-49526][BAĞLAN][HOTFIX-15.4.2] ArtifactManager'da Windows stili yolları destekleme
    • Revert "[SPARK-48482][PYTHON] dropDuplicates and dropDuplicatesWIthinWatermark, değişken uzunluk args kabul etmelidir"
    • [SPARK-43242][CORE] Karışık bozulma tanılamasında 'Beklenmeyen BlockId türü' oluşturma sorunu düzeltildi
    • [SPARK-49366][BAĞLAN] Birleşim düğümünü veri çerçevesi sütun çözünürlüğünde yaprak olarak ele
    • [SPARK-49018][SQL] Harmanlama ile approx_count_distinct düzgün çalışmaması düzeltilir
    • [SPARK-49460][SQL] EmptyRelationExec'ten kaldır cleanupResource()
    • [SPARK-49056][SQL] ErrorClassesJsonReader null değerini düzgün işleyemiyor
    • [SPARK-49336][BAĞLAN] Protobuf iletisi kesilirken iç içe yerleştirme düzeyini sınırlama
  • 29 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos
    • Bir SHOW CREATE TABLE deyiminin çıktısı artık gerçekleştirilmiş bir görünümde veya akış tablosunda tanımlanan tüm satır filtrelerini veya sütun maskelerini içerir. Bkz. CREATE TABLE'U GÖSTER. Satır filtreleri ve sütun maskeleri hakkında bilgi edinmek için bkz . Satır filtrelerini ve sütun maskelerini kullanarak hassas tablo verilerini filtreleme.
    • Paylaşılan erişim moduyla yapılandırılan işlemde Kafka toplu okuma ve yazma işlemleri artık Yapılandırılmış Akış için belgelenenlerle aynı sınırlamalara sahiptir. Bkz . Unity Kataloğu paylaşılan erişim modu için akış sınırlamaları ve gereksinimleri.
    • [SPARK-48941][SPARK-48970] Backport ML yazıcı / okuyucu düzeltmeleri
    • [SPARK-49074][SQL] Ile değişken düzeltme df.cache()
    • [SPARK-49263][BAĞLAN] Spark Connect python istemcisi: Boole Dataframe okuyucu seçeneklerini tutarlı bir şekilde işleme
    • [SPARK-48955][SQL] 15.4'te ArrayCompact değişikliklerini dahil et
    • [SPARK-48937][SQL] StringToMap dize ifadeleri için harmanlama desteği ekleme
    • [SPARK-48929] Görünüm iç hata düzeltmesi ve ayrıştırıcı özel durum bağlamını temizleme
    • [SPARK-49125][SQL] CSV yazmada yinelenen sütun adlara izin ver
    • [SPARK-48934][SS] applyInPandasWithState'te zaman aşımını ayarlamak için Python tarih saat türleri yanlış dönüştürüldü
    • [SPARK-48843] BindParameters ile sonsuz döngü önleme
    • [SPARK-48981] Harmanlamalar için pyspark'ta stringType'ın simpleString yöntemini düzeltme
    • [SPARK-49065][SQL] Eski biçimlendiricilerde/ayrıştırıcılarda yeniden boyutlandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Backport spark ML yazıcı düzeltmeleri
    • [SPARK-48725][SQL] CollationAwareUTF8String.lowerCaseCodePoints'i dize ifadeleriyle tümleştirme
    • [SPARK-48978][SQL] UTF8_LCASE için harmanlama desteğinde ASCII hızlı yolunu uygulama
    • [SPARK-49047][PYTHON][BAĞLAN] Günlüğe kaydetme için iletiyi kesme
    • [SPARK-49146][SS] Ekleme modu akış sorgularında filigran eksik olan onay hatalarını hata çerçevesine taşıma
    • [SPARK-48977][SQL] UTF8_LCASE harmanlama altında dize aramayı iyileştirme
    • [SPARK-48889][SS] bitirmeden önce durum depolarını kaldırmak için testStream
    • [SPARK-48463] İç içe giriş sütunlarını destekleyen StringIndexer yapma
    • [SPARK-48954] try_mod() try_remainder() öğesinin yerini alır
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 15.3

Bkz . Databricks Runtime 15.3.

  • 22 Ekim 2024, Cumartesi
    • [SPARK-49905] Karıştırmanın AQE'den değiştirilmesini önlemek için durum bilgisi olan işleç için ayrılmış ShuffleOrigin kullanın
    • [SPARK-49867][SQL] GetColumnByOrdinal çağrılırken dizin sınırların dışında olduğunda hata iletisini geliştirin
    • [SPARK-48843][15.3,15.2] BindParameters ile sonsuz döngü engelleme
    • [SPARK-49829] Stream-stream join'te durum deposuna giriş ekleme iyileştirmesini gözden geçirme (doğruluk düzeltmesi)
    • [SPARK-49863][SQL] İç içe yapıların null atanabilirliğini korumak için NormalizeFloatingNumbers düzeltmesi
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns kuralı, UnresolvedAttribute'u alt çıkışla çözümler
    • [SPARK-46632][SQL] Eşdeğer üçüncül ifadelerin farklı alt öğeleri olduğunda alt ifadenin ortadan kaldırılması düzeltilir
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Ekim 2024, Cumartesi
    • [SPARK-49688][BAĞLAN] Kesme ve yürütme planı arasındaki veri yarışlarını düzeltme
    • [SPARK-49743][SQL] GetArrayStructFields ayıklaması sırasında OptimizeCsvJsonExpr şema alanlarını değiştirmemelidir
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] FlatMapGroupsWithState kullanıcı işlevi hatası için Hata sınıfını sınıflandırma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Eylül 2024, Cumartesi
    • [SPARK-49492][BAĞLAN] Etkin olmayan ExecutionHolder'da yeniden ekleme girişimi
    • [SPARK-49628][SQL] ConstantFolding değerlendirmeden önce durum bilgisi olan ifadeyi kopyalamalıdır
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
    • [SPARK-49458][BAĞLAN][PYTHON] ReattachExecute aracılığıyla sunucu tarafı oturum kimliği sağlama
    • [SPARK-48719][SQL] İlk parametre null olduğunda & RegrIntercept hesaplama hatasını RegrSlope düzeltin
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Eylül 2024, Cumartesi
    • [SPARK-49336][BAĞLAN] Protobuf iletisi kesilirken iç içe yerleştirme düzeyini sınırlama
    • [SPARK-49526][BAĞLAN][15.3.5] ArtifactManager'da Windows stili yolları destekleme
    • [SPARK-49366][BAĞLAN] Birleşim düğümünü veri çerçevesi sütun çözünürlüğünde yaprak olarak ele
    • [SPARK-43242][CORE] Karışık bozulma tanılamasında 'Beklenmeyen BlockId türü' oluşturma sorunu düzeltildi
    • [SPARK-49409][BAĞLAN] CONNECT_SESSION_PLAN_CACHE_SIZE varsayılan değerini ayarlama
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos
    • [SPARK-49263][BAĞLAN] Spark Connect python istemcisi: Boole Dataframe okuyucu seçeneklerini tutarlı bir şekilde işleme
    • [SPARK-49056][SQL] ErrorClassesJsonReader null değerini düzgün işleyemiyor
    • [SPARK-48862][PYTHON][BAĞLAN] BİlGİ düzeyi etkin olmadığında aramaktan _proto_to_string kaçının
    • [SPARK-49146][SS] Ekleme modu akış sorgularında filigran eksik olan onay hatalarını hata çerçevesine taşıma
  • 14 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Saat
    • [SPARK-48941][SPARK-48970] Backport ML yazıcı / okuyucu düzeltmeleri
    • [SPARK-48706][PYTHON] Daha yüksek sırada Python UDF işlevleri iç hata oluşturmamalıdır
    • [SPARK-48954] try_mod() try_remainder() öğesinin yerini alır
    • [SPARK-48597][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
    • [SPARK-49065][SQL] Eski biçimlendiricilerde/ayrıştırıcılarda yeniden boyutlandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
    • [SPARK-49047][PYTHON][BAĞLAN] Günlüğe kaydetme için iletiyi kesme
    • [SPARK-48740][SQL] Eksik pencere belirtimi hatalarını erken yakalama
  • 1 Ağustos 2024, Ağustos 2024
    • [Yeni değişiklik] Databricks Runtime 15.3 ve üzerinde, bağımsız değişken veya dönüş değeri olarak bir VARIANT tür kullanan python kullanıcı tanımlı işlev (UDF), kullanıcı tanımlı toplama işlevi (UDAF) veya kullanıcı tanımlı tablo işlevi (UDTF) çağrılması özel durum oluşturur. Bu değişiklik, bu işlevlerden biri tarafından döndürülen geçersiz bir değer nedeniyle oluşabilecek sorunları önlemek için yapılır. Tür hakkında VARIANT daha fazla bilgi edinmek için bkz . Yarı yapılandırılmış verileri depolamak için VARIANT'ları kullanma.
    • Not defterleri ve işler için sunucusuz işlemde ANSI SQL modu varsayılan olarak etkindir. Bkz . Desteklenen Spark yapılandırma parametreleri.
    • Paylaşılan erişim moduyla yapılandırılan işlemde Kafka toplu okuma ve yazma işlemleri artık Yapılandırılmış Akış için belgelenenlerle aynı sınırlamalara sahiptir. Bkz . Unity Kataloğu paylaşılan erişim modu için akış sınırlamaları ve gereksinimleri.
    • Bir SHOW CREATE TABLE deyiminin çıktısı artık gerçekleştirilmiş bir görünümde veya akış tablosunda tanımlanan tüm satır filtrelerini veya sütun maskelerini içerir. Bkz. CREATE TABLE'U GÖSTER. Satır filtreleri ve sütun maskeleri hakkında bilgi edinmek için bkz . Satır filtrelerini ve sütun maskelerini kullanarak hassas tablo verilerini filtreleme.
    • [SPARK-46957][CORE] Geçirilen karıştırma dosyalarının yetkisini alma, yürütücüden temizleyebilmelidir
    • [SPARK-48648][PYTHON][BAĞLAN] SparkConnectClient.tags dosyasını düzgün threadlocal yapma
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Backport spark ML yazıcı düzeltmeleri
    • [SPARK-48713][SQL] BaseObject bayt dizisi olduğunda UnsafeRow.pointTo için dizin aralığı denetimi ekleme
    • [SPARK-48834][SQL] Sorgu derlemesi sırasında python skaler UDF'leri, UDF'ler, UDAF'ler için değişken girişi/çıkışı devre dışı bırakma
    • [SPARK-48934][SS] applyInPandasWithState'te zaman aşımını ayarlamak için Python tarih saat türleri yanlış dönüştürüldü
    • [SPARK-48705][PYTHON] pyspark ile başladığında açıkça worker_main kullanın
    • [SPARK-48544][SQL] Boş TreeNode BitSet'lerinin bellek baskısını azaltma
    • [SPARK-48889][SS] bitirmeden önce durum depolarını kaldırmak için testStream
    • [SPARK-49054][SQL] Sütun varsayılan değeri current_* işlevlerini desteklemelidir
    • [SPARK-48653][PYTHON] Geçersiz Python veri kaynağı hata sınıfı başvurularını düzeltme
    • [SPARK-48463] İç içe giriş sütunlarını destekleyen StringIndexer yapma
    • [SPARK-48810][BAĞLAN] Oturum durdurma() API'sinin bir kez etkili olması ve oturum sunucu tarafından zaten kapatıldıysa başarısız olmaması gerekir
    • [SPARK-48873][SQL] JSON ayrıştırıcısında UnsafeRow kullanın.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Temmuz 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • (Davranış değişikliği) Delta tablo kaynaklarına karşı önbelleğe alınan Veri Çerçeveleri artık kaynak tablonun üzerine yazılırsa geçersiz kılınır. Bu değişiklik, Delta tablolarındaki tüm durum değişikliklerinin önbelleğe alınmış sonuçları geçersiz kıldığı anlamına gelir. DataFrame'in kullanım ömrü boyunca tablo durumunu kalıcı hale getirmek için kullanın .checkpoint() .
    • Snowflake JDBC Sürücüsü 3.16.1 sürümüne güncelleştirildi.
    • Bu sürüm, Databricks Container Services'da çalışırken Spark UI Ortamı sekmesinin doğru görüntülenmesini engelleyen bir soruna yönelik bir düzeltme içerir.
    • Verileri okurken geçersiz bölümleri yoksaymak için Parquet, ORC, CSV veya JSON gibi dosya tabanlı veri kaynakları ignoreInvalidPartitionPaths veri kaynağı seçeneğini true olarak ayarlayabilir. Örneğin: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. SQL yapılandırması spark.sql.files.ignoreInvalidPartitionPaths'i de kullanabilirsiniz. Ancak, veri kaynağı seçeneği SQL yapılandırmasından önceliklidir. Bu ayar varsayılan olarak false'tur.
    • [SPARK-48100][SQL] Şemada seçilmeyen iç içe yapı alanlarını atlama sorunlarını düzeltme
    • [SPARK-47463][SQL] V2Predicate kullanarak ifadeyi boole dönüş türüyle sarmalama
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator, kaydedilmiş dosya görev durumuyla tutarlı olmadığında aşamayı durdurmalıdır
    • [SPARK-48475][PYTHON] PySpark'ta _get_jvm_function iyileştirin.
    • [SPARK-48286] Varsayılan ifade mevcut olan sütunun analizi düzeltilir - Kullanıcıya yönelik hata ekleme
    • [SPARK-48481][SQL][SS] Akış Veri Kümesine OptimizeOneRowPlan uygulamayın
    • "[SPARK-47406][SQL] MYSQLDialect'te TIMESTAMP ve DATETIME İşle"
    • [SPARK-48383][SS] Kafka'da startOffset seçeneğinde eşleşmeyen bölümler için daha iyi hata oluşturma
    • [SPARK-48503][14.3-15.3][SQL] Yanlış izin verilen eşdeğer olmayan sütunlarda group-by ile geçersiz skaler alt sorgular düzeltildi
    • [SPARK-48445][SQL] Pahalı alt öğeleri olan satır içi UDF'ler yapmayın
    • [SPARK-48252][SQL] Gerektiğinde CommonExpressionRef'i güncelleştirme
    • [SPARK-48273][ana][SQL] PlanWithUnresolvedIdentifier'ın geç yeniden yazılmasını düzeltme
    • [SPARK-48566][PYTHON] UDTF analyze() hem select hem de partitionColumns kullandığında bölüm dizinlerinin yanlış olduğu hata düzeltildi
    • [SPARK-48556][SQL] UNSUPPORTED_GROUPING_EXPRESSION işaret eden yanlış hata iletisi düzeltilir
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 15.2

Bkz. Databricks Runtime 15.2.

  • 22 Ekim 2024, Cumartesi
    • [SPARK-49905] Karıştırmanın AQE'den değiştirilmesini önlemek için durum bilgisi olan işleç için ayrılmış ShuffleOrigin kullanın
    • [SPARK-48843][15.3,15.2] BindParameters ile sonsuz döngü engelleme
    • [SPARK-49829] Stream-stream join'te durum deposuna giriş ekleme iyileştirmesini gözden geçirme (doğruluk düzeltmesi)
    • [SPARK-49863][SQL] İç içe yapıların null atanabilirliğini korumak için NormalizeFloatingNumbers düzeltmesi
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns kuralı, UnresolvedAttribute'u alt çıkışla çözümler
    • [SPARK-46632][SQL] Eşdeğer üçüncül ifadelerin farklı alt öğeleri olduğunda alt ifadenin ortadan kaldırılması düzeltilir
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Ekim 2024, Cumartesi
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] FlatMapGroupsWithState kullanıcı işlevi hatası için Hata sınıfını sınıflandırma
    • [SPARK-49743][SQL] GetArrayStructFields ayıklaması sırasında OptimizeCsvJsonExpr şema alanlarını değiştirmemelidir
    • [SPARK-49688][BAĞLAN] Kesme ve yürütme planı arasındaki veri yarışlarını düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Eylül 2024, Cumartesi
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
    • [SPARK-48719][SQL] İlk parametre null olduğunda RegrSlope & RegrIntercept hesaplama hatasını düzeltme
    • [SPARK-49458][BAĞLAN][PYTHON] ReattachExecute aracılığıyla sunucu tarafı oturum kimliği sağlama
    • [SPARK-49628][SQL] ConstantFolding değerlendirmeden önce durum bilgisi olan ifadeyi kopyalamalıdır
    • [SPARK-49492][BAĞLAN] Etkin olmayan ExecutionHolder'da yeniden ekleme girişimi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Eylül 2024, Cumartesi
    • [SPARK-49336][BAĞLAN] Protobuf iletisi kesilirken iç içe yerleştirme düzeyini sınırlama
    • [SPARK-49526][BAĞLAN] ArtifactManager'da Windows stili yolları destekleme
    • [SPARK-49366][BAĞLAN] Birleşim düğümünü veri çerçevesi sütun çözünürlüğünde yaprak olarak ele
    • [SPARK-43242][CORE] Karışık bozulma tanılamasında 'Beklenmeyen BlockId türü' oluşturma sorunu düzeltildi
    • [SPARK-49409][BAĞLAN] CONNECT_SESSION_PLAN_CACHE_SIZE varsayılan değerini ayarlama
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos
    • [SPARK-49056][SQL] ErrorClassesJsonReader null değerini düzgün işleyemiyor
    • [SPARK-48597][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
    • [SPARK-48862][PYTHON][BAĞLAN] BİlGİ düzeyi etkin olmadığında aramaktan _proto_to_string kaçının
    • [SPARK-49263][BAĞLAN] Spark Connect python istemcisi: Boole Dataframe okuyucu seçeneklerini tutarlı bir şekilde işleme
    • [SPARK-49146][SS] Ekleme modu akış sorgularında filigran eksik olan onay hatalarını hata çerçevesine taşıma
  • 14 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Saat
    • [SPARK-48941][SPARK-48970] Backport ML yazıcı / okuyucu düzeltmeleri
    • [SPARK-48050][SS] Sorgu başlangıcında mantıksal planı günlüğe kaydetme
    • [SPARK-48706][PYTHON] Daha yüksek sırada Python UDF işlevleri iç hata oluşturmamalıdır
    • [SPARK-48740][SQL] Eksik pencere belirtimi hatalarını erken yakalama
    • [SPARK-49065][SQL] Eski biçimlendiricilerde/ayrıştırıcılarda yeniden boyutlandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
    • [SPARK-49047][PYTHON][BAĞLAN] Günlüğe kaydetme için iletiyi kesme
  • 1 Ağustos 2024, Ağustos 2024
    • Not defterleri ve işler için sunucusuz işlemde ANSI SQL modu varsayılan olarak etkindir. Bkz . Desteklenen Spark yapılandırma parametreleri.
    • Paylaşılan erişim moduyla yapılandırılan işlemde Kafka toplu okuma ve yazma işlemleri artık Yapılandırılmış Akış için belgelenenlerle aynı sınırlamalara sahiptir. Bkz . Unity Kataloğu paylaşılan erişim modu için akış sınırlamaları ve gereksinimleri.
    • Bir SHOW CREATE TABLE deyiminin çıktısı artık gerçekleştirilmiş bir görünümde veya akış tablosunda tanımlanan tüm satır filtrelerini veya sütun maskelerini içerir. Bkz. CREATE TABLE'U GÖSTER. Satır filtreleri ve sütun maskeleri hakkında bilgi edinmek için bkz . Satır filtrelerini ve sütun maskelerini kullanarak hassas tablo verilerini filtreleme.
    • [SPARK-48705][PYTHON] pyspark ile başladığında açıkça worker_main kullanın
    • [SPARK-48047][SQL] Boş TreeNode etiketlerinin bellek baskısını azaltma
    • [SPARK-48810][BAĞLAN] Oturum durdurma() API'sinin bir kez etkili olması ve oturum sunucu tarafından zaten kapatıldıysa başarısız olmaması gerekir
    • [SPARK-48873][SQL] JSON ayrıştırıcısında UnsafeRow kullanın.
    • [SPARK-46957][CORE] Geçirilen karıştırma dosyalarının yetkisini alma, yürütücüden temizleyebilmelidir
    • [SPARK-48889][SS] bitirmeden önce durum depolarını kaldırmak için testStream
    • [SPARK-48713][SQL] BaseObject bayt dizisi olduğunda UnsafeRow.pointTo için dizin aralığı denetimi ekleme
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Backport spark ML yazıcı düzeltmeleri
    • [SPARK-48544][SQL] Boş TreeNode BitSet'lerinin bellek baskısını azaltma
    • [SPARK-48934][SS] applyInPandasWithState'te zaman aşımını ayarlamak için Python tarih saat türleri yanlış dönüştürüldü
    • [SPARK-48463] İç içe giriş sütunlarını destekleyen StringIndexer yapma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Temmuz 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • (Davranış değişikliği) Delta tablo kaynaklarına karşı önbelleğe alınan Veri Çerçeveleri artık kaynak tablonun üzerine yazılırsa geçersiz kılınır. Bu değişiklik, Delta tablolarındaki tüm durum değişikliklerinin önbelleğe alınmış sonuçları geçersiz kıldığı anlamına gelir. DataFrame'in kullanım ömrü boyunca tablo durumunu kalıcı hale getirmek için kullanın .checkpoint() .
    • Snowflake JDBC Sürücüsü 3.16.1 sürümüne güncelleştirildi.
    • Bu sürüm, Databricks Container Services'da çalışırken Spark UI Ortamı sekmesinin doğru görüntülenmesini engelleyen bir soruna yönelik bir düzeltme içerir.
    • Sunucusuz not defterlerinde ve işlerde ANSI SQL modu varsayılan olarak etkinleştirilir ve kısa adları destekler
    • Verileri okurken geçersiz bölümleri yoksaymak için Parquet, ORC, CSV veya JSON gibi dosya tabanlı veri kaynakları ignoreInvalidPartitionPaths veri kaynağı seçeneğini true olarak ayarlayabilir. Örneğin: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. SQL yapılandırması spark.sql.files.ignoreInvalidPartitionPaths'i de kullanabilirsiniz. Ancak, veri kaynağı seçeneği SQL yapılandırmasından önceliklidir. Bu ayar varsayılan olarak false'tur.
    • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier'ın geç yeniden yazılmasını düzeltme
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator, kaydedilmiş dosya görev durumuyla tutarlı olmadığında aşamayı durdurmalıdır
    • [SPARK-48100][SQL] Şemada seçilmeyen iç içe yapı alanlarını atlama sorunlarını düzeltme
    • [SPARK-48286] Varsayılan ifade mevcut olan sütunun analizi düzeltilir - Kullanıcıya yönelik hata ekleme
    • [SPARK-48294][SQL] nestedTypeMissingElementTypeError içinde küçük harf işleme
    • [SPARK-48556][SQL] UNSUPPORTED_GROUPING_EXPRESSION işaret eden yanlış hata iletisi düzeltilir
    • [SPARK-48648][PYTHON][BAĞLAN] SparkConnectClient.tags dosyasını düzgün threadlocal yapma
    • [SPARK-48503][SQL] Yanlış izin verilen eşdeğer olmayan sütunlarda group-by ile geçersiz skaler alt sorgular düzeltildi
    • [SPARK-48252][SQL] Gerektiğinde CommonExpressionRef'i güncelleştirme
    • [SPARK-48475][PYTHON] PySpark'ta _get_jvm_function iyileştirin.
    • [SPARK-48566][PYTHON] UDTF analyze() hem select hem de partitionColumns kullandığında bölüm dizinlerinin yanlış olduğu hata düzeltildi
    • [SPARK-48481][SQL][SS] Akış Veri Kümesine OptimizeOneRowPlan uygulamayın
    • [SPARK-47463][SQL] V2Predicate kullanarak ifadeyi boole dönüş türüyle sarmalama
    • [SPARK-48383][SS] Kafka'da startOffset seçeneğinde eşleşmeyen bölümler için daha iyi hata oluşturma
    • [SPARK-48445][SQL] Pahalı alt öğeleri olan satır içi UDF'ler yapmayın
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2024, Saat 2024, Temmuz 2024, Saat 20:00
    • applyInPandasWithState() paylaşılan kümelerde kullanılabilir.
    • Photon TopK kullanarak rank-window iyileştirmesinin yapıları olan bölümleri yanlış işlediği bir hatayı düzeltir.
    • try_divide() işlevinde ondalık içeren girişlerin beklenmeyen özel durumlarla sonuçlandığı bir hata düzeltildi.
    • [SPARK-48197][SQL] Geçersiz lambda işlevi için onay hatasından kaçının
    • [SPARK-48276][PYTHON][BAĞLAN] için eksik __repr__ yöntemi ekleyin SQLExpression
    • [SPARK-48014][SQL] EvaluatePython içindeki makeFromJava hatasını kullanıcıya yönelik hata olarak değiştirme
    • [SPARK-48016][SQL] Ondalıklar olduğunda try_divide işlevindeki bir hatayı düzeltme
    • [SPARK-47986][BAĞLAN][PYTHON] Varsayılan oturum sunucu tarafından kapatıldığında yeni oturum oluşturulamıyor
    • [SPARK-48173][SQL] CheckAnalysis sorgu planının tamamını görmelidir
    • [SPARK-48056][BAĞLAN][PYTHON] SESSION_NOT_FOUND hatası oluşursa ve kısmi yanıt alınmazsa planı yeniden yürüt
    • [SPARK-48172][SQL] JDBCDialects backport'ta 15.2'ye kaçış sorunları düzeltildi
    • [SPARK-48105][SS] Durum deposu kaldırma ve anlık görüntü oluşturma arasındaki yarış durumunu düzeltme
    • [SPARK-48288] Bağlayıcı atama ifadesi için kaynak veri türü ekleme
    • [SPARK-48310][PYTHON][BAĞLAN] Önbelleğe alınan özellikler kopya döndürmelidir
    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage için hata iletisini iyileştirme
    • [SPARK-47986][BAĞLAN][PYTHON] Varsayılan oturum sunucu tarafından kapatıldığında yeni oturum oluşturulamıyor
    • "[SPARK-47406][SQL] MYSQLDialect'te TIMESTAMP ve DATETIME İşle"
    • [SPARK-47994][SQL] SQLServer'da CASE WHEN sütun filtresinin aşağı itilmesiyle ilgili hata düzeltildi
    • [SPARK-47764][CORE][SQL] ShuffleCleanupMode tabanlı karıştırma bağımlılıklarını temizleme
    • [SPARK-47921][BAĞLAN] ExecuteHolder'da ExecuteJobTag oluşturma işlemini düzeltme
    • [SPARK-48010][SQL] resolveExpression'da conf.resolver için yinelenen çağrılardan kaçının
    • [SPARK-48146][SQL] İfade alt onayı ile içindeki toplama işlevini düzeltme
    • [SPARK-48180][SQL] TABLE arg ile UDTF çağrısı birden çok PARTITION/ORDER BY ifadesinde parantezleri unuttuğunda hatayı iyileştirme
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 14.3

Bkz. Databricks Runtime 14.3 LTS.

  • 22 Ekim 2024, Cumartesi
    • [SPARK-48843] BindParameters ile sonsuz döngü önleme
    • [SPARK-49863][SQL] İç içe yapıların null atanabilirliğini korumak için NormalizeFloatingNumbers düzeltmesi
    • [SPARK-49905] Karıştırmanın AQE'den değiştirilmesini önlemek için durum bilgisi olan işleç için ayrılmış ShuffleOrigin kullanın
    • [SPARK-46632][SQL] Eşdeğer üçüncül ifadelerin farklı alt öğeleri olduğunda alt ifadenin ortadan kaldırılması düzeltilir
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns kuralı, UnresolvedAttribute'u alt çıkışla çözümler
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Foreach havuzu kullanıcı işlevi hatası için Hata sınıfını sınıflandırma
    • [SPARK-49829] Stream-stream join'te durum deposuna giriş ekleme iyileştirmesini gözden geçirme (doğruluk düzeltmesi)
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Ekim 2024, Cumartesi
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] FlatMapGroupsWithState kullanıcı işlevi hatası için Hata sınıfını sınıflandırma
    • [SPARK-49743][SQL] GetArrayStructFields ayıklaması sırasında OptimizeCsvJsonExpr şema alanlarını değiştirmemelidir
    • [SPARK-49688][BAĞLAN] Kesme ve yürütme planı arasındaki veri yarışlarını düzeltme
  • 25 Eylül 2024, Cumartesi
    • [SPARK-48810][BAĞLAN] Oturum durdurma() API'sinin bir kez etkili olması ve oturum sunucu tarafından zaten kapatıldıysa başarısız olmaması gerekir
    • [SPARK-48719][SQL] 'RegrS...
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
    • [SPARK-49628][SQL] ConstantFolding değerlendirmeden önce durum bilgisi olan ifadeyi kopyalamalıdır
    • [SPARK-49492][BAĞLAN] Etkin olmayan ExecutionHolder'da yeniden ekleme girişimi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Eylül 2024, Cumartesi
    • [SPARK-49336][BAĞLAN] Protobuf iletisi kesilirken iç içe yerleştirme düzeyini sınırlama
    • [SPARK-43242][CORE] Karışık bozulma tanılamasında 'Beklenmeyen BlockId türü' oluşturma sorunu düzeltildi
    • [SPARK-48463][ML] Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor iç içe giriş sütunlarını destekleyen oluşturma
    • [SPARK-49526][BAĞLAN] ArtifactManager'da Windows stili yolları destekleme
    • [SPARK-49409][BAĞLAN] CONNECT_SESSION_PLAN_CACHE_SIZE varsayılan değerini ayarlama
    • [SPARK-49366][BAĞLAN] Birleşim düğümünü veri çerçevesi sütun çözünürlüğünde yaprak olarak ele
  • 29 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos
    • [SPARK-49146][SS] Ekleme modu akış sorgularında filigran eksik olan onay hatalarını hata çerçevesine taşıma
    • [SPARK-48862][PYTHON][BAĞLAN] BİlGİ düzeyi etkin olmadığında aramaktan _proto_to_string kaçının
    • [SPARK-49263][BAĞLAN] Spark Connect python istemcisi: Boole Dataframe okuyucu seçeneklerini tutarlı bir şekilde işleme
  • 14 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Saat
    • [SPARK-48941][SPARK-48970] Backport ML yazıcı / okuyucu düzeltmeleri
    • [SPARK-48706][PYTHON] Daha yüksek sırada Python UDF işlevleri iç hata oluşturmamalıdır
    • [SPARK-49056][SQL] ErrorClassesJsonReader null değerini düzgün işleyemiyor
    • [SPARK-48597][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
    • [SPARK-49065][SQL] Eski biçimlendiricilerde/ayrıştırıcılarda yeniden boyutlandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
    • [SPARK-48934][SS] applyInPandasWithState'te zaman aşımını ayarlamak için Python tarih saat türleri yanlış dönüştürüldü
  • 1 Ağustos 2024, Ağustos 2024
    • Bu sürüm, Spark Java arabirimindeki ColumnVector ve ColumnarArray sınıfları için bir hata düzeltmesi içerir. Bu düzeltmeden önce, ArrayIndexOutOfBoundsException bu sınıflardan birinin örneği değerler içerdiğinde null bir veri oluşturulabilir veya yanlış veri döndürülebilir.
    • Not defterleri ve işler için sunucusuz işlemde ANSI SQL modu varsayılan olarak etkindir. Bkz . Desteklenen Spark yapılandırma parametreleri.
    • Paylaşılan erişim moduyla yapılandırılan işlemde Kafka toplu okuma ve yazma işlemleri artık Yapılandırılmış Akış için belgelenenlerle aynı sınırlamalara sahiptir. Bkz . Unity Kataloğu paylaşılan erişim modu için akış sınırlamaları ve gereksinimleri.
    • Bir SHOW CREATE TABLE deyiminin çıktısı artık gerçekleştirilmiş bir görünümde veya akış tablosunda tanımlanan tüm satır filtrelerini veya sütun maskelerini içerir. Bkz. CREATE TABLE'U GÖSTER. Satır filtreleri ve sütun maskeleri hakkında bilgi edinmek için bkz . Satır filtrelerini ve sütun maskelerini kullanarak hassas tablo verilerini filtreleme.
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Backport spark ML yazıcı düzeltmeleri
    • [SPARK-48889][SS] bitirmeden önce durum depolarını kaldırmak için testStream
    • [SPARK-48705][PYTHON] pyspark ile başladığında açıkça worker_main kullanın
    • [SPARK-48047][SQL] Boş TreeNode etiketlerinin bellek baskısını azaltma
    • [SPARK-48544][SQL] Boş TreeNode BitSet'lerinin bellek baskısını azaltma
    • [SPARK-46957][CORE] Geçirilen karıştırma dosyalarının yetkisini alma, yürütücüden temizleyebilmelidir
    • [SPARK-48463] İç içe giriş sütunlarını destekleyen StringIndexer yapma
    • [SPARK-47202][PYTHON] tzinfo ile yazım hatası kesme tarih saatlerini düzeltme
    • [SPARK-47713][SQL][BAĞLAN] Kendi kendine birleştirme hatasını düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Temmuz 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • (Davranış değişikliği) Delta tablo kaynaklarına karşı önbelleğe alınan Veri Çerçeveleri artık kaynak tablonun üzerine yazılırsa geçersiz kılınır. Bu değişiklik, Delta tablolarındaki tüm durum değişikliklerinin önbelleğe alınmış sonuçları geçersiz kıldığı anlamına gelir. DataFrame'in kullanım ömrü boyunca tablo durumunu kalıcı hale getirmek için kullanın .checkpoint() .
    • Snowflake JDBC Sürücüsü 3.16.1 sürümüne güncelleştirildi.
    • Bu sürüm, Databricks Container Services'da çalışırken Spark UI Ortamı sekmesinin doğru görüntülenmesini engelleyen bir soruna yönelik bir düzeltme içerir.
    • Not defterleri ve işler için sunucusuz işlemde ANSI SQL modu varsayılan olarak etkindir. Bkz . Desteklenen Spark yapılandırma parametreleri.
    • Verileri okurken geçersiz bölümleri yoksaymak için Parquet, ORC, CSV veya JSON gibi dosya tabanlı veri kaynakları ignoreInvalidPartitionPaths veri kaynağı seçeneğini true olarak ayarlayabilir. Örneğin: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). SQL yapılandırması spark.sql.files.ignoreInvalidPartitionPaths'i de kullanabilirsiniz. Ancak, veri kaynağı seçeneği SQL yapılandırmasından önceliklidir. Bu ayar varsayılan olarak false'tur.
    • [SPARK-48648][PYTHON][BAĞLAN] SparkConnectClient.tags dosyasını düzgün threadlocal yapma
    • [SPARK-48445][SQL] Pahalı alt öğeleri olan satır içi UDF'ler yapmayın
    • [SPARK-48481][SQL][SS] Akış Veri Kümesine OptimizeOneRowPlan uygulamayın
    • [SPARK-48383][SS] Kafka'da startOffset seçeneğinde eşleşmeyen bölümler için daha iyi hata oluşturma
    • [SPARK-48503][SQL] Yanlış izin verilen eşdeğer olmayan sütunlarda group-by ile geçersiz skaler alt sorgular düzeltildi
    • [SPARK-48100][SQL] Şemada seçilmeyen iç içe yapı alanlarını atlama sorunlarını düzeltme
    • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier'ın geç yeniden yazılmasını düzeltme
    • [SPARK-48252][SQL] Gerektiğinde CommonExpressionRef'i güncelleştirme
    • [SPARK-48475][PYTHON] PySpark'ta _get_jvm_function iyileştirin.
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator, kaydedilmiş dosya görev durumuyla tutarlı olmadığında aşamayı durdurmalıdır
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2024, Saat 2024, Temmuz 2024, Saat 20:00
    • applyInPandasWithState() paylaşılan kümelerde kullanılabilir.
    • Photon TopK kullanarak rank-window iyileştirmesinin yapıları olan bölümleri yanlış işlediği bir hatayı düzeltir.
    • [SPARK-48310][PYTHON][BAĞLAN] Önbelleğe alınan özellikler kopya döndürmelidir
    • [SPARK-48276][PYTHON][BAĞLAN] için eksik __repr__ yöntemi ekleyin SQLExpression
    • [SPARK-48294][SQL] nestedTypeMissingElementTypeError içinde küçük harf işleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 21 Mayıs 2024, Saat 2024, Mayıs 2024, Saat 20:00
    • (Davranış değişikliği) dbutils.widgets.getAll() artık not defterindeki tüm pencere öğesi değerlerini almak için destekleniyor.
    • try_divide() işlevinde ondalık içeren girişlerin beklenmeyen özel durumlarla sonuçlandığı bir hata düzeltildi.
    • [SPARK-48056][BAĞLAN][PYTHON] SESSION_NOT_FOUND hatası oluşursa ve kısmi yanıt alınmazsa planı yeniden yürüt
    • [SPARK-48146][SQL] İfade alt onayı ile içindeki toplama işlevini düzeltme
    • [SPARK-47986][BAĞLAN][PYTHON] Varsayılan oturum sunucu tarafından kapatıldığında yeni oturum oluşturulamıyor
    • [SPARK-48180][SQL] TABLE arg ile UDTF çağrısı birden çok PARTITION/ORDER BY ifadesinde parantezleri unuttuğunda hatayı iyileştirme
    • [SPARK-48016][SQL] Ondalıklar olduğunda try_divide işlevindeki bir hatayı düzeltme
    • [SPARK-48197][SQL] Geçersiz lambda işlevi için onay hatasından kaçının
    • [SPARK-47994][SQL] SQLServer'da CASE WHEN sütun filtresinin aşağı itilmesiyle ilgili hata düzeltildi
    • [SPARK-48173][SQL] CheckAnalysis sorgu planının tamamını görmelidir
    • [SPARK-48105][SS] Durum deposu kaldırma ve anlık görüntü oluşturma arasındaki yarış durumunu düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Mayıs 2024, Mayıs 2024, Saat 20:00
    • (Davranış değişikliği) applyInPandas ve mapInPandas UDF türleri artık Databricks Runtime 14.3 ve üzerini çalıştıran paylaşılan erişim modu işlemlerinde desteklenmektedir.
    • [SPARK-47739][SQL] Mantıksal avro türünü kaydetme
    • [SPARK-47941] [SS] [Bağlan] ForeachBatch çalışan başlatma hatalarını PySpark için kullanıcılara yayma
    • [SPARK-48010][SQL] resolveExpression'da conf.resolver için yinelenen çağrılardan kaçının
    • [SPARK-48044][PYTHON][BAĞLAN] Önbellek DataFrame.isStreaming
    • [SPARK-47956][SQL] Çözümlenmemiş LCA başvurusu için sanity denetimi
    • [SPARK-47543][BAĞLAN][PYTHON] DataFrame oluşturmaya izin vermek için Pandas DataFrame'den Mapype olarak dict çıkarılıyor
    • [SPARK-47819][BAĞLAN][Cherry-pick-14.3] Yürütme temizleme için zaman uyumsuz geri çağırma kullanma
    • [SPARK-47764][CORE][SQL] ShuffleCleanupMode tabanlı karıştırma bağımlılıklarını temizleme
    • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange oluşturulurken eksik param hatasına neden olan null groupId değeri düzeltildi
    • [SPARK-47839][SQL] RewriteWithExpression'da toplu hata düzeltildi
    • [SPARK-47371] [SQL] XML: CDATA'da bulunan satır etiketlerini yoksay
    • [SPARK-47895][SQL] tümüne göre gruplandırma bir kez etkili olmalıdır
    • [SPARK-47973][CORE] SparkContext.stop() ve sonraki sürümlerde SparkContext.assertNotStopped() içinde arama sitesini günlüğe kaydetme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • [SPARK-47543][BAĞLAN][PYTHON] DataFrame oluşturmaya izin vermek için Pandas DataFrame'den olarak MapType çıkarım dict
    • [SPARK-47694][BAĞLAN] en büyük ileti boyutunu istemci tarafında yapılandırılabilir hale getirme
    • [SPARK-47664][PYTHON][BAĞLAN][Cherry-pick-14.3] Sütun adını önbelleğe alınmış şemayla doğrulama
    • [SPARK-47862][PYTHON][BAĞLAN]Proto dosyalarının oluşturulmasını düzeltme
    • "[SPARK-47543][CONNECT][PYTHON] Inferring dict from MapType Pandas DataFrame to allow DataFrame creation"
    • [SPARK-47704][SQL] spark.sql.json.enablePartialResults etkinleştirildiğinde JSON ayrıştırma "java.lang.ClassCastException" ile başarısız oluyor
    • [SPARK-47812][BAĞLAN] ForEachBatch çalışanı için SparkSession Serileştirme desteği
    • [SPARK-47818][BAĞLAN][Cherry-pick-14.3] Analiz isteklerinin performansını geliştirmek için SparkConnectPlanner'da plan önbelleğini tanıtın
    • [SPARK-47828][BAĞLAN][PYTHON] DataFrameWriterV2.overwrite geçersiz planla başarısız oluyor
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Nisan 2024, Saat 2024, Temmuz 2024, Saat 20:00
    • (Davranış değişikliği) İşlem türleri arasında tutarlı bir davranış sağlamak için, paylaşılan kümelerdeki PySpark UDF'leri artık yalıtımsız ve atanmış kümelerdeki UDF'lerin davranışıyla eşleşir. Bu güncelleştirme, mevcut kodu bozabilecek aşağıdaki değişiklikleri içerir:
      • Dönüş türüne sahip string UDF'ler artık örtük olarak olmayanstring değerleri değerlere string dönüştürmez. Daha önce, dönüş türüne str sahip UDF'ler döndürülen değerin gerçek veri türünden bağımsız olarak dönüş değerini bir str() işlevle sarmalardı.
      • Dönüş türlerine sahip timestamp UDF'ler artık ile timezoneöğesine örtük olarak bir dönüştürme timestamp uygulamaz.
      • Spark kümesi yapılandırmaları artık paylaşılan kümelerdeki spark.databricks.sql.externalUDF.* PySpark UDF'leri için geçerli değildir.
      • Spark kümesi yapılandırması spark.databricks.safespark.externalUDF.plan.limit artık PySpark UDF'lerini etkilemez ve PySpark UDF'leri için sorgu başına 5 UDF'nin Genel Önizleme sınırlamasını kaldırır.
      • Spark kümesi yapılandırması spark.databricks.safespark.sandbox.size.default.mib artık paylaşılan kümelerdeki PySpark UDF'leri için geçerli değildir. Bunun yerine, sistemdeki kullanılabilir bellek kullanılır. PySpark UDF'lerinin belleğini sınırlamak için en düşük değeriyle 100mkullanınspark.databricks.pyspark.udf.isolation.memoryLimit.
    • Veri TimestampNTZ türü artık sıvı kümeleme içeren bir kümeleme sütunu olarak desteklenmektedir. Bkz. Delta tabloları için sıvı kümeleme kullanma.
    • [SPARK-47511][SQL] Kimlikleri yeniden atayarak İfadelerle Kurallı Hale Getirin
    • [SPARK-47509][SQL] Lambda ve daha yüksek sıralı işlevlerde alt sorgu ifadelerini engelleme
    • [SPARK-46990][SQL] event-hubs tarafından yayılan boş Avro dosyalarının yüklenmesi düzeltilir
    • [SPARK-47638][PS][BAĞLAN] PS'de sütun adı doğrulamayı atlama
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Mart 2024, Saat 2024, Şubat 2024, Saat 20:00
    • [SPARK-47135][SS] Kafka veri kaybı özel durumları için hata sınıfları uygulama
    • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning yardımcı işlevine sahip olun
    • [SPARK-47145][SQL] Tablo tanımlayıcısını V2 stratejisi için satır veri kaynağı tarama yürütmesine geçirin.
    • [SPARK-47044][SQL] Çıktıyı açıklamak için JDBC dış veri kaynakları için yürütülen sorgu ekleme
    • [SPARK-47167][SQL] JDBC anonim ilişkisi için somut sınıf ekleme
    • [SPARK-47070] Alt sorgu yeniden yazıldıktan sonra geçersiz toplamayı düzeltme
    • [SPARK-47121][CORE] StandaloneSchedulerBackend kapatma sırasında RejectedExecutionExceptions'dan kaçının
    • "[SPARK-46861][CORE] DAGScheduler'da Kilitlenmeyi Önle"
    • [SPARK-47125][SQL] Univocity hiçbir zaman ayrıştırma tetiklemiyorsa null döndür
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier, ifade ağacında başka ifadeler içermelidir
    • [SPARK-47129][BAĞLAN][SQL] Önbellek bağlantı planını düzgün hale getirme ResolveRelations
    • [SPARK-47241][SQL] ExtractGenerator için kural sırası sorunlarını düzeltme
    • [SPARK-47035][SS][BAĞLAN] İstemci Tarafı Dinleyici protokolü
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Şubat 2024, Saat 2024, Şubat 2024, Şubat 2024, Saat 20
    • MERGE komutunda kaynak olarak yerel koleksiyon kullanmanın numSourceRows işlem ölçümünün doğru satır sayısını ikiye katladığı bir sorun düzeltildi.
    • Tanımlı bir konuma sahip bir şema oluşturmak için artık kullanıcının HERHANGİ Bİr DOSYADA SELECT ve MODIFY ayrıcalıklarına sahip olması gerekir.
    • [SPARK-47071][SQL] Özel ifade içeriyorsa satır içi ifade
    • [SPARK-47059][SQL] ALTER COLUMN v1 komutu için hata bağlamı ekleme
    • [SPARK-46993][SQL] Oturum değişkenleri için sabit katlama düzeltmesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 3 Ocak 2024, Saat 2024
    • [SPARK-46933] JDBCRDD kullanan bağlayıcılara sorgu yürütme süresi ölçümü ekleyin.
    • [SPARK-46763] Yinelenen öznitelikler için ReplaceDeduplicateWithAggregate içindeki onay hatası düzeltildi.
    • [SPARK-46954] XML: BufferedReader ile InputStreamReader sarmalama.
    • [SPARK-46655] Yöntemlerde sorgu bağlamı yakalamayı DataFrame atlayın.
    • [SPARK-44815] Fazla RPC'yi önlemek için df.schema dosyasını önbelleğe alın.
    • [SPARK-46952] XML: Bozuk kaydın boyutunu sınırlayın.
    • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
    • [SPARK-46736] protobuf bağlayıcısında boş ileti alanını korur.
    • [SPARK-45182] Sağlama toplamı tarafından belirlenen üst belirsiz aşamayı yeniden denedikten sonra eski aşamadan görev tamamlanmasını yoksayın.
    • [SPARK-46414] javascript içeri aktarmalarını işlemek için prependBaseUri kullanın.
    • [SPARK-46383] Kullanım Ömrünü TaskInfo.accumulables()Azaltarak Sürücü Yığını Kullanımını Azaltın.
    • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
    • [SPARK-46954] XML: Şema dizini aramalarını iyileştirin.
    • [SPARK-46676] dropDuplicatesWithinWatermark, planın kurallı hale getirilmesinde başarısız olmamalıdır.
    • [SPARK-46644] ISZero kullanmak için SQLMetric'de ekleme ve birleştirmeyi değiştirin.
    • [SPARK-46731] Durum deposu sağlayıcısı örneğini durum veri kaynağına göre yönetme - okuyucu.
    • [SPARK-46677] Çözümü düzeltin dataframe["*"] .
    • [SPARK-46610] Tablo oluşturma, seçeneklerde bir anahtar için değer olmadığında özel durum oluşturmalıdır.
    • [SPARK-46941] BoyutBasedWindowFunction içeriyorsa üst k hesaplama için pencere grubu sınır düğümü eklenemez.
    • [SPARK-45433] Zaman damgaları belirtilen timestampFormat ile eşleşmediğinde CSV/JSON şema çıkarımı düzeltildi.
    • [SPARK-46930] Avro'da Birleşim türü alanları için özel ön ek desteği ekleyin.
    • [SPARK-46227] 14.3'e geri bağlantı noktası.
    • [SPARK-46822] jdbc türünü jdbc'de katalizör türüne yazarken spark.sql.legacy.charVarcharAsString'e saygı gösterin.
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 14.2

Bkz . Databricks Runtime 14.2.

  • 22 Ekim 2024, Cumartesi
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns kuralı, UnresolvedAttribute'u alt çıkışla çözümler
    • [SPARK-49905] Karıştırmanın AQE'den değiştirilmesini önlemek için durum bilgisi olan işleç için ayrılmış ShuffleOrigin kullanın
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Ekim 2024, Cumartesi
  • 25 Eylül 2024, Cumartesi
    • [SPARK-48719][SQL] 'RegrS...
    • [SPARK-49628][SQL] ConstantFolding değerlendirmeden önce durum bilgisi olan ifadeyi kopyalamalıdır
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
    • [SPARK-43242][CORE] Karışık bozulma tanılamasında 'Beklenmeyen BlockId türü' oluşturma sorunu düzeltildi
    • [SPARK-46601] [CORE] handleStatusMessage'daki günlük hatalarını düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Eylül 2024, Cumartesi
    • [SPARK-49526][BAĞLAN] ArtifactManager'da Windows stili yolları destekleme
  • 29 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos
    • [SPARK-49263][BAĞLAN] Spark Connect python istemcisi: Boole Dataframe okuyucu seçeneklerini tutarlı bir şekilde işleme
    • [SPARK-49146][SS] Ekleme modu akış sorgularında filigran eksik olan onay hatalarını hata çerçevesine taşıma
    • [SPARK-49056][SQL] ErrorClassesJsonReader null değerini düzgün işleyemiyor
  • 14 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Saat
    • [SPARK-48050][SS] Sorgu başlangıcında mantıksal planı günlüğe kaydetme
    • [SPARK-48597][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
    • [SPARK-49065][SQL] Eski biçimlendiricilerde/ayrıştırıcılarda yeniden boyutlandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
    • [SPARK-48706][PYTHON] Daha yüksek sırada Python UDF işlevleri iç hata oluşturmamalıdır
  • 1 Ağustos 2024, Ağustos 2024
    • Bu sürüm, Spark Java arabirimindeki ColumnVector ve ColumnarArray sınıfları için bir hata düzeltmesi içerir. Bu düzeltmeden önce, ArrayIndexOutOfBoundsException bu sınıflardan birinin örneği değerler içerdiğinde null bir veri oluşturulabilir veya yanlış veri döndürülebilir.
    • Bir SHOW CREATE TABLE deyiminin çıktısı artık gerçekleştirilmiş bir görünümde veya akış tablosunda tanımlanan tüm satır filtrelerini veya sütun maskelerini içerir. Bkz. CREATE TABLE'U GÖSTER. Satır filtreleri ve sütun maskeleri hakkında bilgi edinmek için bkz . Satır filtrelerini ve sütun maskelerini kullanarak hassas tablo verilerini filtreleme.
    • [SPARK-47202][PYTHON] tzinfo ile yazım hatası kesme tarih saatlerini düzeltme
    • [SPARK-48705][PYTHON] pyspark ile başladığında açıkça worker_main kullanın
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Temmuz 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • (Davranış değişikliği) Delta tablo kaynaklarına karşı önbelleğe alınan Veri Çerçeveleri artık kaynak tablonun üzerine yazılırsa geçersiz kılınır. Bu değişiklik, Delta tablolarındaki tüm durum değişikliklerinin önbelleğe alınmış sonuçları geçersiz kıldığı anlamına gelir. DataFrame'in kullanım ömrü boyunca tablo durumunu kalıcı hale getirmek için kullanın .checkpoint() .
    • Snowflake JDBC Sürücüsü 3.16.1 sürümüne güncelleştirildi
    • Bu sürüm, Databricks Container Services'da çalışırken Spark UI Ortamı sekmesinin doğru görüntülenmesini engelleyen bir soruna yönelik bir düzeltme içerir.
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator, kaydedilmiş dosya görev durumuyla tutarlı olmadığında aşamayı durdurmalıdır
    • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier'ın geç yeniden yazılmasını düzeltme
    • [SPARK-48503][SQL] Yanlış izin verilen eşdeğer olmayan sütunlarda group-by ile geçersiz skaler alt sorgular düzeltildi
    • [SPARK-48481][SQL][SS] Akış Veri Kümesine OptimizeOneRowPlan uygulamayın
    • [SPARK-48475][PYTHON] PySpark'ta _get_jvm_function iyileştirin.
    • [SPARK-48100][SQL] Şemada seçilmeyen iç içe yapı alanlarını atlama sorunlarını düzeltme
    • [SPARK-48445][SQL] Pahalı alt öğeleri olan satır içi UDF'ler yapmayın
    • [SPARK-48383][SS] Kafka'da startOffset seçeneğinde eşleşmeyen bölümler için daha iyi hata oluşturma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2024, Saat 2024, Temmuz 2024, Saat 20:00
    • Photon TopK kullanarak rank-window iyileştirmesinin yapıları olan bölümleri yanlış işlediği bir hatayı düzeltir.
    • [SPARK-48276][PYTHON][BAĞLAN] için eksik __repr__ yöntemi ekleyin SQLExpression
    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage için hata iletisini iyileştirme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 21 Mayıs 2024, Saat 2024, Mayıs 2024, Saat 20:00
    • (Davranış değişikliği) dbutils.widgets.getAll() artık not defterindeki tüm pencere öğesi değerlerini almak için destekleniyor.
    • [SPARK-48173][SQL] CheckAnalysis sorgu planının tamamını görmelidir
    • [SPARK-48197][SQL] Geçersiz lambda işlevi için onay hatasından kaçının
    • [SPARK-47994][SQL] SQLServer'da CASE WHEN sütun filtresinin aşağı itilmesiyle ilgili hata düzeltildi
    • [SPARK-48105][SS] Durum deposu kaldırma ve anlık görüntü oluşturma arasındaki yarış durumunu düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Mayıs 2024, Mayıs 2024, Saat 20:00
    • [SPARK-48044][PYTHON][BAĞLAN] Önbellek DataFrame.isStreaming
    • [SPARK-47956][SQL] Çözümlenmemiş LCA başvurusu için sanity denetimi
    • [SPARK-47371] [SQL] XML: CDATA'da bulunan satır etiketlerini yoksay
    • [SPARK-47812][BAĞLAN] ForEachBatch çalışanı için SparkSession Serileştirme desteği
    • [SPARK-47895][SQL] tümüne göre gruplandırma bir kez etkili olmalıdır
    • [SPARK-47973][CORE] SparkContext.stop() ve sonraki sürümlerde SparkContext.assertNotStopped() içinde arama sitesini günlüğe kaydetme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • [SPARK-47704][SQL] spark.sql.json.enablePartialResults etkinleştirildiğinde JSON ayrıştırma "java.lang.ClassCastException" ile başarısız oluyor
    • [SPARK-47828][BAĞLAN][PYTHON] DataFrameWriterV2.overwrite geçersiz planla başarısız oluyor
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Nisan 2024, Saat 2024, Temmuz 2024, Saat 20:00
    • [SPARK-47309][SQL][XML] Şema çıkarım birimi testleri ekleme
    • [SPARK-46990][SQL] event-hubs tarafından yayılan boş Avro dosyalarının yüklenmesi düzeltilir
    • [SPARK-47638][PS][BAĞLAN] PS'de sütun adı doğrulamayı atlama
    • [SPARK-47509][SQL] Lambda ve daha yüksek sıralı işlevlerde alt sorgu ifadelerini engelleme
    • [SPARK-38708][SQL] Hive Meta Veri Deposu İstemcisini Hive 3.1 için 3.1.3'e yükseltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024
    • [SPARK-47322][PYTHON][BAĞLAN] Sütun adlarını yineleme işlemeyi ile tutarlı hale getirme withColumnsRenamedwithColumnRenamed
    • [SPARK-47385] Seçenek girişleri ile tanımlama grubu kodlayıcılarını düzeltin.
    • [SPARK-47070] Alt sorgu yeniden yazıldıktan sonra geçersiz toplamayı düzeltme
    • [SPARK-47218] [SQL] XML: SchemaOfXml DROPMALFORMED modunda başarısız olacak şekilde değiştirildi
    • [SPARK-47305][SQL] Plan hem toplu hem de akışa sahip olduğunda LocalRelation'ın isStreaming bayrağını doğru etiketlemek için PruneFilters'ı düzeltin
    • [SPARK-47218][SQL] XML: XML belirteç oluşturucusunda açıklama satırı etiketlerini yoksay
    • "[SPARK-46861][CORE] DAGScheduler'da Kilitlenmeyi Önle"
    • [SPARK-47300][SQL] quoteIfNeeded tırnak tanımlayıcısı basamaklarla başlar
    • [SPARK-47368][SQL] ParquetRowConverter'da inferTimestampNTZ yapılandırma denetimini kaldırma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Mart 2024, Saat 2024, Şubat 2024, Saat 20:00
    • [SPARK-47035][SS][BAĞLAN] İstemci Tarafı Dinleyici protokolü
    • [SPARK-47121][CORE] StandaloneSchedulerBackend kapatma sırasında RejectedExecutionExceptions'dan kaçının
    • [SPARK-47145][SQL] Tablo tanımlayıcısını V2 stratejisi için satır veri kaynağı tarama yürütmesine geçirin.
    • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning yardımcı işlevine sahip olun
    • [SPARK-47167][SQL] JDBC anonim ilişkisi için somut sınıf ekleme
    • [SPARK-47129][BAĞLAN][SQL] Önbellek bağlantı planını düzgün hale getirme ResolveRelations
    • [SPARK-47044][SQL] Çıktıyı açıklamak için JDBC dış veri kaynakları için yürütülen sorgu ekleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Şubat 2024, Saat 2024, Şubat 2024, Şubat 2024, Saat 20
    • MERGE komutunda kaynak olarak yerel koleksiyon kullanmanın numSourceRows işlem ölçümünün doğru satır sayısını ikiye katladığı bir sorun düzeltildi.
    • Tanımlı bir konuma sahip bir şema oluşturmak için artık kullanıcının HERHANGİ Bİr DOSYADA SELECT ve MODIFY ayrıcalıklarına sahip olması gerekir.
    • Artık Otomatik Yükleyici, read_files, COPY INTO, DLT ve DBSQL kullanarak XML dosyalarını alabilirsiniz. XML dosya desteği şemayı otomatik olarak çıkarıp geliştirebilir, tür uyuşmazlıklarıyla verileri kurtarabilir, XSD kullanarak XML'yi doğrulayabilir, from_xml, schema_of_xml ve to_xml gibi SQL ifadelerini destekleyebilir. Diğer ayrıntılar için bkz . XML dosyası desteği . Daha önce dış spark-xml paketini kullandıysanız, geçiş kılavuzu için lütfen buraya bakın.
    • [SPARK-46954][SQL] XML: BufferedReader ile InputStreamReader Sarmalama
    • [SPARK-46630][SQL] XML: Yazma işleminde XML öğesi adını doğrulama
    • [SPARK-46248][SQL] XML: ignoreCorruptFiles ve ignoreMissingFiles seçenekleri desteği
    • [SPARK-46954][SQL] XML: Şema dizini arama en iyi duruma getirme
    • [SPARK-47059][SQL] ALTER COLUMN v1 komutu için hata bağlamı ekleme
    • [SPARK-46993][SQL] Oturum değişkenleri için sabit katlama düzeltmesi
  • 8 Şubat 2024, İstanbul
    • Unity Kataloğu'nda gerçekleştirilmiş görünümlerde değişiklik veri akışı (CDF) sorguları desteklenmez ve Unity Kataloğu gerçekleştirilmiş görünümüyle bir CDF sorgusu çalıştırma girişimi bir hata döndürür. Unity Kataloğu akış tabloları, Databricks Runtime 14.1 ve sonraki sürümlerde olmayan tablolarda CDF sorgularınıAPPLY CHANGES destekler. CDF sorguları, Databricks Runtime 14.0 ve önceki sürümlerde Unity Kataloğu akış tablolarında desteklenmez.
    • [SPARK-46930] Avro'da Birleşim türü alanları için özel ön ek desteği ekleyin.
    • [SPARK-46822] jdbc türünü jdbc'de katalizör türüne yazarken spark.sql.legacy.charVarcharAsString'e saygı gösterin.
    • [SPARK-46952] XML: Bozuk kaydın boyutunu sınırlayın.
    • [SPARK-46644] ISZero kullanmak için SQLMetric'de ekleme ve birleştirmeyi değiştirin.
    • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
    • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
    • [SPARK-46941] BoyutBasedWindowFunction içeriyorsa üst k hesaplama için pencere grubu sınır düğümü eklenemez.
    • [SPARK-46933] JDBCRDD kullanan bağlayıcılara sorgu yürütme süresi ölçümü ekleyin.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
    • [SPARK-46382] XML: için ignoreSurroundingSpacesbelgeyi güncelleştirin.
    • [SPARK-46382] XML: Öğeler arasında kesişen değerleri yakalayın.
    • [SPARK-46763] Yinelenen öznitelikler için ReplaceDeduplicateWithAggregate içindeki onay hatası düzeltildi.
    • Revert [SPARK-46769] Zaman damgasıyla ilgili şema çıkarımı daraltın.
    • [SPARK-46677] Çözümü düzeltin dataframe["*"] .
    • [SPARK-46382] XML: Varsayılan ignoreSurroundingSpaces değeri true olarak ayarlanır.
    • [SPARK-46633] Avro okuyucusu sıfır uzunluklu blokları işleyecek şekilde düzeltildi.
    • [SPARK-45964] Katalizör paketi altındaki XML ve JSON paketindeki özel SQL erişimcisini kaldırın.
    • [SPARK-46581] AccumulatorV2'de isZero ile ilgili açıklamayı güncelleştirin.
    • [SPARK-45912] XSDToSchema API'sinin geliştirilmesi: Bulut depolama erişilebilirliği için HDFS API'sine geçin.
    • [SPARK-45182] Sağlama toplamı tarafından belirlenen üst belirsiz aşamayı yeniden denedikten sonra eski aşamadan görev tamamlanmasını yoksayın.
    • [SPARK-46660] ReattachExecute, SessionHolder'ın canlılığını güncelleştirir.
    • [SPARK-46610] Tablo oluşturma, seçeneklerde bir anahtar için değer olmadığında özel durum oluşturmalıdır.
    • [SPARK-46383] Kullanım Ömrünü TaskInfo.accumulables()Azaltarak Sürücü Yığını Kullanımını Azaltın.
    • [SPARK-46769] Zaman damgasıyla ilgili şema çıkarımlarını daraltma.
    • [SPARK-46684] Bağımsız değişkenleri düzgün geçirmek için CoGroup.applyInPandas/Arrow dosyasını düzeltin.
    • [SPARK-46676] dropDuplicatesWithinWatermark, planın kurallı hale getirilmesinde başarısız olmamalıdır.
    • [SPARK-45962] XML yerine kaldır treatEmptyValuesAsNulls ve kullan seçeneğini kullanın nullValue .
    • [SPARK-46541] Kendi kendine birleştirmede belirsiz sütun başvurularını düzeltin.
    • [SPARK-46599] XML: Uyumluluk denetimi için TypeCoercion.findTightestCommonType kullanın.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
    • shuffle Bir Photon sorgusu tarafından döndürülen açıklama planının düğümü, yayın birleştirme işleminin causedBroadcastJoinBuildOOM=true parçası olan bir karıştırma sırasında bellek yetersiz hatası oluştuğunda bayrağını ekleyecek şekilde güncelleştirilir.
    • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
    • [SPARK-46261] DataFrame.withColumnsRenamed , dikte/harita sıralamasını korumalıdır.
    • [SPARK-46538] içindeki belirsiz sütun başvurusu sorununu düzeltin ALSModel.transform.
    • [SPARK-46145] spark.catalog.listTables tablo veya görünüm bulunamadığında özel durum oluşturmaz.
    • [SPARK-46484] Yardımcı işlevlerin plan kimliğini korumasını sağlayın resolveOperators .
    • [SPARK-46394] True olarak ayarlandığında özel karakterler spark.sql.legacy.keepCommandOutputSchema içeren şemalardaki spark.catalog.listDatabases() sorunlarını düzeltin.
    • [SPARK-46609] PartitioningPreservingUnaryExecNode'da üstel patlamadan kaçının.
    • [SPARK-46446] Doğruluk hatasını düzeltmek için bağıntılı OFFSET ile alt sorguları devre dışı bırakın.
    • [SPARK-46152] XML: XML şeması çıkarımına DecimalType desteği ekleyin.
    • [SPARK-46602] allowExisting Görünüm/tablo mevcut olmadığında görünüm oluşturmada yayma.
    • [SPARK-45814] Bellek sızıntısını önlemek için ArrowConverters.createEmptyArrowBatch çağrısı close() yapın.
    • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
    • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
    • [SPARK-46600] Paylaşılan kodu SqlConf ile SqlApiConf arasında SqlApiConfHelper'a taşıyın.
    • [SPARK-46478] Dize için oracle varchar(255) kullanmak için SPARK-43049'ı geri alın.
    • [SPARK-46417] hive.getTable çağrılırken başarısız olmaz ve throwException false olur.
    • [SPARK-46153] XML: TimestampNTZType desteği ekleyin.
    • [SPARK-46056][BACKPORT] ByteArrayDecimalType varsayılan değeriyle Parquet vektörleştirilmiş okuma NPE'sı düzeltildi.
    • [SPARK-46466] Vektörleştirilmiş parke okuyucu asla zaman damgası ntz için yeniden temel almamalıdır.
    • [SPARK-46260] DataFrame.withColumnsRenamed dikte düzenine uygun olmalıdır.
    • [SPARK-46036] hata sınıfı raise_error işlevinden kaldırılıyor.
    • [SPARK-46294] init ile sıfır değerinin semantiğini temizleyin.
    • [SPARK-46173] Tarih ayrıştırma sırasında trimTüm çağrı atlanıyor.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46587] XML: XSD büyük tamsayı dönüştürmeyi düzeltin.
    • [SPARK-46396] Zaman damgası çıkarımı özel durum oluşturmamalıdır.
    • [SPARK-46241] Sonsuz özyinelemeye düşmemesi için hata işleme yordamı düzeltildi.
    • [SPARK-46355] XML: Okuma tamamlandığında InputStreamReader'ı kapatın.
    • [SPARK-46370] Sütun varsayılanlarını değiştirdikten sonra tablodan sorgu yaparken oluşan hata düzeltildi.
    • [SPARK-46265] AddArtifact RPC'deki onaylar, bağlantı istemcisini eski kümelerle uyumsuz hale getirir.
    • [SPARK-46308] Özyinelemeli hata işlemeyi yasaklar.
    • [SPARK-46337] öğesinin saklamasını sağlayın CTESubstitution PLAN_ID_TAG.
  • 14 Aralık 2023, Cumartesi
    • [SPARK-46141] spark.sql.legacy.ctePrecedencePolicy için varsayılan değeri DÜZELTİlDİ olarak değiştirin.
    • [SPARK-45730] ReloadingX509TrustManagerSuite'ı daha az flaky yapın.
    • [SPARK-45852] Günlüğe kaydetme sırasında özyineleme hatasıyla düzgün bir şekilde ilgilenin.
    • [SPARK-45808] SQL Özel Durumları için daha iyi hata işleme.
    • [SPARK-45920] sıralı gruplandırma bir kez etkili olmalıdır.
    • "[SPARK-45649] " için OffsetWindowFunctionFramehazırlama çerçevesini birleştirin.
    • [SPARK-45733] Birden çok yeniden deneme ilkesi desteği.
    • [SPARK-45509] Spark Connect için df sütun başvurusu davranışı düzeltildi.
    • [SPARK-45655] CollectMetrics içindeki AggregateFunctions içinde belirlenemeyen ifadelere izin verin.
    • [SPARK-45905] Ondalık türler arasındaki en az yaygın tür önce tam sayı basamaklarını tutmalıdır.
    • [SPARK-45136] Ammonite desteği ile ClosureCleaner'ı geliştirin.
    • [SPARK-46255] Karmaşık tür desteği -> dize dönüştürme.
    • [SPARK-45859] ml.functions içindeki UDF nesnelerini gecikmeli hale getirin.
    • [SPARK-46028] Giriş sütununu kabul et yapın Column.__getitem__ .
    • [SPARK-45798] Sunucu tarafı oturum kimliğini onaylama.
    • [SPARK-45892] ve validateExprIdUniquenessöğesini ayrıştırmak validateSchemaOutput için iyileştirici planı doğrulamasını yeniden düzenleme.
    • [SPARK-45844] XML için büyük/küçük harf duyarlılığı uygulama.
    • [SPARK-45770] için Dataframe.dropplanı DataFrameDropColumns tanıtın.
    • [SPARK-44790] XML: Python, connect ve SQL için uygulama ve bağlamaları to_xml.
    • [SPARK-45851] Scala istemcisinde birden çok ilkeyi destekleyin.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
    • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
    • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde getColumns kaçış alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • [SPARK-45852] Spark Connect için Python istemcisi artık metin dönüştürme sırasında özyineleme hatalarını yakalıyor.
    • [SPARK-45808] SQL özel durumları için geliştirilmiş hata işleme.
    • [SPARK-45920] GROUP BY sıra, sıranın yerini almaz.
    • [SPARK-45649] öğesini geri döndür.
    • [SPARK-45733] Birden çok yeniden deneme ilkesi için destek eklendi.
    • [SPARK-45509] Spark Connect için sütun başvurusu davranışı düzeltildi df .
    • [SPARK-45655] içinde AggregateFunctions CollectMetricsbelirleyici olmayan ifadelere izin ver.
    • [SPARK-45905] Ondalık türleri arasındaki en az yaygın tür artık önce tam sayı basamaklarını korur.
    • [SPARK-45136] Ammonite desteğiyle geliştirin ClosureCleaner .
    • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
    • [SPARK-46028] Column.__getitem__ giriş sütunlarını kabul eder.
    • [SPARK-45798] Sunucu tarafı oturum kimliğini onaylama.
    • [SPARK-45892] ve validateExprIdUniquenessöğesini ayrıştırmak validateSchemaOutput için iyileştirici planı doğrulamasını yeniden düzenleme.
    • [SPARK-45844] XML için büyük/küçük harf duyarlılığı uygulama.
    • [SPARK-45770] için Dataframe.dropile DataFrameDropColumns sütun çözünürlüğü düzeltildi.
    • [SPARK-44790] Python, Spark Connect ve SQL için uygulama ve bağlamalar eklendi to_xml .
    • [SPARK-45851] Scala istemcisinde birden çok ilke için destek eklendi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 14.1

Bkz . Databricks Runtime 14.1.

  • 22 Ekim 2024, Cumartesi
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns kuralı, UnresolvedAttribute'u alt çıkışla çözümler
    • [SPARK-49905] Karıştırmanın AQE'den değiştirilmesini önlemek için durum bilgisi olan işleç için ayrılmış ShuffleOrigin kullanın
  • 10 Ekim 2024, Cumartesi
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] FlatMapGroupsWithState kullanıcı işlevi hatası için Hata sınıfını sınıflandırma
    • [SPARK-49743][SQL] GetArrayStructFields ayıklaması sırasında OptimizeCsvJsonExpr şema alanlarını değiştirmemelidir
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Eylül 2024, Cumartesi
    • [SPARK-49628][SQL] ConstantFolding değerlendirmeden önce durum bilgisi olan ifadeyi kopyalamalıdır
    • [SPARK-43242][CORE] Karışık bozulma tanılamasında 'Beklenmeyen BlockId türü' oluşturma sorunu düzeltildi
    • [SPARK-48719][SQL] 'RegrS...
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
    • [SPARK-46601] [CORE] handleStatusMessage'daki günlük hatalarını düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Eylül 2024, Cumartesi
    • [SPARK-49526][BAĞLAN] ArtifactManager'da Windows stili yolları destekleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos
    • [SPARK-49263][BAĞLAN] Spark Connect python istemcisi: Boole Dataframe okuyucu seçeneklerini tutarlı bir şekilde işleme
    • [SPARK-49056][SQL] ErrorClassesJsonReader null değerini düzgün işleyemiyor
  • 14 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Saat
    • [SPARK-48706][PYTHON] Daha yüksek sırada Python UDF işlevleri iç hata oluşturmamalıdır
    • [SPARK-48597][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
    • [SPARK-49065][SQL] Eski biçimlendiricilerde/ayrıştırıcılarda yeniden boyutlandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
    • [SPARK-48050][SS] Sorgu başlangıcında mantıksal planı günlüğe kaydetme
  • 1 Ağustos 2024, Ağustos 2024
    • Bu sürüm, Spark Java arabirimindeki ColumnVector ve ColumnarArray sınıfları için bir hata düzeltmesi içerir. Bu düzeltmeden önce, ArrayIndexOutOfBoundsException bu sınıflardan birinin örneği değerler içerdiğinde null bir veri oluşturulabilir veya yanlış veri döndürülebilir.
    • Bir SHOW CREATE TABLE deyiminin çıktısı artık gerçekleştirilmiş bir görünümde veya akış tablosunda tanımlanan tüm satır filtrelerini veya sütun maskelerini içerir. Bkz. CREATE TABLE'U GÖSTER. Satır filtreleri ve sütun maskeleri hakkında bilgi edinmek için bkz . Satır filtrelerini ve sütun maskelerini kullanarak hassas tablo verilerini filtreleme.
    • [SPARK-48705][PYTHON] pyspark ile başladığında açıkça worker_main kullanın
    • [SPARK-47202][PYTHON] tzinfo ile yazım hatası kesme tarih saatlerini düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Temmuz 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • (Davranış değişikliği) Delta tablo kaynaklarına karşı önbelleğe alınan Veri Çerçeveleri artık kaynak tablonun üzerine yazılırsa geçersiz kılınır. Bu değişiklik, Delta tablolarındaki tüm durum değişikliklerinin önbelleğe alınmış sonuçları geçersiz kıldığı anlamına gelir. DataFrame'in kullanım ömrü boyunca tablo durumunu kalıcı hale getirmek için kullanın .checkpoint() .
    • Bu sürüm, Databricks Container Services'da çalışırken Spark UI Ortamı sekmesinin doğru görüntülenmesini engelleyen bir soruna yönelik bir düzeltme içerir.
    • [SPARK-48475][PYTHON] PySpark'ta _get_jvm_function iyileştirin.
    • [SPARK-48445][SQL] Pahalı alt öğeleri olan satır içi UDF'ler yapmayın
    • [SPARK-48481][SQL][SS] Akış Veri Kümesine OptimizeOneRowPlan uygulamayın
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator, kaydedilmiş dosya görev durumuyla tutarlı olmadığında aşamayı durdurmalıdır
    • [SPARK-48503][SQL] Yanlış izin verilen eşdeğer olmayan sütunlarda group-by ile geçersiz skaler alt sorgular düzeltildi
    • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier'ın geç yeniden yazılmasını düzeltme
    • [SPARK-48100][SQL] Şemada seçilmeyen iç içe yapı alanlarını atlama sorunlarını düzeltme
    • [SPARK-48383][SS] Kafka'da startOffset seçeneğinde eşleşmeyen bölümler için daha iyi hata oluşturma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2024, Saat 2024, Temmuz 2024, Saat 20:00
    • Photon TopK kullanarak rank-window iyileştirmesinin yapıları olan bölümleri yanlış işlediği bir hatayı düzeltir.
    • [SPARK-48276][PYTHON][BAĞLAN] için eksik __repr__ yöntemi ekleyin SQLExpression
    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage için hata iletisini iyileştirme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 21 Mayıs 2024, Saat 2024, Mayıs 2024, Saat 20:00
    • (Davranış değişikliği) dbutils.widgets.getAll() artık not defterindeki tüm pencere öğesi değerlerini almak için destekleniyor.
    • [SPARK-47994][SQL] SQLServer'da CASE WHEN sütun filtresinin aşağı itilmesiyle ilgili hata düzeltildi
    • [SPARK-48105][SS] Durum deposu kaldırma ve anlık görüntü oluşturma arasındaki yarış durumunu düzeltme
    • [SPARK-48173][SQL] CheckAnalysis sorgu planının tamamını görmelidir
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Mayıs 2024, Mayıs 2024, Saat 20:00
    • [SPARK-47371] [SQL] XML: CDATA'da bulunan satır etiketlerini yoksay
    • [SPARK-47895][SQL] tümüne göre gruplandırma bir kez etkili olmalıdır
    • [SPARK-47956][SQL] Çözümlenmemiş LCA başvurusu için sanity denetimi
    • [SPARK-48044][PYTHON][BAĞLAN] Önbellek DataFrame.isStreaming
    • [SPARK-47973][CORE] SparkContext.stop() ve sonraki sürümlerde SparkContext.assertNotStopped() içinde arama sitesini günlüğe kaydetme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • [SPARK-47704][SQL] spark.sql.json.enablePartialResults etkinleştirildiğinde JSON ayrıştırma "java.lang.ClassCastException" ile başarısız oluyor
    • [SPARK-47828][BAĞLAN][PYTHON] DataFrameWriterV2.overwrite geçersiz planla başarısız oluyor
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Nisan 2024, Saat 2024, Temmuz 2024, Saat 20:00
    • [SPARK-47638][PS][BAĞLAN] PS'de sütun adı doğrulamayı atlama
    • [SPARK-38708][SQL] Hive Meta Veri Deposu İstemcisini Hive 3.1 için 3.1.3'e yükseltme
    • [SPARK-47309][SQL][XML] Şema çıkarım birimi testleri ekleme
    • [SPARK-47509][SQL] Lambda ve daha yüksek sıralı işlevlerde alt sorgu ifadelerini engelleme
    • [SPARK-46990][SQL] event-hubs tarafından yayılan boş Avro dosyalarının yüklenmesi düzeltilir
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024
    • [SPARK-47305][SQL] Plan hem toplu hem de akışa sahip olduğunda LocalRelation'ın isStreaming bayrağını doğru etiketlemek için PruneFilters'ı düzeltin
    • [SPARK-47218][SQL] XML: XML belirteç oluşturucusunda açıklama satırı etiketlerini yoksay
    • [SPARK-47300][SQL] quoteIfNeeded tırnak tanımlayıcısı basamaklarla başlar
    • [SPARK-47368][SQL] ParquetRowConverter'da inferTimestampNTZ yapılandırma denetimini kaldırma
    • [SPARK-47070] Alt sorgu yeniden yazıldıktan sonra geçersiz toplamayı düzeltme
    • [SPARK-47322][PYTHON][BAĞLAN] Sütun adlarını yineleme işlemeyi ile tutarlı hale getirme withColumnsRenamedwithColumnRenamed
    • [SPARK-47300] DecomposerSuite için düzeltme
    • [SPARK-47218] [SQL] XML: SchemaOfXml DROPMALFORMED modunda başarısız olacak şekilde değiştirildi
    • [SPARK-47385] Seçenek girişleri ile tanımlama grubu kodlayıcılarını düzeltin.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Mart 2024, Saat 2024, Şubat 2024, Saat 20:00
    • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning yardımcı işlevine sahip olun
    • [SPARK-47145][SQL] Tablo tanımlayıcısını V2 stratejisi için satır veri kaynağı tarama yürütmesine geçirin.
    • [SPARK-47167][SQL] JDBC anonim ilişkisi için somut sınıf ekleme
    • [SPARK-47129][BAĞLAN][SQL] Önbellek bağlantı planını düzgün hale getirme ResolveRelations
    • "[SPARK-46861][CORE] DAGScheduler'da Kilitlenmeyi Önle"
    • [SPARK-47044][SQL] Çıktıyı açıklamak için JDBC dış veri kaynakları için yürütülen sorgu ekleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Şubat 2024, Saat 2024, Şubat 2024, Şubat 2024, Saat 20
    • MERGE komutunda kaynak olarak yerel koleksiyon kullanmanın numSourceRows işlem ölçümünün doğru satır sayısını ikiye katladığı bir sorun düzeltildi.
    • Tanımlı bir konuma sahip bir şema oluşturmak için artık kullanıcının HERHANGİ Bİr DOSYADA SELECT ve MODIFY ayrıcalıklarına sahip olması gerekir.
    • Artık Otomatik Yükleyici, read_files, COPY INTO, DLT ve DBSQL kullanarak XML dosyalarını alabilirsiniz. XML dosya desteği şemayı otomatik olarak çıkarıp geliştirebilir, tür uyuşmazlıklarıyla verileri kurtarabilir, XSD kullanarak XML'yi doğrulayabilir, from_xml, schema_of_xml ve to_xml gibi SQL ifadelerini destekleyebilir. Diğer ayrıntılar için bkz . XML dosyası desteği . Daha önce dış spark-xml paketini kullandıysanız, geçiş kılavuzu için lütfen buraya bakın.
    • [SPARK-46248][SQL] XML: ignoreCorruptFiles ve ignoreMissingFiles seçenekleri desteği
    • [SPARK-47059][SQL] ALTER COLUMN v1 komutu için hata bağlamı ekleme
    • [SPARK-46954][SQL] XML: BufferedReader ile InputStreamReader Sarmalama
    • [SPARK-46954][SQL] XML: Şema dizini arama en iyi duruma getirme
    • [SPARK-46630][SQL] XML: Yazma işleminde XML öğesi adını doğrulama
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 8 Şubat 2024, İstanbul
    • Unity Kataloğu'nda gerçekleştirilmiş görünümlerde değişiklik veri akışı (CDF) sorguları desteklenmez ve Unity Kataloğu gerçekleştirilmiş görünümüyle bir CDF sorgusu çalıştırma girişimi bir hata döndürür. Unity Kataloğu akış tabloları, Databricks Runtime 14.1 ve sonraki sürümlerde olmayan tablolarda CDF sorgularınıAPPLY CHANGES destekler. CDF sorguları, Databricks Runtime 14.0 ve önceki sürümlerde Unity Kataloğu akış tablolarında desteklenmez.
    • [SPARK-46952] XML: Bozuk kaydın boyutunu sınırlayın.
    • [SPARK-45182] Sağlama toplamı tarafından belirlenen üst belirsiz aşamayı yeniden denedikten sonra eski aşamadan görev tamamlanmasını yoksayın.
    • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
    • [SPARK-46933] JDBCRDD kullanan bağlayıcılara sorgu yürütme süresi ölçümü ekleyin.
    • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
    • [SPARK-45582] Çıkış modu akış toplama içinde işleme çağrıldıktan sonra depolama örneğinin kullanılmadığından emin olun.
    • [SPARK-46930] Avro'da Birleşim türü alanları için özel ön ek desteği ekleyin.
    • [SPARK-46941] BoyutBasedWindowFunction içeriyorsa üst k hesaplama için pencere grubu sınır düğümü eklenemez.
    • [SPARK-46396] Zaman damgası çıkarımı özel durum oluşturmamalıdır.
    • [SPARK-46822] jdbc türünü jdbc'de katalizör türüne yazarken spark.sql.legacy.charVarcharAsString'e saygı gösterin.
    • [SPARK-45957] Yürütülemeyen komutlar için yürütme planı oluşturmaktan kaçının.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
    • [SPARK-46684] Bağımsız değişkenleri düzgün geçirmek için CoGroup.applyInPandas/Arrow dosyasını düzeltin.
    • [SPARK-46763] Yinelenen öznitelikler için ReplaceDeduplicateWithAggregate içindeki onay hatası düzeltildi.
    • [SPARK-45498] İzleme: Eski aşama girişimlerinden görev tamamlanmasını yoksayın.
    • [SPARK-46382] XML: için ignoreSurroundingSpacesbelgeyi güncelleştirin.
    • [SPARK-46383] Kullanım Ömrünü TaskInfo.accumulables()Azaltarak Sürücü Yığını Kullanımını Azaltın.
    • [SPARK-46382] XML: Varsayılan ignoreSurroundingSpaces değeri true olarak ayarlanır.
    • [SPARK-46677] Çözümü düzeltin dataframe["*"] .
    • [SPARK-46676] dropDuplicatesWithinWatermark, planın kurallı hale getirilmesinde başarısız olmamalıdır.
    • [SPARK-46633] Avro okuyucusu sıfır uzunluklu blokları işleyecek şekilde düzeltildi.
    • [SPARK-45912] XSDToSchema API'sinin geliştirilmesi: Bulut depolama erişilebilirliği için HDFS API'sine geçin.
    • [SPARK-46599] XML: Uyumluluk denetimi için TypeCoercion.findTightestCommonType kullanın.
    • [SPARK-46382] XML: Öğeler arasında kesişen değerleri yakalayın.
    • [SPARK-46769] Zaman damgasıyla ilgili şema çıkarımlarını daraltma.
    • [SPARK-46610] Tablo oluşturma, seçeneklerde bir anahtar için değer olmadığında özel durum oluşturmalıdır.
    • [SPARK-45964] Katalizör paketi altındaki XML ve JSON paketindeki özel SQL erişimcisini kaldırın.
    • Revert [SPARK-46769] Zaman damgasıyla ilgili şema çıkarımı daraltın.
    • [SPARK-45962] XML yerine kaldır treatEmptyValuesAsNulls ve kullan seçeneğini kullanın nullValue .
    • [SPARK-46541] Kendi kendine birleştirmede belirsiz sütun başvurularını düzeltin.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
    • shuffle Bir Photon sorgusu tarafından döndürülen açıklama planının düğümü, yayın birleştirme işleminin causedBroadcastJoinBuildOOM=true parçası olan bir karıştırma sırasında bellek yetersiz hatası oluştuğunda bayrağını ekleyecek şekilde güncelleştirilir.
    • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
    • [SPARK-46538] içindeki belirsiz sütun başvurusu sorununu düzeltin ALSModel.transform.
    • [SPARK-46417] hive.getTable çağrılırken başarısız olmaz ve throwException false olur.
    • [SPARK-46484] Yardımcı işlevlerin plan kimliğini korumasını sağlayın resolveOperators .
    • [SPARK-46153] XML: TimestampNTZType desteği ekleyin.
    • [SPARK-46152] XML: XML şeması çıkarımına DecimalType desteği ekleyin.
    • [SPARK-46145] spark.catalog.listTables tablo veya görünüm bulunamadığında özel durum oluşturmaz.
    • [SPARK-46478] Dize için oracle varchar(255) kullanmak için SPARK-43049'ı geri alın.
    • [SPARK-46394] True olarak ayarlandığında özel karakterler spark.sql.legacy.keepCommandOutputSchema içeren şemalardaki spark.catalog.listDatabases() sorunlarını düzeltin.
    • [SPARK-46337] öğesinin saklamasını sağlayın CTESubstitution PLAN_ID_TAG.
    • [SPARK-46466] Vektörleştirilmiş parke okuyucu asla zaman damgası ntz için yeniden temel almamalıdır.
    • [SPARK-46587] XML: XSD büyük tamsayı dönüştürmeyi düzeltin.
    • [SPARK-45814] Bellek sızıntısını önlemek için ArrowConverters.createEmptyArrowBatch çağrısı close() yapın.
    • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
    • [SPARK-46602] allowExisting Görünüm/tablo mevcut olmadığında görünüm oluşturmada yayma.
    • [SPARK-46173] Tarih ayrıştırma sırasında trimTüm çağrı atlanıyor.
    • [SPARK-46355] XML: Okuma tamamlandığında InputStreamReader'ı kapatın.
    • [SPARK-46600] Paylaşılan kodu SqlConf ile SqlApiConf arasında SqlApiConfHelper'a taşıyın.
    • [SPARK-46261] DataFrame.withColumnsRenamed , dikte/harita sıralamasını korumalıdır.
    • [SPARK-46056] ByteArrayDecimalType varsayılan değeriyle Parquet vektörleştirilmiş okuma NPE'sı düzeltildi.
    • [SPARK-46260] DataFrame.withColumnsRenamed dikte düzenine uygun olmalıdır.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46370] Sütun varsayılanlarını değiştirdikten sonra tablodan sorgu yaparken oluşan hata düzeltildi.
    • [SPARK-46609] PartitioningPreservingUnaryExecNode'da üstel patlamadan kaçının.
    • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
  • 14 Aralık 2023, Cumartesi
    • JDBC veya ODBC istemcilerinden kaynaklanan getColumns işlemlerinde kaçış alt çizgilerinin yanlış işlendiği ve joker karakter olarak yorumlandığı bir sorun düzeltildi.
    • [SPARK-45509] Spark Connect için df sütun başvurusu davranışı düzeltildi.
    • [SPARK-45844] XML için büyük/küçük harf duyarlılığı uygulama.
    • [SPARK-46141] spark.sql.legacy.ctePrecedencePolicy için varsayılan değeri DÜZELTİlDİ olarak değiştirin.
    • [SPARK-46028] Giriş sütununu kabul et yapın Column.__getitem__ .
    • [SPARK-46255] Karmaşık tür desteği -> dize dönüştürme.
    • [SPARK-45655] CollectMetrics içindeki AggregateFunctions içinde belirlenemeyen ifadelere izin verin.
    • [SPARK-45433] Zaman damgaları belirtilen timestampFormat ile eşleşmediğinde CSV/JSON şema çıkarımı düzeltildi.
    • [SPARK-45316] ve NewHadoopRDDöğesine HadoopRDD yeni parametreler ignoreCorruptFiles/ignoreMissingFiles ekleyin.
    • [SPARK-45852] Günlüğe kaydetme sırasında özyineleme hatasıyla düzgün bir şekilde ilgilenin.
    • [SPARK-45920] sıralı gruplandırma bir kez etkili olmalıdır.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
    • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
    • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde getColumns kaçış alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
    • Otomatik Yükleyici veya Akış Tabloları kullanılarak CSV verileri alınırken, büyük CSV dosyaları artık bölünebilir ve hem şema çıkarımı hem de veri işleme sırasında paralel olarak işlenebilir.
    • [SPARK-45892] ve validateExprIdUniquenessöğesini ayrıştırmak validateSchemaOutput için iyileştirici planı doğrulamasını yeniden düzenleme.
    • [SPARK-45620] Python UDF ile ilgili API'ler artık camelCase kullanıyor.
    • [SPARK-44790] Python, Spark Connect ve SQL için uygulama ve bağlamalar eklendi to_xml .
    • [SPARK-45770] için Dataframe.dropile DataFrameDropColumns sütun çözünürlüğü düzeltildi.
    • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • [SPARK-44784] Hermetik SBT testi yapıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
    • [SPARK-45545] SparkTransportConf SSLOptions oluşturulurken devralır.
    • [SPARK-45250] Dinamik ayırma kapatıldığında yarn kümeleri için aşama düzeyinde görev kaynak profili desteği eklendi.
    • [SPARK-44753] PySpark SQL için XML DataFrame okuyucu ve yazıcı eklendi.
    • [SPARK-45396] Modül için PySpark.ml.connect bir belge girdisi eklendi.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • [SPARK-45541] SSLFactory eklendi.
    • [SPARK-45577] Adlandırılmış bağımsız değişkenlerden katlanmış değerleri geçirmek için düzeltildi UserDefinedPythonTableFunctionAnalyzeRunner .
    • [SPARK-45562] 'rowTag' gerekli bir seçenek haline getirildi.
    • [SPARK-45427] ve SparkTransportConföğesine SSLOptions RPC SSL ayarları eklendi.
    • [SPARK-43380] Avro okumada yavaşlama düzeltildi.
    • [SPARK-45430] FramelessOffsetWindowFunction ve offset > rowCountolduğunda IGNORE NULLS artık başarısız olmaz.
    • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
    • [SPARK-45386] Yanlış 0 döndürdüğü StorageLevel.NONE bir sorun düzeltildi.
    • [SPARK-44219] İyileştirme yeniden yazma işlemleri için kural başına doğrulama denetimleri eklendi.
    • [SPARK-45543] Diğer pencere işlevlerinin derece benzeri işlevlerle aynı pencere çerçevesine sahip olmadığı durumlarda soruna neden olan bir sorun InferWindowGroupLimit düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Eylül 2023, Cumartesi
    • [SPARK-44823] 23.9.1 sürümüne güncelleştirildi ve hatalı denetim düzeltildi black .
    • [SPARK-45339] PySpark artık yeniden denenen hataları günlüğe kaydeder.
    • Geri döndür [SPARK-42946] Değişken değiştirmeleri altında iç içe yerleştirilmiş hassas veriler düzeltildi.
    • [SPARK-44551] OSS ile eşitlenecek açıklamalar düzenlendi.
    • [SPARK-45360] Spark oturum oluşturucusu' ndan SPARK_REMOTEbaşlatmayı destekler.
    • [SPARK-45279] Tüm mantıksal planlara eklenir plan_id .
    • [SPARK-45425] için MsSqlServerDialectöğesine eşlendi.TINYINT ShortType
    • [SPARK-45419] Sst dosya kimliklerinin yeniden kullanılmaması rocksdb için daha büyük sürümlerin dosya sürümü eşleme girdisi kaldırıldı.
    • [SPARK-45488] öğesindeki rowTag değer için destek eklendi.
    • [SPARK-42205] Olay günlüklerindeki başlatma olaylarının Task/Stage JsonProtocol günlüğü Accumulables kaldırıldı.
    • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
    • [SPARK-45256] DurationWriter ilk kapasiteden daha fazla değer yazarken başarısız oluyor.
    • [SPARK-43380] Performans regresyonu oluşturmadan veri türü dönüştürme sorunları düzeltildi Avro .
    • [SPARK-45182] Aşama çıktısı belirsiz olduğunda tüm aşama görevlerinin yeniden denenebilmesi için eşleme aşamasını geri döndürme desteği eklendi.
    • [SPARK-45399] kullanılarak newOptionXML Seçenekleri eklendi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 13.3 LTS

Bkz . Databricks Runtime 13.3 LTS.

  • 22 Ekim 2024, Cumartesi
    • [SPARK-48843] BindParameters ile sonsuz döngü önleme
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Foreach havuzu kullanıcı işlevi hatası için Hata sınıfını sınıflandırma
    • [SPARK-49905] Karıştırmanın AQE'den değiştirilmesini önlemek için durum bilgisi olan işleç için ayrılmış ShuffleOrigin kullanın
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Ekim 2024, Cumartesi
    • [SPARK-49743][SQL] GetArrayStructFields ayıklaması sırasında OptimizeCsvJsonExpr şema alanlarını değiştirmemelidir
  • 25 Eylül 2024, Cumartesi
    • [SPARK-46601] [CORE] handleStatusMessage'daki günlük hatalarını düzeltme
    • [SPARK-48719][SQL] İlk parametre null olduğunda RegrSlope & RegrIntercept hesaplama hatasını düzeltme
    • [SPARK-43242][CORE] Karışık bozulma tanılamasında 'Beklenmeyen BlockId türü' oluşturma sorunu düzeltildi
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Eylül 2024, Cumartesi
    • [SPARK-49526][BAĞLAN] ArtifactManager'da Windows stili yolları destekleme
    • [SPARK-48463][ML] Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor iç içe giriş sütunlarını destekleyen oluşturma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos
  • 14 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Saat
    • [SPARK-49056][SQL] ErrorClassesJsonReader null değerini düzgün işleyemiyor
    • [SPARK-49065][SQL] Eski biçimlendiricilerde/ayrıştırıcılarda yeniden boyutlandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
    • [SPARK-48597][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
  • 1 Ağustos 2024, Ağustos 2024
    • Bu sürüm, Spark Java arabirimindeki ColumnVector ve ColumnarArray sınıfları için bir hata düzeltmesi içerir. Bu düzeltmeden önce, ArrayIndexOutOfBoundsException bu sınıflardan birinin örneği değerler içerdiğinde null bir veri oluşturulabilir veya yanlış veri döndürülebilir.
    • [SPARK-47202][PYTHON] tzinfo ile yazım hatası kesme tarih saatlerini düzeltme
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Backport spark ML yazıcı düzeltmeleri
    • [SPARK-48463] İç içe giriş sütunlarını destekleyen StringIndexer yapma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Temmuz 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • (Davranış değişikliği) Delta tablo kaynaklarına karşı önbelleğe alınan Veri Çerçeveleri artık kaynak tablonun üzerine yazılırsa geçersiz kılınır. Bu değişiklik, Delta tablolarındaki tüm durum değişikliklerinin önbelleğe alınmış sonuçları geçersiz kıldığı anlamına gelir. DataFrame'in kullanım ömrü boyunca tablo durumunu kalıcı hale getirmek için kullanın .checkpoint() .
    • Bu sürüm, Databricks Container Services'da çalışırken Spark UI Ortamı sekmesinin doğru görüntülenmesini engelleyen bir soruna yönelik bir düzeltme içerir.
    • [SPARK-48383][SS] Kafka'da startOffset seçeneğinde eşleşmeyen bölümler için daha iyi hata oluşturma
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator, kaydedilmiş dosya görev durumuyla tutarlı olmadığında aşamayı durdurmalıdır
    • [SPARK-48503][SQL] Yanlış izin verilen eşdeğer olmayan sütunlarda group-by ile geçersiz skaler alt sorgular düzeltildi
    • [SPARK-48481][SQL][SS] Akış Veri Kümesine OptimizeOneRowPlan uygulamayın
    • [SPARK-48475][PYTHON] PySpark'ta _get_jvm_function iyileştirin.
    • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier'ın geç yeniden yazılmasını düzeltme
    • [SPARK-48445][SQL] Pahalı alt öğeleri olan satır içi UDF'ler yapmayın
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2024, Saat 2024, Temmuz 2024, Saat 20:00
    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage için hata iletisini iyileştirme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 21 Mayıs 2024, Saat 2024, Mayıs 2024, Saat 20:00
    • (Davranış değişikliği) dbutils.widgets.getAll() artık not defterindeki tüm pencere öğesi değerlerini almak için destekleniyor.
    • [SPARK-48105][SS] Durum deposu kaldırma ve anlık görüntü oluşturma arasındaki yarış durumunu düzeltme
    • [SPARK-47994][SQL] SQLServer'da CASE WHEN sütun filtresinin aşağı itilmesiyle ilgili hata düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Mayıs 2024, Mayıs 2024, Saat 20:00
    • [SPARK-47956][SQL] Çözümlenmemiş LCA başvurusu için sanity denetimi
    • [SPARK-46822][SQL] jdbc türünü jdbc'de katalizör türüne yazarken spark.sql.legacy.charVarcharAsString'e saygı gösterin
    • [SPARK-47895][SQL] tümüne göre gruplandırma bir kez etkili olmalıdır
    • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange oluşturulurken eksik param hatasına neden olan null groupId değeri düzeltildi
    • [SPARK-47973][CORE] SparkContext.stop() ve sonraki sürümlerde SparkContext.assertNotStopped() içinde arama sitesini günlüğe kaydetme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • [SPARK-44653][SQL] Önemsiz olmayan DataFrame birleşimleri önbelleğe almayı kesmemelidir
    • Çeşitli hata düzeltmeleri.
  • 11 Nisan 2024, Saat 2024, Temmuz 2024, Saat 20:00
    • [SPARK-47509][SQL] Lambda ve daha yüksek sıralı işlevlerde alt sorgu ifadelerini engelleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024
    • [SPARK-47385] Seçenek girişleri ile tanımlama grubu kodlayıcılarını düzeltin.
    • [SPARK-38708][SQL] Hive Meta Veri Deposu İstemcisini Hive 3.1 için 3.1.3'e yükseltme
    • [SPARK-47200][SS] Foreach toplu havuz kullanıcı işlevi hatası için hata sınıfı
    • [SPARK-47368][SQL] ParquetRowConverter'da inferTimestampNTZ yapılandırma denetimini kaldırma
    • [SPARK-44252][SS] Yeni bir hata sınıfı tanımlayın ve DFS'den yükleme durumunun başarısız olduğu durum için uygulayın
    • [SPARK-47135][SS] Kafka veri kaybı özel durumları için hata sınıfları uygulama
    • [SPARK-47300][SQL] quoteIfNeeded tırnak tanımlayıcısı basamaklarla başlar
    • [SPARK-47305][SQL] Plan hem toplu hem de akışa sahip olduğunda LocalRelation'ın isStreaming bayrağını doğru etiketlemek için PruneFilters'ı düzeltin
    • [SPARK-47070] Alt sorgu yeniden yazıldıktan sonra geçersiz toplamayı düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Mart 2024, Saat 2024, Şubat 2024, Saat 20:00
    • [SPARK-47145][SQL] Tablo tanımlayıcısını V2 stratejisi için satır veri kaynağı tarama yürütmesine geçirin.
    • [SPARK-47167][SQL] JDBC anonim ilişkisi için somut sınıf ekleme
    • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning yardımcı işlevine sahip olun
    • [SPARK-47044][SQL] Çıktıyı açıklamak için JDBC dış veri kaynakları için yürütülen sorgu ekleme
    • [SPARK-47125][SQL] Univocity hiçbir zaman ayrıştırma tetiklemiyorsa null döndür
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Şubat 2024, Saat 2024, Şubat 2024, Şubat 2024, Saat 20
    • MERGE komutunda kaynak olarak yerel koleksiyon kullanmanın numSourceRows işlem ölçümünün doğru satır sayısını ikiye katladığı bir sorun düzeltildi.
    • Tanımlı bir konuma sahip bir şema oluşturmak için artık kullanıcının HERHANGİ Bİr DOSYADA SELECT ve MODIFY ayrıcalıklarına sahip olması gerekir.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 8 Şubat 2024, İstanbul
    • Unity Kataloğu'nda gerçekleştirilmiş görünümlerde değişiklik veri akışı (CDF) sorguları desteklenmez ve Unity Kataloğu gerçekleştirilmiş görünümüyle bir CDF sorgusu çalıştırma girişimi bir hata döndürür. Unity Kataloğu akış tabloları, Databricks Runtime 14.1 ve sonraki sürümlerde olmayan tablolarda CDF sorgularınıAPPLY CHANGES destekler. CDF sorguları, Databricks Runtime 14.0 ve önceki sürümlerde Unity Kataloğu akış tablolarında desteklenmez.
    • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
    • [SPARK-46933] JDBCRDD kullanan bağlayıcılara sorgu yürütme süresi ölçümü ekleyin.
    • [SPARK-45582] Çıkış modu akış toplama içinde işleme çağrıldıktan sonra depolama örneğinin kullanılmadığından emin olun.
    • [SPARK-46396] Zaman damgası çıkarımı özel durum oluşturmamalıdır.
    • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
    • [SPARK-46941] BoyutBasedWindowFunction içeriyorsa üst k hesaplama için pencere grubu sınır düğümü eklenemez.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
    • [SPARK-46610] Tablo oluşturma, seçeneklerde bir anahtar için değer olmadığında özel durum oluşturmalıdır.
    • [SPARK-46383] TaskInfo.accumulables() dosyasının Kullanım Süresini Azaltarak Sürücü Yığını Kullanımını Azaltın.
    • [SPARK-46600] Paylaşılan kodu SqlConf ile SqlApiConf arasında SqlApiConfHelper'a taşıyın.
    • [SPARK-46676] dropDuplicatesWithinWatermark, planın kurallı hale getirilmesinde başarısız olmamalıdır.
    • [SPARK-46763] Yinelenen öznitelikler için ReplaceDeduplicateWithAggregate içindeki onay hatası düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
    • shuffle Bir Photon sorgusu tarafından döndürülen açıklama planının düğümü, yayın birleştirme işleminin causedBroadcastJoinBuildOOM=true parçası olan bir karıştırma sırasında bellek yetersiz hatası oluştuğunda bayrağını ekleyecek şekilde güncelleştirilir.
    • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
    • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
    • [SPARK-46173] Tarih ayrıştırma sırasında trimTüm çağrı atlanıyor.
    • [SPARK-46370] Sütun varsayılanlarını değiştirdikten sonra tablodan sorgu yaparken oluşan hata düzeltildi.
    • [SPARK-46370] Sütun varsayılanlarını değiştirdikten sonra tablodan sorgu yaparken oluşan hata düzeltildi.
    • [SPARK-46370] Sütun varsayılanlarını değiştirdikten sonra tablodan sorgu yaparken oluşan hata düzeltildi.
    • [SPARK-46609] PartitioningPreservingUnaryExecNode'da üstel patlamadan kaçının.
    • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
    • [SPARK-46602] allowExisting Görünüm/tablo mevcut olmadığında görünüm oluşturmada yayma.
    • [SPARK-46249] Arka plan işlemleriyle yarışı önlemek için RocksDB ölçümlerini almak için örnek kilidi gerektir.
    • [SPARK-46417] hive.getTable çağrılırken başarısız olmaz ve throwException false olur.
    • [SPARK-46538] içindeki belirsiz sütun başvurusu sorununu düzeltin ALSModel.transform.
    • [SPARK-46478] Dize için oracle varchar(255) kullanmak için SPARK-43049'ı geri alın.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46394] True olarak ayarlandığında özel karakterler spark.sql.legacy.keepCommandOutputSchema içeren şemalardaki spark.catalog.listDatabases() sorunlarını düzeltin.
    • [SPARK-46056] ByteArrayDecimalType varsayılan değeriyle Parquet vektörleştirilmiş okuma NPE'sı düzeltildi.
    • [SPARK-46145] spark.catalog.listTables tablo veya görünüm bulunamadığında özel durum oluşturmaz.
    • [SPARK-46466] Vektörleştirilmiş parke okuyucu asla zaman damgası ntz için yeniden temel almamalıdır.
  • 14 Aralık 2023, Cumartesi
    • JDBC veya ODBC istemcilerinden kaynaklanan getColumns işlemlerinde kaçış alt çizgilerinin yanlış işlendiği ve joker karakter olarak yorumlandığı bir sorun düzeltildi.
    • [SPARK-45920] sıralı gruplandırma bir kez etkili olmalıdır.
    • [SPARK-44582] Temizlendiyse SMJ'de yineleyiciyi atlayın.
    • [SPARK-45433] Zaman damgaları belirtilen timestampFormat ile eşleşmediğinde CSV/JSON şema çıkarımı düzeltildi.
    • [SPARK-45655] CollectMetrics içindeki AggregateFunctions içinde belirlenemeyen ifadelere izin verin.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
    • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
    • Spark-snowflake bağlayıcısı 2.12.0 sürümüne yükseltilir.
    • [SPARK-44846] sonrasındaki RemoveRedundantAggregateskarmaşık gruplandırma ifadeleri kaldırıldı.
    • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
    • [SPARK-45892] ve validateExprIdUniquenessöğesini ayrıştırmak validateSchemaOutput için iyileştirici planı doğrulamasını yeniden düzenleme.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
    • Delta Lake akış sorgularında bölüm filtreleri, daha iyi kullanım elde etmek için hız sınırlamadan önce aşağı itilir.
    • Unity Kataloğu Akış Tabloları ve Gerçekleştirilmiş Görünümler'de veri akışı sorguları, hata iletilerini görüntüleyecek şekilde değiştirildi.
    • [SPARK-45545] SparkTransportConf SSLOptions oluşturulurken devralır.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • [SPARK-45427] ve SparkTransportConföğesine SSLOptions RPC SSL ayarları eklendi.
    • [SPARK-45541] eklendi SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction ve offset > rowCountolduğunda IGNORE NULLS artık başarısız olmaz.
    • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
    • [SPARK-44219] İyileştirme yeniden yazma işlemleri için kural başına ek doğrulamalar eklendi.
    • [SPARK-45543] Diğer pencere işlevlerinin derece benzeri işlevlerle aynı pencere çerçevesine sahip olmadığı durumlarda soruna neden olan bir sorun InferWindowGroupLimit düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 23 Ekim 2023, Cumartesi
    • [SPARK-45256] İlk kapasiteden daha fazla değer yazılırken başarısız olması DurationWriter sorunu düzeltildi.
    • [SPARK-45419] Daha büyük sürümlerin rocksdb sst dosya sürümü eşleme girdilerini kaldırarak farklı rocksdb bir örnekteki dosyaları yeniden kullanmaktan kaçının.
    • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
    • Çeşitli düzeltmeler.
  • 13 Ekim 2023, Cumartesi
    • Snowflake-jdbc bağımlılığı 3.13.29'dan 3.13.33'e yükseltildi.
    • İşlev array_insert , pozitif ve negatif dizinler için 1 tabanlıyken, daha önce negatif dizinler için 0 tabanlıydı. Şimdi -1 dizini için giriş dizilerinin sonuna yeni bir öğe ekler. Önceki davranışı geri yüklemek için olarak trueayarlayınspark.sql.legacy.negativeIndexInArrayInsert.
    • Otomatik Yükleyici ile CSV şeması çıkarımı sırasında etkinleştirildiğinde ignoreCorruptFiles bozuk dosyaları yoksaymamayla ilgili bir sorun düzeltildi.
    • [SPARK-42946] öğesini geri döndür.
    • [SPARK-42205] JSON protokolü, bir görevde veya aşama başlangıç olaylarında Biriktirilebilirler günlüğünü kaldıracak şekilde güncelleştirildi.
    • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla için Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönüş.
    • [SPARK-45316] ve ignoreMissingFiles HadoopRDD öğesine yeni parametreler ignoreCorruptFiles ve NewHadoopRDDekleyin.
    • [SPARK-44740] Yapıtlar için meta veri değerleri düzeltildi.
    • [SPARK-45360] Spark oturum oluşturucu yapılandırmasından SPARK_REMOTEbaşlatıldı.
    • [SPARK-44551] OSS ile eşitlenecek açıklamalar düzenlendi.
    • [SPARK-45346] Parquet şema çıkarımı artık şema birleştirildiğinde büyük/küçük harfe duyarlı bayraklara saygı gösterir.
    • [SPARK-44658] ShuffleStatus.getMapStatus şimdi yerine Some(null)döndürürNone.
    • [SPARK-44840] Negatif dizinler için 1 tabanlı yapıldı array_insert() .
  • 14 Eylül 2023, Cumartesi
    • [SPARK-44873] Hive istemcisinde iç içe sütunlar ile desteği alter view eklendi.
    • [SPARK-44878] Önbellekte ekleme özel durumunun tamamlanmasını önlemek için yazma yöneticisi için RocksDB katı sınır kapatıldı.
  • 30 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • dbutils cp komutu (dbutils.fs.cp) daha hızlı kopyalama için iyileştirilmiştir. Bu geliştirmeyle, dosya boyutuna bağlı olarak kopyalama işlemleri 100'e kadar daha az zaman alabilir. Bu özellik, Unity Katalog Birimleri ve DBFS bağlamaları dahil olmak üzere Databricks'te erişilebilen tüm Bulutlarda ve dosya sistemlerinde kullanılabilir.
    • [SPARK-44455] Sonuçta arka uçları olan tırnak tanımlayıcıları SHOW CREATE TABLE .
    • [SPARK-44763] İkili aritmetikte bir dizeyi aralıklı çift olarak gösteren bir sorun düzeltildi.
    • [SPARK-44871] Sabit percentile_disc davranış.
    • [SPARK-44714] Sorgular ile ilgili LCA çözümlemesi kısıtlamasını kolaylaştırma.
    • [SPARK-44818] Başlatılmadan önce taskThread verilen bekleyen görev kesintisi için yarış düzeltildi.
    • [SPARK-44505] DSv2 taramasında sütun desteği için geçersiz kılma eklendi.
    • [SPARK-44479] Boş bir yapı türünden protobuf dönüştürmesi düzeltildi.
    • [SPARK-44718] Bellek modu yapılandırması varsayılan olarak yapılandırma değeriyle OffHeapMemoryMode eşleşColumnVector.
    • [SPARK-42941] Python'da için StreamingQueryListener destek eklendi.
    • [SPARK-44558] PySpark'ın Spark Connect Günlük Düzeyini dışarı aktarın.
    • [SPARK-44464] İlk sütun değeri Null olan çıkış satırlarına düzeltildi applyInPandasWithStatePythonRunner .
    • [SPARK-44643] Alan boş bir satır olduğunda düzeltildi Row.__repr__ .
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 12.2 LTS

Bkz . Databricks Runtime 12.2 LTS.

  • 10 Ekim 2024, Cumartesi
    • [SPARK-49743][SQL] GetArrayStructFields ayıklaması sırasında OptimizeCsvJsonExpr şema alanlarını değiştirmemelidir
  • 25 Eylül 2024, Cumartesi
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
    • [SPARK-46601] [CORE] handleStatusMessage'daki günlük hatalarını düzeltme
    • Çeşitli hata düzeltmeleri.
  • 17 Eylül 2024, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos
    • Çeşitli hata düzeltmeleri.
  • 14 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Saat
    • [SPARK-48941][SPARK-48970] Backport ML yazıcı / okuyucu düzeltmeleri
    • [SPARK-49065][SQL] Eski biçimlendiricilerde/ayrıştırıcılarda yeniden boyutlandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
    • [SPARK-49056][SQL] ErrorClassesJsonReader null değerini düzgün işleyemiyor
    • [SPARK-48597][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
    • [SPARK-48463][ML] İç içe giriş sütunlarını destekleyen StringIndexer yapma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Ağustos 2024, Ağustos 2024
  • 1 Ağustos 2024, Ağustos 2024
    • Gerekli güvenlik düzeltme eklerini uygulamak için Databricks Runtime 12.2 LTS'deki Python sürümü 3.9.5'ten 3.9.19'a yükseltilir.
  • 11 Temmuz 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • (Davranış değişikliği) Delta tablo kaynaklarına karşı önbelleğe alınan Veri Çerçeveleri artık kaynak tablonun üzerine yazılırsa geçersiz kılınır. Bu değişiklik, Delta tablolarındaki tüm durum değişikliklerinin önbelleğe alınmış sonuçları geçersiz kıldığı anlamına gelir. DataFrame'in kullanım ömrü boyunca tablo durumunu kalıcı hale getirmek için kullanın .checkpoint() .
    • [SPARK-48481][SQL][SS] Akış Veri Kümesine OptimizeOneRowPlan uygulamayın
    • [SPARK-47070] Alt sorgu yeniden yazıldıktan sonra geçersiz toplamayı düzeltme
    • [SPARK-42741][SQL] Değişmez değer null olduğunda ikili karşılaştırmada tür dönüştürmelerini kaldırma
    • [SPARK-48445][SQL] Pahalı alt öğeleri olan satır içi UDF'ler yapmayın
    • [SPARK-48503][SQL] Yanlış izin verilen eşdeğer olmayan sütunlarda group-by ile geçersiz skaler alt sorgular düzeltildi
    • [SPARK-48383][SS] Kafka'da startOffset seçeneğinde eşleşmeyen bölümler için daha iyi hata oluşturma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2024, Saat 2024, Temmuz 2024, Saat 20:00
    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage için hata iletisini iyileştirme
    • Çeşitli hata düzeltmeleri.
  • 21 Mayıs 2024, Saat 2024, Mayıs 2024, Saat 20:00
    • [SPARK-48105][SS] Durum deposu kaldırma ve anlık görüntü oluşturma arasındaki yarış durumunu düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Mayıs 2024, Mayıs 2024, Saat 20:00
    • [SPARK-44251][SQL] Tam dış USING birleştirmesinde birleştirilmiş birleştirme anahtarında null atanabilir değeri doğru ayarlama
    • [SPARK-47973][CORE] SparkContext.stop() ve sonraki sürümlerde SparkContext.assertNotStopped() içinde arama sitesini günlüğe kaydetme
    • [SPARK-47956][SQL] Çözümlenmemiş LCA başvurusu için sanity denetimi
    • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange oluşturulurken eksik param hatasına neden olan null groupId değeri düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Nisan 2024, Saat 2024, Temmuz 2024, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024
    • [SPARK-47305][SQL] Plan hem toplu hem de akışa sahip olduğunda LocalRelation'ın isStreaming bayrağını doğru etiketlemek için PruneFilters'ı düzeltin
    • [SPARK-44252][SS] Yeni bir hata sınıfı tanımlayın ve DFS'den yükleme durumunun başarısız olduğu durum için uygulayın
    • [SPARK-47135][SS] Kafka veri kaybı özel durumları için hata sınıfları uygulama
    • [SPARK-47200][SS] Foreach toplu havuz kullanıcı işlevi hatası için hata sınıfı
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Mart 2024, Saat 2024, Şubat 2024, Saat 20:00
    • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning yardımcı işlevine sahip olun
    • "[SPARK-46861][CORE] DAGScheduler'da Kilitlenmeyi Önle"
    • [SPARK-47125][SQL] Univocity hiçbir zaman ayrıştırma tetiklemiyorsa null döndür
    • [SPARK-47167][SQL] JDBC anonim ilişkisi için somut sınıf ekleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Şubat 2024, Saat 2024, Şubat 2024, Şubat 2024, Saat 20
    • MERGE komutunda kaynak olarak yerel koleksiyon kullanmanın numSourceRows işlem ölçümünün doğru satır sayısını ikiye katladığı bir sorun düzeltildi.
    • Tanımlı bir konuma sahip bir şema oluşturmak için artık kullanıcının HERHANGİ Bİr DOSYADA SELECT ve MODIFY ayrıcalıklarına sahip olması gerekir.
    • [SPARK-45582][SS] Çıkış modu akış toplama içinde işleme çağrıldıktan sonra depo örneğinin kullanılmadığından emin olun
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Şubat 2024, Saat 2024, Şubat 2024, Saat 20:00
    • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
    • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
    • [SPARK-46763] Yinelenen öznitelikler için ReplaceDeduplicateWithAggregate içindeki onay hatası düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Aralık 2023, Cumartesi
    • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
    • [SPARK-39440] Olay zaman çizelgesini devre dışı bırakmak için bir yapılandırma ekleyin.
    • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
    • [SPARK-46394] True olarak ayarlandığında özel karakterler spark.sql.legacy.keepCommandOutputSchema içeren şemalardaki spark.catalog.listDatabases() sorunlarını düzeltin.
    • [SPARK-46417] hive.getTable çağrılırken başarısız olmaz ve throwException false olur.
    • [SPARK-43067] Kafka bağlayıcısında hata sınıfı kaynak dosyasının konumunu düzeltin.
    • [SPARK-46249] Arka plan işlemleriyle yarışı önlemek için RocksDB ölçümlerini almak için örnek kilidi gerektir.
    • [SPARK-46602] allowExisting Görünüm/tablo mevcut olmadığında görünüm oluşturmada yayma.
    • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
    • [SPARK-46145] spark.catalog.listTables tablo veya görünüm bulunamadığında özel durum oluşturmaz.
    • [SPARK-46538] içindeki belirsiz sütun başvurusu sorununu düzeltin ALSModel.transform.
    • [SPARK-42852] NamedLambdaVariable ile ilgili değişiklikleri EquivalentExpressions'tan geri alın.
  • 14 Aralık 2023, Cumartesi
    • JDBC veya ODBC istemcilerinden kaynaklanan getColumns işlemlerinde kaçış alt çizgilerinin yanlış işlendiği ve joker karakter olarak yorumlandığı bir sorun düzeltildi.
    • [SPARK-44582] Temizlendiyse SMJ'de yineleyiciyi atlayın.
    • [SPARK-45920] sıralı gruplandırma bir kez etkili olmalıdır.
    • [SPARK-45655] CollectMetrics içindeki AggregateFunctions içinde belirlenemeyen ifadelere izin verin.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
    • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
    • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde getColumns kaçış alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
    • [SPARK-42205] ve başlatma olaylarında Stage Task günlük akümülalatörleri kaldırıldı.
    • [SPARK-44846] sonrasındaki RemoveRedundantAggregateskarmaşık gruplandırma ifadeleri kaldırıldı.
    • [SPARK-43718] Birleştirmelerdeki USING anahtarlar için null atanabilirlik düzeltildi.
    • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
    • [SPARK-43973] Yapılandırılmış Akış kullanıcı arabirimi artık başarısız sorguları doğru şekilde görüntülüyor.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Kasım 2023, Saat 2023
    • Delta Lake akış sorgularında bölüm filtreleri, daha iyi kullanım elde etmek için hız sınırlamadan önce aşağı itilir.
    • [SPARK-45545] SparkTransportConf SSLOptions oluşturulurken devralır.
    • [SPARK-45427] ve SparkTransportConföğesine SSLOptions RPC SSL ayarları eklendi.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • [SPARK-45541] eklendi SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction ve offset > rowCountolduğunda IGNORE NULLS artık başarısız olmaz.
    • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Ekim 2023, Cumartesi
    • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
    • Çeşitli düzeltmeler.
  • 13 Ekim 2023, Cumartesi
    • Snowflake-jdbc bağımlılığı 3.13.29'dan 3.13.33'e yükseltildi.
    • [SPARK-42553] Aralık sonrasında en az bir zaman birimi olduğundan emin olun.
    • [SPARK-45346] Parquet şema çıkarımı, şema birleştirildiğinde büyük/küçük harfe duyarlı bayrağı dikkate alır.
    • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla için Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönüş.
    • [SPARK-45084] StateOperatorProgress doğru, yeterli bir karıştırma bölüm numarası kullanmak için.
  • 12 Eylül 2023, Cumartesi
    • [SPARK-44873] Hive istemcisinde iç içe sütunlar ile desteği alter view eklendi.
    • [SPARK-44718] Bellek modu yapılandırması varsayılan olarak yapılandırma değeriyle OffHeapMemoryMode eşleşColumnVector.
    • [SPARK-43799] PySpark Protobuf API'sine tanımlayıcı ikili seçeneği eklendi.
    • Çeşitli düzeltmeler.
  • 30 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • [SPARK-44485] İyileştirilmiş TreeNode.generateTreeString.
    • [SPARK-44818] Başlatılmadan önce taskThread verilen bekleyen görev kesintisi için yarış düzeltildi.
    • [SPARK-44871][11.3-13.0] Sabit percentile_disc davranış.
    • [SPARK-44714] Sorgular ile ilgili LCA çözümlemesi kısıtlaması kolaylaştırıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • [SPARK-44504] Bakım görevi, durdurma hatasında yüklenen sağlayıcıları temizler.
    • [SPARK-44464] İlk sütun değeri olan Null çıkış satırlarına düzeltildiapplyInPandasWithStatePythonRunner.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Temmuz 2023, Saat 2023, Temmuz 2023, Ağustos 2023, Ağustos
    • Diğer dış veya yönetilen depolama konumuyla çakıştırılan bir depolama konumu yolu için çağrıldığında döndürülen INVALID_PARAMETER_VALUE.LOCATION_OVERLAP bir sorun dbutils.fs.ls() düzeltildi.
    • [SPARK-44199] CacheManager artık gereksiz yere yenilenmez fileIndex .
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Temmuz 2023, Saat 2023, Temmuz 2023, Ağustos 2023, Ağustos
    • [SPARK-44337] Herhangi bir alanın ayrıştırma hatalarına neden olduğu Any.getDefaultInstance bir sorun düzeltildi.
    • [SPARK-44136] içindeki sürücü FlatMapGroupsWithStateExecyerine yürütücüde gerçekleştirilmesine neden olan StateManager bir sorun düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 23 Haziran 2023, Saat 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Haziran 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • Fotoğraflandı approx_count_distinct.
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • [SPARK-43779] ParseToDate şimdi ana iş parçacığına yüklenir EvalMode .
    • [SPARK-43156][SPARK-43098] Kapalı olarak genişletilmiş skaler alt sorgu sayısı hata testi decorrelateInnerQuery .
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 2 Haziran 2023, Ağustos 2023
    • Modda JSON ayrıştırıcısı failOnUnknownFields bir kaydı DROPMALFORMED modda bırakır ve doğrudan modda FAILFAST başarısız olur.
    • Iceberg ve Parquet ile SHALLOW CLONE artımlı güncelleştirmelerin performansını geliştirin.
    • Otomatik Yükleyici'de sağlanan şemada çıkarım yapılan bölümler olmadığında farklı kaynak dosya biçimlerinin tutarsız olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
    • [SPARK-43404] Kimlik uyuşmazlığı hatasını önlemek için sst dosyasını Aynı RocksDB durum deposu sürümü için yeniden kullanma işlemini atlayın.
    • [SPARK-43413][11.3-13.0] Sabit IN alt sorgu ListQuery null atanabilirliği.
    • [SPARK-43522] Dizi diziniyle yapı sütun adı oluşturma düzeltildi.
    • [SPARK-43541] İfadeleri ve eksik sütunları çözümlemek için tüm Project etiketleri yayma.
    • [SPARK-43527] PySpark'ta düzeltildi catalog.listCatalogs .
    • [SPARK-43123] İç alan meta verileri artık kataloglara sızmaz.
    • [SPARK-43340] Olay günlüklerinde eksik yığın izleme alanı düzeltildi.
    • [SPARK-42444] DataFrame.drop artık yinelenen sütunları doğru şekilde işler.
    • [SPARK-42937] PlanSubqueries şimdi true olarak ayarlanır InSubqueryExec#shouldBroadcast .
    • [SPARK-43286] Rastgele IV'ler oluşturmak için CBC modu güncelleştirildi aes_encrypt .
    • [SPARK-43378] içindeki deserializeFromChunkedBufferakış nesnelerini düzgün bir şekilde kapatın.
  • 17 Mayıs 2023, Saat 2023, Mayıs 2023, Saat 20:00
    • Parquet taramaları artık toplu iş boyutunu dinamik olarak ayarlayarak olağanüstü yapılandırılmış dosyaları tararken OOM'lere karşı sağlamdır. Dosya meta verileri, toplu iş boyutunu önceden düşürecek şekilde analiz edilir ve son güvenlik ağı olarak görev yeniden denemelerinde yeniden indirilir.
    • Bir Avro dosyası yalnızca failOnUnknownFields seçeneğiyle veya şema evrim modunda Otomatik Yükleyici failOnNewColumns ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata atmak yerine okunur null . Bu okumalar artık başarısız olur ve kullanıcılara bu seçeneği kullanmalarını rescuedDataColumn önerir.
    • Otomatik Yükleyici şimdi aşağıdakileri yapar.
      • Bu veri türlerinden biri sağlanmışsa , Shortve türlerini doğru okur ve Byte artık kurtarmazInteger, ancak Avro dosyası diğer iki türden birini önerir.
      • Bozuk tarihlerin oluşmasını önlemek için okuma aralığı türlerini tarih veya saat damgası türleri olarak önler.
      • Okuma Decimal türlerini daha düşük duyarlıkla önler.
    • [SPARK-43172] Spark connect istemcisinden konağı ve belirteci kullanıma sunar.
    • [SPARK-43293] __qualified_access_only normal sütunlarda yoksayılır.
    • [SPARK-43098] Skaler alt sorgu yan tümcesine göre gruplandırıldığında düzeltilen doğruluk COUNT hatası.
    • [SPARK-43085] Çok parçalı tablo adları için sütun DEFAULT atama desteği.
    • [SPARK-43190] ListQuery.childOutput artık ikincil çıkışla tutarlıdır.
    • [SPARK-43192] Kullanıcı aracısı karakter kümesi doğrulaması kaldırıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Nisan 2023, Saat 2023, Temmuz 2023, Temmuz 2023, Temmuz
    • Parquet dosyası yalnızca failOnUnknownFields seçeneğiyle veya şema evrim modunda Otomatik Yükleyici failOnNewColumns ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata oluşturmak yerine okunur null . Bu okumalar artık başarısız olur ve kullanıcılara bu seçeneği kullanmalarını rescuedDataColumn önerir.
    • Otomatik Yükleyici artık bu veri türlerinden biri sağlanmışsa , Shortve türlerini doğru şekilde okur ve Byte artık kurtarmazInteger. Parquet dosyası diğer iki türden birini önerir. Kurtarılan veri sütunu daha önce etkinleştirildiğinde, veri türü uyuşmazlığı okunabilir olsalar bile sütunların kaydedilmesine neden olur.
    • [SPARK-43009] Sabitlerle Any parametreli sql()
    • [SPARK-42406] Alanı bırakarak Protobuf özyinelemeli alanlarını sonlandırma
    • [SPARK-43038] CBC modunu destekleyen aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Çalışan işleyicisi WorkDirCleanup olayı olduğunda null olduğunda appDirs yazdırılacak workdir şekilde değiştirin
    • [SPARK-43018] Zaman damgası değişmez değerleri olan INSERT komutları için hata düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Nisan 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • komutunda eski veri kaynağı biçimlerini destekleyin SYNC .
    • Depo dışındaki not defterlerinde %autoreload davranışındaki bir sorunu düzeltir.
    • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir sorun düzeltildi.
    • [SPARK-42928] Eşitlenmiş yapar resolvePersistentFunction .
    • [SPARK-42936] Yan tümcesi doğrudan alt toplam tarafından çözümlenebildiğinde LCan sorununu düzeltir.
    • [SPARK-42967] Aşama iptal edildikten sonra bir görev başlatıldığında düzeltilir SparkListenerTaskStart.stageAttemptId .
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Saat

    • Databricks SQL artık Delta Lake tablolarının sütunları için tablo oluşturma zamanında veya sonrasında varsayılan değerleri belirtmeyi destekliyor. Sonraki INSERT, UPDATE, DELETEve MERGE komutları, açık DEFAULT anahtar sözcüğünü kullanarak herhangi bir sütunun varsayılan değerine başvurabilir. Buna ek olarak, herhangi INSERT bir atamanın hedef tablodan daha az sütun içeren açık bir listesi varsa, karşılık gelen sütun varsayılan değerleri kalan sütunlar (veya varsayılan belirtilmemişse NULL) ile değiştirilir.

      Örneğin:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • Otomatik Yükleyici artık denetim noktasının hızlı çalışan Otomatik Yükleyici akışları için düzenli olarak temizlenebildiğini denetlemek üzere Trigger.AvailableNow akışlar için en az bir zaman uyumlu RocksDB günlük temizleme işlemi başlatıyor. Bu, bazı akışların kapanmadan önce daha uzun sürmesine neden olabilir, ancak gelecekteki çalıştırmalarda depolama maliyetlerinden tasarruf etmenizi ve Otomatik Yükleyici deneyimini geliştirmenizi sağlar.

    • Artık kullanarak bir Delta tablosunu tablo özelliklerine DeltaTable.addFeatureSupport(feature_name)destek eklemek için değiştirebilirsiniz.

    • [SPARK-42794] Yapı Akışı'nda RocksDB durum depounu almak için lockAcquireTimeoutMs değerini 2 dakikaya yükseltin

    • [SPARK-42521] Kullanıcı tarafından belirtilen listelerde hedef tablodan daha az sütun bulunan INSERT'ler için NUL'ler ekleme

    • [SPARK-42702][SPARK-42623] Alt sorgu ve CTE'de parametreli sorguyu destekleme

    • [SPARK-42668] HDFSStateStoreProvider durağında sıkıştırılmış akışı kapatmaya çalışırken özel durumu yakalama

    • [SPARK-42403] JsonProtocol null JSON dizelerini işlemelidir

  • 8 Mart 2023, Saat 2023
    • "Yapılandırma başlatılamadı" hata iletisi, müşteri için daha fazla bağlam sağlayacak şekilde geliştirilmiştir.
    • Tablo özelliğini kullanarak Delta tablosuna özellik eklemek için bir terminoloji değişikliği vardır. Tercih edilen söz dizimi artık 'delta.feature.featureName'='supported' yerine 'delta.feature.featureName'='enabled'kullanılır. Geriye dönük uyumluluk için kullanmaya 'delta.feature.featureName'='enabled' devam eder ve çalışmaya devam eder.
    • Bu sürümden başlayarak, varsayılan okuyucu ve yazıcı sürümlerini ve varsayılan olarak desteklenen tablo özelliklerini içeren protokolle ilgili Spark yapılandırmalarını yoksaymak için bir tablo oluşturmak/başka bir tablo özelliğiyle delta.ignoreProtocolDefaults değiştirmek mümkündür.
    • [SPARK-42070] Mask işlevinin bağımsız değişkeninin varsayılan değerini -1 yerine NULL olarak değiştirin
    • [SPARK-41793] Önemli ondalıklarda aralık yan tümcesi tarafından tanımlanan pencere çerçeveleri için yanlış sonuç
    • [SPARK-42484] UnsafeRowUtils better hata iletisi
    • [SPARK-42516] Görünüm oluştururken her zaman oturum saat dilimi yapılandırmasını yakalayın
    • [SPARK-42635] TimestampAdd ifadesini düzeltin.
    • [SPARK-42622] Değerlerde değiştirme devre dışı
    • [SPARK-42534] DB2Dialect Limit yan tümcesini düzeltme
    • [SPARK-42121] Yerleşik tablo değerli posexplode, posexplode_outer, json_tuple ve yığın işlevleri ekleme
    • [SPARK-42045] ANSI SQL modu: Yuvarlama/Yuvarlama küçük/küçük/önemli tamsayı taşmasında hata döndürmelidir
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 11.3 LTS

Bkz . Databricks Runtime 11.3 LTS.

  • 10 Ekim 2024, Cumartesi
    • Çeşitli hata düzeltmeleri.
  • 25 Eylül 2024, Cumartesi
    • [SPARK-46601] [CORE] handleStatusMessage'daki günlük hatalarını düzeltme
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
    • Çeşitli hata düzeltmeleri.
  • 17 Eylül 2024, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos
  • 14 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Saat
    • [SPARK-48941][SPARK-48970] Backport ML yazıcı / okuyucu düzeltmeleri
    • [SPARK-49065][SQL] Eski biçimlendiricilerde/ayrıştırıcılarda yeniden boyutlandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
    • [SPARK-48597][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
    • [SPARK-48463][ML] İç içe giriş sütunlarını destekleyen StringIndexer yapma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Ağustos 2024, Ağustos 2024
  • 1 Ağustos 2024, Ağustos 2024
    • Gerekli güvenlik düzeltme eklerini uygulamak için Databricks Runtime 11.3 LTS'deki Python sürümü 3.9.5'ten 3.9.19'a yükseltilir.
  • 11 Temmuz 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • [SPARK-48383][SS] Kafka'da startOffset seçeneğinde eşleşmeyen bölümler için daha iyi hata oluşturma
    • [SPARK-47070] Alt sorgu yeniden yazıldıktan sonra geçersiz toplamayı düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2024, Saat 2024, Temmuz 2024, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 21 Mayıs 2024, Saat 2024, Mayıs 2024, Saat 20:00
    • [SPARK-48105][SS] Durum deposu kaldırma ve anlık görüntü oluşturma arasındaki yarış durumunu düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Mayıs 2024, Mayıs 2024, Saat 20:00
    • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange oluşturulurken eksik param hatasına neden olan null groupId değeri düzeltildi
    • [SPARK-47973][CORE] SparkContext.stop() ve sonraki sürümlerde SparkContext.assertNotStopped() içinde arama sitesini günlüğe kaydetme
    • [SPARK-44251][SQL] Tam dış USING birleştirmesinde birleştirilmiş birleştirme anahtarında null atanabilir değeri doğru ayarlama
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Nisan 2024, Saat 2024, Temmuz 2024, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024
    • [SPARK-44252][SS] Yeni bir hata sınıfı tanımlayın ve DFS'den yükleme durumunun başarısız olduğu durum için uygulayın
    • [SPARK-47135][SS] Kafka veri kaybı özel durumları için hata sınıfları uygulama
    • "[SPARK-46861][CORE] DAGScheduler'da Kilitlenmeyi Önle"
    • [SPARK-47200][SS] Foreach toplu havuz kullanıcı işlevi hatası için hata sınıfı
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Mart 2024, Saat 2024, Şubat 2024, Saat 20:00
    • [SPARK-47167][SQL] JDBC anonim ilişkisi için somut sınıf ekleme
    • [SPARK-47125][SQL] Univocity hiçbir zaman ayrıştırma tetiklemiyorsa null döndür
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Şubat 2024, Saat 2024, Şubat 2024, Şubat 2024, Saat 20
    • MERGE komutunda kaynak olarak yerel koleksiyon kullanmanın numSourceRows işlem ölçümünün doğru satır sayısını ikiye katladığı bir sorun düzeltildi.
    • [SPARK-45582][SS] Çıkış modu akış toplama içinde işleme çağrıldıktan sonra depo örneğinin kullanılmadığından emin olun
  • 13 Şubat 2024, Saat 2024, Şubat 2024, Saat 20:00
    • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
    • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Aralık 2023, Cumartesi
    • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
    • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
    • [SPARK-46602] allowExisting Görünüm/tablo mevcut olmadığında görünüm oluşturmada yayma.
    • [SPARK-46394] True olarak ayarlandığında özel karakterler spark.sql.legacy.keepCommandOutputSchema içeren şemalardaki spark.catalog.listDatabases() sorunlarını düzeltin.
    • [SPARK-46538] içindeki belirsiz sütun başvurusu sorununu düzeltin ALSModel.transform.
    • [SPARK-39440] Olay zaman çizelgesini devre dışı bırakmak için bir yapılandırma ekleyin.
    • [SPARK-46249] Arka plan işlemleriyle yarışı önlemek için RocksDB ölçümlerini almak için örnek kilidi gerektir.
    • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
  • 14 Aralık 2023, Cumartesi
    • JDBC veya ODBC istemcilerinden kaynaklanan getColumns işlemlerinde kaçış alt çizgilerinin yanlış işlendiği ve joker karakter olarak yorumlandığı bir sorun düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
    • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
    • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde getColumns kaçış alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
    • [SPARK-43973] Yapılandırılmış Akış kullanıcı arabirimi artık başarısız sorguları doğru şekilde görüntülüyor.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
    • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
    • [SPARK-43718] Birleştirmelerdeki USING anahtarlar için null atanabilirlik düzeltildi.
    • [SPARK-44846] sonrasındaki RemoveRedundantAggregateskarmaşık gruplandırma ifadeleri kaldırıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Kasım 2023, Saat 2023
    • Delta Lake akış sorgularında bölüm filtreleri, daha iyi kullanım elde etmek için hız sınırlamadan önce aşağı itilir.
    • [SPARK-42205] Aşama ve Görev başlatma olaylarında günlük akümülalatörleri kaldırıldı.
    • [SPARK-45545] SparkTransportConf SSLOptions oluşturulurken devralır.
    • Geri döndür [SPARK-33861].
    • [SPARK-45541] eklendi SSLFactory.
    • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • [SPARK-45430] FramelessOffsetWindowFunction ve offset > rowCountolduğunda IGNORE NULLS artık başarısız olmaz.
    • [SPARK-45427] ve SparkTransportConföğesine SSLOptions RPC SSL ayarları eklendi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Ekim 2023, Cumartesi
    • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
    • Çeşitli düzeltmeler.
  • 13 Ekim 2023, Cumartesi
    • Snowflake-jdbc bağımlılığı 3.13.29'dan 3.13.33'e yükseltildi.
    • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla için Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönüş.
    • [SPARK-45084] StateOperatorProgress doğru, yeterli bir karıştırma bölüm numarası kullanmak için.
    • [SPARK-45346] Parquet şema çıkarımı artık bir şemayı birleştirirken büyük/küçük harfe duyarlı bayrağı dikkate alır.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Eylül 2023, Cumartesi
    • Çeşitli düzeltmeler.
  • 30 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • [SPARK-44818] Başlatılmadan önce taskThread verilen bekleyen görev kesintisi için yarış düzeltildi.
    • [SPARK-44871][11.3-13.0] Sabit percentile_disc davranış.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • [SPARK-44485] İyileştirilmiş TreeNode.generateTreeString.
    • [SPARK-44504] Bakım görevi, durdurma hatasında yüklenen sağlayıcıları temizler.
    • [SPARK-44464] İlk sütun değeri olan Null çıkış satırlarına düzeltildiapplyInPandasWithStatePythonRunner.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Temmuz 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • Diğer dış veya yönetilen depolama konumuyla çakıştırılan bir depolama konumu yolu için çağrıldığında döndürülen INVALID_PARAMETER_VALUE.LOCATION_OVERLAP bir sorun dbutils.fs.ls() düzeltildi.
    • [SPARK-44199] CacheManager artık gereksiz yere yenilenmez fileIndex .
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Temmuz 2023, Saat 2023, Temmuz 2023, Ağustos 2023, Ağustos
    • [SPARK-44136] StateManager'ın FlatMapGroupsWithStateExec sürücüsü yerine yürütücüde gerçekleştirilmesine neden olan bir sorun düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 23 Haziran 2023, Saat 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Haziran 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • Fotoğraflandı approx_count_distinct.
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • [SPARK-43779] ParseToDate şimdi ana iş parçacığına yüklenir EvalMode .
    • [SPARK-40862] RewriteCorrelatedScalarSubquery'de toplanmamış alt sorguları destekleme
    • [SPARK-43156][SPARK-43098] Kapalı olarak genişletilmiş skaler alt sorgu sayısı hata testi decorrelateInnerQuery .
    • [SPARK-43098] Skaler alt sorguda group by yan tümcesi olduğunda doğruluk COUNT hatası düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 2 Haziran 2023, Ağustos 2023
    • Modda JSON ayrıştırıcısı failOnUnknownFields bir kaydı DROPMALFORMED modda bırakır ve doğrudan modda FAILFAST başarısız olur.
    • Iceberg ve Parquet ile SHALLOW CLONE artımlı güncelleştirmelerin performansını geliştirin.
    • Otomatik Yükleyici'de sağlanan şemada çıkarım yapılan bölümler olmadığında farklı kaynak dosya biçimlerinin tutarsız olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
    • [SPARK-43404]Kimlik uyuşmazlığı hatasını önlemek için sst dosyasını Aynı RocksDB durum deposu sürümü için yeniden kullanma işlemini atlayın.
    • [SPARK-43527] PySpark'ta düzeltildi catalog.listCatalogs .
    • [SPARK-43413][11.3-13.0] Sabit IN alt sorgu ListQuery null atanabilirliği.
    • [SPARK-43340] Olay günlüklerinde eksik yığın izleme alanı düzeltildi.

Databricks Runtime 10.4 LTS

Bkz . Databricks Runtime 10.4 LTS.

  • 22 Ekim 2024, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Ekim 2024, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Eylül 2024, Cumartesi
    • [SPARK-46601] [CORE] handleStatusMessage'daki günlük hatalarını düzeltme
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Eylül 2024, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos
    • [SPARK-49065][SQL] Eski biçimlendiricilerde/ayrıştırıcılarda yeniden boyutlandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
  • 14 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Saat
    • [SPARK-48597][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
    • [SPARK-48941][SPARK-48970] Backport ML yazıcı / okuyucu düzeltmeleri
    • [SPARK-48463][ML] İç içe giriş sütunlarını destekleyen StringIndexer yapma
  • 1 Ağustos 2024, Ağustos 2024
  • 11 Temmuz 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • [SPARK-48383][SS] Kafka'da startOffset seçeneğinde eşleşmeyen bölümler için daha iyi hata oluşturma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2024, Saat 2024, Temmuz 2024, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 21 Mayıs 2024, Saat 2024, Mayıs 2024, Saat 20:00
    • [SPARK-48105][SS] Durum deposu kaldırma ve anlık görüntü oluşturma arasındaki yarış durumunu düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Mayıs 2024, Mayıs 2024, Saat 20:00
    • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange oluşturulurken eksik param hatasına neden olan null groupId değeri düzeltildi
    • [SPARK-47973][CORE] SparkContext.stop() ve sonraki sürümlerde SparkContext.assertNotStopped() içinde arama sitesini günlüğe kaydetme
    • [SPARK-44251][SQL] Tam dış USING birleştirmesinde birleştirilmiş birleştirme anahtarında null atanabilir değeri doğru ayarlama
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Nisan 2024, Saat 2024, Temmuz 2024, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024
    • [SPARK-47135][SS] Kafka veri kaybı özel durumları için hata sınıfları uygulama
    • [SPARK-44252][SS] Yeni bir hata sınıfı tanımlayın ve DFS'den yükleme durumunun başarısız olduğu durum için uygulayın
    • [SPARK-47200][SS] Foreach toplu havuz kullanıcı işlevi hatası için hata sınıfı
    • "[SPARK-46861][CORE] DAGScheduler'da Kilitlenmeyi Önle"
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Mart 2024, Saat 2024, Şubat 2024, Saat 20:00
    • [SPARK-47125][SQL] Univocity hiçbir zaman ayrıştırma tetiklemiyorsa null döndür
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Şubat 2024, Saat 2024, Şubat 2024, Şubat 2024, Saat 20
    • MERGE komutunda kaynak olarak yerel koleksiyon kullanmanın numSourceRows işlem ölçümünün doğru satır sayısını ikiye katladığı bir sorun düzeltildi.
    • [SPARK-45582][SS] Çıkış modu akış toplama içinde işleme çağrıldıktan sonra depo örneğinin kullanılmadığından emin olun
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Şubat 2024, Saat 2024, Şubat 2024, Saat 20:00
    • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Aralık 2023, Cumartesi
    • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
    • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
    • [SPARK-46538] içindeki belirsiz sütun başvurusu sorununu düzeltin ALSModel.transform.
    • [SPARK-39440] Olay zaman çizelgesini devre dışı bırakmak için bir yapılandırma ekleyin.
    • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
  • 14 Aralık 2023, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
    • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
    • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
    • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
    • [SPARK-43718] Birleştirmelerdeki USING anahtarlar için null atanabilirlik düzeltildi.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • [SPARK-42205] Aşama ve Görev başlatma olaylarında günlük akümülalatörleri kaldırıldı.
    • [SPARK-44846] sonrasındaki RemoveRedundantAggregateskarmaşık gruplandırma ifadeleri kaldırıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Kasım 2023, Saat 2023
    • [SPARK-45541] eklendi SSLFactory.
    • [SPARK-45545] SparkTransportConf SSLOptions oluşturulurken devralır.
    • [SPARK-45427] ve SparkTransportConföğesine SSLOptions RPC SSL ayarları eklendi.
    • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • Geri döndür [SPARK-33861].
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Ekim 2023, Cumartesi
    • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Ekim 2023, Cumartesi
    • [SPARK-45084] StateOperatorProgress doğru, yeterli bir karıştırma bölüm numarası kullanmak için.
    • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla için Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönüş.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Eylül 2023, Cumartesi
    • Çeşitli düzeltmeler.
  • 30 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • [SPARK-44818] Başlatılmadan önce taskThread verilen bekleyen görev kesintisi için yarış düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • [SPARK-44504] Bakım görevi, durdurma hatasında yüklenen sağlayıcıları temizler.
    • [SPARK-43973] Yapılandırılmış Akış kullanıcı arabirimi artık başarısız sorgular doğru görünüyor.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 23 Haziran 2023, Saat 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Haziran 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • [SPARK-43098] Skaler alt sorguda group by yan tümcesi olduğunda doğruluk COUNT hatası düzeltildi
    • [SPARK-40862] RewriteCorrelatedScalarSubquery'de toplanmamış alt sorguları destekleme
    • [SPARK-43156][SPARK-43098] Kapalı olarak decorrelateInnerQuery genişletilmiş skaler alt sorgu sayısı testi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 2 Haziran 2023, Ağustos 2023
    • Modda JSON ayrıştırıcısı failOnUnknownFields bir kaydı DROPMALFORMED modda bırakır ve doğrudan modda FAILFAST başarısız olur.
    • önlemek için UnknownFieldExceptionJSON tarafından kurtarılan veri ayrıştırma ile ilgili bir sorun düzeltildi.
    • Otomatik Yükleyici'de sağlanan şemada çıkarım yapılan bölümler olmadığında farklı kaynak dosya biçimlerinin tutarsız olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
    • [SPARK-43404] Kimlik uyuşmazlığı hatasını önlemek için sst dosyasını Aynı RocksDB durum deposu sürümü için yeniden kullanma işlemini atlayın.
    • [SPARK-43413] Alt sorgu ListQuery null atanabilirliği düzeltildiIN.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Mayıs 2023, Saat 2023, Mayıs 2023, Saat 20:00
    • Parquet taramaları artık toplu iş boyutunu dinamik olarak ayarlayarak olağanüstü yapılandırılmış dosyaları tararken OOM'lere karşı sağlamdır. Dosya meta verileri, toplu iş boyutunu önceden düşürecek şekilde analiz edilir ve son güvenlik ağı olarak görev yeniden denemelerinde yeniden indirilir.
    • [SPARK-41520] ve öğesini ayırmak AND ORiçin ağaç deseni bölünAND_OR.
    • [SPARK-43190] ListQuery.childOutput artık ikincil çıkışla tutarlıdır.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Nisan 2023, Saat 2023, Temmuz 2023, Temmuz 2023, Temmuz
    • [SPARK-42928] Eşitlenmiş yap resolvePersistentFunction .
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Nisan 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir sorun düzeltildi.
    • [SPARK-42937] PlanSubqueries şimdi true olarak ayarlanır InSubqueryExec#shouldBroadcast .
    • [SPARK-42967] Aşama iptal edildikten sonra bir görev başlatıldığında SparkListenerTaskStart.stageAttemptId dosyasını düzeltin.
  • 29 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Saat
    • [SPARK-42668] HDFSStateStoreProvider durağında sıkıştırılmış akışı kapatmaya çalışırken özel durumu yakalama
    • [SPARK-42635] Düzelt...
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Mart
    • [SPARK-41162] Toplamalarla kendi kendine birleşim için anti-ve yarı birleştirmeyi düzeltme
    • [SPARK-33206] Küçük dizin dosyaları için karışık dizin önbelleği ağırlık hesaplamasını düzeltme
    • [SPARK-42484] UnsafeRowUtils Hata iletisi geliştirildi
    • Çeşitli düzeltmeler.
  • 28 Şubat 2023, Saat 2023
    • y-MM-dd date_format için oluşturulan sütun desteği. Bu değişiklik, oluşturulan sütunlarda date_format olarak yyyy-MM-dd için bölüm ayıklamayı destekler.
    • Kullanıcılar artık Databricks Runtime 9.1 LTS veya üzerini kullanarak Okuyucu sürüm 3 ve Yazıcı sürüm 7 gerektiren belirli Delta tablolarını okuyabilir ve yazabilir. Başarılı olmak için tabloların protokolünde listelenen tablo özellikleri Databricks Runtime'ın geçerli sürümü tarafından desteklenmelidir.
    • y-MM-dd date_format için oluşturulan sütun desteği. Bu değişiklik, oluşturulan sütunlarda date_format olarak yyyy-MM-dd için bölüm ayıklamayı destekler.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 16 Şubat 2023, Saat 2023, Şubat 2023, Şubat 2023, Şubat 20
    • [SPARK-30220] Filtre düğümünün dışında Exists/In alt sorgularını kullanarak etkinleştirme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00
    • JDBC tablolarının tablo türleri artık varsayılan olarak EXTERNAL'tir.
  • 18 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00
    • Azure Synapse bağlayıcısı, sütun adında boşluklar veya noktalı virgüller gibi geçerli karakterler olmadığında daha açıklayıcı bir hata iletisi döndürür. Böyle durumlarda aşağıdaki ileti döndürülür: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] RocksDB durum deposu işleme işleminden sonra yazma toplu işlemini temizleme
    • [SPARK-41199] DSv1 akış kaynağı ve DSv2 akış kaynağı birlikte kullanıldığında oluşan ölçümler sorunu düzeltildi
    • [SPARK-41198] CTE ve DSv1 akış kaynağına sahip akış sorgusundaki ölçümleri düzeltin.
    • [SPARK-41339] Yalnızca temizleme yerine RocksDB yazma toplu işlemini kapatın ve yeniden oluşturun.
    • [SPARK-41732] SessionWindowing kuralı için ağaç deseni tabanlı budama uygulayın.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20
    • Kullanıcılar, Redshift bağlayıcısını kullanarak veri yazarken baştaki ve sondaki boşlukların davranışını yapılandırabilir. Boşluk işlemeyi denetlemek için aşağıdaki seçenekler eklenmiştir:
      • csvignoreleadingwhitespaceolarak ayarlandığında, veya CSV GZIPolarak ayarlandığında trueCSV yazma tempformat işlemleri sırasında değerlerden baştaki boşluklar kaldırılır. Yapılandırma olarak ayarlandığında falseboşluklar korunur. Varsayılan değer true şeklindedir.
      • csvignoretrailingwhitespaceolarak ayarlandığında, veya CSV GZIPolarak ayarlandığında trueCSV yazma tempformat işlemleri sırasında değerlerden sondaki boşluğu kaldırır. Yapılandırma olarak ayarlandığında falseboşluklar korunur. Varsayılan değer true şeklindedir.
    • Tüm sütunlar dize olarak bırakıldığında (cloudFiles.inferColumnTypes ayarlanmamış veya ayarlanmamış false) ve JSON iç içe nesneler içerdiğinde Otomatik Yükleyici'de JSON ayrıştırma ile ilgili bir sorun düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20
    • Apache commons-text 1.10.0 sürümüne yükseltildi.
    • [SPARK-40646] Yapılar, haritalar ve diziler için JSON ayrıştırma düzeltildi, bu nedenle kaydın bir bölümü şemayla eşleşmediğinde, kaydın geri kalanı null döndürmek yerine doğru şekilde ayrıştırılabilir. Geliştirilmiş davranışı kabul etmek için olarak ayarlayın spark.sql.json.enablePartialResults true. Özgün davranışı korumak için bayrak varsayılan olarak kapalıdır.
    • [SPARK-40292] dizilere iç içe yapılardan başvurulduğunda işlevdeki arrays_zip sütun adlarını düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Kasım 2022, İstanbul
    • Delta tablosunda adlı _change_typekullanıcı tanımlı bir sütun varsa ancak Bu tabloda Veri akışını değiştir seçeneği kapalıysa, bu sütundaki verilerin çalıştırırken MERGEhatalı bir şekilde NULL değerleriyle doldurulması sorunu düzeltildi.
    • Otomatik Yükleyici'de bir dosyanın etkinleştirildiğinde allowOverwrites aynı mikro toplu işlemde çoğaltılabilmesine neden olan bir sorun düzeltildi
    • [SPARK-40697] Dış veri dosyalarını kapsayacak şekilde okuma tarafı karakter doldurma ekleme
    • [SPARK-40596] ExecutorDecommissionInfo içindeki iletilerle ExecutorDecommission'i doldurma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Ekim 2022, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Ekim 2022, Cumartesi
    • [SPARK-40468] Seçildiğinde CSV'de _corrupt_record sütun ayıklamayı düzeltin.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Eylül 2022, Cumartesi
    • Kullanıcılar spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) öğesini ADLS 2. Nesil'de Otomatik Yükleyici için yerleşik listeyi yeniden etkinleştirmek üzere ayarlayabilir. Yerleşik liste daha önce performans sorunları nedeniyle kapatılmıştı ancak müşteriler için depolama maliyetlerinin artmasına neden olabilir.
    • [SPARK-40315] ArrayBasedMapData Değişmez Değeri için hashCode() ekleme
    • [SPARK-40213] Latin-1 karakterleri için ASCII değer dönüştürme desteği
    • [SPARK-40380] Plana serileştirilebilir olmayan sabit değer katıştırılmasını önlemek için InvokeLike'in sürekli katlanması düzeltilir
    • [SPARK-38404] İç içe bir CTE dış CTE'ye başvurduğunda CTE çözünürlüğünü geliştirme
    • [SPARK-40089] Bazı Ondalık türleri için sıralamayı düzeltme
    • [SPARK-39887] RemoveRedundantAliases, projeksiyon düğümlerinin çıkışını benzersiz hale getiren diğer adları tutmalıdır
  • 6 Eylül 2022, Cumartesi
    • [SPARK-40235] Executor.updateDependencies() içinde eşitlenmek yerine kesilebilir kilidi kullanın.
    • [SPARK-40218] GRUPLANDıRMA KÜMESİ, gruplandırma sütunlarını korumalıdır.
    • [SPARK-39976] ArrayIntersect, sol ifadede null değerini doğru işlemelidir.
    • [SPARK-40053] Python çalışma zamanı ortamı gerektiren dinamik iptal durumlarına ekleyin assume .
    • [SPARK-35542] Düzeltme: SplitsArray, inputCols ve outputCols parametreleriyle birden çok sütun için oluşturulan demet oluşturucu kaydedildikten sonra yüklenemiyor.
    • [SPARK-40079] Boş giriş olayı için Imputer inputCols doğrulaması ekleyin.
  • 24 Ağustos 2022, Saat 2022, Ağustos 2022, Ağustos 2022, Ağustos
    • [SPARK-39983] Seri durumda olmayan yayın ilişkilerini sürücüde önbelleğe alma.
    • [SPARK-39775] Avro şemalarını ayrıştırırken varsayılan değerleri doğrulamayı devre dışı bırakın.
    • [SPARK-39962] Grup öznitelikleri boş olduğunda projeksiyonu uygulama
    • [SPARK-37643] charVarcharAsString true olduğunda, char veri türü koşul sorgusu rpadding kuralını atlamalıdır.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Ağustos 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
    • [SPARK-39847] Çağıran iş parçacığı kesintiye uğrarsa RocksDBLoader.loadLibrary() içindeki yarış durumu düzeltildi
    • [SPARK-39731] TARIHLERI DÜZELTilmiş zaman ayrıştırıcı ilkesiyle "yyMdd" biçiminde ayrıştırırken CSV ve JSON veri kaynaklarında oluşan sorun düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Temmuz 2022, Saat 20:00
    • [SPARK-39625] Dataset.as(StructType) ekleyin.
    • [SPARK-39689]CSV veri kaynağında 2 karakter desteği lineSep .
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded iş parçacığı güvenli olmalıdır.
    • [SPARK-39570] Satır içi tablo diğer ad içeren ifadelere izin vermelidir.
    • [SPARK-39702] Paylaşılan bir byteRawChannel kullanarak TransportCipher$EncryptedMessage'ın bellek yükünü azaltın.
    • [SPARK-39575] Add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer.
    • [SPARK-39476] Long'dan Float/Double'a veya Integer'dan Float'a dönüştürme sırasında Unwrap dönüştürme iyileştirmesini devre dışı bırakın.
    • [SPARK-38868] Dış birleşimleri iyileştirirken filtre koşulundan özel durumları yaymayın.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 20 Temmuz 2022, Saat 20:00
    • Kaynak belirleyici olmadığında Delta MERGE işleminin sonuçlarını tutarlı hale getirin.
    • [SPARK-39355] Tek sütun UnresolvedAttribute oluşturmak için quoted kullanır.
    • [SPARK-39548] Window yan tümcesi sorgusuyla CreateView Komutu yanlış bir pencere tanımı bulunamadı sorununa basın.
    • [SPARK-39419] Karşılaştırıcı null döndürdüğünde özel durum oluşturacak ArraySort düzeltildi.
    • Azure'da dizin listesi için Otomatik Yükleyici'nin yerleşik bulut API'lerini kullanma özelliği kapatıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Temmuz 2022, Ağustos 2022, Saat 20:00
    • [SPARK-39376] Doğal/USING JOIN alt sorgu diğer adının yıldız genişletmesinde yinelenen sütunları gizleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Haziran 2022, Saat 2022, Temmuz 2022, Saat 20:00
    • [SPARK-39283] TaskMemoryManager ile UnsafeExternalSorter.SpillableIterator arasındaki kilitlenme düzeltildi.
    • [SPARK-39285] Spark, dosyaları okurken alan adlarını denetlememelidir.
    • [SPARK-34096] Uzaklık penceresi üzerinde null değerleri yoksaymak nth_value için performansı geliştirin.
    • [SPARK-36718] isExtractOnly CollapseProject denetimi düzeltildi.
  • 2 Haziran 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
    • [SPARK-39093] Yıl-ay aralıklarını veya gün/saat aralıklarını bir integrale bölerken kod oluşturma hatasından kaçının.
    • [SPARK-38990] date_trunc/trunc biçimini ilişkili başvuru olarak değerlendirirken NullPointerException kullanmaktan kaçının.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Mayıs 2022, Saat 2022, Mayıs 2022, Saat 20:00
    • Otomatik Yükleyici'deki olası yerleşik bellek sızıntısını düzeltir.
    • [SPARK-38918] İç içe sütun ayıklama, geçerli ilişkiye ait olmayan öznitelikleri filtrelemelidir.
    • [SPARK-37593] G1GC ve ON_HEAP kullanılıyorsa varsayılan sayfa boyutunu LONG_ARRAY_OFFSET küçültün.
    • [SPARK-39084] Görev tamamlandığında yineleyiciyi durdurmak için TaskContext kullanarak df.rdd.isEmpty() sorununu düzeltin.
    • [SPARK-32268] injectBloomFilter içine ColumnPruning ekleyin.
    • [SPARK-38974] Liste işlevlerinde belirli bir veritabanı adıyla kayıtlı işlevleri filtreleyin.
    • [SPARK-38931] 1. denetim noktasında bilinmeyen sayıda anahtarla RocksDBFileManager için kök dfs dizini oluşturun.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 19 Nisan 2022, Saat 2022, Temmuz 2022, Temmuz 2022, Saat
    • Java AWS SDK'sı 1.11.655 sürümünden 1.12.1899 sürümüne yükseltildi.
    • Toplu akış işlerinde not defteri kapsamlı kitaplıkların çalışmamasıyla ilgili bir sorun düzeltildi.
    • [SPARK-38616] Catalyst TreeNode'da SQL sorgu metnini izleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 6 Nisan 2022, İstanbul
    • Bu sürümde aşağıdaki Spark SQL işlevleri kullanıma sunulmuştur:
      • timestampadd() ve dateadd(): Belirtilen bir ünitede zaman damgası ifadesine bir zaman süresi ekleyin.
      • timestampdiff() ve datediff(): Belirtilen bir ünitedeki iki zaman damgası ifadeleri arasındaki zaman farkını hesaplayın.
    • Parquet-MR 1.12.2 sürümüne yükseltildi
    • Parquet dosyalarında kapsamlı şemalar için geliştirilmiş destek
    • [SPARK-38631] Utils.unpack'te tarring'i açmak için Java tabanlı uygulamayı kullanır.
    • [SPARK-38509][SPARK-38481] Kiraz seç üç timestmapadd/diff değişiklik.
    • [SPARK-38523] CSV'den bozuk kayıt sütununa başvuruda bulunarak düzeltme.
    • [SPARK-38237] Tam kümeleme anahtarları gerektirmeye izin ver ClusteredDistribution .
    • [SPARK-38437] Veri kaynağından datetime'ın geçici seri hale getirilmesi.
    • [SPARK-38180] Bağıntılı eşitlik koşullarında güvenli yukarı atama ifadelerine izin verin.
    • [SPARK-38155] Desteklenmeyen koşullarla yanal alt sorgularda ayrı toplamaya izin verme.
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 9.1 LTS

Bkz . Databricks Runtime 9.1 LTS.

  • 22 Ekim 2024, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Ekim 2024, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Eylül 2024, Cumartesi
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 6 Eylül 2024, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos
    • [SPARK-49065][SQL] Eski biçimlendiricilerde/ayrıştırıcılarda yeniden boyutlandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
  • 14 Ağustos 2024, Ağustos 2024, Ağustos 2024, Ağustos 2024, Saat
  • 1 Ağustos 2024, Ağustos 2024
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Temmuz 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2024, Saat 2024, Temmuz 2024, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 21 Mayıs 2024, Saat 2024, Mayıs 2024, Saat 20:00
    • [SPARK-48105][SS] Durum deposu kaldırma ve anlık görüntü oluşturma arasındaki yarış durumunu düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Mayıs 2024, Mayıs 2024, Saat 20:00
    • [SPARK-47973][CORE] SparkContext.stop() ve sonraki sürümlerde SparkContext.assertNotStopped() içinde arama sitesini günlüğe kaydetme
    • [SPARK-44251][SQL] Tam dış USING birleştirmesinde birleştirilmiş birleştirme anahtarında null atanabilir değeri doğru ayarlama
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • Çeşitli hata düzeltmeleri.
  • 11 Nisan 2024, Saat 2024, Temmuz 2024, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024
    • "[SPARK-46861][CORE] DAGScheduler'da Kilitlenmeyi Önle"
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Mart 2024, Saat 2024, Şubat 2024, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Şubat 2024, Saat 2024, Şubat 2024, Şubat 2024, Saat 20
    • MERGE komutunda kaynak olarak yerel koleksiyon kullanmanın numSourceRows işlem ölçümünün doğru satır sayısını ikiye katladığı bir sorun düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Şubat 2024, Saat 2024, Şubat 2024, Saat 20:00
    • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Aralık 2023, Cumartesi
    • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
    • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
    • [SPARK-39440] Olay zaman çizelgesini devre dışı bırakmak için bir yapılandırma ekleyin.
    • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
  • 14 Aralık 2023, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
    • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
    • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
    • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Kasım 2023, Saat 2023
    • [SPARK-45545] SparkTransportConf SSLOptions oluşturulurken devralır.
    • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
    • [SPARK-45427] ve SparkTransportConföğesine SSLOptions RPC SSL ayarları eklendi.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • [SPARK-45541] eklendi SSLFactory.
    • [SPARK-42205] Aşama ve Görev başlatma olaylarında günlük akümülalatörleri kaldırıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Ekim 2023, Cumartesi
    • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Ekim 2023, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Eylül 2023, Cumartesi
    • Çeşitli düzeltmeler.
  • 30 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 23 Haziran 2023, Saat 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Haziran 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • [SPARK-43098] Skaler alt sorguda group by yan tümcesi olduğunda count hatası düzeltildi.
    • [SPARK-43156][SPARK-43098] Skaler alt sorgu sayısı hata testlerini kapalı olarak decorrelateInnerQuery genişletin.
    • [SPARK-40862] RewriteCorrelatedScalarSubquery'de toplanmamış alt sorguları destekleyin.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 2 Haziran 2023, Ağustos 2023
    • Modda JSON ayrıştırıcısı failOnUnknownFields bir kaydı DROPMALFORMED modda bırakır ve doğrudan modda FAILFAST başarısız olur.
    • önlemek için UnknownFieldExceptionJSON tarafından kurtarılan veri ayrıştırma ile ilgili bir sorun düzeltildi.
    • Otomatik Yükleyici'de sağlanan şemada çıkarım yapılan bölümler olmadığında farklı kaynak dosya biçimlerinin tutarsız olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
    • [SPARK-37520] startswith() ve endswith() dize işlevlerini ekleme
    • [SPARK-43413] Alt sorgu ListQuery null atanabilirliği düzeltildiIN.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Mayıs 2023, Saat 2023, Mayıs 2023, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Nisan 2023, Saat 2023, Temmuz 2023, Temmuz 2023, Temmuz
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Nisan 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir sorun düzeltildi.
    • [SPARK-42967] Aşama iptal edildikten sonra bir görev başlatıldığında SparkListenerTaskStart.stageAttemptId dosyasını düzeltin.
  • 29 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Saat
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Mart
    • [SPARK-42484] için UnsafeRowUtilsgeliştirilmiş hata iletisi.
    • Çeşitli düzeltmeler.
  • 28 Şubat 2023, Saat 2023
    • Kullanıcılar artık Databricks Runtime 9.1 LTS veya üzerini kullanarak Okuyucu sürüm 3 ve Yazıcı sürüm 7 gerektiren belirli Delta tablolarını okuyabilir ve yazabilir. Başarılı olmak için tabloların protokolünde listelenen tablo özellikleri Databricks Runtime'ın geçerli sürümü tarafından desteklenmelidir.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 16 Şubat 2023, Saat 2023, Şubat 2023, Şubat 2023, Şubat 20
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00
    • JDBC tablolarının tablo türleri artık varsayılan olarak EXTERNAL'tir.
  • 18 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20
    • Tüm sütunlar dize olarak bırakıldığında (cloudFiles.inferColumnTypes ayarlanmamış veya ayarlanmamış false) ve JSON iç içe nesneler içerdiğinde Otomatik Yükleyici'de JSON ayrıştırma ile ilgili bir sorun düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20
    • Apache commons-text 1.10.0 sürümüne yükseltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Çeşitli düzeltmeler.
  • 1 Kasım 2022, İstanbul
    • Delta tablosunda adlı _change_typekullanıcı tanımlı bir sütun varsa ancak Bu tabloda Veri akışını değiştir seçeneği kapalıysa, bu sütundaki verilerin çalıştırırken MERGEhatalı bir şekilde NULL değerleriyle doldurulması sorunu düzeltildi.
    • Otomatik Yükleyici'de bir dosyanın etkinleştirildiğinde allowOverwrites aynı mikro toplu işlemde çoğaltılabilmesine neden olan bir sorun düzeltildi
    • [SPARK-40596] ExecutorDecommissionInfo içindeki iletilerle ExecutorDecommission'i doldurma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Ekim 2022, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Ekim 2022, Cumartesi
    • Çeşitli düzeltmeler.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Eylül 2022, Cumartesi
    • Kullanıcılar, ADLS 2. Nesil'de Otomatik Yükleyici için yerleşik listeyi yeniden etkinleştirmek için spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") ayarlayabilir. Yerleşik liste daha önce performans sorunları nedeniyle kapatılmıştı ancak müşteriler için depolama maliyetlerinin artmasına neden olabilir.
    • [SPARK-40315] ArrayBasedMapData Değişmez Değeri için hashCode() ekleme
    • [SPARK-40089] Bazı Ondalık türleri için sıralamayı düzeltme
    • [SPARK-39887] RemoveRedundantAliases, projeksiyon düğümlerinin çıkışını benzersiz hale getiren diğer adları tutmalıdır
  • 6 Eylül 2022, Cumartesi
    • [SPARK-40235] Executor.updateDependencies() içinde eşitlenmiş yerine kesilebilir kilit kullanın
    • [SPARK-35542] Düzeltme: SplitsArray, inputCols ve outputCols parametreleriyle birden çok sütun için oluşturulan demet oluşturucu kaydedildikten sonra yüklenemiyor
    • [SPARK-40079] Boş giriş olayı için Imputer inputCols doğrulaması ekleme
  • 24 Ağustos 2022, Saat 2022, Ağustos 2022, Ağustos 2022, Ağustos
    • [SPARK-39666] ExpressionEncoder'da dikkate spark.sql.codegen.factoryMode almak için UnsafeProjection.create kullanın
    • [SPARK-39962] Grup öznitelikleri boş olduğunda projeksiyonu uygulama
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Ağustos 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Temmuz 2022, Saat 20:00
    • Kaynak belirleyici olmadığında Delta MERGE işleminin sonuçlarını tutarlı hale getirin.
    • [SPARK-39689] CSV veri kaynağında 2 karakter lineSep desteği
    • [SPARK-39575] içinde sonra ByteBuffer#get AvroDeserializereklendiByteBuffer#rewind.
    • [SPARK-37392] Katalizör iyileştiricisinin performans hatası düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Temmuz 2022, Saat 2022, Temmuz 2022, Saat 20:00
    • [SPARK-39419] ArraySort karşılaştırıcı null döndürdüğünde bir özel durum oluşturur.
    • Azure'da dizin listesi için Otomatik Yükleyici'nin yerleşik bulut API'lerini kullanma özelliği kapatıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Temmuz 2022, Ağustos 2022, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Çeşitli düzeltmeler.
  • 15 Haziran 2022, Saat 2022, Temmuz 2022, Saat 20:00
    • [SPARK-39283] ve UnsafeExternalSorter.SpillableIteratorarasındaki TaskMemoryManager kilitlenme düzeltildi.
  • 2 Haziran 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
    • [SPARK-34554] copy() yöntemini içinde ColumnarMapuygulayın.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Mayıs 2022, Saat 2022, Mayıs 2022, Saat 20:00
    • Otomatik Yükleyici'de olası yerleşik bellek sızıntısı düzeltildi.
    • AWS SDK sürümünü 1.11.655 sürümünden 1.11.678 sürümüne yükseltin.
    • [SPARK-38918] İç içe sütun ayıklama, geçerli ilişkiye ait olmayan öznitelikleri filtrelemelidir
    • [SPARK-39084] Görev tamamlandığında yineleyiciyi durdurmak için kullanarak TaskContext düzeltme df.rdd.isEmpty()
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 19 Nisan 2022, Saat 2022, Temmuz 2022, Temmuz 2022, Saat
    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Çeşitli düzeltmeler.
  • 6 Nisan 2022, İstanbul
    • [SPARK-38631] Utils.unpack'te tarring'i açmak için Java tabanlı uygulamayı kullanır.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Mart 2022, Saat 20:00
    • Yüksek Eşzamanlılık kümelerindeki not defterlerinin geçerli çalışma dizini, kullanıcının giriş dizininde tablo erişim denetimi veya kimlik bilgisi geçişi etkinleştirilerek değiştirildi. Daha önce active directory'ydi /databricks/driver.
    • [SPARK-38437] Veri kaynağından datetime'ın geçici seri hale getirilmesi
    • [SPARK-38180] Bağıntılı eşitlik koşullarında güvenli yukarı atama ifadelerine izin ver
    • [SPARK-38155] Desteklenmeyen koşullarla yanal alt sorgularda ayrı toplamaya izin verme
    • [SPARK-27442] Bir parkedeki verileri okurken veya yazarken bir onay alanı kaldırıldı.
  • 14 Mart 2022, Saat 2022, Şubat 2022, Saat 20:00
    • [SPARK-38236] Create/alter tablosunda belirtilen mutlak dosya yolları göreli olarak değerlendirilir
    • [SPARK-34069] Yerel özellik SPARK_JOB_INTERRUPT_ON_CANCEL true olarak ayarlandıysa görev iş parçacığını kesme.
  • 23 Şubat 2022, Saat 2022, Şubat 2022, Saat 20:00
    • [SPARK-37859] Spark 3.1 ile JDBC ile oluşturulan SQL tabloları Spark 3.2 ile okunamaz.
  • 8 Şubat 2022, İstanbul
    • [SPARK-27442] Bir parkedeki verileri okurken veya yazarken bir onay alanı kaldırıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Şubat 2022, İstanbul
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 26 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00
    • Delta tablolarındaki eşzamanlı işlemlerin bazı nadir koşullarda seri hale getirilemez bir sırada işlemesi sorunu düzeltildi.
    • ANSI SQL diyalekt etkinleştirildiğinde komutun başarısız olmasına neden olan bir sorun OPTIMIZE düzeltildi.
  • 19 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00
    • Küçük düzeltmeler ve güvenlik geliştirmeleri.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 4 Kasım 2021, Kasım 2021, Saat 20:00
    • Yapılandırılmış Akış akışlarının ile başarısız olmasına neden olabilen bir ArrayIndexOutOfBoundsExceptionsorun düzeltildi.
    • IoException gibi java.io.IOException: No FileSystem for scheme bir sorgu hatasına veya değişikliklerin sorgularda etkili olmamasına sparkContext.hadoopConfiguration neden olabilen bir yarış durumu düzeltildi.
    • Delta Sharing için Apache Spark Bağlayıcısı 0.2.0 sürümüne yükseltildi.
  • 20 Ekim 2021, Cumartesi
    • BigQuery bağlayıcısı 0.18.1'den 0.22.2'ye yükseltildi. Bu, BigNumeric türü için destek ekler.