Databricks Runtime için bakım güncelleştirmeleri (arşivlenmiş)

Bu arşivlenmiş sayfa, artık desteklenmeyen Databricks Runtime sürümleri için yayımlanan bakım güncelleştirmelerini listeler. Mevcut bir kümeye bakım güncelleştirmesi eklemek için kümeyi yeniden başlatın.

Önemli

Bu belge kullanımdan kaldırılmıştır ve güncelleştirilmeyebilir. Bu içerikte belirtilen ürünler, hizmetler veya teknolojiler destek sonuna ulaşmıştır. Bkz Databricks Runtime sürüm notlarının versiyonları ve uyumluluğu.

Databricks Runtime sürümleri

Yayına göre bakım güncelleştirmeleri:

Desteklenen Databricks Runtime sürümlerindeki bakım güncelleştirmeleri için bkz . Databricks Runtime bakım güncelleştirmeleri.

Databricks Runtime 18.0

Bkz. Databricks Runtime 18.0 (EoS).

  • 10 Temmuz 2026
    • Çeşitli hata düzeltmeleri.
  • 29 Haziran 2026
    • (Davranış değişikliği) Ölçüm görünümleri artık diğer pencere ölçülerine başvuran pencere ölçülerini reddeder. Daha önce, bu desen CREATE zamanında başarılı oluyordu, ancak sorgu zamanında sessizce başarısız oluyor veya yanlış sonuçlar üretiyordu. Şimdi Azure Databricks, CREATE veya ALTER sırasında net bir hata döndürüyor (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Bu doğrulamayı devre dışı bırakmak için spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled değerini false olarak ayarlayın.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Haziran 2026
    • (Davranış değişikliği) Microsoft Fabric (OneLake) yabancı kataloğu oluşturmak için artık SQL item_type veya REST API kullanılırken (LAKEHOUSE veya WAREHOUSE) seçeneği gerekirCREATE FOREIGN CATALOG. Databricks kullanıcı arabirimi bu seçeneği otomatik olarak ayarlar. Varolan yabancı kataloglar etkilenmez.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 26 Mayıs 2026
    • güncelleştirilmiş Java kitaplıkları:
      • 1.3.11'den 1.4.0'a kadar io.delta.delta-sharing-client_2.13
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Mayıs 2026
    • (Behavior change) Şema deseni kullanarak tabloları listelemek artık yabancı tablolar (örneğin, SQL Server, PostgreSQL veya AWS Glue) için Unity Kataloğu meta verilerini yenilemez. Bu değişiklik, bir şema deseni iletildiğinde JDBC sürücüsündeki SHOW TABLES IN SCHEMA LIKE ... ve getMetaData.getTables çağrılarını ve Thrift SparkGetTablesOperation API’sini etkiler. İş yükünüz bir şema düzeniyle meta veri yenilemeye bağımlıysa Databricks Desteği'ne başvurun.
    • güncelleştirilmiş Java kitaplıkları:
      • 1.3.10 ile 1.3.11 arasındaki io.delta.delta-sharing-client_2.13
    • [SPARK-56554][SQL] XML değişken olarak alırken inferSchema seçeneğine saygı gösterin
    • [SPARK-56361][SS] Akış-akış birleştirmesinde NPE durumunda günlüğe kaydetme sırasında daha iyi hata iletisi sağlayın
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 20 Nisan 2026
    • GEOMETRY(102100) türü için CRS yetkilisi düzeltildi. Şimdi yetkili ESRI:102100 olarak EPSG:102100 yerine bildirilir.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 2 Nisan 2026, İstanbul

    • güncelleştirilmiş Java kitaplıkları:
      • 1.3.9 ile 1.3.10 arasındaki io.delta.delta-sharing-client_2.13
    • Kullanıcı Tanımlı Tür (UDT) içinde bir VOID (NullType) sütun içeren Delta tablolarına veri yazan sorgular için geliştirilmiş hata işleme.
    • [SPARK-55811] [SQL] NonFatal çağırırken UnresolvedException yerine nodeWithOutputColumnsString yakala
    • [SPARK-55892][SS] Yeniden kullanılan SST dosyasının bakım tarafından silinmesi nedeniyle durum deposunun yüklenememesi sorunu düzeltildi.
    • [SPARK-55991] Parametrelerle unicode ile ilgili SQL metin bozulmalarını düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 10 Mart 2026

    • [SPARK-55584] EXEC IMMEDIATE için skaler alt sorguda daha iyi hata üretin
    • [SPARK-55111][SS] Sorgu yeniden başlatıldığında tamamlanmamış yeniden bölümleme algılamasını yeniden denetle
    • [SPARK-55493] [SS] StateDataSource'ta akış denetim noktası durum dizininde mkdirs kullanmayın
    • [SPARK-55701]ES-1694761[SS] CompactibleFileStreamLog.allFiles dosyasında yarış durumu düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 26 Şubat 2026

    • Unity Kataloğu tablo sütunlarında anlamsal meta verilerini yönetmek için SET METADATA ON COLUMN ve UNSET METADATA ON COLUMN SQL komutları eklendi. Lakeview ve Genie gibi aşağı akış tüketicileri için daha zengin bağlam sağlayarak sütunlara özellikler (SET METADATA ON COLUMN, display_name, ve format) eklemek için synonyms kullanın. Önceden ayarlanmış meta veri özelliklerini kaldırmak için kullanın UNSET METADATA ON COLUMN .
    • DESCRIBE TABLE artık sütun düzeyinde anlamsal meta verileri JSON dizesi olarak gösteren dördüncü bir metadata sütunu içeriyor. Bu, display_name, format ve synonyms gibi özellikleri doğrudan açıklama çıktısı ile incelemeyi kolaylaştırır.
    • [SPARK-54745][PYTHON] Windows'da eksik UnixStreamServer'ın neden olduğu PySpark içeri aktarma hatası düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 19 Şubat 2026

    • Excel dosyalarının şeması çıkarılırken, dize hücreleri artık Spark StringType olarak çıkarılır. Excel'de ayarlanan hücre türüne riayet eder. Daha önce, sayısal değerlere sahip dizeler Long veya Decimal gibi daha dar türlere otomatik olarak dönüştürüldü.
    • [SPARK-55097][SQL] Önbelleğe alınan kaynakların yeniden eklenmesi sonucu blokların sessizce düşmesi sorunu düzeltildi
    • [SPARK-54887][CONNECT] Sparkthrowables'a isteğe bağlı sqlstate ekleme
    • [SPARK-55111][SS] Sorgu yeniden başlatmada tamamlanmamış yeniden bölümleme algılama
    • Sorgu yeniden başlatıldığında [SPARK-55111][SS] Tamamlanmamış yeniden bölümleme algılamasını geri döndürme
    • [SPARK-55282][PYTHON][CONNECT] Sürücü tarafında worker_util kullanmaktan kaçının
    • [SPARK-49110][SQL] Meta veri sütunlarını her zaman yaymak için SubqueryAlias.metadataOutput'ı basitleştirme
    • [SPARK-54887][CONNECT] Spark Connect istemcisinde her zaman sql durumu ayarlama
    • [SPARK-55090][PYTHON][CONNECT] Python İstemcisi'nde uygulama DataFrame.toJSON
    • [SPARK-55243][CONNECT] Scala Connect istemcisindeki -bin soneki aracılığıyla ikili üst bilgileri ayarlamaya izin ver
    • [SPARK-54785][SQL] KLL'de ikili taslak toplamaları için destek eklendi (#188370) (#191095)
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Ocak 2026
    • güncelleştirilmiş Java kitaplıkları:
      • 1.3.6 ile 1.3.9 arasındaki io.delta.delta-sharing-client_2.13
    • Otomatik Yükleyici'ye bildirilen ölçümler olarak batchSizeNumFiles, batchSizeNumBytes ve dosya işleme durumları (numFilesProcessed, numFilesSkippedCorrupted, numFilesSkippedMissing, numFilesUnknownState) eklendi.
    • [SPARK-54564] [SQL] QueryPlanningTracker'ı KarmaAnalyzer alanı yapma
    • [SPARK-54803] ... İSME GÖRE desteği DESTEKLE INSERT
    • [SPARK-54679][SQL] spark.sql yeniden adlandırın. (xml.legacyXMLParser.enabled -> legacy.useLegacyXMLParser)
    • [SPARK-54562][SDP] Sunucu tarafında akış fonksiyonu içinde erken analiz / yürütmeyi engelle
    • [SPARK-54886] SparkConnectService'te oluşturulan temel oturum ekleme
    • [SPARK-54815][CONNECT] Oturum hala kullanılıyorsa oturum durumunun sınıf yükleyicisini kapatmayın
    • [SPARK-41916] [ML] Torç dağıtımcısı: task.gpu.amount > 1 ise görev başına birden çok torchrun işlemini destekler
    • [SPARK-54620][SQL] Gözlem engellemeyi önlemek için ObservationManager'da güvenlik denetimi ekleme
    • [SPARK-55015][SS][SQL] PrefixKeyScanStateEncoder'da decodeRemainingKey numFields hesaplamasını düzeltme
    • [SPARK-54708] Yavaş dizin oluşturma ile ML önbelleği temizlemeyi iyileştirme
    • [SPARK-54768][SS]Python Akış Veri Kaynağı döndürülen veriler yapılandırılmış şemayla eşleşmiyorsa hatayı sınıflandırmalıdır
    • [SPARK-54711][PYTHON] Daemon tarafından oluşturulan çalışan bağlantısı için zaman aşımı ekleme
    • [SPARK-54581][SQL] Postgres bağlayıcısı için getirme boyutu seçeneğini büyük/küçük harfe duyarsız hale getirme
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 17.2

Bkz. Databricks Runtime 17.2 (EoS).

  • 10 Mart 2026
    • [SPARK-55701]ES-1694761[SS] CompactibleFileStreamLog.allFiles dosyasında yarış durumu düzeltildi
    • [SPARK-55493] [SS] StateDataSource'ta akış denetim noktası durum dizininde mkdirs kullanmayın
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 26 Şubat 2026

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 19 Şubat 2026

    • Excel dosyalarının şeması çıkarılırken, dize hücreleri artık Spark StringType olarak çıkarılır. Excel'de ayarlanan hücre türüne riayet eder. Daha önce, sayısal değerlere sahip dizeler Long veya Decimal gibi daha dar türlere otomatik olarak dönüştürüldü.
    • [SPARK-55243][CONNECT] Scala Connect istemcisindeki -bin soneki aracılığıyla ikili üst bilgileri ayarlamaya izin ver
    • [SCALA][SPARK-54887]](https://issues.apache.org/jira/browse/SPARK-54887)[CONNECT] Spark Connect istemcisinde her zaman sql durumu ayarlama
    • [SPARK-54887][CONNECT] Sparkthrowables'a isteğe bağlı sqlstate ekleme
    • [SPARK-55282][PYTHON][CONNECT] Sürücü tarafında worker_util kullanmaktan kaçının
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Ocak 2026
    • [SPARK-55015][SS][SQL] PrefixKeyScanStateEncoder'da decodeRemainingKey numFields hesaplamasını düzeltme
    • [SPARK-54768][SS]Python Akış Veri Kaynağı döndürülen veriler yapılandırılmış şemayla eşleşmiyorsa hatayı sınıflandırmalıdır
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Ocak 2026
    • [SPARK-54711][PYTHON] Daemon tarafından oluşturulan çalışan bağlantısı için zaman aşımı ekleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Aralık 2025, Cumartesi
    • Bölümlenmiş Delta tablolarında, ileride veri parke dosyalarında yer alan bölüm sütunları olacaktır. Bu, Iceberg ve UniForm tablolarının işlenme şekliyle daha iyi bir sinerji sağlar ve Delta dışı harici okuyucularla uyumluluğu artırır.
    • [SPARK-54427][SQL] ColumnarRow'un değişken türleriyle çağırmasına copy izin ver
    • [SPARK-54180][SQL] BinaryFileFormat toString'ini geçersiz kılma
    • [SPARK-50906][SQL] Yeniden sıralanmış yapı alanları için Avro nullability denetimini düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Kasım 2025
    • [SPARK-54078][SS] StateStoreSuite SPARK-40492: maintenance before unload için yeni test ve eski testten altyapıyı kaldırma
    • [SPARK-54047][PYTHON] Boşta kalma zaman aşımında sonlandığında farklı bir hata türü kullanın
    • [SPARK-54099][SQL] XML değişken ayrıştırıcısı ondalık ayrıştırma hatalarında dizeye geri dönmelidir
    • [SPARK-54015][PYTHON] Py4J gereksinimini gevşetmek için py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-52515]Apache DataSketches kullanarak Approx_top_k
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 4 Kasım 2025
    • [SPARK-53973][Avro] AvroOptions boolean dönüştürme hatası için hataları sınıflandırma
    • [SPARK-53972][SS] Klasik pyspark'taki akış sorgusu recentProgress regresyonu düzeltildi
    • [SPARK-53908][CONNECT] Plan önbelleği ile Spark Connect'te gözlemleri düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 21 Ekim 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 8 Ekim 2025, Cumartesi
    • [SPARK-53555] Düzeltme: SparkML-connect SparkML (eski mod) kayıtlı modeli yükleyemiyor
    • [SPARK-53598][SQL] Büyük tablo özelliğini okumadan önce numParts varlığını denetleyin
    • [SPARK-53625][SS] ApplyCharTypePadding uyumsuzluğunu gidermek için meta veri sütunlarını projeksiyonlar aracılığıyla yayma
    • [SPARK-53568][CONNECT][PYTHON] Spark Connect'teki birkaç küçük hatayı düzeltme Python istemci hata işleme mantığı
    • [SPARK-53574] AnalysisContext'in iç içe plan çözümlemesi sırasında silinmesi sorunu düzeltildi.
    • [SPARK-53623][SQL] büyük tabloların okunmasını geliştirme...
    • [SPARK-53729][PYTHON][CONNECT] Serileştirme sorununun düzeltilmesi pyspark.sql.connect.window.WindowSpec
    • [SPARK-53549][SS] Liste durumu isteği işlemi tamamlandığında her zaman ok ayırıcısını kapatın
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Eylül 2025, Cumartesi
    • Otomatik Yükleyici'nin süresiz olarak kilitlenmesine neden olabilen bir sorun düzeltildi.
    • [SPARK-53362] [ML] [CONNECT] IDFModel yerel yükleyici hatası düzeltildi
    • [SPARK-53382][SQL] Hatalı biçimlendirilmiş özyineleme ile ilgili rCTE hatası düzeltildi
    • [SPARK-53345] için arka bağlantı noktası flaky test düzeltmesi
    • [SPARK-49872][CORE] jackson JSON dize uzunluğu sınırlamasını kaldırma
    • [SPARK-53423] [SQL] Tek geçişli çözümleyiciyle ilgili tüm etiketleri ResolverTag'e taşıma
    • [SPARK-53431][PYTHON] DataFrame API'de adlandırılmış tablo argümanlarıyla Python UDTF'yi düzeltmek
    • [SPARK-53336] [ML] [BAĞLAN] MLCache.totalMLCacheSizeBytes çağrıldığında MLCache.clear()'i sıfırla
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible yinelenen kesmeyi önlemelidir
    • [SPARK-53470][SQL] ExtractValue ifadeleri her zaman tür denetimi yapmalıdır
    • Kiraz seçimi [SPARK-53389] ANSI altında Spark üzerinde Pandas API'sine yönelik iyileştirmeler
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 17.1

Bkz. Databricks Runtime 17.1 (EoS).

  • 27 Ocak 2026
    • [SPARK-55015][SS][SQL] PrefixKeyScanStateEncoder'da decodeRemainingKey numFields hesaplamasını düzeltme
    • [SPARK-54768][SS]Python Akış Veri Kaynağı döndürülen veriler yapılandırılmış şemayla eşleşmiyorsa hatayı sınıflandırmalıdır
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Ocak 2026
    • [SPARK-54711][PYTHON] Daemon tarafından oluşturulan çalışan bağlantısı için zaman aşımı ekleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Aralık 2025, Cumartesi
    • Bölümlenmiş Delta tablolarında, ileride veri parke dosyalarında yer alan bölüm sütunları olacaktır. Bu, Iceberg ve UniForm tablolarının işlenme şekliyle daha iyi bir sinerji sağlar ve Delta dışı harici okuyucularla uyumluluğu artırır.
    • [SPARK-54180][SQL] BinaryFileFormat toString'ini geçersiz kılma
    • [SPARK-50906][SQL] Yeniden sıralanmış yapı alanları için Avro nullability denetimini düzeltme
    • [SPARK-54427][SQL] ColumnarRow'un değişken türleriyle çağırmasına copy izin ver
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Kasım 2025
    • [SPARK-54015][PYTHON] Py4J gereksinimini gevşetmek için py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-52515]Apache DataSketches kullanarak Approx_top_k
    • [SPARK-54047][PYTHON] Boşta kalma zaman aşımında sonlandığında farklı bir hata türü kullanın
    • [SPARK-54078][SS] StateStoreSuite SPARK-40492: maintenance before unload için yeni test ve eski testten altyapıyı kaldırma
    • [SPARK-54099][SQL] XML değişken ayrıştırıcısı ondalık ayrıştırma hatalarında dizeye geri dönmelidir
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 4 Kasım 2025
    • [SPARK-53972][SS] Klasik pyspark'taki akış sorgusu recentProgress regresyonu düzeltildi
    • [SPARK-53908][CONNECT] Plan önbelleği ile Spark Connect'te gözlemleri düzeltme
    • [SPARK-53973][Avro] AvroOptions boolean dönüştürme hatası için hataları sınıflandırma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 21 Ekim 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 7 Ekim 2025, Cumartesi
    • [SPARK-53574] AnalysisContext'in iç içe plan çözümlemesi sırasında silinmesi sorunu düzeltildi.
    • [SPARK-53549][SS] Liste durumu isteği işlemi tamamlandığında her zaman ok ayırıcısını kapatın
    • [SPARK-53568][CONNECT][PYTHON] Spark Connect'teki birkaç küçük hatayı düzeltme Python istemci hata işleme mantığı
    • [SPARK-53625][SS] ApplyCharTypePadding uyumsuzluğunu gidermek için meta veri sütunlarını projeksiyonlar aracılığıyla yayma
    • [SPARK-53598][SQL] Büyük tablo özelliğini okumadan önce numParts varlığını denetleyin
    • [SPARK-53623][SQL] büyük tabloların okunmasını geliştirme...
    • [SPARK-53555] Düzeltme: SparkML-connect SparkML (eski mod) kayıtlı modeli yükleyemiyor
    • [SPARK-53729][PYTHON][CONNECT] Serileştirme sorununun düzeltilmesi pyspark.sql.connect.window.WindowSpec
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 16 Eylül 2025, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Eylül 2025, Cumartesi
    • Otomatik Yükleyici'nin süresiz olarak kilitlenmesine neden olabilen bir sorun düzeltildi.
    • [SPARK-53362] [ML] [CONNECT] IDFModel yerel yükleyici hatası düzeltildi
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible yinelenen kesmeyi önlemelidir
    • [SPARK-53382][SQL] Hatalı biçimlendirilmiş özyineleme ile ilgili rCTE hatası düzeltildi
    • [SPARK-53431][PYTHON] DataFrame API'de adlandırılmış tablo argümanlarıyla Python UDTF'yi düzeltmek
    • [SPARK-53336] [ML] [BAĞLAN] MLCache.totalMLCacheSizeBytes çağrıldığında MLCache.clear()'i sıfırla
    • [SPARK-49872][CORE] jackson JSON dize uzunluğu sınırlamasını kaldırma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Ağustos 2025
    • güncelleştirilmiş Java kitaplıkları:
      • 1.3.3'ten 1.3.5'e kadar io.delta.delta-sharing-client_2.13
    • [SPARK-52482][SQL][CORE] Bazı bozuk zstd dosyalarını okumak için özel durum işlemeyi geliştirme
    • [SPARK-53192][CONNECT] Her zaman Spark Connect Plan Önbelleği'nde bir DataSource'u önbelleğe al
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Ağustos 2025
    • [SPARK-52833][SQL] Düzeltme VariantBuilder.appendFloat
    • [SPARK-52961][PYTHON] Yanal birleşimde 0 argümanlı değerlendirmeye sahip Arrow ile iyileştirilmiş Python UDTF'yi düzeltme
    • [SPARK-51505][SQL] AQEShuffleReadExec'te her zaman boş bölüm numarası ölçümlerini göster
    • [SPARK-52753][SQL] parseDataType ikili dosyasını önceki sürümlerle uyumlu hale getirme
    • [SPARK-52842][SQL] Tek geçişli çözümleyici için yeni işlevsellik ve hata düzeltmeleri
    • [SPARK-52960][SQL] LogicalQueryStage toString'de alt ağaç dizesini göster
    • [SPARK-53054][CONNECT] connect.DataFrameReader varsayılan format davranışı düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 17.0

Bkz. Databricks Runtime 17.0 (EoS).

  • 9 Aralık 2025, Cumartesi
    • Bölümlenmiş Delta tablolarında, ileride veri parke dosyalarında yer alan bölüm sütunları olacaktır. Bu, Iceberg ve UniForm tablolarının işlenme şekliyle daha iyi bir sinerji sağlar ve Delta dışı harici okuyucularla uyumluluğu artırır.
    • Hem Snowflake bağlayıcısı hem de Snowflake Lakehouse Federasyonu için TIMESTAMP_NTZ (saat dilimi olmadan zaman damgası) sabit değerleri artık Snowflake'e aktarılmamaktadır. Bu değişiklik, uyumsuz zaman damgası işlemeden kaynaklanan sorgu hatalarını önler ve etkilenen sorgular için güvenilirliği artırır.
    • [SPARK-54427][SQL] ColumnarRow'un değişken türleriyle çağırmasına copy izin ver
    • [SPARK-54180][SQL] BinaryFileFormat toString'ini geçersiz kılma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Kasım 2025
    • [SPARK-54099][SQL] XML değişken ayrıştırıcısı ondalık ayrıştırma hatalarında dizeye geri dönmelidir
    • [SPARK-54015][PYTHON] Py4J gereksinimini gevşetmek için py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] StateStoreSuite SPARK-40492: maintenance before unload için yeni test ve eski testten altyapıyı kaldırma
    • [SPARK-54047][PYTHON] Boşta kalma zaman aşımında sonlandığında farklı bir hata türü kullanın
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 4 Kasım 2025
    • [SPARK-53908][CONNECT] Plan önbelleği ile Spark Connect'te gözlemleri düzeltme
    • [SPARK-53972][SS] Klasik pyspark'taki akış sorgusu recentProgress regresyonu düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 21 Ekim 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 7 Ekim 2025, Cumartesi
    • [SPARK-53598][SQL] Büyük tablo özelliğini okumadan önce numParts varlığını denetleyin
    • [SPARK-53568][CONNECT][PYTHON] Spark Connect'teki birkaç küçük hatayı düzeltme Python istemci hata işleme mantığı
    • [SPARK-53574] AnalysisContext'in iç içe plan çözümlemesi sırasında silinmesi sorunu düzeltildi.
    • [SPARK-53549][SS] Liste durumu isteği işlemi tamamlandığında her zaman ok ayırıcısını kapatın
    • [SPARK-53623][SQL] büyük tabloların okunmasını geliştirme...
    • [SPARK-53729][PYTHON][CONNECT] Serileştirme sorununun düzeltilmesi pyspark.sql.connect.window.WindowSpec
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 16 Eylül 2025, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Eylül 2025, Cumartesi
    • Otomatik Yükleyici'nin süresiz olarak kilitlenmesine neden olabilen bir sorun düzeltildi.
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible yinelenen kesmeyi önlemelidir
    • [SPARK-53336] [ML] [BAĞLAN] MLCache.totalMLCacheSizeBytes çağrıldığında MLCache.clear()'i sıfırla
    • [SPARK-49872][CORE] jackson JSON dize uzunluğu sınırlamasını kaldırma
    • [SPARK-53431][PYTHON] DataFrame API'de adlandırılmış tablo argümanlarıyla Python UDTF'yi düzeltmek
    • [SPARK-53382][SQL] Hatalı biçimlendirilmiş özyineleme ile ilgili rCTE hatası düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 26 Ağustos 2025
    • güncelleştirilmiş Java kitaplıkları:
      • 1.3.3'ten 1.3.5'e kadar io.delta.delta-sharing-client_2.13
    • [SPARK-52482][SQL][CORE] Bazı bozuk zstd dosyalarını okumak için özel durum işlemeyi geliştirme
    • [SPARK-53192][CONNECT] Her zaman Spark Connect Plan Önbelleği'nde bir DataSource'u önbelleğe al
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Ağustos 2025
    • [SPARK-51505][SQL] AQEShuffleReadExec'te her zaman boş bölüm numarası ölçümlerini göster
    • [SPARK-53054][CONNECT] connect.DataFrameReader varsayılan format davranışı düzeltildi.
    • [SPARK-52961][PYTHON] Yanal birleşimde 0 argümanlı değerlendirmeye sahip Arrow ile iyileştirilmiş Python UDTF'yi düzeltme
    • [SPARK-52833][SQL] Düzeltme VariantBuilder.appendFloat
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Temmuz 2025
    • [SPARK-51889][PYTHON][SS] Python TWS'de MapState clear() hatası düzeltildi
    • [SPARK-52753][SQL] parseDataType ikili dosyasını önceki sürümlerle uyumlu hale getirme
    • [SPARK-49428][SQL] Connect Scala İstemcisini Bağlayıcıdan SQL'e Taşıma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Temmuz 2025
    • Pulsar'dan veri akışı yapmak için Spark Yapılandırılmış Akış kullanılırken oluşan belirlenemeyen veri kaybı sorunu düzeltildi.
    • [SPARK-52430][SQL] rCTE'lerde Union'ın null atanabilirliğiyle ilgili hatayı çözme
    • [SPARK-52503][SQL][CONNECT] Giriş sütunu mevcut olmadığında düzeltme drop
    • [SPARK-52579][PYTHON] Python çalışanları için düzenli olarak geri izleme dökümü ayarlama
    • [SPARK-52450] Şema derin kopyalama performansını geliştirme
    • [SPARK-52599][PYTHON] Sürücü tarafı çalışanlarında düzenli olarak geri izleme dökümü desteği
    • [SPARK-52553][SS] v1 değişiklik günlüğü okunurken oluşan NumberFormatException hatasını düzelt
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 28 Mayıs 2025
    • güncelleştirilmiş Python kitaplıkları:
      • 2.40.0 ile 2.40.1 arası google-auth
      • 2.22.0 ile 3.0.0 arası mlflow-skinny
      • 1.32.1 ile 1.33.0 arası opentelemetry-api
      • 1.32.1 ile 1.33.0 arası opentelemetry-sdk
      • opentelemetry-semantic-conventions sürümü 0.53b1'den 0.54b0'a
    • güncelleştirilmiş Java kitaplıkları:
      • 1.3.0 ile 1.3.3 arasındaki io.delta.delta-sharing-client_2.13
    • Dosya veri kaynağı okuyucuları için ZStandard dekompresyon desteği (json, csv, xml ve metin.)
    • TVF işlevinin cloud_files_state işlem hatları arasında akış tablolarının dosya düzeyinde durumunu okumak için kullanılamayacağı sınırlamasını düzeltin
    • Geçici görünümler üzerindeki sorgular için Unity Kataloğu yetkilendirme sorunlarını düzeltir.
    • 17.0.1 sürümünde bayrak tersine çevrildi, 17.0.0 için tüm çalışma alanları için SAFE bayrağı yaygınlaştırıldı.
    • Önceden imzalanan URL'leri kullanan sorgular için Spark Parquet G/Ç önbelleğini kullanmaya yönelik Delta Paylaşımı desteği (sürüm 17.0.1'den itibaren kullanılabilir).
    • Dosya veri kaynağı okuyucuları için ZStandard dekompresyon desteği (json, csv, xml ve metin.)
    • Teradata bağlayıcısı artık varsayılan olarak sürücüye bir TMODE=ANSI geçirecek. Bu, Lakehouse Federasyonu aracılığıyla yapılan tüm dize karşılaştırmalarının büyük/küçük harfe duyarlı olarak karşılaştırılacağını anlamına gelir.
    • [SPARK-51921][SS][PYTHON] transformWithState içinde milisaniye cinsinden TTL süresi için uzun tür kullan
    • [SPARK-52259][ML][CONNECT] Param sınıfı ikili uyumluluğu düzeltildi
    • [SPARK-52195][PYTHON][SS] Python TWS için ilk durum sütununu bırakma sorunu düzeltildi
    • [SPARK-52057] [ML] [CONNECT] İstemciye ağaç boyutu sınırına dair uyarı iletilerini toplama
    • [SPARK-52051] [ML] [CONNECT] Bellek denetimi etkinleştirildiğinde model özetini etkinleştirme
    • [SPARK-51606][CONNECT] Spark Connect sunucusunu durdururken SPARK_IDENT_STRING ekleme
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement SQLConf'a dinamik olarak erişmemelidir
    • [SPARK-52232][SQL] Her adımda farklı sonuçlar üretmek için belirlenimci olmayan sorguları düzeltme
    • [SPARK-52013] [CONNECT] [ML] Kaldırma SparkConnectClient.ml_caches
    • [SPARK-52353][SQL] UnionLoop'ta önceki yinelemelere başvuran LogicalRDD'lerde yanlış kısıtlamalarla ilgili hata düzeltildi
    • [SPARK-52130] [ML] [CONNECT] Hata iletisini iyileştirme ve içsel spark yapılandırmasını gizleme
    • [SPARK-52470][ML][CONNECT] Model özeti aktarımı için destek
    • [SPARK-51935][SQL] Yorumlanan df.collect() dosyasında yineleyicilerin yavaş davranışını düzeltme
    • [SPARK-52482][SQL][CORE] Dosya veri kaynağı okuyucusu için ZStandard desteği
    • [SPARK-52159][SQL] Jdbc diyalektleri için tablo varlığı denetimini düzgün şekilde işleme
    • [SPARK-52010] İç sınıflar için API belgeleri oluşturmayın
    • [SPARK-52049] XML özniteliklerinin Değişken olarak ayrıştırılamama hatasını düzeltin
    • [SPARK-52312][SQL] DataFrame önbelleğe alınırken V2WriteCommand yoksayılsın
    • [SPARK-52229][ML][CONNECT] Model boyutu tahminini geliştirme
    • [SPARK-50815][PYTHON] Değişken Yerel Verileri Ok Dönüştürmeye Düzeltme
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference plan kimliğini korumalı
    • [SPARK-51981][SS] queryStartedEvent'e JobTags ekleme
    • [HATAYI GERİ AL][spark-52100]](https://issues.apache.org/jira/browse/SPARK-52100)[SQL] Söz diziminde özyineleme seviyesinin limitini geçersiz kılmayı etkinleştirin
    • [SPARK-52101][SQL] rCTEs için Satır İçi Zorlamayı Devre Dışı Bırak
    • [SPARK-52099][SQL] İşleç ekleyerek LIMIT özyineleme satırı sınırını geçersiz kılmayı etkinleştirme
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 16.3

Bkz. Databricks Runtime 16.3 (EoS).

  • 16 Eylül 2025, Cumartesi
    • Snowflake bağlayıcısı artık şemaları listelemek için komutu yerine INFORMATION_SCHEMA tabloyu kullanıyorSHOW SCHEMAS. Bu değişiklik, önceki yaklaşımın 10.000 şema sınırını kaldırır ve çok sayıda şemaya sahip veritabanları için desteği geliştirir.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Eylül 2025, Cumartesi
    • Otomatik Yükleyici'nin süresiz olarak kilitlenmesine neden olabilen bir sorun düzeltildi.
    • Otomatik Yükleyici'de işlerin başarısız olmasına neden olabilecek geçici bir hata düzeltildi.
    • [SPARK-51821][CORE] Olası bir kilitlenmeyi önlemek için uninterruptibleLock elde tutmaksızın interrupt() çağrısı yapın.
    • [SPARK-49872][CORE] jackson JSON dize uzunluğu sınırlamasını kaldırma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 26 Ağustos 2025
    • [SPARK-52482][SQL][CORE] Bazı bozuk zstd dosyalarını okumak için özel durum işlemeyi geliştirme
    • [SPARK-53192][CONNECT] Her zaman Spark Connect Plan Önbelleği'nde bir DataSource'u önbelleğe al
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Ağustos 2025
    • [SPARK-51011][CORE] Bir görev sonlandırıldığında kesilip kesilmeyeceğini öğrenmek için günlük kaydı ekleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Temmuz 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Temmuz 2025
    • Pulsar'dan veri akışı yapmak için Spark Yapılandırılmış Akış kullanılırken oluşan belirlenemeyen veri kaybı sorunu düzeltildi.
    • [SPARK-52553][SS] v1 değişiklik günlüğü okunurken oluşan NumberFormatException hatasını düzelt
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Temmuz 2025
    • Dosya veri kaynağı okuyucuları için ZStandard dekompresyon desteği (json, csv, xml ve metin.)
    • [SPARK-52482][SQL][CORE] Dosya veri kaynağı okuyucusu için ZStandard desteği
    • [SPARK-52312][SQL] DataFrame önbelleğe alınırken V2WriteCommand yoksayılsın
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement SQLConf'a dinamik olarak erişmemelidir
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2025
    • Tablo değerli işlevin cloud_files_state (TVF) işlem hatları arasında akış tablolarının dosya düzeyinde durumunu okumak için kullanılamayacağı sınırlaması düzeltildi.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference plan kimliğini korumalı
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 3 Haziran 2025
    • güncelleştirilmiş Python kitaplıkları:
      • 41.0.7, 41.0.7, 42.0.5 ile 42.0.5 arasında şifreleme
      • ambalaj 24.0, 24.1'den 24.1'e
      • platformdirs 3.10.0, 4.2.2'den 3.10.0'a
      • pyparsing 3.0.9 ve 3.1.1'den 3.0.9'a
      • Otomatik komut 2.2.2 eklendi
      • backports.tarfile'ın 1.2.0 sürümü eklendi
      • 6.4.0 importlib_resources eklendi
      • Inflect 7.3.1 eklendi
      • jaraco.context 5.3.0 eklendi
      • jaraco.functools 4.0.1 eklendi
      • jaraco.text 3.12.1 eklendi
      • More-itertools 10.3.0 eklendi
      • Pip 24.2 eklendi
      • Kurulum araçları 74.0.0 eklendi
      • tomli 2.0.1 eklendi
      • Typeguard 4.3.0 eklendi
      • wcwidth 0.2.5 eklendi
      • Tekerlek 0.43.0 eklendi
      • Sürüm 1.9.0 kaldırıldı
      • Distro-info 1.7+build1 kaldırıldı
      • python-apt 2.7.7+ubuntu4 kaldırıldı
    • [SPARK-52195][PYTHON][SS] Python TWS için ilk durum sütununu bırakma sorunu düzeltildi
    • [SPARK-52159][SQL] Jdbc diyalektleri için tablo varlığı denetimini düzgün şekilde işleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 20 Mayıs 2025
    • güncelleştirilmiş Java kitaplıkları:
      • 1.2.6'dan 1.2.7'ye kadar io.delta.delta-sharing-client_2.12
      • org.apache.avro.avro 1.11.3 ile 1.11.4
      • org.apache.avro.avro-ipc 1.11.3 ile 1.11.4 arası
      • org.apache.avro.avro-mapred 1.11.3'ten 1.11.4'e
    • Kopyalanan akış oturumu, Paylaşılan Kümeler/Sunucusuz'daki foreachBatch kullanıcı işlevinin içinde kullanılır. Bu, klasik (Atanan Kümeler) davranışıyla uyumlu hale gelir.
    • Kopyalanan akış oturumu, Paylaşılan Kümeler/Sunucusuz'daki foreachBatch kullanıcı işlevinin içinde kullanılır. Bu, klasik (Atanan Kümeler) davranışıyla uyumlu hale gelir.
    • Bu değişiklik öncesinde, variant_get ifadesi içinde, yollardaki baştaki boşluklar ve sekmeler, Photon devre dışı bırakıldığında yoksayılıyordu. Örneğin, select variant_get(parse_json('{"key": "value"}'), '$['key']')"key" değerini ayıklamada etkili olmaz. Ancak kullanıcılar artık bu tür anahtarları çıkartabilir.
    • [SPARK-51921][SS][PYTHON] transformWithState içinde milisaniye cinsinden TTL süresi için uzun tür kullan
    • [SPARK-51935][SQL] Yorumlanan df.collect() dosyasında yineleyicilerin yavaş davranışını düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Nisan 2025
    • Delta şema izlemesi, katkısız şema değişikliği istisnalarıyla tutarlı olmak için şema evrimi hatalarını DELTA_STREAMING_CANNOT_CONTINUE_PROCESSING_POST_SCHEMA_EVOLUTION yerine DELTA_STREAMING_CANNOT_CONTINUE_PROCESSING_TYPE_WIDENING ile ortaya çıkaracaktır.
    • [SPARK-51589][SQL] | içinde toplama işlevlerinin denetlenememesine neden olan küçük hata düzeltildi>SELECT
    • [SPARK-51645][SQL] OLUŞTUR VEYA DEĞİşTİr TABLE ... VARSAYıLAN HARMANLAMA ... sorgu
    • 15.4, 16.0, 16.1, 16.2 ve 16.3'te "[SPARK-47895][SQL] diğer adına göre grup aynı anda etkili olmalıdır" ifadesini geri döndürün
    • [SPARK-51717][SS][RocksDB] Yeni bir sorgu için oluşturulan ikinci anlık görüntüde olabilecek SST uyumsuzluğu bozulmasının düzeltilmesi
  • 26 Mart 2025
    • [SPARK-51624][SQL] CreateNamedStruct.dataType içinde GetStructField meta verilerini yayma
    • [SPARK-51505][SQL] AQE birleştirmede boş bölümlerin numaralarını kaydetme
    • [SPARK-47895][SQL] diğer adlarla gruplandırma özdeş işlemli olmalıdır
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 16.2

Bkz. Databricks Runtime 16.2 (EoS).

  • 14 Ağustos 2025
    • [SPARK-51011][CORE] Bir görev sonlandırıldığında kesilip kesilmeyeceğini öğrenmek için günlük kaydı ekleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Temmuz 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Temmuz 2025
    • Pulsar'dan veri akışı yapmak için Spark Yapılandırılmış Akış kullanılırken oluşan belirlenemeyen veri kaybı sorunu düzeltildi.
    • [SPARK-52553][SS] v1 değişiklik günlüğü okunurken oluşan NumberFormatException hatasını düzelt
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Temmuz 2025
    • Dosya veri kaynağı okuyucuları için ZStandard dekompresyon desteği (json, csv, xml ve metin.)
    • Dosya veri kaynağı okuyucuları için ZStandard dekompresyon desteği (json, csv, xml ve metin.)
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement SQLConf'a dinamik olarak erişmemelidir
    • [SPARK-52312][SQL] DataFrame önbelleğe alınırken V2WriteCommand yoksayılsın
    • [SPARK-52482][SQL][CORE] Dosya veri kaynağı okuyucusu için ZStandard desteği
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2025
    • Tablo değerli işlevin cloud_files_state (TVF) işlem hatları arasında akış tablolarının dosya düzeyinde durumunu okumak için kullanılamayacağı sınırlaması düzeltildi.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference plan kimliğini korumalı
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 3 Haziran 2025
    • güncelleştirilmiş Python kitaplıkları:
      • 41.0.7, 41.0.7, 42.0.5 ile 42.0.5 arasında şifreleme
      • ambalaj 24.0, 24.1'den 24.1'e
      • platformdirs 3.10.0, 4.2.2'den 3.10.0'a
      • pyparsing 3.0.9 ve 3.1.1'den 3.0.9'a
      • Otomatik komut 2.2.2 eklendi
      • backports.tarfile'ın 1.2.0 sürümü eklendi
      • 6.4.0 importlib_resources eklendi
      • Inflect 7.3.1 eklendi
      • jaraco.context 5.3.0 eklendi
      • jaraco.functools 4.0.1 eklendi
      • jaraco.text 3.12.1 eklendi
      • More-itertools 10.3.0 eklendi
      • Pip 24.2 eklendi
      • Kurulum araçları 74.0.0 eklendi
      • tomli 2.0.1 eklendi
      • Typeguard 4.3.0 eklendi
      • wcwidth 0.2.5 eklendi
      • Tekerlek 0.43.0 eklendi
      • Sürüm 1.9.0 kaldırıldı
      • Distro-info 1.7+build1 kaldırıldı
      • python-apt 2.7.7+ubuntu4 kaldırıldı
    • [SPARK-52159][SQL] Jdbc diyalektleri için tablo varlığı denetimini düzgün şekilde işleme
    • [SPARK-52195][PYTHON][SS] Python TWS için ilk durum sütununu bırakma sorunu düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 20 Mayıs 2025
    • güncelleştirilmiş Java kitaplıkları:
      • 1.2.6'dan 1.2.7'ye kadar io.delta.delta-sharing-client_2.12
      • org.apache.avro.avro 1.11.3 ile 1.11.4
      • org.apache.avro.avro-ipc 1.11.3 ile 1.11.4 arası
      • org.apache.avro.avro-mapred 1.11.3'ten 1.11.4'e
    • Kopyalanan akış oturumu, Paylaşılan Kümeler/Sunucusuz'daki foreachBatch kullanıcı işlevinin içinde kullanılır. Bu, klasik (Atanan Kümeler) davranışıyla uyumlu hale gelir.
    • Kopyalanan akış oturumu, Paylaşılan Kümeler/Sunucusuz'daki foreachBatch kullanıcı işlevinin içinde kullanılır. Bu, klasik (Atanan Kümeler) davranışıyla uyumlu hale gelir.
    • Bu değişiklik öncesinde, variant_get ifadesi içinde, yollardaki baştaki boşluklar ve sekmeler, Photon devre dışı bırakıldığında yoksayılıyordu. Örneğin, select variant_get(parse_json('{"key": "value"}'), '$[' key']')"key" değerini ayıklamada etkili olmaz. Ancak kullanıcılar artık bu tür anahtarları çıkartabilir.
    • [SPARK-51935][SQL] Yorumlanan df.collect() dosyasında yineleyicilerin yavaş davranışını düzeltme
    • [SPARK-51921][SS][PYTHON] transformWithState içinde milisaniye cinsinden TTL süresi için uzun tür kullan
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Nisan 2025
    • [SPARK-51717][SS][RocksDB] Yeni bir sorgu için oluşturulan ikinci anlık görüntüde olabilecek SST uyumsuzluğu bozulmasının düzeltilmesi
    • 15.4, 16.0, 16.1, 16.2 ve 16.3'te "[SPARK-47895][SQL] diğer adına göre grup aynı anda etkili olmalıdır" ifadesini geri döndürün
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 09 Nisan 2025

    • güncelleştirilmiş Java kitaplıkları:
      • io.starburst.openjson.openjson 1.8-e.12 kaldırıldı
      • io.starburst.openx.data.json-serde 1.3.9-e.12 kaldırıldı
      • io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12 kaldırıldı
    • [SPARK-47895][SQL] diğer adlarla gruplandırma özdeş işlemli olmalıdır
    • [SPARK-51505][SQL] AQE birleştirmede boş bölümlerin numaralarını kaydetme
    • [SPARK-51624][SQL] CreateNamedStruct.dataType içinde GetStructField meta verilerini yayma
    • [SPARK-51589][SQL] | içinde toplama işlevlerinin denetlenememesine neden olan küçük hata düzeltildi>SELECT
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 11 Mart 2025

    • Databricks Runtime 14.3 LTS ve üstü, bir sınıfın örneğini oluşturan ve Apache Spark'a karşı derlenen kodda ikili uyumsuzluklara neden olan bir soruna yönelik bir SparkListenerApplicationEnd düzeltme içerir. Bu uyumsuzluk SPARK-46399'un Apache Spark ile birleştirilmesinden kaynaklandı. Bu birleştirme, SparkListenerApplicationEnd oluşturucusuna varsayılan bir bağımsız değişken ekleyen bir değişikliği içeriyordu. İkili uyumluluğu geri yüklemek için bu düzeltme, SparkListenerApplicationEnd sınıfına tek bir bağımsız değişken oluşturucu ekler.
    • "[SPARK-48273][SQL] PlanWithUnresolvedIdentifier'ın geç yeniden yazılmasını düzeltin"
    • [SPARK-50985][SS] Kafka Zaman Damgası Ofsetleri uyumsuzluk hatasını assert yerine sınıflandır ve KafkaTokenProvider'da eksik sunucu için hata at.
    • [SPARK-51065][SQL] TransformWithState için Avro kodlaması kullanıldığında null kabul etmeyen şemaya izin verilmez.
    • [SPARK-51237][SS] Gerektiğinde yeni transformWithState yardımcı API'leri için API ayrıntıları ekleme
    • [SPARK-51222][SQL] ReplaceCurrentLike İyileştir
    • [SPARK-51351][SS] TWS için Python çalışanında çıktıyı gerçekleştirmeyin
    • [SPARK-51084][SQL] NegativeScaleNotAllowedError için uygun hata sınıfını atayın
    • [SPARK-51249][SS] NoPrefixKeyStateEncoder ve Avro kodlamasını doğru sürüm bayt sayısını kullanacak şekilde düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 5 Şubat 2025

    • Bu sürüm, kurtarılan XML veri sütunlarını seri hale getirme sırasında belirli veri türlerinin dönüştürülme sorununun düzeltmesini içerir. Etkilenen veri türleri, prefersDecimal etkinleştirildiğinde tarihler, NTZ olmayan zaman damgaları ve ondalık değerlerdir. Kurtarılan veri sütunu hakkında daha fazla bilgi edinmek için bkz. Kurtarılan veri sütunu nedir?.
    • [SPARK-50770][SS] transformWithState işleç API'leri için paket kapsamı kaldırılıyor
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Çalışma Zamanı 16.1

Bkz. Databricks Runtime 16.1 (EoS).

  • 12 Ağustos 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Temmuz 2025

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Temmuz 2025

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Temmuz 2025

    • Dosya veri kaynağı okuyucuları için ZStandard dekompresyon desteği (json, csv, xml ve metin.)
    • [SPARK-52482][SQL][CORE] Dosya veri kaynağı okuyucusu için ZStandard desteği
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement SQLConf'a dinamik olarak erişmemelidir
    • [SPARK-52312][SQL] DataFrame önbelleğe alınırken V2WriteCommand yoksayılsın
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 17 Haziran 2025

    • Tablo değerli işlevin cloud_files_state (TVF) işlem hatları arasında akış tablolarının dosya düzeyinde durumunu okumak için kullanılamayacağı sınırlaması düzeltildi.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference plan kimliğini korumalı
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 3 Haziran 2025
    • güncelleştirilmiş Python kitaplıkları:
      • 41.0.7, 41.0.7, 42.0.5 ile 42.0.5 arasında şifreleme
      • ambalaj 24.0, 24.1'den 24.1'e
      • platformdirs 3.10.0, 4.2.2'den 3.10.0'a
      • pyparsing 3.0.9 ve 3.1.1'den 3.0.9'a
      • Otomatik komut 2.2.2 eklendi
      • backports.tarfile'ın 1.2.0 sürümü eklendi
      • 6.4.0 importlib_resources eklendi
      • Inflect 7.3.1 eklendi
      • jaraco.context 5.3.0 eklendi
      • jaraco.functools 4.0.1 eklendi
      • jaraco.text 3.12.1 eklendi
      • More-itertools 10.3.0 eklendi
      • Pip 24.2 eklendi
      • Kurulum araçları 74.0.0 eklendi
      • tomli 2.0.1 eklendi
      • Typeguard 4.3.0 eklendi
      • wcwidth 0.2.5 eklendi
      • Tekerlek 0.43.0 eklendi
      • Sürüm 1.9.0 kaldırıldı
      • Distro-info 1.7+build1 kaldırıldı
      • python-apt 2.7.7+ubuntu4 kaldırıldı
    • güncelleştirilmiş Java kitaplıkları:
      • 1.1, 1.1-natives ile 1.1, 1.1 arası com.github.fommil.netlib.native_ref-java
      • 1.1, 1.1-natives ile 1.1, 1.1 arası com.github.fommil.netlib.native_system java
      • 1.1-natives'inden 1.1'e com.github.fommil.netlib.netlib-native_ref-linux-x86_64
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 sürümü 1.1-natives'ten 1.1'e güncelleniyor.
      • io.netty.netty-tcnative-boringssl-static 2.0.61.Final-db-r16, 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64'dan 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16'e
      • io.netty.netty-transport-native-epoll 4.1.108.Final, 4.1.108.Final-linux-aarch_64, 4.1.108.Final-linux-riscv64, 4.1.108.Final-linux-x86_64 sürümlerinden 4.1.108.Final, 4.1.108.Final, 4.1.108.Final, 4.1.108.Final sürümlerine
      • io.netty.netty-transport-native-kqueue sürüm 4.1.108.Final-osx-aarch_64, 4.1.108.Final-osx-x86_64'tan 4.1.108.Final, 4.1.108.Final'a
      • org.apache.orc.orc-core 1.9.2-shaded-protobuf'tan 1.9.2'ye
      • org.apache.orc.orc-mapreduce 1.9.2-shaded-protobuf'tan 1.9.2'ye
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider 2.4.1-linux-x86_64 sürümünden 2.4.1 sürümüne
    • [SPARK-52159][SQL] Jdbc diyalektleri için tablo varlığı denetimini düzgün şekilde işleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 20 Mayıs 2025
    • güncelleştirilmiş Java kitaplıkları:
      • 1.2.5 ile 1.2.7 arasındaki io.delta.delta-sharing-client_2.12
      • org.apache.avro.avro 1.11.3 ile 1.11.4
      • org.apache.avro.avro-ipc 1.11.3 ile 1.11.4 arası
      • org.apache.avro.avro-mapred 1.11.3'ten 1.11.4'e
    • Kopyalanan akış oturumu, Paylaşılan Kümeler/Sunucusuz'daki foreachBatch kullanıcı işlevinin içinde kullanılır. Bu, klasik (Atanan Kümeler) davranışıyla uyumlu hale gelir.
    • Bu değişiklik öncesinde, variant_get ifadesi içinde, yollardaki baştaki boşluklar ve sekmeler, Photon devre dışı bırakıldığında yoksayılıyordu. Örneğin, select variant_get(parse_json('{"key": "value"}'), '$['key']')"key" değerini ayıklamada etkili olmaz. Ancak kullanıcılar artık bu tür anahtarları çıkartabilir.
    • [SPARK-51935][SQL] Yorumlanan df.collect() dosyasında yineleyicilerin yavaş davranışını düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Nisan 2025
    • 15.4, 16.0, 16.1, 16.2 ve 16.3'te "[SPARK-47895][SQL] diğer adına göre grup aynı anda etkili olmalıdır" ifadesini geri döndürün
    • [SPARK-50682][SQL] İç Alias standart hale getirilmelidir
    • [SPARK-51717][SS][RocksDB] Yeni bir sorgu için oluşturulan ikinci anlık görüntüde olabilecek SST uyumsuzluğu bozulmasının düzeltilmesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Nisan 2025
    • güncelleştirilmiş Java kitaplıkları:
      • io.starburst.openjson.openjson 1.8-e.12 kaldırıldı
      • io.starburst.openx.data.json-serde 1.3.9-e.12 kaldırıldı
      • io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12 kaldırıldı
    • [SPARK-51505][SQL] AQE birleştirmede boş bölümlerin numaralarını kaydetme
    • [SPARK-51624][SQL] CreateNamedStruct.dataType içinde GetStructField meta verilerini yayma
    • [SPARK-47895][SQL] diğer adlarla gruplandırma özdeş işlemli olmalıdır
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Mart 2025
    • Databricks Runtime 14.3 LTS ve üstü, bir sınıfın örneğini oluşturan ve Apache Spark'a karşı derlenen kodda ikili uyumsuzluklara neden olan bir soruna yönelik bir SparkListenerApplicationEnd düzeltme içerir. Bu uyumsuzluk SPARK-46399'un Apache Spark ile birleştirilmesinden kaynaklandı. Bu birleştirme, SparkListenerApplicationEnd oluşturucusuna varsayılan bir bağımsız değişken ekleyen bir değişikliği içeriyordu. İkili uyumluluğu geri yüklemek için bu düzeltme, SparkListenerApplicationEnd sınıfına tek bir bağımsız değişken oluşturucu ekler.
    • [SPARK-51084][SQL] NegativeScaleNotAllowedError için uygun hata sınıfını atayın
    • Geri Alma [SPARK-48273][SQL] PlanWithUnresolvedIdentifier'ın geç yeniden yazım hatasını düzelt
    • [SPARK-51222][SQL] ReplaceCurrentLike İyileştir
    • [SPARK-50985][SS] Kafka Zaman Damgası Ofsetleri uyumsuzluk hatasını assert yerine sınıflandır ve KafkaTokenProvider'da eksik sunucu için hata at.
    • [SPARK-50791][SQL] State Store'da NPE hata işlemesini düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Şubat 2025
    • Bu sürüm, kurtarılan XML veri sütunlarını seri hale getirme sırasında belirli veri türlerinin dönüştürülme sorununun düzeltmesini içerir. Etkilenen veri türleri, prefersDecimal etkinleştirildiğinde tarihler, NTZ olmayan zaman damgaları ve ondalık değerlerdir. Kurtarılan veri sütunu hakkında daha fazla bilgi edinmek için bkz. Kurtarılan veri sütunu nedir?.
    • [SPARK-50492][SS] dropDuplicatesWithinWatermark'tan sonra olay zamanı sütunu bırakıldığında oluşan java.util.NoSuchElementException hatası düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Kasım 2024
    • Bu sürüm, bir Delta tablosundaki birincil anahtarın arka planda çalışan otomatik sıkıştırma ile ilgili belirli uç durumlarda silinmesine neden olabilecek bir soruna yönelik bir düzeltme içerir.
    • Bu sürüm, kurtarılan XML veri sütunlarını seri hale getirme sırasında belirli veri türlerinin dönüştürülme sorununun düzeltmesini içerir. Etkilenen veri türleri, prefersDecimal etkinleştirildiğinde tarihler, NTZ olmayan zaman damgaları ve ondalık değerlerdir. Kurtarılan veri sütunu hakkında daha fazla bilgi edinmek için bkz. Kurtarılan veri sütunu nedir?.
    • Bu sürümle birlikte, Databricks işlem düğümündeki bir SSD tarafından kullanılan önbellek boyutu, SSD'nin ilk boyutuna dinamik olarak genişler ve gerektiğinde sınıra spark.databricks.io.cache.maxDiskUsage kadar küçülür. Daha fazla bilgi için Azure Databricks'te önbelleğe almayla performansı optimize etme.
    • [SPARK-50338][CORE] LazyTry özel durumlarını daha az ayrıntılı hale getirme
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 16.0

Bkz. Databricks Runtime 16.0 (EoS).

  • 22 Nisan 2025
    • 15.4, 16.0, 16.1, 16.2 ve 16.3'te "[SPARK-47895][SQL] diğer adına göre grup aynı anda etkili olmalıdır" ifadesini geri döndürün
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Nisan 2025
    • güncelleştirilmiş Java kitaplıkları:
      • io.starburst.openjson.openjson 1.8-e.12 kaldırıldı
      • io.starburst.openx.data.json-serde 1.3.9-e.12 kaldırıldı
      • io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12 kaldırıldı
    • [SPARK-47895][SQL] diğer adlarla gruplandırma özdeş işlemli olmalıdır
    • [SPARK-51624][SQL] CreateNamedStruct.dataType içinde GetStructField meta verilerini yayma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Mart 2025
    • Databricks Runtime 14.3 ve üzeri, bir SparkListenerApplicationEnd sınıfı oluşturan ve Apache Spark'a karşı derlenen kodda ikili uyumsuzluklara neden olan bir soruna yönelik bir düzeltme içerir. Bu uyumsuzluk SPARK-46399'un Apache Spark ile birleştirilmesinden kaynaklandı. Bu birleştirme, SparkListenerApplicationEnd oluşturucusuna varsayılan bir bağımsız değişken ekleyen bir değişikliği içeriyordu. İkili uyumluluğu geri yüklemek için bu düzeltme, SparkListenerApplicationEnd sınıfına tek bir bağımsız değişken oluşturucu ekler.
    • [SPARK-51084][SQL] NegativeScaleNotAllowedError için uygun hata sınıfını atayın
    • [SPARK-51222][SQL] ReplaceCurrentLike İyileştir
    • [SPARK-50985][SS] Kafka Zaman Damgası Ofsetleri uyumsuzluk hatasını assert yerine sınıflandır ve KafkaTokenProvider'da eksik sunucu için hata at.
    • [SPARK-50791][SQL] State Store'da NPE hata işlemesini düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Şubat 2025
    • Bu sürüm, kurtarılan XML veri sütunlarını seri hale getirme sırasında belirli veri türlerinin dönüştürülme sorununun düzeltmesini içerir. Etkilenen veri türleri, prefersDecimal etkinleştirildiğinde tarihler, NTZ olmayan zaman damgaları ve ondalık değerlerdir. Kurtarılan veri sütunu hakkında daha fazla bilgi edinmek için bkz. Kurtarılan veri sütunu nedir?.
    • [SPARK-50705][SQL] QueryPlan kilitsiz hale getirme
    • [SPARK-50492][SS] dropDuplicatesWithinWatermark'tan sonra olay zamanı sütunu bırakıldığında oluşan java.util.NoSuchElementException hatası düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 4 Aralık 2024, Cumartesi
    • USE CATALOG ifadesi şimdi IDENTIFIER cümlesini destekler. Bu destekle, geçerli kataloğu bir dize değişkenine veya parametre işaretçisine göre parametreleştirebilirsiniz.
    • Bu sürüm, bir Delta tablosundaki birincil anahtarın arka planda çalışan otomatik sıkıştırma ile ilgili belirli uç durumlarda silinmesine neden olabilecek bir soruna yönelik bir düzeltme içerir.
    • Bu sürümle birlikte, Databricks işlem düğümündeki bir SSD tarafından kullanılan önbellek boyutu, SSD'nin ilk boyutuna dinamik olarak genişler ve gerektiğinde sınıra spark.databricks.io.cache.maxDiskUsage kadar küçülür. Daha fazla bilgi için Azure Databricks'te önbelleğe almayla performansı optimize etme.
    • [SPARK-50322][SQL] Alt sorgudaki parametreli tanımlayıcıyı düzeltme
    • [SPARK-50034][CORE] SparkUncaughtExceptionHandler'da Kritik Hataların Yakalanmayan Özel Durumlar Olarak Yanlış Raporlanmasına Düzeltme
    • [SPARK-47435][SQL] MySQL UNSIGNED TINYINT'in taşma sorununu düzeltme
    • [SPARK-49757][SQL] IDENTIFIERSET deyiminde CATALOG ifade desteği
    • [SPARK-50426][PYTHON] Yerleşik veya Java veri kaynaklarını kullanırken statik Python veri kaynağı aramasından kaçının
    • [SPARK-50338][CORE] LazyTry özel durumlarını daha az ayrıntılı hale getirme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Aralık 2024, Cumartesi
    • (Önemli değişiklik) Databricks Çalışma Zamanı 15.4 ve üzeri sürümlerde, Photon'daki normal ifade işleme, Apache Spark normal ifade işleme davranışıyla eşleşecek şekilde güncellenmiştir. Daha önce, split() ve regexp_extract()gibi Photon tarafından çalıştırılan normal ifade işlevleri Spark ayrıştırıcısı tarafından reddedilen bazı normal ifadeleri kabul etti. Apache Spark ile tutarlılığı korumak için Artık Spark'ın geçerli olmadığını düşündüğü normal ifadelerde Foton sorguları başarısız olur. Bu değişiklik nedeniyle Spark kodunuz geçersiz normal ifadeler içeriyorsa hatalar görebilirsiniz. Örneğin, eşleşmeyen bir ayraç içeren ve daha önce Photon tarafından kabul edilen split(str_col, '{') ifadesi artık çalışmıyor. Bu ifadeyi düzeltmek için küme ayracı karakterini es geçebilirsiniz: split(str_col, '\\{'). Photon ve Spark davranışı, ASCII olmayan karakterlerin bazı normal ifade eşleştirmeleri için de farklılık gösterir. Bu, Photon'un Apache Spark davranışıyla eşleşmesi için de güncelleştirilir.
    • Bu sürümle, artık metin girişi için vector_search kullanarak query_text işlevini veya girişi eklemek için query_vector sorgulayabilirsiniz.
    • Artık spark.databricks.execution.timeoutSpark yapılandırma özelliğini kullanarak Spark Connect sorguları için zaman aşımı ayarlayabilirsiniz. Sunucusuz işlem üzerinde çalışan not defterleri için varsayılan değer 9000 (saniye) değeridir. Sunucusuz işlem ve işlem üzerinde standart erişim moduyla çalışan işler, bu yapılandırma özelliği ayarlanmadığı sürece zaman aşımına neden olmaz. Belirtilen zaman aşımından daha uzun süren bir yürütme QUERY_EXECUTION_TIMEOUT_EXCEEDED hatasıyla sonuçlanır.
    • [SPARK-49843][SQL] Char/varchar sütunlarının değişiklik yorumunu düzelt
    • [SPARK-49924][SQL] containsNull değişiminden sonra ArrayCompact'yi tutma
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns kuralı, UnresolvedAttribute'i çocuk çıktısıyla çözümler
    • [SPARK-48780][SQL] İşlevleri ve yordamları işlemek için NamedParametersSupport generic içinde hata yapma
    • [SPARK-49876][CONNECT] Spark Connect Hizmeti'nden genel kilitlerden kurtulma
    • [SPARK-49905] Karıştırmanın AQE tarafından değiştirilmesini önlemek için durum bilgisi olan operatörler için özel bir ShuffleOrigin kullanın.
    • [SPARK-49615] Hata Düzeltmesi: ML sütun şeması doğrulamasını spark yapılandırması spark.sql.caseSensitive ile uyumlu hale getirme
    • [SPARK-48782][SQL] Kataloglarda yordam yürütme desteği eklendi
    • [SPARK-49863][SQL] İç içe yapıların null özelliğini korumak için NormalizeFloatingNumbers fonksiyonunu düzeltmek
    • [SPARK-49829] Stream-stream join'te durum deposuna giriş ekleme iyileştirmesini gözden geçirme (doğruluk düzeltmesi)
    • Revert "[SPARK-49002][SQL] WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY'de geçersiz konumları tutarlı bir şekilde işleyecek"
    • [SPARK-50028][CONNECT] Spark Connect sunucu dinleyicisindeki genel kilitleri ayrıntılı kilitlerle değiştirme
    • [SPARK-49615] [ML] Tüm ML özellik transformatörleri veri kümesi şeması doğrulamasını "spark.sql.caseSensitive" yapılandırmasına uygun hale getirin.
    • [SPARK-50124][SQL] LIMIT/OFFSET veri sıralamasını korumalıdır
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 15.3

Bkz. Databricks Runtime 15.3 (EoS).

  • 26 Kasım 2024
    • Bu sürümle, artık metin girişi için vector_search kullanarak query_text işlevini veya girişi eklemek için query_vector sorgulayabilirsiniz.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Kasım 2024
    • [SPARK-49905] Karıştırmanın AQE tarafından değiştirilmesini önlemek için durum bilgisi olan operatörler için özel bir ShuffleOrigin kullanın.
    • [SPARK-49867][SQL] GetColumnByOrdinal çağrılırken dizin sınırların dışında olduğunda hata iletisini geliştirin
    • [SPARK-48843][15.3,15.2] BindParameters ile sonsuz döngü engelleme
    • [SPARK-49829] Stream-stream join'te durum deposuna giriş ekleme iyileştirmesini gözden geçirme (doğruluk düzeltmesi)
    • [SPARK-49863][SQL] İç içe yapıların null özelliğini korumak için NormalizeFloatingNumbers fonksiyonunu düzeltmek
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns kuralı, UnresolvedAttribute'i çocuk çıktısıyla çözümler
    • [SPARK-46632][SQL] Eşdeğer üçüncül ifadelerin farklı alt öğelere sahip olduğu durumlarda alt ifade yok edilmesi işlemi düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Ekim 2024, Cumartesi
    • [SPARK-49905] Karıştırmanın AQE tarafından değiştirilmesini önlemek için durum bilgisi olan operatörler için özel bir ShuffleOrigin kullanın.
    • [SPARK-49867][SQL] GetColumnByOrdinal çağrılırken dizin sınırların dışında olduğunda hata iletisini geliştirin
    • [SPARK-48843][15.3,15.2] BindParameters ile sonsuz döngü engelleme
    • [SPARK-49829] Stream-stream join'te durum deposuna giriş ekleme iyileştirmesini gözden geçirme (doğruluk düzeltmesi)
    • [SPARK-49863][SQL] İç içe yapıların null özelliğini korumak için NormalizeFloatingNumbers fonksiyonunu düzeltmek
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns kuralı, UnresolvedAttribute'i çocuk çıktısıyla çözümler
    • [SPARK-46632][SQL] Eşdeğer üçüncül ifadelerin farklı alt öğelere sahip olduğu durumlarda alt ifade yok edilmesi işlemi düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Ekim 2024, Cumartesi
    • [SPARK-49688][BAĞLANTI] Kesme ve yürütme planı arasındaki veri yarışını düzelt
    • [SPARK-49743][SQL] GetArrayStructFields ayıklaması sırasında OptimizeCsvJsonExpr şema alanlarını değiştirmemelidir
    • [BACKPORT] [SPARK-49474][SS] FlatMapGroupsWithState kullanıcı işlevi hatası için Hata sınıfını sınıflandırma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Eylül 2024, Cumartesi
    • [SPARK-49492][BAĞLAN] Etkin olmayan ExecutionHolder'da tekrar bağlanma girişimi
    • [SPARK-49628][SQL] ConstantFolding değerlendirmeden önce durum bilgisi olan ifadeyi kopyalamalıdır
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
    • [SPARK-49458][BAĞLAN][PYTHON] ReattachExecute aracılığıyla sunucu tarafı oturum kimliği sağlama
    • [SPARK-48719][SQL] İlk parametre null olduğunda RegrSlope & RegrIntercept hesaplama hatasını düzeltin
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Eylül 2024, Cumartesi
    • [SPARK-49336][BAĞLAN] Protobuf mesajını kısaltırken iç içe yerleşim seviyesini sınırlamak
    • [SPARK-49526][CONNECT][15.3.5] ArtifactManager'da Windows stili yolları destekleme
    • [SPARK-49366][CONNECT] Birleşim düğümünü DataFrame sütun çözümlemesinde yaprak olarak değerlendir
    • [SPARK-43242][CORE] Shuffle bozulması tanılamasında 'Beklenmeyen BlockId türü' hatasını düzeltme
    • [SPARK-49409][BAĞLAN] CONNECT_SESSION_PLAN_CACHE_SIZE varsayılan değerini ayarlama
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Ağustos 2024
    • [SPARK-49263][BAĞLAN] Spark Connect python istemcisi: Boole Dataframe okuyucu seçeneklerini tutarlı bir şekilde işleme
    • [SPARK-49056][SQL] ErrorClassesJsonReader null değerini düzgün işleyemiyor
    • [SPARK-48862][PYTHON][BAĞLAN] BİLGİ düzeyi etkin değilken _proto_to_string çağırmaktan kaçının
    • [SPARK-49146][SS] Ekleme modu akış sorgularında filigran eksikliği ile ilgili doğrulama hatalarını hata çerçevesine taşıma.
  • 14 Ağustos 2024
    • [SPARK-48941][SPARK-48970] Backport ML yazıcı / okuyucu düzeltmeleri
    • [SPARK-48706][PYTHON] Python UDF yüksek dereceli fonksiyonlarda iç hata oluşturmamalıdır
    • [SPARK-48954] try_mod() try_remainder() öğesinin yerini alır
    • [SPARK-48597][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
    • [SPARK-49065][SQL] Eski biçimlendiriciler ve ayrıştırıcılarda yeniden yapılandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
    • [SPARK-49047][PYTHON][BAĞLAN] Kayıt için mesajı kes
    • [SPARK-48740][SQL] Eksik pencere belirtimi hatalarını erken yakalama
  • 1 Ağustos 2024
    • [Önemli değişiklik] Databricks Runtime 15.3 ve üzerinde, bağımsız değişken veya dönüş değeri olarak VARIANT türü kullanan herhangi bir Python kullanıcı tanımlı işlev (UDF), kullanıcı tanımlı toplama işlevi (UDAF) veya kullanıcı tanımlı tablo işlevi (UDTF) çağrıldığında bir özel durum oluşur. Bu değişiklik, bu işlevlerden biri tarafından döndürülen geçersiz bir değer nedeniyle oluşabilecek sorunları önlemek için yapılır. VARIANT türü hakkında daha fazla bilgi edinmek için 'e bakın,yarı yapılandırılmış verileri depolamak için VARIANT'ları kullanın.
    • Not defterleri ve işler için sunucusuz işlemde ANSI SQL modu varsayılan olarak etkindir. Bkz . Desteklenen Spark yapılandırma parametreleri.
    • SHOW CREATE TABLE deyiminden elde edilen çıktı artık materyalize edilmiş bir görünümde veya akış tablosunda tanımlanan satır filtreleri veya sütun maskelerine dair her şeyi içerir. Bkz. SHOW CREATE TABLE. Satır filtreleri ve sütun maskeleri hakkında bilgi edinmek için bkz. Satır filtreleri ve sütun maskeleri.
    • Paylaşılan erişim moduyla yapılandırılan işlemde Kafka toplu okuma ve yazma işlemleri artık Yapılandırılmış Akış için belgelenenlerle aynı sınırlamalara sahiptir. Bkz . Akış sınırlamaları.
    • [SPARK-46957][CORE] Devre dışı bırakılan taşınan karıştırma dosyaları, yürütücüden temizlenebilmelidir.
    • [SPARK-48648][PYTHON][CONNECT] SparkConnectClient.tags’i düzgün bir şekilde threadlocal hale getirme
    • [SPARK-48896][SPARK-48909][SPARK-48883] Backport spark ML yazıcı düzeltmeleri
    • [SPARK-48713][SQL] BaseObject bayt dizisi olduğunda UnsafeRow.pointTo için dizin aralığı denetimi ekleme
    • [SPARK-48834][SQL] Sorgu derlemesi sırasında Python skaler UDF'ler, UDTF'ler, UDAF'ler için varyant girdi/çıktıyı devre dışı bırakma
    • [SPARK-48934][SS] Python datetime türleri applyInPandasWithState'te zaman aşımını ayarlamak için yanlış dönüştürüldü
    • [SPARK-48705][PYTHON] pyspark ile başladığında açıkça worker_main kullanın
    • [SPARK-48544][SQL] Boş TreeNode BitSet'lerinin bellek baskısını azaltma
    • [SPARK-48889][SS] bitirmeden önce durum depolarını boşaltmak için testStream'i kullanma
    • [SPARK-49054][SQL] Sütun varsayılan değeri current_* işlevleri desteklemelidir
    • [SPARK-48653][PYTHON] Geçersiz Python veri kaynağı hata sınıfı başvurularını düzeltme
    • [SPARK-48463] İç içe giriş sütunlarını destekleyen StringIndexer yapma
    • [SPARK-48810][BAĞLAN] Oturum durdur() API'sinin idempotent olması ve oturum sunucu tarafından zaten kapatıldıysa başarısız olmaması gerekir.
    • [SPARK-48873][SQL] JSON ayrıştırıcısında UnsafeRow kullanın.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Temmuz 2024
    • (Davranış değişikliği) Delta tablo kaynaklarına karşı önbelleğe alınan Veri Çerçeveleri artık kaynak tablonun üzerine yazılırsa geçersiz kılınır. Bu değişiklik, Delta tablolarındaki tüm durum değişikliklerinin önbelleğe alınmış sonuçları geçersiz kıldığı anlamına gelir. DataFrame'in kullanım ömrü boyunca tablo durumunu kalıcı hale getirmek için .checkpoint() kullanın.
    • Snowflake JDBC Sürücüsü 3.16.1 sürümüne güncelleştirildi.
    • Bu sürüm, Databricks Container Services'da çalışırken Spark UI Ortamı sekmesinin doğru görüntülenmesini engelleyen bir soruna yönelik bir düzeltme içerir.
    • Verileri okurken geçersiz bölümleri yoksaymak için Parquet, ORC, CSV veya JSON gibi dosya tabanlı veri kaynakları ignoreInvalidPartitionPaths veri kaynağı seçeneğini true olarak ayarlayabilir. Örneğin: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. SQL yapılandırması spark.sql.files.ignoreInvalidPartitionPaths'i de kullanabilirsiniz. Ancak, veri kaynağı seçeneği SQL yapılandırmasından önceliklidir. Bu ayar varsayılan olarak false'tur.
    • [SPARK-48100][SQL] Şemada seçilmeyen iç içe yapı alanlarını atlama sorunlarını düzeltme
    • [SPARK-47463][SQL] V2Predicate kullanarak ifadeyi boole dönüş türüyle sarmalama
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator, kaydedilmiş dosya görev durumuyla tutarlı olmadığında aşamayı durdurmalıdır
    • [SPARK-48475][PYTHON] PySpark'ta _get_jvm_function iyileştirin.
    • [SPARK-48286] Mevcut varsayılan ifadeye sahip sütunun analizini düzeltme - Kullanıcıya yönelik hata ekle
    • [SPARK-48481][SQL][SS] Akış Veri Kümesine OptimizeOneRowPlan uygulamayın
    • "[SPARK-47406][SQL] MYSQLDialect'te TIMESTAMP ve DATETIME İşle" öğesini geri döndür
    • [SPARK-48383][SS] Kafka'da startOffset seçeneğinde eşleşmeyen bölümler için daha iyi hata oluşturma
    • [SPARK-48503][14.3-15.3][SQL] Eşdeğer olmayan sütunlarda group-by ile hatalı bir şekilde izin verilen geçersiz skaler alt sorgular düzeltildi.
    • [SPARK-48445][SQL] Pahalı alt öğeleri olan satır içi UDF'ler yapmayın
    • [SPARK-48252][SQL] Gerektiğinde CommonExpressionRef'i güncelleştirme
    • [SPARK-48273][master][SQL] PlanWithUnresolvedIdentifier'ın geç yeniden yazılmasını düzeltme
    • [SPARK-48566][PYTHON] UDTF analyze() hem select hem de partitionColumns kullandığında bölüm dizinlerinin yanlış olduğu hata düzeltildi
    • [SPARK-48556][SQL] UNSUPPORTED_GROUPING_EXPRESSION işaret eden yanlış hata iletisi düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 15.2

Bkz. Databricks Runtime 15.2 (EoS).

  • 26 Kasım 2024
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Kasım 2024
    • [SPARK-49905] Karıştırmanın AQE tarafından değiştirilmesini önlemek için durum bilgisi olan operatörler için özel bir ShuffleOrigin kullanın.
    • [SPARK-48843][15.3,15.2] BindParameters ile sonsuz döngü engelleme
    • [SPARK-49829] Stream-stream join'te durum deposuna giriş ekleme iyileştirmesini gözden geçirme (doğruluk düzeltmesi)
    • [SPARK-49863][SQL] İç içe yapıların null özelliğini korumak için NormalizeFloatingNumbers fonksiyonunu düzeltmek
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns kuralı, UnresolvedAttribute'i çocuk çıktısıyla çözümler
    • [SPARK-46632][SQL] Eşdeğer üçüncül ifadelerin farklı alt öğelere sahip olduğu durumlarda alt ifade yok edilmesi işlemi düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Ekim 2024, Cumartesi
    • [SPARK-49905] Karıştırmanın AQE tarafından değiştirilmesini önlemek için durum bilgisi olan operatörler için özel bir ShuffleOrigin kullanın.
    • [SPARK-48843][15.3,15.2] BindParameters ile sonsuz döngü engelleme
    • [SPARK-49829] Stream-stream join'te durum deposuna giriş ekleme iyileştirmesini gözden geçirme (doğruluk düzeltmesi)
    • [SPARK-49863][SQL] İç içe yapıların null özelliğini korumak için NormalizeFloatingNumbers fonksiyonunu düzeltmek
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns kuralı, UnresolvedAttribute'i çocuk çıktısıyla çözümler
    • [SPARK-46632][SQL] Eşdeğer üçüncül ifadelerin farklı alt öğelere sahip olduğu durumlarda alt ifade yok edilmesi işlemi düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Ekim 2024, Cumartesi
    • [BACKPORT] [SPARK-49474][SS] FlatMapGroupsWithState kullanıcı işlevi hatası için Hata sınıfını sınıflandırma
    • [SPARK-49743][SQL] GetArrayStructFields ayıklaması sırasında OptimizeCsvJsonExpr şema alanlarını değiştirmemelidir
    • [SPARK-49688][BAĞLANTI] Kesme ve yürütme planı arasındaki veri yarışını düzelt
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Eylül 2024, Cumartesi
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
    • [SPARK-48719][SQL] İlk parametre null olduğunda RegrSlope & RegrIntercept hesaplama hatasını düzeltme
    • [SPARK-49458][BAĞLAN][PYTHON] ReattachExecute aracılığıyla sunucu tarafı oturum kimliği sağlama
    • [SPARK-49628][SQL] ConstantFolding değerlendirmeden önce durum bilgisi olan ifadeyi kopyalamalıdır
    • [SPARK-49492][BAĞLAN] Etkin olmayan ExecutionHolder'da tekrar bağlanma girişimi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Eylül 2024, Cumartesi
    • [SPARK-49336][BAĞLAN] Protobuf mesajını kısaltırken iç içe yerleşim seviyesini sınırlamak
    • [SPARK-49526][CONNECT] ArtifactManager'da Windows stili yolları destekleme
    • [SPARK-49366][CONNECT] Birleşim düğümünü DataFrame sütun çözümlemesinde yaprak olarak değerlendir
    • [SPARK-43242][CORE] Shuffle bozulması tanılamasında 'Beklenmeyen BlockId türü' hatasını düzeltme
    • [SPARK-49409][BAĞLAN] CONNECT_SESSION_PLAN_CACHE_SIZE varsayılan değerini ayarlama
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Ağustos 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader null değerini düzgün işleyemiyor
    • [SPARK-48597][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
    • [SPARK-48862][PYTHON][BAĞLAN] BİLGİ düzeyi etkin değilken _proto_to_string çağırmaktan kaçının
    • [SPARK-49263][BAĞLAN] Spark Connect python istemcisi: Boole Dataframe okuyucu seçeneklerini tutarlı bir şekilde işleme
    • [SPARK-49146][SS] Ekleme modu akış sorgularında filigran eksikliği ile ilgili doğrulama hatalarını hata çerçevesine taşıma.
  • 14 Ağustos 2024
    • [SPARK-48941][SPARK-48970] Backport ML yazıcı / okuyucu düzeltmeleri
    • [SPARK-48050][SS] Sorgu başlangıcında mantıksal planı günlüğe kaydet
    • [SPARK-48706][PYTHON] Python UDF yüksek dereceli fonksiyonlarda iç hata oluşturmamalıdır
    • [SPARK-48740][SQL] Eksik pencere belirtimi hatalarını erken yakalama
    • [SPARK-49065][SQL] Eski biçimlendiriciler ve ayrıştırıcılarda yeniden yapılandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
    • [SPARK-49047][PYTHON][BAĞLAN] Kayıt için mesajı kes
  • 1 Ağustos 2024
    • Not defterleri ve işler için sunucusuz işlemde ANSI SQL modu varsayılan olarak etkindir. Bkz . Desteklenen Spark yapılandırma parametreleri.
    • Paylaşılan erişim moduyla yapılandırılan işlemde Kafka toplu okuma ve yazma işlemleri artık Yapılandırılmış Akış için belgelenenlerle aynı sınırlamalara sahiptir. Bkz . Akış sınırlamaları.
    • SHOW CREATE TABLE deyiminden elde edilen çıktı artık materyalize edilmiş bir görünümde veya akış tablosunda tanımlanan satır filtreleri veya sütun maskelerine dair her şeyi içerir. Bkz. SHOW CREATE TABLE. Satır filtreleri ve sütun maskeleri hakkında bilgi edinmek için bkz. Satır filtreleri ve sütun maskeleri.
    • Paylaşılan erişim moduyla yapılandırılan işlemde Kafka toplu okuma ve yazma işlemleri artık Yapılandırılmış Akış için belgelenenlerle aynı sınırlamalara sahiptir. Bkz . Akış sınırlamaları.
    • SHOW CREATE TABLE deyiminden elde edilen çıktı artık materyalize edilmiş bir görünümde veya akış tablosunda tanımlanan satır filtreleri veya sütun maskelerine dair her şeyi içerir. Bkz. SHOW CREATE TABLE. Satır filtreleri ve sütun maskeleri hakkında bilgi edinmek için bkz. Satır filtreleri ve sütun maskeleri.
    • [SPARK-48705][PYTHON] pyspark ile başladığında açıkça worker_main kullanın
    • [SPARK-48047][SQL] Boş TreeNode etiketlerinin bellek baskısını azaltma
    • [SPARK-48810][BAĞLAN] Oturum durdur() API'sinin idempotent olması ve oturum sunucu tarafından zaten kapatıldıysa başarısız olmaması gerekir.
    • [SPARK-48873][SQL] JSON ayrıştırıcısında UnsafeRow kullanın.
    • [SPARK-46957][CORE] Devre dışı bırakılan taşınan karıştırma dosyaları, yürütücüden temizlenebilmelidir.
    • [SPARK-48889][SS] bitirmeden önce durum depolarını boşaltmak için testStream'i kullanma
    • [SPARK-48713][SQL] BaseObject bayt dizisi olduğunda UnsafeRow.pointTo için dizin aralığı denetimi ekleme
    • [SPARK-48896][SPARK-48909][SPARK-48883] Backport spark ML yazıcı düzeltmeleri
    • [SPARK-48544][SQL] Boş TreeNode BitSet'lerinin bellek baskısını azaltma
    • [SPARK-48934][SS] Python datetime türleri applyInPandasWithState'te zaman aşımını ayarlamak için yanlış dönüştürüldü
    • [SPARK-48463] İç içe giriş sütunlarını destekleyen StringIndexer yapma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Temmuz 2024
    • (Davranış değişikliği) Delta tablo kaynaklarına karşı önbelleğe alınan Veri Çerçeveleri artık kaynak tablonun üzerine yazılırsa geçersiz kılınır. Bu değişiklik, Delta tablolarındaki tüm durum değişikliklerinin önbelleğe alınmış sonuçları geçersiz kıldığı anlamına gelir. DataFrame'in kullanım ömrü boyunca tablo durumunu kalıcı hale getirmek için .checkpoint() kullanın.
    • Snowflake JDBC Sürücüsü 3.16.1 sürümüne güncelleştirildi.
    • Bu sürüm, Databricks Container Services'da çalışırken Spark UI Ortamı sekmesinin doğru görüntülenmesini engelleyen bir soruna yönelik bir düzeltme içerir.
    • Sunucusuz not defterlerinde ve işlerde ANSI SQL modu varsayılan olarak etkinleştirilir ve kısa adları destekler
    • Verileri okurken geçersiz bölümleri yoksaymak için Parquet, ORC, CSV veya JSON gibi dosya tabanlı veri kaynakları ignoreInvalidPartitionPaths veri kaynağı seçeneğini true olarak ayarlayabilir. Örneğin: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. SQL yapılandırması spark.sql.files.ignoreInvalidPartitionPaths'i de kullanabilirsiniz. Ancak, veri kaynağı seçeneği SQL yapılandırmasından önceliklidir. Bu ayar varsayılan olarak false'tur.
    • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier'ın geç yeniden yazılmasını düzeltme
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator, kaydedilmiş dosya görev durumuyla tutarlı olmadığında aşamayı durdurmalıdır
    • [SPARK-48100][SQL] Şemada seçilmeyen iç içe yapı alanlarını atlama sorunlarını düzeltme
    • [SPARK-48286] Mevcut varsayılan ifadeye sahip sütunun analizini düzeltme - Kullanıcıya yönelik hata ekle
    • [SPARK-48294][SQL] nestedTypeMissingElementTypeError içinde küçük harflerin ele alınması
    • [SPARK-48556][SQL] UNSUPPORTED_GROUPING_EXPRESSION işaret eden yanlış hata iletisi düzeltildi
    • [SPARK-48648][PYTHON][CONNECT] SparkConnectClient.tags’i düzgün bir şekilde threadlocal hale getirme
    • [SPARK-48503][SQL] Yanlışlıkla izin verilen ve eşdeğer olmayan sütunlarla gruplama yapılan geçersiz skaler alt sorgular düzeltildi.
    • [SPARK-48252][SQL] Gerektiğinde CommonExpressionRef'i güncelleştirme
    • [SPARK-48475][PYTHON] PySpark'ta _get_jvm_function iyileştirin.
    • [SPARK-48566][PYTHON] UDTF analyze() hem select hem de partitionColumns kullandığında bölüm dizinlerinin yanlış olduğu hata düzeltildi
    • [SPARK-48481][SQL][SS] Akış Veri Kümesine OptimizeOneRowPlan uygulamayın
    • [SPARK-47463][SQL] V2Predicate kullanarak ifadeyi boole dönüş türüyle sarmalama
    • [SPARK-48383][SS] Kafka'da startOffset seçeneğinde eşleşmeyen bölümler için daha iyi hata oluşturma
    • [SPARK-48445][SQL] Pahalı alt öğeleri olan satır içi UDF'ler yapmayın
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2024
    • applyInPandasWithState() paylaşılan kümelerde kullanılabilir.
    • Photon TopK kullanarak yapılan sıralama-penceresi optimizasyonunun, yapıları içeren bölümleri yanlış işlemesiyle ilgili bir hatayı düzeltir.
    • try_divide() işlevinde ondalık içeren girişlerin beklenmeyen özel durumlarla sonuçlandığı bir hata düzeltildi.
    • [SPARK-48197][SQL] Geçersiz lambda işlevi için onay hatasından kaçının
    • [SPARK-48276][PYTHON][BAĞLAN] için eksik __repr__ yöntemi ekleyin SQLExpression
    • [SPARK-48014][SQL] EvaluatePython içindeki makeFromJava hatasını kullanıcıya yönelik hata olarak değiştirme
    • [SPARK-48016][SQL] Ondalıklar olduğunda try_divide işlevindeki bir hatayı düzeltme
    • [SPARK-47986][BAĞLAN][PYTHON] Varsayılan oturum sunucu tarafından kapatıldığında yeni oturum oluşturulamıyor
    • [SPARK-48173][SQL] CheckAnalysis sorgu planının tamamını görmelidir
    • [SPARK-48056][BAĞLAN][PYTHON] SESSION_NOT_FOUND hatası oluşursa ve kısmi yanıt alınmazsa planı yeniden yürüt
    • [SPARK-48172][SQL] JDBCDialects backport'ta 15.2'ye kaçış sorunlarını düzeltme
    • [SPARK-48105][SS] Durum deposu kaldırma ve anlık görüntü oluşturma arasındaki yarış durumunu düzeltme
    • [SPARK-48288] Bağlayıcı atama ifadesi için kaynak veri türü ekleme
    • [SPARK-48310][PYTHON][BAĞLAN] Önbelleğe alınan özellikler kopya döndürmelidir
    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage için hata iletisini iyileştirme
    • [SPARK-47986][BAĞLAN][PYTHON] Varsayılan oturum sunucu tarafından kapatıldığında yeni oturum oluşturulamıyor
    • "[SPARK-47406][SQL] MYSQLDialect'te TIMESTAMP ve DATETIME İşle" öğesini geri döndür
    • [SPARK-47994][SQL] SQLServer'da CASE WHEN sütun filtresi push down ile ilgili hata düzeltildi
    • [SPARK-47764][CORE][SQL] ShuffleCleanupMode tabanlı karıştırma bağımlılıklarını temizleme
    • [SPARK-47921][CONNECT] ExecuteHolder'da ExecuteJobTag oluşturma işlemini düzeltme
    • [SPARK-48010][SQL] resolveExpression'da conf.resolver için yinelenen çağrılardan kaçının
    • [SPARK-48146][SQL] "With" ifadesindeki child assertion'da toplama işlevini düzeltme
    • [SPARK-48180][SQL] TABLE arg ile UDTF çağrısı birden çok PARTITION/ORDER BY ifade çevresindeki parantezleri unuttuğunda hatayı iyileştirme
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Çalışma Zamanı 15.1

Bkz . Databricks Runtime 15.1 (EoS).

  • 22 Ekim 2024, Cumartesi
    • [SPARK-49863][SQL] İç içe yapıların null özelliğini korumak için NormalizeFloatingNumbers fonksiyonunu düzeltmek
    • [SPARK-46632][SQL] Eşdeğer üçüncül ifadelerin farklı alt öğelere sahip olduğu durumlarda alt ifade yok edilmesi işlemi düzeltildi
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns kuralı, UnresolvedAttribute'i çocuk çıktısıyla çözümler
    • [SPARK-49905] Karıştırmanın AQE tarafından değiştirilmesini önlemek için durum bilgisi olan operatörler için özel bir ShuffleOrigin kullanın.
    • [SPARK-49829] Stream-stream join'te durum deposuna giriş ekleme iyileştirmesini gözden geçirme (doğruluk düzeltmesi)
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Ekim 2024, Cumartesi
    • [SPARK-49688][BAĞLANTI] Kesme ve yürütme planı arasındaki veri yarışını düzelt
    • [SPARK-49743][SQL] GetArrayStructFields ayıklaması sırasında OptimizeCsvJsonExpr şema alanlarını değiştirmemelidir
    • [BACKPORT] [SPARK-49474][SS] FlatMapGroupsWithState kullanıcı işlevi hatası için Hata sınıfını sınıflandırma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Eylül 2024, Cumartesi
    • [SPARK-49628][SQL] ConstantFolding değerlendirmeden önce durum bilgisi olan ifadeyi kopyalamalıdır
    • [SPARK-48719][SQL] İlk parametre null olduğunda RegrSlope & RegrIntercept hesaplama hatasını düzeltme
    • [SPARK-49492][BAĞLAN] Etkin olmayan ExecutionHolder'da tekrar bağlanma girişimi
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
    • [SPARK-49458][BAĞLAN][PYTHON] ReattachExecute aracılığıyla sunucu tarafı oturum kimliği sağlama
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Eylül 2024, Cumartesi
    • [SPARK-49336][BAĞLAN] Protobuf mesajını kısaltırken iç içe yerleşim seviyesini sınırlamak
    • [SPARK-49526][CONNECT] ArtifactManager'da Windows stili yolları destekleme
    • [SPARK-49409][BAĞLAN] CONNECT_SESSION_PLAN_CACHE_SIZE varsayılan değerini ayarlama
    • [SPARK-43242][CORE] Shuffle bozulması tanılamasında 'Beklenmeyen BlockId türü' hatasını düzeltme
    • [SPARK-49366][CONNECT] Birleşim düğümünü DataFrame sütun çözümlemesinde yaprak olarak değerlendir
  • 29 Ağustos 2024
    • [SPARK-49263][BAĞLAN] Spark Connect python istemcisi: Boole Dataframe okuyucu seçeneklerini tutarlı bir şekilde işleme
    • [SPARK-49056][SQL] ErrorClassesJsonReader null değerini düzgün işleyemiyor
    • [SPARK-48862][PYTHON][BAĞLAN] BİLGİ düzeyi etkin değilken _proto_to_string çağırmaktan kaçının
    • [SPARK-49146][SS] Ekleme modu akış sorgularında filigran eksikliği ile ilgili doğrulama hatalarını hata çerçevesine taşıma.
  • 14 Ağustos 2024
    • [SPARK-48941][SPARK-48970] Backport ML yazıcı / okuyucu düzeltmeleri
    • [SPARK-48050][SS] Sorgu başlangıcında mantıksal planı günlüğe kaydet
    • [SPARK-48706][PYTHON] Python UDF yüksek dereceli fonksiyonlarda iç hata oluşturmamalıdır
    • [SPARK-48597][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
    • [SPARK-49065][SQL] Eski biçimlendiriciler ve ayrıştırıcılarda yeniden yapılandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
    • [SPARK-49047][PYTHON][BAĞLAN] Kayıt için mesajı kes
    • [SPARK-48740][SQL] Eksik pencere belirtimi hatalarını erken yakalama
  • 1 Ağustos 2024
    • Not defterleri ve işler için sunucusuz işlemde ANSI SQL modu varsayılan olarak etkindir. Bkz . Desteklenen Spark yapılandırma parametreleri.
    • Paylaşılan erişim moduyla yapılandırılan işlemde Kafka toplu okuma ve yazma işlemleri artık Yapılandırılmış Akış için belgelenenlerle aynı sınırlamalara sahiptir. Bkz . Akış sınırlamaları.
    • SHOW CREATE TABLE deyiminden elde edilen çıktı artık materyalize edilmiş bir görünümde veya akış tablosunda tanımlanan satır filtreleri veya sütun maskelerine dair her şeyi içerir. Bkz. SHOW CREATE TABLE. Satır filtreleri ve sütun maskeleri hakkında bilgi edinmek için bkz. Satır filtreleri ve sütun maskeleri.
    • Paylaşılan erişim moduyla yapılandırılan işlemde Kafka toplu okuma ve yazma işlemleri artık Yapılandırılmış Akış için belgelenenlerle aynı sınırlamalara sahiptir. Bkz . Akış sınırlamaları.
    • SHOW CREATE TABLE deyiminden elde edilen çıktı artık materyalize edilmiş bir görünümde veya akış tablosunda tanımlanan satır filtreleri veya sütun maskelerine dair her şeyi içerir. Bkz. SHOW CREATE TABLE. Satır filtreleri ve sütun maskeleri hakkında bilgi edinmek için bkz. Satır filtreleri ve sütun maskeleri.
    • [SPARK-48544][SQL] Boş TreeNode BitSet'lerinin bellek baskısını azaltma
    • [SPARK-46957][CORE] Devre dışı bırakılan taşınan karıştırma dosyaları, yürütücüden temizlenebilmelidir.
    • [SPARK-47202][PYTHON] tzinfo ile tarih-saatlerde hataya yol açan yazım hatasını düzeltme
    • [SPARK-48713][SQL] BaseObject bayt dizisi olduğunda UnsafeRow.pointTo için dizin aralığı denetimi ekleme
    • [SPARK-48896][SPARK-48909][SPARK-48883] Backport spark ML yazıcı düzeltmeleri
    • [SPARK-48810][BAĞLAN] Oturum durdur() API'sinin idempotent olması ve oturum sunucu tarafından zaten kapatıldıysa başarısız olmaması gerekir.
    • [SPARK-48873][SQL] JSON ayrıştırıcısında UnsafeRow kullanın.
    • [SPARK-48934][SS] Python datetime türleri applyInPandasWithState'te zaman aşımını ayarlamak için yanlış dönüştürüldü
    • [SPARK-48705][PYTHON] pyspark ile başladığında açıkça worker_main kullanın
    • [SPARK-48889][SS] bitirmeden önce durum depolarını boşaltmak için testStream'i kullanma
    • [SPARK-48047][SQL] Boş TreeNode etiketlerinin bellek baskısını azaltma
    • [SPARK-48463] İç içe giriş sütunlarını destekleyen StringIndexer yapma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Temmuz 2024
    • (Davranış değişikliği) Delta tablo kaynaklarına karşı önbelleğe alınan Veri Çerçeveleri artık kaynak tablonun üzerine yazılırsa geçersiz kılınır. Bu değişiklik, Delta tablolarındaki tüm durum değişikliklerinin önbelleğe alınmış sonuçları geçersiz kıldığı anlamına gelir. DataFrame'in kullanım ömrü boyunca tablo durumunu kalıcı hale getirmek için .checkpoint() kullanın.
    • Snowflake JDBC Sürücüsü 3.16.1 sürümüne güncelleştirildi.
    • Bu sürüm, Databricks Container Services'da çalışırken Spark UI Ortamı sekmesinin doğru görüntülenmesini engelleyen bir soruna yönelik bir düzeltme içerir.
    • Not defterleri ve işler için sunucusuz işlemde ANSI SQL modu varsayılan olarak etkindir. Bkz . Desteklenen Spark yapılandırma parametreleri.
    • Verileri okurken geçersiz bölümleri yoksaymak için Parquet, ORC, CSV veya JSON gibi dosya tabanlı veri kaynakları ignoreInvalidPartitionPaths veri kaynağı seçeneğini true olarak ayarlayabilir. Örneğin: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. SQL yapılandırması spark.sql.files.ignoreInvalidPartitionPaths'i de kullanabilirsiniz. Ancak, veri kaynağı seçeneği SQL yapılandırmasından önceliklidir. Bu ayar varsayılan olarak false'tur.
    • [SPARK-48383][SS] Kafka'da startOffset seçeneğinde eşleşmeyen bölümler için daha iyi hata oluşturma
    • [SPARK-48481][SQL][SS] Akış Veri Kümesine OptimizeOneRowPlan uygulamayın
    • [SPARK-48100][SQL] Şemada seçilmeyen iç içe yapı alanlarını atlama sorunlarını düzeltme
    • [SPARK-47463][SQL] V2Predicate kullanarak ifadeyi boole dönüş türüyle sarmalama
    • [SPARK-48445][SQL] Pahalı alt öğeleri olan satır içi UDF'ler yapmayın
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator, kaydedilmiş dosya görev durumuyla tutarlı olmadığında aşamayı durdurmalıdır
    • [SPARK-48566][PYTHON] UDTF analyze() hem select hem de partitionColumns kullandığında bölüm dizinlerinin yanlış olduğu hata düzeltildi
    • [SPARK-48648][PYTHON][CONNECT] SparkConnectClient.tags’i düzgün bir şekilde threadlocal hale getirme
    • [SPARK-48503][SQL] Yanlışlıkla izin verilen ve eşdeğer olmayan sütunlarla gruplama yapılan geçersiz skaler alt sorgular düzeltildi.
    • [SPARK-48252][SQL] Gerektiğinde CommonExpressionRef'i güncelleştirme
    • [SPARK-48475][PYTHON] PySpark'ta _get_jvm_function iyileştirin.
    • [SPARK-48294][SQL] nestedTypeMissingElementTypeError içinde küçük harflerin ele alınması
    • [SPARK-48286] Mevcut varsayılan ifadeye sahip sütunun analizini düzeltme - Kullanıcıya yönelik hata ekle
    • [SPARK-47309][SQL] XML: Değer etiketleri için şema çıkarım testleri ekleme
    • [SPARK-47309][SQL][XML] Şema çıkarım birimi testleri ekleme
    • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier'ın geç yeniden yazılmasını düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2024
    • applyInPandasWithState() paylaşılan kümelerde kullanılabilir.
    • Photon TopK kullanarak yapılan sıralama-penceresi optimizasyonunun, yapıları içeren bölümleri yanlış işlemesiyle ilgili bir hatayı düzeltir.
    • [SPARK-48310][PYTHON][BAĞLAN] Önbelleğe alınan özellikler kopya döndürmelidir
    • [SPARK-48276][PYTHON][BAĞLAN] için eksik __repr__ yöntemi ekleyin SQLExpression
    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage için hata iletisini iyileştirme
    • [SPARK-47764][CORE][SQL] ShuffleCleanupMode tabanlı karıştırma bağımlılıklarını temizleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 21 Mayıs 2024
    • try_divide() işlevinde ondalık içeren girişlerin beklenmeyen özel durumlarla sonuçlandığı bir hata düzeltildi.
    • [SPARK-48173][SQL] CheckAnalysis sorgu planının tamamını görmelidir
    • [SPARK-48016][SQL] Ondalıklar olduğunda try_divide işlevindeki bir hatayı düzeltme
    • [SPARK-48105][SS] Durum deposu kaldırma ve anlık görüntü oluşturma arasındaki yarış durumunu düzeltme
    • [SPARK-48197][SQL] Geçersiz lambda işlevi için onay hatasından kaçının
    • [SPARK-48180][SQL] TABLE arg ile UDTF çağrısı birden çok PARTITION/ORDER BY ifade çevresindeki parantezleri unuttuğunda hatayı iyileştirme
    • [SPARK-48014][SQL] EvaluatePython içindeki makeFromJava hatasını kullanıcıya yönelik hata olarak değiştirme
    • [SPARK-48056][BAĞLAN][PYTHON] SESSION_NOT_FOUND hatası oluşursa ve kısmi yanıt alınmazsa planı yeniden yürüt
    • [SPARK-48146][SQL] "With" ifadesindeki child assertion'da toplama işlevini düzeltme
    • [SPARK-47994][SQL] SQLServer'da CASE WHEN sütun filtresi push down ile ilgili hata düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Mayıs 2024
    • [SPARK-47543][BAĞLAN][PYTHON] DataFrame oluşturmayı sağlamak için Pandas DataFrame'den dict'i MapType olarak çıkarım yapmak
    • [SPARK-47739][SQL] Mantıksal avro türünü kaydetme
    • [SPARK-48044][PYTHON][BAĞLAN] Önbellek DataFrame.isStreaming
    • [SPARK-47855][BAĞLAN] Desteklenmeyenler listesine ekleme spark.sql.execution.arrow.pyspark.fallback.enabled
    • [SPARK-48010][SQL] resolveExpression'da conf.resolver için yinelenen çağrılardan kaçının
    • [SPARK-47941] [SS] [Bağlan] ForeachBatch çalışan başlatma hatalarını PySpark için kullanıcılara yayma
    • [SPARK-47819][BAĞLAN][Cherry-pick-15.0] Yürütme temizliği için asenkron geri çağırma kullanma
    • [SPARK-47956][SQL] Çözümlenmemiş LCA referansı için mantık kontrolü
    • [SPARK-47839][SQL] RewriteWithExpression'da toplu hata düzeltildi
    • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange oluşturulurken eksik param hatasına neden olan null groupId değeri düzeltildi
    • [SPARK-47371] [SQL] XML: CDATA'da bulunan satır etiketlerini görmezden gel
    • [SPARK-47907][SQL] Bang'i yapılandırma altına alın
    • [SPARK-47895][SQL] group by all idempotent olmalıdır
    • [SPARK-47973][CORE] SparkContext.stop() ve daha sonrasında SparkContext.assertNotStopped() içinde arama konumunu günlüğe kaydetme
    • [SPARK-47986][BAĞLAN][PYTHON] Varsayılan oturum sunucu tarafından kapatıldığında yeni oturum oluşturulamıyor
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 15.0 sürümü

Bkz . Databricks Runtime 15.0 (EoS).

  • 30 Mayıs 2024
  • 25 Nisan 2024
    • [SPARK-47786]SELECT DISTINCT () SELECT DISTINCT struct() hale gelmemelidir (önceki davranışa dönülmeli)
    • [SPARK-47802][SQL] () anlam yapısından() anlamlarına geri dön *
    • [SPARK-47509][SQL] Lambda ve daha yüksek sıralı işlevlerde alt sorgu ifadelerini engelleme
    • [SPARK-47722] Kapatmadan önce RocksDB arka plan çalışması bitene kadar bekleyin
    • [SPARK-47081][BAĞLAN][TAKİP ET] İlerleme İşleyicisinin kullanılabilirliğini geliştirme
    • [SPARK-47694][BAĞLAN] en büyük ileti boyutunu istemci tarafında yapılandırılabilir hale getirme
    • [SPARK-47669][SQL][BAĞLAN][PYTHON] Eklemek Column.try_cast
    • [SPARK-47664][PYTHON][BAĞLAN][Cherry-pick-15.0] Sütun adını önbelleğe alınmış şemayla doğrulama
    • [SPARK-47818][BAĞLAN][Cherry-pick-15.0] Analiz isteklerinin performansını geliştirmek için SparkConnectPlanner'da plan önbelleğini tanıtın
    • [SPARK-47704][SQL] spark.sql.json.enablePartialResults etkinleştirildiğinde JSON ayrıştırma "java.lang.ClassCastException" ile başarısız oluyor
    • [SPARK-47755][BAĞLAN] Ayrı değerlerin sayısı çok fazla olduğunda Pivot başarısız olmalıdır
    • [SPARK-47713][SQL][CONNECT] Kendi kendine birleştirme hatasını düzeltme
    • [SPARK-47812][BAĞLAN] ForEachBatch çalışanı için SparkSession Serileştirme desteği
    • [SPARK-47828][BAĞLAN][PYTHON] DataFrameWriterV2.overwrite geçersiz planla başarısız oluyor
    • [SPARK-47862][PYTHON][BAĞLAN]Proto dosyalarının oluşturulmasını düzeltme
    • [SPARK-47800][SQL] Tanımlayıcıdan tableIdentifier'a dönüşüm için yeni yöntem oluşturma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 3 Nisan 2024
    • (Davranış değişikliği) İşlem türleri arasında tutarlı bir davranış sağlamak için, paylaşılan kümelerdeki PySpark UDF'leri artık yalıtımsız ve atanmış kümelerdeki UDF'lerin davranışıyla eşleşir. Bu güncelleştirme, mevcut kodu bozabilecek aşağıdaki değişiklikleri içerir:
      • string dönüş türüne sahip UDF'ler artıkstring olmayan değerleri örtük olarak string değerlere dönüştürmez. Daha önce, dönüş türüne str sahip UDF'ler döndürülen değerin gerçek veri türünden bağımsız olarak dönüş değerini bir str() işlevle sarmalardı.
      • timestamp dönüş türlerine sahip UDF'ler artık timestamp ile timezone arasında örtük olarak dönüşüm uygulamaz.
      • Spark kümesi yapılandırmaları artık paylaşılan kümelerdeki spark.databricks.sql.externalUDF.* PySpark UDF'leri için geçerli değildir.
      • Spark kümesi yapılandırması spark.databricks.safespark.externalUDF.plan.limit artık PySpark UDF'lerini etkilemez ve PySpark UDF'leri için sorgu başına 5 UDF'nin Genel Önizleme sınırlamasını kaldırır.
      • Spark kümesi yapılandırması spark.databricks.safespark.sandbox.size.default.mib artık paylaşılan kümelerdeki PySpark UDF'leri için geçerli değildir. Bunun yerine, sistemdeki kullanılabilir bellek kullanılır. PySpark UDF'lerinin belleğini sınırlamak için spark.databricks.pyspark.udf.isolation.memoryLimit'ı 100mminimum değeri ile kullanın.
    • TimestampNTZ veri türü artık sıvı kümeleme içeren bir kümeleme sütunu olarak desteklenmektedir. Bkz Tablolar için sıvı kümeleme kullanma.
    • [SPARK-47218][SQL] XML: XML belirteç oluşturucusunda açıklama satırı etiketlerini yoksay
    • [SPARK-46990][SQL] Event-hubs tarafından yayılan boş Avro dosyalarının yüklenmesi düzeltildi
    • [SPARK-47033][SQL] DÜZELTME EXECUTE IMMEDIATE USING oturum değişkeni adlarını tanımıyor
    • [SPARK-47368][SQL] ParquetRowConverter'da inferTimestampNTZ yapılandırma denetimini kaldırma
    • [SPARK-47561][SQL] Takma Ad hakkındaki çözümleyici kural sırası sorunlarını düzeltme
    • [SPARK-47638][PS][CONNECT] PS'de sütun adı doğrulamayı atla
    • [SPARK-46906][BACKPORT][SS] Akış için durum bilgisi operatör değişikliğine bir kontrol ekleyin
    • [SPARK-47569][SQL] Değişken karşılaştırmaya izin verme.
    • [SPARK-47241][SQL] ExtractGenerator için kural sırası sorunlarını düzeltme
    • [SPARK-47218] [SQL] XML: SchemaOfXml DROPMALFORMED modunda başarısız olacak şekilde değiştirildi
    • [SPARK-47300][SQL] quoteIfNeeded sayılarla başlayan tanımlayıcıları tırnak içine almalıdır
    • [SPARK-47009][SQL][Harmanlama] Harmanlama için tablo oluşturma desteğini etkinleştirme
    • [SPARK-47322][PYTHON][BAĞLAN] withColumnsRenamed sütun adlarının çoğaltmasını withColumnRenamed ile tutarlı bir şekilde yönetme
    • [SPARK-47544][PYTHON] SparkSession builder yöntemi visual studio code intellisense ile uyumsuz
    • [SPARK-47511][SQL] Kimlikleri yeniden atayarak ifadeleri standartlaştırın
    • [SPARK-47385] Option girişleriyle tuple kodlayıcılarını düzeltin.
    • [SPARK-47200][SS] Foreach toplu havuz kullanıcı işlevi hatası için hata sınıfı
    • [SPARK-47135][SS] Kafka veri kaybı özel durumları için hata sınıfları uygulama
    • [SPARK-38708][SQL] Hive Meta Veri Deposu İstemcisini Hive 3.1 için 3.1.3'e yükseltme
    • [SPARK-47305][SQL] Plan hem toplu hem de akış içeriğine sahip olduğunda, LocalRelation'ın "isStreaming" bayrağını doğru etiketlemek amacıyla PruneFilters üzerinde düzeltmeler yapın.
    • [SPARK-47380][BAĞLAN] Sunucu tarafında SparkSession'ın aynı olduğundan emin olun
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 14.2

Bkz . Databricks Runtime 14.2 (EoS).

  • 22 Ekim 2024, Cumartesi
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns kuralı, UnresolvedAttribute'i çocuk çıktısıyla çözümler
    • [SPARK-49905] Karıştırmanın AQE tarafından değiştirilmesini önlemek için durum bilgisi olan operatörler için özel bir ShuffleOrigin kullanın.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Ekim 2024, Cumartesi
    • [SPARK-49743][SQL] GetArrayStructFields ayıklaması sırasında OptimizeCsvJsonExpr şema alanlarını değiştirmemelidir
    • [BACKPORT] [SPARK-49474][SS] FlatMapGroupsWithState kullanıcı işlevi hatası için Hata sınıfını sınıflandırma
  • 25 Eylül 2024, Cumartesi
    • [SPARK-48719][SQL] `RegrS` hesaplama hatasını düzelt.
    • [SPARK-49628][SQL] ConstantFolding değerlendirmeden önce durum bilgisi olan ifadeyi kopyalamalıdır
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
    • [SPARK-43242][CORE] Shuffle bozulması tanılamasında 'Beklenmeyen BlockId türü' hatasını düzeltme
    • [SPARK-46601] [CORE] handleStatusMessage'daki günlük hatasını düzelt
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Eylül 2024, Cumartesi
    • [SPARK-49526][CONNECT] ArtifactManager'da Windows stili yolları destekleme
  • 29 Ağustos 2024
    • [SPARK-49263][BAĞLAN] Spark Connect python istemcisi: Boole Dataframe okuyucu seçeneklerini tutarlı bir şekilde işleme
    • [SPARK-49146][SS] Ekleme modu akış sorgularında filigran eksikliği ile ilgili doğrulama hatalarını hata çerçevesine taşıma.
    • [SPARK-49056][SQL] ErrorClassesJsonReader null değerini düzgün işleyemiyor
  • 14 Ağustos 2024
    • [SPARK-48050][SS] Sorgu başlangıcında mantıksal planı günlüğe kaydet
    • [SPARK-48597][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
    • [SPARK-49065][SQL] Eski biçimlendiriciler ve ayrıştırıcılarda yeniden yapılandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
    • [SPARK-48706][PYTHON] Python UDF yüksek dereceli fonksiyonlarda iç hata oluşturmamalıdır
  • 1 Ağustos 2024
    • Bu sürüm, Spark Java arabirimindeki ColumnVector ve ColumnarArray sınıfları için bir hata düzeltmesi içerir. Bu düzeltmeden önce, eğer bu sınıflardan birinin örneği ArrayIndexOutOfBoundsException değerler içeriyorsa, bir null oluşturulabilir veya yanlış veriler döndürülebilirdi.
    • SHOW CREATE TABLE deyiminden elde edilen çıktı artık materyalize edilmiş bir görünümde veya akış tablosunda tanımlanan satır filtreleri veya sütun maskelerine dair her şeyi içerir. Bkz. SHOW CREATE TABLE. Satır filtreleri ve sütun maskeleri hakkında bilgi edinmek için bkz. Satır filtreleri ve sütun maskeleri.
    • [SPARK-47202][PYTHON] tzinfo ile tarih-saatlerde hataya yol açan yazım hatasını düzeltme
    • [SPARK-48705][PYTHON] pyspark ile başladığında açıkça worker_main kullanın
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Temmuz 2024
    • (Davranış değişikliği) Delta tablo kaynaklarına karşı önbelleğe alınan Veri Çerçeveleri artık kaynak tablonun üzerine yazılırsa geçersiz kılınır. Bu değişiklik, Delta tablolarındaki tüm durum değişikliklerinin önbelleğe alınmış sonuçları geçersiz kıldığı anlamına gelir. DataFrame'in kullanım ömrü boyunca tablo durumunu kalıcı hale getirmek için .checkpoint() kullanın.
    • Snowflake JDBC Sürücüsü 3.16.1 sürümüne güncelleştirildi
    • Bu sürüm, Databricks Container Services'da çalışırken Spark UI Ortamı sekmesinin doğru görüntülenmesini engelleyen bir soruna yönelik bir düzeltme içerir.
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator, kaydedilmiş dosya görev durumuyla tutarlı olmadığında aşamayı durdurmalıdır
    • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier'ın geç yeniden yazılmasını düzeltme
    • [SPARK-48503][SQL] Yanlışlıkla izin verilen ve eşdeğer olmayan sütunlarla gruplama yapılan geçersiz skaler alt sorgular düzeltildi.
    • [SPARK-48481][SQL][SS] Akış Veri Kümesine OptimizeOneRowPlan uygulamayın
    • [SPARK-48475][PYTHON] PySpark'ta _get_jvm_function iyileştirin.
    • [SPARK-48100][SQL] Şemada seçilmeyen iç içe yapı alanlarını atlama sorunlarını düzeltme
    • [SPARK-48445][SQL] Pahalı alt öğeleri olan satır içi UDF'ler yapmayın
    • [SPARK-48383][SS] Kafka'da startOffset seçeneğinde eşleşmeyen bölümler için daha iyi hata oluşturma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2024
    • Photon TopK kullanarak yapılan sıralama-penceresi optimizasyonunun, yapıları içeren bölümleri yanlış işlemesiyle ilgili bir hatayı düzeltir.
    • [SPARK-48276][PYTHON][BAĞLAN] için eksik __repr__ yöntemi ekleyin SQLExpression
    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage için hata iletisini iyileştirme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 21 Mayıs 2024
  • 9 Mayıs 2024
    • [SPARK-48044][PYTHON][BAĞLAN] Önbellek DataFrame.isStreaming
    • [SPARK-47956][SQL] Çözümlenmemiş LCA referansı için mantık kontrolü
    • [SPARK-47371] [SQL] XML: CDATA'da bulunan satır etiketlerini görmezden gel
    • [SPARK-47812][BAĞLAN] ForEachBatch çalışanı için SparkSession Serileştirme desteği
    • [SPARK-47895][SQL] group by all idempotent olmalıdır
    • [SPARK-47973][CORE] SparkContext.stop() ve daha sonrasında SparkContext.assertNotStopped() içinde arama konumunu günlüğe kaydetme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Nisan 2024
    • [SPARK-47704][SQL] spark.sql.json.enablePartialResults etkinleştirildiğinde JSON ayrıştırma "java.lang.ClassCastException" ile başarısız oluyor
    • [SPARK-47828][BAĞLAN][PYTHON] DataFrameWriterV2.overwrite geçersiz planla başarısız oluyor
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Nisan 2024
    • [SPARK-47309][SQL][XML] Şema çıkarım birimi testleri ekleme
    • [SPARK-46990][SQL] Event-hubs tarafından yayılan boş Avro dosyalarının yüklenmesi düzeltildi
    • [SPARK-47638][PS][CONNECT] PS'de sütun adı doğrulamayı atla
    • [SPARK-47509][SQL] Lambda ve daha yüksek sıralı işlevlerde alt sorgu ifadelerini engelleme
    • [SPARK-38708][SQL] Hive Meta Veri Deposu İstemcisini Hive 3.1 için 3.1.3'e yükseltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Nisan 2024
    • [SPARK-47322][PYTHON][BAĞLAN] withColumnsRenamed sütun adlarının çoğaltmasını withColumnRenamed ile tutarlı bir şekilde yönetme
    • [SPARK-47385] Option girişleriyle tuple kodlayıcılarını düzeltin.
    • [SPARK-47070] Alt sorgu yeniden yazıldıktan sonra geçersiz birleştirmeyi düzeltme
    • [SPARK-47218] [SQL] XML: SchemaOfXml DROPMALFORMED modunda başarısız olacak şekilde değiştirildi
    • [SPARK-47305][SQL] Plan hem toplu hem de akış içeriğine sahip olduğunda, LocalRelation'ın "isStreaming" bayrağını doğru etiketlemek amacıyla PruneFilters üzerinde düzeltmeler yapın.
    • [SPARK-47218][SQL] XML: XML belirteç oluşturucusunda açıklama satırı etiketlerini yoksay
    • "[SPARK-46861][CORE] DAGScheduler'da Kilitlenmeyi Önleme Değişikliğini Geri Al"
    • [SPARK-47300][SQL] quoteIfNeeded sayılarla başlayan tanımlayıcıları tırnak içine almalıdır
    • [SPARK-47368][SQL] ParquetRowConverter'da inferTimestampNTZ yapılandırma denetimini kaldırma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Mart 2024
    • [SPARK-47035][SS][BAĞLAN] İstemci Tarafı Dinleyici protokolü
    • [SPARK-47121][CORE] StandaloneSchedulerBackend'in kapanışı sırasında RejectedExecutionExceptions hatalarından kaçının
    • [SPARK-47145][SQL] Tablo tanımlayıcısını V2 stratejisi için satır veri kaynağı tarama yürütücüsüne geçirin.
    • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning yardımcı işlevine sahip olun
    • [SPARK-47167][SQL] JDBC anonim ilişkisi için somut sınıf ekleme
    • [SPARK-47129][BAĞLAN][SQL] Önbellek bağlantı planını düzgün hale getirme ResolveRelations
    • [SPARK-47044][SQL] Çıktıyı açıklamak için JDBC dış veri kaynakları için yürütülen sorgu ekleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Şubat 2024
    • MERGE komutunda kaynak olarak yerel koleksiyon kullanmanın numSourceRows işlem ölçümünün doğru satır sayısını ikiye katladığı bir sorun düzeltildi.
    • Tanımlı bir konuma sahip bir şema oluşturmak için artık kullanıcının HERHANGI BIR DOSYADA SELECT ve MODIFY ayrıcalıklarına sahip olması gerekir.
    • Artık Lakeflow üzerinde Otomatik Yükleyici, read_files, , COPY INTOSpark Bildirimli İşlem Hatları ve Databricks SQL kullanarak XML dosyalarını alabilirsiniz. XML dosya desteği şemayı otomatik olarak çıkarıp geliştirebilir, tür uyuşmazlıklarıyla verileri kurtarabilir, XSD kullanarak XML'yi doğrulayabilir, from_xml, schema_of_xml ve to_xml gibi SQL ifadelerini destekleyebilir. Diğer ayrıntılar için bkz . XML dosyası desteği . Daha önce dış spark-xml paketini kullandıysanız, geçiş kılavuzu için lütfen buraya bakın.
    • [SPARK-46954][SQL] XML: InputStreamReader'ı BufferedReader ile sarma işlemi yapma
    • [SPARK-46630][SQL] XML: Yazma işleminde XML öğesi adını doğrulama
    • [SPARK-46248][SQL] XML: ignoreCorruptFiles ve ignoreMissingFiles seçenekleri desteği
    • [SPARK-46954][SQL] XML: Şema dizini arama en iyi duruma getirme
    • [SPARK-47059][SQL] ALTER COLUMN v1 komutu için hata bağlamı ekleme
    • [SPARK-46993][SQL] Oturum değişkenleri için sabit katlama düzeltmesi
  • 8 Şubat 2024, İstanbul
    • Unity Kataloğu'nda materyalize edilmiş görünümlerde değişiklik veri akışı (CDF) sorguları desteklenmez ve bir Unity Kataloğu materyalize edilmiş görünümü kullanarak CDF sorgusu çalıştırma girişimi hata verir. Unity Kataloğu akış tabloları, Databricks Runtime 14.1 ve sonraki sürümlerinde AUTO özelliği taşımayan CDC tablolarında CDF sorgularını destekler. CDF sorguları, Databricks Runtime 14.0 ve önceki sürümlerde Unity Kataloğu akış tablolarında desteklenmez.
    • [SPARK-46930] Union türü alanlar için Avro'da özel ön ek desteği ekle.
    • [SPARK-46822] jdbc türünü jdbc'de katalizör türüne yazarken spark.sql.legacy.charVarcharAsString'e saygı gösterin.
    • [SPARK-46952] XML: Bozuk kaydın boyutunu sınırlayın.
    • [SPARK-46644] ISZero kullanmak için SQLMetric'de ekleme ve birleştirmeyi değiştirin.
    • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
    • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
    • [SPARK-46941] Boyuta Dayalı Pencere Fonksiyonu içeriyorsa üst k hesaplaması için pencere grubu sınır düğümü eklenemez.
    • [SPARK-46933] JDBCRDD kullanan bağlayıcılara sorgu yürütme süresi ölçümü ekleyin.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2024
    • [SPARK-46382] XML: için ignoreSurroundingSpacesbelgeyi güncelleştirin.
    • [SPARK-46382] XML: Öğeler arasında kesişen değerleri yakalayın.
    • [SPARK-46763] Yinelenen öznitelikler için ReplaceDeduplicateWithAggregate içindeki onay hatası düzeltildi.
    • [SPARK-46769]'yı Geri Alın Zaman Damgasıyla İlgili Şema Çıkarımını İnce Ayarlayın.
    • [SPARK-46677]dataframe["*"] çözünürlük düzeltildi.
    • [SPARK-46382] XML: Varsayılan ignoreSurroundingSpaces değeri true olarak ayarlanır.
    • [SPARK-46633] Avro okuyucusu sıfır uzunluklu blokları işleyecek şekilde düzeltildi.
    • [SPARK-45964] Katalizör paketi altındaki XML ve JSON paketindeki özel SQL erişimcisini kaldırın.
    • [SPARK-46581] AccumulatorV2'de isZero ile ilgili açıklamayı güncelleştirin.
    • [SPARK-45912] XSDToSchema API'sinin geliştirilmesi: Bulut depolama erişilebilirliği için HDFS API'sine geçin.
    • [SPARK-45182] Checksum tarafından belirlenen belirsiz ana aşamayı yeniden denedikten sonra, eski aşamadan gelen görev tamamlanmalarını yoksayın.
    • [SPARK-46660] ReattachExecute, SessionHolder'ın canlılığını kontrol eder ve günceller.
    • [SPARK-46610] Tablo oluştur seçeneği, seçeneklerde bir anahtar için değer olmadığında özel durum oluşturmalıdır.
    • [SPARK-46383] Sürücü yığını kullanımını, TaskInfo.accumulables() ömrünü azaltarak düşürün.
    • [SPARK-46769] Zaman damgasıyla ilgili şema çıkarımlarını daraltma.
    • [SPARK-46684] Bağımsız değişkenleri düzgün şekilde geçirmek için CoGroup.applyInPandas/Arrow yöntemini düzeltin.
    • [SPARK-46676] dropDuplicatesWithinWatermark, planın kurallı hale getirilmesinde başarısız olmamalıdır.
    • [SPARK-45962] XML'de treatEmptyValuesAsNulls kaldırın ve nullValue seçeneğini kullanın.
    • [SPARK-46541] Kendi kendine birleştirmede belirsiz sütun başvurusunu düzeltin.
    • [SPARK-46599] XML: Uyumluluk denetimi için TypeCoercion.findTightestCommonType kullanın.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Ocak 2024
    • Photon sorgusu tarafından döndürülen açıklama planının shuffle düğümü, yayın birleştirmenin parçası olan bir dağıtım işlemi sırasında bellek yetersizliği hatası meydana geldiğinde causedBroadcastJoinBuildOOM=true bayrağını ekleyecek şekilde güncellenir.
    • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
    • [SPARK-46261]DataFrame.withColumnsRenamed , dikte/harita sıralamasını korumalıdır.
    • [SPARK-46538]ALSModel.transform içindeki belirsiz sütun başvurusu sorununu düzeltin.
    • [SPARK-46145] spark.catalog.listTables tablo veya görünüm bulunamadığında özel durum oluşturmaz.
    • [SPARK-46484] Yardımcı işlevlerin plan kimliğini korumasını sağlayın resolveOperators .
    • [SPARK-46394] spark.sql.legacy.keepCommandOutputSchema true olarak ayarlandığında özel karakterler içeren şemalardaki spark.catalog.listDatabases() sorunlarını düzeltin.
    • [SPARK-46609] PartitioningPreservingUnaryExecNode'da üstel patlamadan kaçının.
    • [SPARK-46446] Doğruluk hatasını düzeltmek için bağıntılı OFFSET alt sorgularını devre dışı bırakın.
    • [SPARK-46152] XML: XML şeması çıkarımına DecimalType desteği ekleyin.
    • [SPARK-46602] Görünüm/tablo mevcut olmadığında görünüm oluşturulmasında allowExisting'nin yayılması.
    • [SPARK-45814] Bellek sızıntısını önlemek için ArrowConverters.createEmptyArrowBatch çağrısı close() yapın.
    • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
    • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
    • [SPARK-46600] Paylaşılan kodu SqlConf ile SqlApiConf arasında SqlApiConfHelper'a taşıyın.
    • [SPARK-46478] SPARK-43049'u, dize için oracle varchar(255) kullanmak amacıyla geri çevirin.
    • [SPARK-46417] hive.getTable çağrılırken, throwException false olduğunda başarısızlık yaşanmaz.
    • [SPARK-46153] XML: TimestampNTZType desteği ekleyin.
    • [SPARK-46056][BACKPORT] ByteArrayDecimalType varsayılan değeriyle Parquet vektörleştirilmiş okuma NPE'sı düzeltildi.
    • [SPARK-46466] Vektörleştirilmiş parquet okuyucu zaman damgası ntz için asla yeniden ayarlama yapmamalıdır.
    • [SPARK-46260]DataFrame.withColumnsRenamed dikte düzenine uygun olmalıdır.
    • [SPARK-46036] hata sınıfı raise_error işlevinden kaldırılıyor.
    • [SPARK-46294] init ile sıfır değerinin semantiğini temizleyin.
    • [SPARK-46173] Tarih ayrıştırma sırasında trimAll çağrısı atlanıyor.
    • [SPARK-46250] test_parity_listener'ı istikrara kavuştur.
    • [SPARK-46587] XML: XSD büyük tamsayı dönüştürmeyi düzeltin.
    • [SPARK-46396] Zaman damgası çıkarımı hata atmamalıdır.
    • [SPARK-46241] Sonsuz özyinelemeye düşmemesi için hata işleme yordamı düzeltildi.
    • [SPARK-46355] XML: Okuma tamamlandığında InputStreamReader'ı kapatın.
    • [SPARK-46370] Sütun varsayılanlarını değiştirdikten sonra tablodan sorgu yaparken oluşan hata düzeltildi.
    • [SPARK-46265] AddArtifact RPC'deki onaylar, bağlantı istemcisini eski kümelerle uyumsuz hale getirir.
    • [SPARK-46308] Özyinelemeli hata işlemeyi yasaklar.
    • [SPARK-46337] öğesinin saklamasını sağlayın CTESubstitutionPLAN_ID_TAG.
  • 14 Aralık 2023, Cumartesi
    • [SPARK-46141] spark.sql.legacy.ctePrecedencePolicy için varsayılan değeri DÜZELTİlDİ olarak değiştirin.
    • [SPARK-45730] ReloadingX509TrustManagerSuite'ı daha az flaky yapın.
    • [SPARK-45852] Günlüğe kaydetme sırasında özyineleme hatasını düzgün bir şekilde ele alın.
    • [SPARK-45808] SQL Özel Durumları için daha iyi hata işleme.
    • [SPARK-45920] ordinal ile gruplama idempotent olmalıdır.
    • "[SPARK-45649] " için OffsetWindowFunctionFramehazırlama çerçevesini geri alın.
    • [SPARK-45733] Birden çok yeniden deneme politikasını destekle.
    • [SPARK-45509] Spark Connect için df sütun başvurusu davranışı düzeltildi.
    • [SPARK-45655] CollectMetrics içindeki AggregateFunctions içinde belirlenemeyen ifadelere izin verin.
    • [SPARK-45905] Ondalık türler arasındaki en az ortak tür önce tam sayı basamaklarını korumalıdır.
    • [SPARK-45136] Ammonite desteği ile ClosureCleaner'ı geliştirin.
    • [SPARK-46255] Karmaşık tür desteği -> dize dönüştürme.
    • [SPARK-45859] ml.functions içindeki UDF nesnelerini gecikmeli hale getirin.
    • [SPARK-46028]Column.__getitem__ giriş sütununu kabul etmesini sağla.
    • [SPARK-45798] Sunucu tarafı oturum kimliğini onaylama.
    • [SPARK-45892] Optimizasyon planı doğrulamasını validateSchemaOutput ve validateExprIdUniqueness öğesini birbirinden ayıracak şekilde yeniden düzenleme.
    • [SPARK-45844] XML için büyük/küçük harf duyarlılığı uygulama.
    • [SPARK-45770]DataFrameDropColumns için Dataframe.drop planını tanıtın.
    • [SPARK-44790] XML: Python, connect ve SQL için uygulama ve bağlamaları to_xml.
    • [SPARK-45851] Scala istemcisinde birden çok ilkeyi destekleyin.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2023
    • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
    • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde kaçış karakteri olarak kullanılan getColumns alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • [SPARK-45852] Spark Connect için Python istemcisi artık metin dönüştürme sırasında özyineleme hataları yakalar.
    • [SPARK-45808] SQL özel durumları için geliştirilmiş hata işleme.
    • [SPARK-45920]GROUP BY sıra, sıranın yerini almaz.
    • [SPARK-45649] öğesini geri döndür.
    • [SPARK-45733] Birden çok yeniden deneme ilkesi için destek eklendi.
    • [SPARK-45509] Spark Connect için sütun başvurusu davranışı düzeltildi. df
    • [SPARK-45655] içinde AggregateFunctionsCollectMetricsbelirleyici olmayan ifadelere izin ver.
    • [SPARK-45905] Ondalık türleri arasındaki en az yaygın tür artık önce tam sayı basamaklarını korur.
    • [SPARK-45136] Ammonite desteğiyle geliştirin ClosureCleaner .
    • [SPARK-45859] UDF nesnelerini tembel hale ml.functions getirdi.
    • [SPARK-46028]Column.__getitem__ giriş sütunlarını kabul eder.
    • [SPARK-45798] Sunucu tarafı oturum kimliğini onaylama.
    • [SPARK-45892] Optimizasyon planı doğrulamasını validateSchemaOutput ve validateExprIdUniqueness öğesini birbirinden ayıracak şekilde yeniden düzenleme.
    • [SPARK-45844] XML için büyük/küçük harf duyarlılığı uygulama.
    • [SPARK-45770] için DataFrameDropColumns ve Dataframe.drop ile sütun çözünürlüğü düzeltildi.
    • [SPARK-44790] Python, Spark Connect ve SQL için to_xml uygulaması ve bağlamaları eklendi.
    • [SPARK-45851] Scala istemcisinde birden çok ilke için destek eklendi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 14.1

Bkz. Databricks Runtime 14.1 (EoS).

  • 10 Aralık 2024, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 26 Kasım 2024
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Kasım 2024
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns kuralı, UnresolvedAttribute'i çocuk çıktısıyla çözümler
    • [SPARK-49905] Karıştırmanın AQE tarafından değiştirilmesini önlemek için durum bilgisi olan operatörler için özel bir ShuffleOrigin kullanın.
  • 22 Ekim 2024, Cumartesi
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns kuralı, UnresolvedAttribute'i çocuk çıktısıyla çözümler
    • [SPARK-49905] Karıştırmanın AQE tarafından değiştirilmesini önlemek için durum bilgisi olan operatörler için özel bir ShuffleOrigin kullanın.
  • 10 Ekim 2024, Cumartesi
    • [BACKPORT] [SPARK-49474][SS] FlatMapGroupsWithState kullanıcı işlevi hatası için Hata sınıfını sınıflandırma
    • [SPARK-49743][SQL] GetArrayStructFields ayıklaması sırasında OptimizeCsvJsonExpr şema alanlarını değiştirmemelidir
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Eylül 2024, Cumartesi
    • [SPARK-49628][SQL] ConstantFolding değerlendirmeden önce durum bilgisi olan ifadeyi kopyalamalıdır
    • [SPARK-43242][CORE] Shuffle bozulması tanılamasında 'Beklenmeyen BlockId türü' hatasını düzeltme
    • [SPARK-48719][SQL] `RegrS` hesaplama hatasını düzelt.
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
    • [SPARK-46601] [CORE] handleStatusMessage'daki günlük hatasını düzelt
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Eylül 2024, Cumartesi
    • [SPARK-49526][CONNECT] ArtifactManager'da Windows stili yolları destekleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Ağustos 2024
    • [SPARK-49263][BAĞLAN] Spark Connect python istemcisi: Boole Dataframe okuyucu seçeneklerini tutarlı bir şekilde işleme
    • [SPARK-49056][SQL] ErrorClassesJsonReader null değerini düzgün işleyemiyor
  • 14 Ağustos 2024
    • [SPARK-48706][PYTHON] Python UDF yüksek dereceli fonksiyonlarda iç hata oluşturmamalıdır
    • [SPARK-48597][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
    • [SPARK-49065][SQL] Eski biçimlendiriciler ve ayrıştırıcılarda yeniden yapılandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
    • [SPARK-48050][SS] Sorgu başlangıcında mantıksal planı günlüğe kaydet
  • 1 Ağustos 2024
    • Bu sürüm, Spark Java arabirimindeki ColumnVector ve ColumnarArray sınıfları için bir hata düzeltmesi içerir. Bu düzeltmeden önce, eğer bu sınıflardan birinin örneği ArrayIndexOutOfBoundsException değerler içeriyorsa, bir null oluşturulabilir veya yanlış veriler döndürülebilirdi.
    • SHOW CREATE TABLE deyiminden elde edilen çıktı artık materyalize edilmiş bir görünümde veya akış tablosunda tanımlanan satır filtreleri veya sütun maskelerine dair her şeyi içerir. Bkz. SHOW CREATE TABLE. Satır filtreleri ve sütun maskeleri hakkında bilgi edinmek için bkz. Satır filtreleri ve sütun maskeleri.
    • [SPARK-48705][PYTHON] pyspark ile başladığında açıkça worker_main kullanın
    • [SPARK-47202][PYTHON] tzinfo ile tarih-saatlerde hataya yol açan yazım hatasını düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Temmuz 2024
    • (Davranış değişikliği) Delta tablo kaynaklarına karşı önbelleğe alınan Veri Çerçeveleri artık kaynak tablonun üzerine yazılırsa geçersiz kılınır. Bu değişiklik, Delta tablolarındaki tüm durum değişikliklerinin önbelleğe alınmış sonuçları geçersiz kıldığı anlamına gelir. DataFrame'in kullanım ömrü boyunca tablo durumunu kalıcı hale getirmek için .checkpoint() kullanın.
    • Bu sürüm, Databricks Container Services'da çalışırken Spark UI Ortamı sekmesinin doğru görüntülenmesini engelleyen bir soruna yönelik bir düzeltme içerir.
    • [SPARK-48475][PYTHON] PySpark'ta _get_jvm_function iyileştirin.
    • [SPARK-48445][SQL] Pahalı alt öğeleri olan satır içi UDF'ler yapmayın
    • [SPARK-48481][SQL][SS] Akış Veri Kümesine OptimizeOneRowPlan uygulamayın
    • [SPARK-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator, kaydedilmiş dosya görev durumuyla tutarlı olmadığında aşamayı durdurmalıdır
    • [SPARK-48503][SQL] Yanlışlıkla izin verilen ve eşdeğer olmayan sütunlarla gruplama yapılan geçersiz skaler alt sorgular düzeltildi.
    • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier'ın geç yeniden yazılmasını düzeltme
    • [SPARK-48100][SQL] Şemada seçilmeyen iç içe yapı alanlarını atlama sorunlarını düzeltme
    • [SPARK-48383][SS] Kafka'da startOffset seçeneğinde eşleşmeyen bölümler için daha iyi hata oluşturma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2024
    • Photon TopK kullanarak yapılan sıralama-penceresi optimizasyonunun, yapıları içeren bölümleri yanlış işlemesiyle ilgili bir hatayı düzeltir.
    • [SPARK-48276][PYTHON][BAĞLAN] için eksik __repr__ yöntemi ekleyin SQLExpression
    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage için hata iletisini iyileştirme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 21 Mayıs 2024
  • 9 Mayıs 2024
    • [SPARK-47371] [SQL] XML: CDATA'da bulunan satır etiketlerini görmezden gel
    • [SPARK-47895][SQL] group by all idempotent olmalıdır
    • [SPARK-47956][SQL] Çözümlenmemiş LCA referansı için mantık kontrolü
    • [SPARK-48044][PYTHON][BAĞLAN] Önbellek DataFrame.isStreaming
    • [SPARK-47973][CORE] SparkContext.stop() ve daha sonrasında SparkContext.assertNotStopped() içinde arama konumunu günlüğe kaydetme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Nisan 2024
    • [SPARK-47704][SQL] spark.sql.json.enablePartialResults etkinleştirildiğinde JSON ayrıştırma "java.lang.ClassCastException" ile başarısız oluyor
    • [SPARK-47828][BAĞLAN][PYTHON] DataFrameWriterV2.overwrite geçersiz planla başarısız oluyor
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Nisan 2024
    • [SPARK-47638][PS][CONNECT] PS'de sütun adı doğrulamayı atla
    • [SPARK-38708][SQL] Hive Meta Veri Deposu İstemcisini Hive 3.1 için 3.1.3'e yükseltme
    • [SPARK-47309][SQL][XML] Şema çıkarım birimi testleri ekleme
    • [SPARK-47509][SQL] Lambda ve daha yüksek sıralı işlevlerde alt sorgu ifadelerini engelleme
    • [SPARK-46990][SQL] Event-hubs tarafından yayılan boş Avro dosyalarının yüklenmesi düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Nisan 2024
    • [SPARK-47305][SQL] Plan hem toplu hem de akış içeriğine sahip olduğunda, LocalRelation'ın "isStreaming" bayrağını doğru etiketlemek amacıyla PruneFilters üzerinde düzeltmeler yapın.
    • [SPARK-47218][SQL] XML: XML belirteç oluşturucusunda açıklama satırı etiketlerini yoksay
    • [SPARK-47300][SQL] quoteIfNeeded sayılarla başlayan tanımlayıcıları tırnak içine almalıdır
    • [SPARK-47368][SQL] ParquetRowConverter'da inferTimestampNTZ yapılandırma denetimini kaldırma
    • [SPARK-47070] Alt sorgu yeniden yazıldıktan sonra geçersiz birleştirmeyi düzeltme
    • [SPARK-47322][PYTHON][BAĞLAN] withColumnsRenamed sütun adlarının çoğaltmasını withColumnRenamed ile tutarlı bir şekilde yönetme
    • [SPARK-47300] DecomposerSuite için düzeltme
    • [SPARK-47218] [SQL] XML: SchemaOfXml DROPMALFORMED modunda başarısız olacak şekilde değiştirildi
    • [SPARK-47385] Option girişleriyle tuple kodlayıcılarını düzeltin.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Mart 2024
    • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning yardımcı işlevine sahip olun
    • [SPARK-47145][SQL] Tablo tanımlayıcısını V2 stratejisi için satır veri kaynağı tarama yürütücüsüne geçirin.
    • [SPARK-47167][SQL] JDBC anonim ilişkisi için somut sınıf ekleme
    • [SPARK-47129][BAĞLAN][SQL] Önbellek bağlantı planını düzgün hale getirme ResolveRelations
    • "[SPARK-46861][CORE] DAGScheduler'da Kilitlenmeyi Önleme Değişikliğini Geri Al"
    • [SPARK-47044][SQL] Çıktıyı açıklamak için JDBC dış veri kaynakları için yürütülen sorgu ekleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Şubat 2024
    • MERGE komutunda kaynak olarak yerel koleksiyon kullanmanın numSourceRows işlem ölçümünün doğru satır sayısını ikiye katladığı bir sorun düzeltildi.
    • Tanımlı bir konuma sahip bir şema oluşturmak için artık kullanıcının HERHANGI BIR DOSYADA SELECT ve MODIFY ayrıcalıklarına sahip olması gerekir.
    • Artık Lakeflow üzerinde Otomatik Yükleyici, read_files, , COPY INTOSpark Bildirimli İşlem Hatları ve Databricks SQL kullanarak XML dosyalarını alabilirsiniz. XML dosya desteği şemayı otomatik olarak çıkarıp geliştirebilir, tür uyuşmazlıklarıyla verileri kurtarabilir, XSD kullanarak XML'yi doğrulayabilir, from_xml, schema_of_xml ve to_xml gibi SQL ifadelerini destekleyebilir. Diğer ayrıntılar için bkz . XML dosyası desteği . Daha önce dış spark-xml paketini kullandıysanız, geçiş kılavuzu için lütfen buraya bakın.
    • [SPARK-46248][SQL] XML: ignoreCorruptFiles ve ignoreMissingFiles seçenekleri desteği
    • [SPARK-47059][SQL] ALTER COLUMN v1 komutu için hata bağlamı ekleme
    • [SPARK-46954][SQL] XML: InputStreamReader'ı BufferedReader ile sarma işlemi yapma
    • [SPARK-46954][SQL] XML: Şema dizini arama en iyi duruma getirme
    • [SPARK-46630][SQL] XML: Yazma işleminde XML öğesi adını doğrulama
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 8 Şubat 2024, İstanbul
    • Unity Kataloğu'nda materyalize edilmiş görünümlerde değişiklik veri akışı (CDF) sorguları desteklenmez ve bir Unity Kataloğu materyalize edilmiş görünümü kullanarak CDF sorgusu çalıştırma girişimi hata verir. Unity Kataloğu akış tabloları, Databricks Runtime 14.1 ve sonraki sürümlerinde AUTO özelliği taşımayan CDC tablolarında CDF sorgularını destekler. CDF sorguları, Databricks Runtime 14.0 ve önceki sürümlerde Unity Kataloğu akış tablolarında desteklenmez.
    • [SPARK-46952] XML: Bozuk kaydın boyutunu sınırlayın.
    • [SPARK-45182] Checksum tarafından belirlenen belirsiz ana aşamayı yeniden denedikten sonra, eski aşamadan gelen görev tamamlanmalarını yoksayın.
    • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
    • [SPARK-46933] JDBCRDD kullanan bağlayıcılara sorgu yürütme süresi ölçümü ekleyin.
    • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
    • [SPARK-45582] Çıkış modu akış toplaması sırasında, "commit" işlemi yapıldıktan sonra depolama örneğinin kullanılmadığından emin olun.
    • [SPARK-46930] Union türü alanlar için Avro'da özel ön ek desteği ekle.
    • [SPARK-46941] Boyuta Dayalı Pencere Fonksiyonu içeriyorsa üst k hesaplaması için pencere grubu sınır düğümü eklenemez.
    • [SPARK-46396] Zaman damgası çıkarımı hata atmamalıdır.
    • [SPARK-46822] jdbc türünü jdbc'de katalizör türüne yazarken spark.sql.legacy.charVarcharAsString'e saygı gösterin.
    • [SPARK-45957] Yürütülemeyen komutlar için yürütme planı oluşturmaktan kaçının.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2024
    • [SPARK-46684] Bağımsız değişkenleri düzgün şekilde geçirmek için CoGroup.applyInPandas/Arrow yöntemini düzeltin.
    • [SPARK-46763] Yinelenen öznitelikler için ReplaceDeduplicateWithAggregate içindeki onay hatası düzeltildi.
    • [SPARK-45498] Takip: Eski aşama girişimlerinden görev tamamlama bildirimlerini görmezden gelin.
    • [SPARK-46382] XML: için ignoreSurroundingSpacesbelgeyi güncelleştirin.
    • [SPARK-46383] Sürücü yığını kullanımını, TaskInfo.accumulables() ömrünü azaltarak düşürün.
    • [SPARK-46382] XML: Varsayılan ignoreSurroundingSpaces değeri true olarak ayarlanır.
    • [SPARK-46677]dataframe["*"] çözünürlük düzeltildi.
    • [SPARK-46676] dropDuplicatesWithinWatermark, planın kurallı hale getirilmesinde başarısız olmamalıdır.
    • [SPARK-46633] Avro okuyucusu sıfır uzunluklu blokları işleyecek şekilde düzeltildi.
    • [SPARK-45912] XSDToSchema API'sinin geliştirilmesi: Bulut depolama erişilebilirliği için HDFS API'sine geçin.
    • [SPARK-46599] XML: Uyumluluk denetimi için TypeCoercion.findTightestCommonType kullanın.
    • [SPARK-46382] XML: Öğeler arasında kesişen değerleri yakalayın.
    • [SPARK-46769] Zaman damgasıyla ilgili şema çıkarımlarını daraltma.
    • [SPARK-46610] Tablo oluştur seçeneği, seçeneklerde bir anahtar için değer olmadığında özel durum oluşturmalıdır.
    • [SPARK-45964] Katalizör paketi altındaki XML ve JSON paketindeki özel SQL erişimcisini kaldırın.
    • [SPARK-46769]'yı Geri Alın Zaman Damgasıyla İlgili Şema Çıkarımını İnce Ayarlayın.
    • [SPARK-45962] XML'de treatEmptyValuesAsNulls kaldırın ve nullValue seçeneğini kullanın.
    • [SPARK-46541] Kendi kendine birleştirmede belirsiz sütun başvurusunu düzeltin.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Ocak 2024
    • Photon sorgusu tarafından döndürülen açıklama planının shuffle düğümü, yayın birleştirmenin parçası olan bir dağıtım işlemi sırasında bellek yetersizliği hatası meydana geldiğinde causedBroadcastJoinBuildOOM=true bayrağını ekleyecek şekilde güncellenir.
    • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
    • [SPARK-46538]ALSModel.transform içindeki belirsiz sütun başvurusu sorununu düzeltin.
    • [SPARK-46417] hive.getTable çağrılırken, throwException false olduğunda başarısızlık yaşanmaz.
    • [SPARK-46484] Yardımcı işlevlerin plan kimliğini korumasını sağlayın resolveOperators .
    • [SPARK-46153] XML: TimestampNTZType desteği ekleyin.
    • [SPARK-46152] XML: XML şeması çıkarımına DecimalType desteği ekleyin.
    • [SPARK-46145] spark.catalog.listTables tablo veya görünüm bulunamadığında özel durum oluşturmaz.
    • [SPARK-46478] SPARK-43049'u, dize için oracle varchar(255) kullanmak amacıyla geri çevirin.
    • [SPARK-46394] spark.sql.legacy.keepCommandOutputSchema true olarak ayarlandığında özel karakterler içeren şemalardaki spark.catalog.listDatabases() sorunlarını düzeltin.
    • [SPARK-46337] öğesinin saklamasını sağlayın CTESubstitutionPLAN_ID_TAG.
    • [SPARK-46466] Vektörleştirilmiş parquet okuyucu zaman damgası ntz için asla yeniden ayarlama yapmamalıdır.
    • [SPARK-46587] XML: XSD büyük tamsayı dönüştürmeyi düzeltin.
    • [SPARK-45814] Bellek sızıntısını önlemek için ArrowConverters.createEmptyArrowBatch çağrısı close() yapın.
    • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
    • [SPARK-46602] Görünüm/tablo mevcut olmadığında görünüm oluşturulmasında allowExisting'nin yayılması.
    • [SPARK-46173] Tarih ayrıştırma sırasında trimAll çağrısı atlanıyor.
    • [SPARK-46355] XML: Okuma tamamlandığında InputStreamReader'ı kapatın.
    • [SPARK-46600] Paylaşılan kodu SqlConf ile SqlApiConf arasında SqlApiConfHelper'a taşıyın.
    • [SPARK-46261]DataFrame.withColumnsRenamed , dikte/harita sıralamasını korumalıdır.
    • [SPARK-46056] ByteArrayDecimalType varsayılan değeriyle Parquet'teki vektörleştirilmiş okuma sırasında oluşan NPE hatası düzeltildi.
    • [SPARK-46260]DataFrame.withColumnsRenamed dikte düzenine uygun olmalıdır.
    • [SPARK-46250] test_parity_listener'ı istikrara kavuştur.
    • [SPARK-46370] Sütun varsayılanlarını değiştirdikten sonra tablodan sorgu yaparken oluşan hata düzeltildi.
    • [SPARK-46609] PartitioningPreservingUnaryExecNode'da üstel patlamadan kaçının.
    • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
  • 14 Aralık 2023, Cumartesi
    • JDBC veya ODBC istemcilerinden kaynaklanan getColumns işlemlerinde kaçış alt çizgilerinin yanlış işlendiği ve joker karakter olarak yorumlandığı bir sorun düzeltildi.
    • [SPARK-45509] Spark Connect için df sütun başvurusu davranışı düzeltildi.
    • [SPARK-45844] XML için büyük/küçük harf duyarlılığı uygulama.
    • [SPARK-46141] spark.sql.legacy.ctePrecedencePolicy için varsayılan değeri DÜZELTİlDİ olarak değiştirin.
    • [SPARK-46028]Column.__getitem__ giriş sütununu kabul etmesini sağla.
    • [SPARK-46255] Karmaşık tür desteği -> dize dönüştürme.
    • [SPARK-45655] CollectMetrics içindeki AggregateFunctions içinde belirlenemeyen ifadelere izin verin.
    • [SPARK-45433] Zaman damgaları belirtilen zaman formatıyla uyumlu olmadığında CSV/JSON şema çıkarımı düzeltildi.
    • [SPARK-45316] Yeni parametreleri ignoreCorruptFiles/ ve ignoreMissingFiles öğelerine ekleyin.
    • [SPARK-45852] Günlüğe kaydetme sırasında özyineleme hatasını düzgün bir şekilde ele alın.
    • [SPARK-45920] ordinal ile gruplama idempotent olmalıdır.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2023
    • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
    • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde kaçış karakteri olarak kullanılan getColumns alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
    • Otomatik Yükleyici veya akış tablolarını kullanarak CSV verileri alınırken, büyük CSV dosyaları artık bölünebilir ve hem şema çıkarımı hem de veri işleme sırasında paralel olarak işlenebilir.
    • [SPARK-45892] Optimizasyon planı doğrulamasını validateSchemaOutput ve validateExprIdUniqueness öğesini birbirinden ayıracak şekilde yeniden düzenleme.
    • [SPARK-45620] Python UDF ile ilgili API'ler artık camelCase kullanıyor.
    • [SPARK-44790] Python, Spark Connect ve SQL için to_xml uygulaması ve bağlamaları eklendi.
    • [SPARK-45770] için DataFrameDropColumns ve Dataframe.drop ile sütun çözünürlüğü düzeltildi.
    • [SPARK-45859] UDF nesnelerini tembel hale ml.functions getirdi.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • [SPARK-44784] SBT testlerinin hermetik olması sağlandı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Kasım 2023
    • [SPARK-45545], SparkTransportConf oluşturulurken SSLOptions'i devralır.
    • [SPARK-45250] Dinamik ayırma kapatıldığında yarn kümeleri için aşama düzeyinde görev kaynak profili desteği eklendi.
    • [SPARK-44753] PySpark SQL için XML DataFrame okuyucu ve yazıcı eklendi.
    • [SPARK-45396] Modül için PySpark.ml.connect bir belge girdisi eklendi.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • [SPARK-45541] SSLFactory eklendi.
    • [SPARK-45577] Adlandırılmış bağımsız değişkenlerden katlanmış değerleri geçirmek için UserDefinedPythonTableFunctionAnalyzeRunner düzeltildi.
    • [SPARK-45562] 'rowTag' gerekli bir seçenek haline getirildi.
    • [SPARK-45427] ve SSLOptionsöğesine SparkTransportConf RPC SSL ayarları eklendi.
    • [SPARK-43380] Avro okumada yavaşlama sorunu giderildi.
    • [SPARK-45430]FramelessOffsetWindowFunction artık IGNORE NULLS ve offset > rowCount durumlarında başarısız olmaz.
    • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
    • [SPARK-45386]StorageLevel.NONE yanlış şekilde 0 döndüren bir sorun düzeltildi.
    • [SPARK-44219] İyileştirme yeniden yazma işlemleri için kural başına doğrulama denetimleri eklendi.
    • [SPARK-45543] Diğer pencere işlevlerinin derece benzeri işlevlerle aynı pencere çerçevesine sahip olmadığı durumlarda soruna neden olan bir sorun InferWindowGroupLimit düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Eylül 2023, Cumartesi
    • [SPARK-44823] 23.9.1 sürümüne güncelleştirildi ve hatalı denetim düzeltildi black .
    • [SPARK-45339] PySpark artık tekrar denenen hataları günlüğe kaydeder.
    • Geri döndür [SPARK-42946] Değişken değiştirmeleri altında iç içe yerleştirilmiş hassas veriler düzeltildi.
    • [SPARK-44551] Açıklamalar, OSS ile eşitlemek üzere düzenlendi.
    • [SPARK-45360] Spark oturum oluşturucusu' ndan SPARK_REMOTEbaşlatmayı destekler.
    • [SPARK-45279] Tüm mantıksal planlara plan_id eklendi.
    • [SPARK-45425] için TINYINT için ShortType öğesi MsSqlServerDialect ile eşlendi.
    • [SPARK-45419] Sst dosya kimliklerinin yeniden kullanılmaması rocksdb için daha büyük sürümlerin dosya sürümü eşleme girdisi kaldırıldı.
    • [SPARK-45488] öğesindeki rowTag değer için destek eklendi.
    • [SPARK-42205] Olay günlüklerinde Accumulables başlatma olaylarında Task/Stage kaydı kaldırıldı.
    • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
    • [SPARK-45256] DurationWriter ilk kapasiteden daha fazla değer yazarken başarısız oluyor.
    • [SPARK-43380] Performans regresyonu oluşturmadan veri türü dönüştürme sorunları düzeltildi Avro .
    • [SPARK-45182] Aşama çıktısı belirsiz olduğunda tüm aşama görevlerinin yeniden denenebilmesi için eşleme aşamasını geri döndürme desteği eklendi.
    • [SPARK-45399] kullanılarak newOptionXML Seçenekleri eklendi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 14.0 (Veri analitiği platformu)

Bkz . Databricks Runtime 14.0 (EoS).

  • 8 Şubat 2024, İstanbul
    • [SPARK-46396] Zaman damgası çıkarımı hata atmamalıdır.
    • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
    • [SPARK-45182] Checksum tarafından belirlenen belirsiz ana aşamayı yeniden denedikten sonra, eski aşamadan gelen görev tamamlanmalarını yoksayın.
    • [SPARK-46933] JDBCRDD kullanan bağlayıcılara sorgu yürütme süresi ölçümü ekleyin.
    • [SPARK-45957] Yürütülemeyen komutlar için yürütme planı oluşturmaktan kaçının.
    • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
    • [SPARK-46930] Union türü alanlar için Avro'da özel ön ek desteği ekle.
    • [SPARK-46941] Boyuta Dayalı Pencere Fonksiyonu içeriyorsa üst k hesaplaması için pencere grubu sınır düğümü eklenemez.
    • [SPARK-45582] Çıkış modu akış toplaması sırasında, "commit" işlemi yapıldıktan sonra depolama örneğinin kullanılmadığından emin olun.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2024
    • [SPARK-46541] Kendi kendine birleştirmede belirsiz sütun başvurusunu düzeltin.
    • [SPARK-46676] dropDuplicatesWithinWatermark, planın kurallı hale getirilmesinde başarısız olmamalıdır.
    • [SPARK-46769] Zaman damgasıyla ilgili şema çıkarımlarını daraltma.
    • [SPARK-45498] Takip: Eski aşama girişimlerinden görev tamamlama bildirimlerini görmezden gelin.
    • [SPARK-46769]'yı Geri Alın Zaman Damgasıyla İlgili Şema Çıkarımını İnce Ayarlayın.
    • [SPARK-46383] Sürücü yığını kullanımını, TaskInfo.accumulables() ömrünü azaltarak düşürün.
    • [SPARK-46633] Avro okuyucusu sıfır uzunluklu blokları işleyecek şekilde düzeltildi.
    • [SPARK-46677]dataframe["*"] çözünürlük düzeltildi.
    • [SPARK-46684] Bağımsız değişkenleri düzgün şekilde geçirmek için CoGroup.applyInPandas/Arrow yöntemini düzeltin.
    • [SPARK-46763] Yinelenen öznitelikler için ReplaceDeduplicateWithAggregate içindeki onay hatası düzeltildi.
    • [SPARK-46610] Tablo oluştur seçeneği, seçeneklerde bir anahtar için değer olmadığında özel durum oluşturmalıdır.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Ocak 2024
    • Photon sorgusu tarafından döndürülen açıklama planının shuffle düğümü, yayın birleştirmenin parçası olan bir dağıtım işlemi sırasında bellek yetersizliği hatası meydana geldiğinde causedBroadcastJoinBuildOOM=true bayrağını ekleyecek şekilde güncellenir.
    • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
    • [SPARK-46394] spark.sql.legacy.keepCommandOutputSchema true olarak ayarlandığında özel karakterler içeren şemalardaki spark.catalog.listDatabases() sorunlarını düzeltin.
    • [SPARK-46250] test_parity_listener'ı istikrara kavuştur.
    • [SPARK-45814] Bellek sızıntısını önlemek için ArrowConverters.createEmptyArrowBatch çağrısı close() yapın.
    • [SPARK-46173] Tarih ayrıştırma sırasında trimAll çağrısı atlanıyor.
    • [SPARK-46484] Yardımcı işlevlerin plan kimliğini korumasını sağlayın resolveOperators .
    • [SPARK-46466] Vektörleştirilmiş parquet okuyucu zaman damgası ntz için asla yeniden ayarlama yapmamalıdır.
    • [SPARK-46056] ByteArrayDecimalType varsayılan değeriyle Parquet'teki vektörleştirilmiş okuma sırasında oluşan NPE hatası düzeltildi.
    • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
    • [SPARK-46478] SPARK-43049'u, dize için oracle varchar(255) kullanmak amacıyla geri çevirin.
    • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
    • [SPARK-46417] hive.getTable çağrılırken, throwException false olduğunda başarısızlık yaşanmaz.
    • [SPARK-46261]DataFrame.withColumnsRenamed , dikte/harita sıralamasını korumalıdır.
    • [SPARK-46370] Sütun varsayılanlarını değiştirdikten sonra tablodan sorgu yaparken oluşan hata düzeltildi.
    • [SPARK-46609] PartitioningPreservingUnaryExecNode'da üstel patlamadan kaçının.
    • [SPARK-46600] Paylaşılan kodu SqlConf ile SqlApiConf arasında SqlApiConfHelper'a taşıyın.
    • [SPARK-46538]ALSModel.transform içindeki belirsiz sütun başvurusu sorununu düzeltin.
    • [SPARK-46337] öğesinin saklamasını sağlayın CTESubstitutionPLAN_ID_TAG.
    • [SPARK-46602] Görünüm/tablo mevcut olmadığında görünüm oluşturulmasında allowExisting'nin yayılması.
    • [SPARK-46260]DataFrame.withColumnsRenamed dikte düzenine uygun olmalıdır.
    • [SPARK-46145] spark.catalog.listTables tablo veya görünüm bulunamadığında özel durum oluşturmaz.
  • 14 Aralık 2023, Cumartesi
    • JDBC veya ODBC istemcilerinden kaynaklanan getColumns işlemlerinde kaçış alt çizgilerinin yanlış işlendiği ve joker karakter olarak yorumlandığı bir sorun düzeltildi.
    • [SPARK-46255] Karmaşık tür desteği -> dize dönüştürme.
    • [SPARK-46028]Column.__getitem__ giriş sütununu kabul etmesini sağla.
    • [SPARK-45920] ordinal ile gruplama idempotent olmalıdır.
    • [SPARK-45433] Zaman damgaları belirtilen zaman formatıyla uyumlu olmadığında CSV/JSON şema çıkarımı düzeltildi.
    • [SPARK-45509] Spark Connect için df sütun başvurusu davranışı düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2023
    • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
    • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde kaçış karakteri olarak kullanılan getColumns alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
    • Otomatik Yükleyici veya akış tablolarını kullanarak CSV verileri alınırken, büyük CSV dosyaları artık bölünebilir ve hem şema çıkarımı hem de veri işleme sırasında paralel olarak işlenebilir.
    • Spark-snowflake bağlayıcısı 2.12.0 sürümüne yükseltilir.
    • [SPARK-45859] UDF nesnelerini tembel hale ml.functions getirdi.
    • [SPARK-45592] öğesini geri döndür.
    • [SPARK-45892] Optimizasyon planı doğrulamasını validateSchemaOutput ve validateExprIdUniqueness öğesini birbirinden ayıracak şekilde yeniden düzenleme.
    • [SPARK-45592] ile InMemoryTableScanExecAQE'deki doğruluk sorunu düzeltildi.
    • [SPARK-45620] Python UDF ile ilgili API'ler artık camelCase kullanıyor.
    • [SPARK-44784] SBT testlerinin hermetik olması sağlandı.
    • [SPARK-45770] için DataFrameDropColumns ve Dataframe.drop ile sütun çözünürlüğü düzeltildi.
    • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Kasım 2023
    • Unity Kataloğu'ndaki akış tabloları ve oluşturulmuş görünümlerde hata mesajlarını görüntülemek amacıyla veri besleme sorguları değiştirildi.
    • [SPARK-45545], SparkTransportConf oluşturulurken SSLOptions'i devralır.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • [SPARK-45427] ve SSLOptionsöğesine SparkTransportConf RPC SSL ayarları eklendi.
    • [SPARK-45541] eklendi SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction artık IGNORE NULLS ve offset > rowCount durumlarında başarısız olmaz.
    • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
    • [SPARK-44219] İyileştirme yeniden yazma işlemleri için kural başına ek doğrulamalar eklendi.
    • [SPARK-45543]InferWindowGroupLimit Diğer pencere işlevleri derece benzeri işlevlerle aynı pencere çerçevesine sahip değilse hata oluşturma sorunu düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 23 Ekim 2023, Cumartesi
    • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
    • [SPARK-45396] Modülü için PySpark.ml.connect belge girdisi eklendi ve Evaluator, __all__ üzerinde ml.connect konumuna eklendi.
    • [SPARK-45256] Başlangıç kapasitesinden daha fazla değer yazıldığında oluşan DurationWriter hatası düzeltildi.
    • [SPARK-45279] Tüm mantıksal planlara plan_id eklendi.
    • [SPARK-45250] Dinamik ayırma kapatıldığında yarn kümeleri için aşama düzeyinde görev kaynak profili desteği eklendi.
    • [SPARK-45182] Aşama çıktısı belirsiz olduğunda tüm aşama görevlerinin yeniden denenebilmesi için eşleme aşamasını geri döndürme desteği eklendi.
    • [SPARK-45419] Daha büyük sürümlerin rocksdb sst dosya sürümü eşleme girdilerini kaldırarak farklı rocksdb bir örnekteki dosyaları yeniden kullanmaktan kaçının.
    • [SPARK-45386]StorageLevel.NONE yanlış şekilde 0 döndüren bir sorun düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Ekim 2023, Cumartesi
    • Snowflake-jdbc bağımlılığı 3.13.29'dan 3.13.33'e yükseltildi.
    • İşlev array_insert , pozitif ve negatif dizinler için 1 tabanlıyken, daha önce negatif dizinler için 0 tabanlıydı. Şimdi -1 dizini için giriş dizilerinin sonuna yeni bir öğe ekler. Önceki davranışı geri yüklemek için spark.sql.legacy.negativeIndexInArrayInsert öğesini true olarak ayarlayın.
    • Azure Databricks, Otomatik Yükleyici ile csv şeması çıkarımı ignoreCorruptFiles etkinleştirdiğinde artık bozuk dosyaları yoksayamaz.
    • [SPARK-45227] ile CoarseGrainedExecutorBackendküçük bir iş parçacığı güvenliği sorunu düzeltildi.
    • [SPARK-44658]ShuffleStatus.getMapStatusNone yerine Some(null) döndürmelidir.
    • [SPARK-44910]Encoders.bean genel tür bağımsız değişkenleriyle üst sınıfları desteklemez.
    • [SPARK-45346] Parquet şema çıkarımı, şemaların birleştirilmesi sırasında büyük/küçük harfe duyarlı bayraklara dikkat eder.
    • [SPARK-42946] öğesini geri döndür.
    • [SPARK-42205] JSON protokolü, bir görev veya evre başlangıç olaylarındaki Accumulables günlüklerini kaldırmak için güncellendi.
    • [SPARK-45360] Spark oturum oluşturucusu' ndan SPARK_REMOTEbaşlatmayı destekler.
    • [SPARK-45316] Yeni parametreleri ignoreCorruptFiles/ ve ignoreMissingFiles öğelerine ekleyin.
    • [SPARK-44909] Meşale dağıtımcısı günlük akış sunucusunu kullanılabilir olmadığında çalıştırmayı atlayın.
    • [SPARK-45084]StateOperatorProgress şimdi doğru karıştırma bölüm numarasını kullanıyor.
    • [SPARK-45371] Spark Connect Scala İstemcisi'ndeki gölgelendirme sorunları düzeltildi.
    • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönmek.
    • [SPARK-44840] Negatif dizinler için 1 tabanlı yapın array_insert() .
    • [SPARK-44551] Açıklamalar, OSS ile eşitlemek üzere düzenlendi.
    • [SPARK-45078]ArrayInsert Öğe türü türetilmiş bileşen türüne eşit olmadığında işlev artık açık atama yapar.
    • [SPARK-45339] PySpark artık yeniden deneme hatalarını günlüğe kaydeder.
    • [SPARK-45057]keepReadLock değerinin False olduğu durumlarda okuma kilidi almaktan kaçının.
    • [SPARK-44908] Çapraz doğrulayıcı foldCol parametresi işlevselliği düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 13.1

Bkz . Databricks Runtime 13.1 (EoS).

  • 29 Kasım 2023
    • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde kaçış karakteri olarak kullanılan getColumns alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
    • [SPARK-44846] sonrasındaki RemoveRedundantAggregateskarmaşık gruplandırma ifadeleri kaldırıldı.
    • [SPARK-43802] unhex ve unbase64 ifadeleri için kod oluşturmanın başarısız olmasına neden olan bir sorun düzeltildi.
    • [SPARK-43718] Birleştirmelerdeki anahtarların null olma durumu düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Kasım 2023
    • Delta Lake akış sorgularında bölüm filtreleri, daha iyi kullanım elde etmek için hız sınırlamadan önce aşağı itilir.
    • Unity Kataloğu'ndaki akış tabloları ve oluşturulmuş görünümlerde hata mesajlarını görüntülemek amacıyla veri besleme sorguları değiştirildi.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • [SPARK-45430]FramelessOffsetWindowFunction artık IGNORE NULLS ve offset > rowCount durumlarında başarısız olmaz.
    • [SPARK-45543] Diğer pencere işlevlerinin derece benzeri işlevlerle aynı pencere çerçevesine sahip olmadığı durumlarda soruna neden olan bir sorun InferWindowGroupLimit düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Ekim 2023, Cumartesi
    • [SPARK-43799] PySpark Protobuf API'sine tanımlayıcı ikili seçeneği eklendi.
    • [SPARK-42946] öğesini geri döndür.
    • [SPARK-45346] Parquet şema çıkarımı, artık bir şemayı birleştirirken büyük/küçük harfe duyarlılık bayrağını dikkate alır.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Ekim 2023, Cumartesi
    • Snowflake-jdbc bağımlılığı 3.13.29'dan 3.13.33'e yükseltildi.
    • CSV şeması çıkartımı sırasında Otomatik Yükleyici ile ignoreCorruptFiles etkinleştirildiğinde bozuk dosyaları artık yoksaymıyor.
    • [SPARK-44658]ShuffleStatus.getMapStatusNone yerine Some(null) döndürüyor.
    • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönmek.
    • [SPARK-42205] JSON protokolü, bir görev veya evre başlangıç olaylarındaki Accumulables günlüklerini kaldırmak için güncellendi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 12 Eylül 2023, Cumartesi
    • [SPARK-44718] Hafıza modu yapılandırmasının varsayılan ayarını ColumnVector yapılandırma değeriyle OffHeapMemoryMode eşleştir.
    • SPARK-44878 Önbellek tamamlandığında ekleme istisnasını önlemek için yazma yöneticisindeki katı sınır devre dışı bırakıldı.
    • Çeşitli düzeltmeler.
  • 30 Ağustos 2023
    • [SPARK-44871] 'percentile_disc davranışı düzeltildi.
    • [SPARK-44714] Sorgular ile ilgili LCA çözümlemesi kısıtlamasını kolaylaştırma.
    • [SPARK-44245]PySpark.sql.dataframe sample() belge testleri artık yalnızca açıklayıcıdır.
    • [SPARK-44818]taskThread başlatılmadan önce verilen bekleyen görev kesintisi için yarış durumu düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Ağustos 2023
    • [SPARK-44485] İyileştirilmiş TreeNode.generateTreeString.
    • [SPARK-44643] Satır boş olduğunda düzeltildi Row.__repr__ .
    • [SPARK-44504] Bakım görevi artık yüklenen sağlayıcıları durdurma hatası meydana geldiğinde temizlemeye başlar.
    • [SPARK-44479] Boş bir yapı türünden dönüştürme düzeltildi protobuf .
    • [SPARK-44464] İlk sütun değeri olan satırların çıktısını almak için applyInPandasWithStatePythonRunner düzeltildi.
    • Çeşitli düzeltmeler.
  • 27 Temmuz 2023
    • dbutils.fs.ls()'nin, başka bir dış veya yönetilen depolama konumuyla çakışan bir depolama konumu yolu için çağrıldığında INVALID_PARAMETER_VALUE.LOCATION_OVERLAP döndürmesine neden olan bir sorun düzeltildi.
    • [SPARK-44199]CacheManager artık fileIndex gereksiz yere yenilenmez.
    • [SPARK-44448]DenseRankLimitIterator ve InferWindowGroupLimit kaynaklı yanlış sonuçlar hatası düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Temmuz 2023
    • Geri döndür [SPARK-42323].
    • [SPARK-41848] ile TaskResourceProfile ilgili fazla zamanlanmış görev sorunu düzeltildi.
    • [SPARK-44136]StateManager içinde, FlatMapGroupsWithStateExec'in sürücü yerine yürütücüde gerçekleştirilmesine sebep olan bir sorun düzeltildi.
    • [SPARK-44337] Any.getDefaultInstance olarak ayarlanmış herhangi bir alanın ayrıştırma hatalarına neden olduğu bir sorun düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Haziran 2023
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Haziran 2023
    • Fotona dönüştü approx_count_distinct.
    • JSON ayrıştırıcısı failOnUnknownFields modunda artık kaydı DROPMALFORMED modunda bırakır ve FAILFAST modunda doğrudan başarısız olur.
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • Öznitelikler PubSubRecord alanı, daha basit seri hale getirme ve seri durumdan çıkarma için Scala eşlemesinden alınan dize yerine JSON olarak depolanır.
    • Komut EXPLAIN EXTENDED şimdi sorgunun sonuç önbelleğine uygunluğunu döndürür.
    • Apache Iceberg ve Parquet ile SHALLOW CLONE artımlı güncelleştirmelerin performansını geliştirin.
    • [SPARK-43032] Python SQM hata düzeltmesi.
    • [SPARK-43404]Kimlik uyuşmazlığı hatasını önlemek için sst dosyasını Aynı RocksDB durum deposu sürümü için yeniden kullanma işlemini atlayın.
    • [SPARK-43340] Olay günlüklerinde eksik yığın izi alanını işleme.
    • [SPARK-43527] PySpark'ta düzeltildi catalog.listCatalogs .
    • [SPARK-43541] İfadelerin ve eksik sütunların çözümlemesinde tüm Project etiketlerini ilet.
    • [SPARK-43300]NonFateSharingCache Guava Cache için sarmalayıcı.
    • [SPARK-43378] içindeki deserializeFromChunkedBufferakış nesnelerini düzgün bir şekilde kapatın.
    • [SPARK-42852] ile ilgili değişiklikleri NamedLambdaVariablegeri çevirinEquivalentExpressions.
    • [SPARK-43779]ParseToDate artık ana iş parçacığında EvalMode yükleniyor.
    • [SPARK-43413] Alt sorgu IN null atanabilirliği düzeltildiListQuery.
    • [SPARK-43889] Hataya açık sütun adlarını filtrelemek için __dir__() için için sütun adı denetimi ekleyin.
    • [SPARK-43043] .updateMapOutput'un MapOutputTrackerperformansı iyileştirildi
    • [SPARK-43522] Dizi indeksi ile yapı sütun adını oluşturma hatası düzeltildi.
    • [SPARK-43457] Kullanıcı aracısını işletim sistemi, Python ve Spark sürümleriyle genişletin.
    • [SPARK-43286] Rastgele IV'ler oluşturmak için CBC modu güncelleştirildi aes_encrypt .
    • [SPARK-42851] ile EquivalentExpressions.addExpr()korumasupportedExpression().
    • [SPARK-43183] öğesini geri döndür.
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 13.0

Bkz . Databricks Runtime 13.0 (EoS).

  • 13 Ekim 2023, Cumartesi
    • Snowflake-jdbc bağımlılığı 3.13.29'dan 3.13.33'e yükseltildi.
    • [SPARK-42553][SQL] Her zaman dilimi sonrasında en az bir zaman birimi bulunduğundan emin olun.
    • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklar için Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönülmesi.
    • [SPARK-44658][CORE] ShuffleStatus.getMapStatus, None yerine Some(null) döndürüyor.
    • [SPARK-42205][CORE] Görev/Aşama başlangıç olaylarında biriktirilebilirlerin günlüğe kaydedilmesini kaldırınJsonProtocol.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 12 Eylül 2023, Cumartesi
    • [SPARK-44485][SQL] en iyi duruma getir TreeNode.generateTreeString.
    • [SPARK-44718][SQL] Bellek modu yapılandırmasını varsayılan yapılandırma değeriyle eşleşecek şekilde ayarlayınColumnVectorOffHeapMemoryMode.
    • Çeşitli hata düzeltmeleri.
  • 30 Ağustos 2023
    • [SPARK-44818][Backport] Başlatılmadan önce taskThread verilen bekleyen görev kesintisi için yarış düzeltildi.
    • [SPARK-44714] Sorgular ile ilgili LCA çözümlemesi kısıtlamasını kolaylaştırma.
    • [SPARK-44245][PYTHON] pyspark.sql.dataframe sample() doctests artık yalnızca açıklayıcıdır.
    • [SPARK-44871][11.3-13.0][SQL] Sabit percentile_disc davranış.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Ağustos 2023
    • [SPARK-44643][SQL][PYTHON] Satır boş olduğunda düzeltme Row.__repr__ .
    • [SPARK-44504][Backport] Bakım görevi, durdurma hatasında yüklenen sağlayıcıları temizler.
    • [SPARK-44479][BAĞLAN][PYTHON] Boş bir yapı türünden dönüştürme düzeltildi protobuf .
    • [SPARK-44464][SS] applyInPandasWithStatePythonRunner ilk sütun değeri olan çıkış satırlarını üretmek için düzeltildiNull.
    • Çeşitli hata düzeltmeleri.
  • 29 Temmuz 2023
    • dbutils.fs.ls()'ın, diğer dış veya yönetilen depolama konumlarıyla çakışan bir depolama konumu yolu için çağrıldığında INVALID_PARAMETER_VALUE.LOCATION_OVERLAP döndürmesine neden olan bir hata düzeltildi.
    • [SPARK-44199]CacheManager artık fileIndex gereksiz yere yenilenmez.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Temmuz 2023
    • [SPARK-44337][PROTOBUF] Any.getDefaultInstance olarak ayarlanan herhangi bir alanın ayrıştırma hatalarına neden olduğu bir sorun düzeltildi.
    • [SPARK-44136] [SS] içindeki bir sorun giderildi, bu sorun StateManager içeriğinin sürücü yerine yürütücüde gerçekleştirilmesine neden oluyordu.
    • Eski haline döndür [SPARK-42323][SQL] Ad ataması yap _LEGACY_ERROR_TEMP_2332.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 23 Haziran 2023
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Haziran 2023
    • Fotona dönüştü approx_count_distinct.
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • [SPARK-43156][SPARK-43098][SQL] DecorrelateInnerQuery devre dışı bırakılmış olarak skaler alt sorgu sayısı hata testini genişletme
    • [SPARK-43779][SQL] ParseToDate şimdi ana iş parçacığında yüklenir EvalMode.
    • [SPARK-42937][SQL] PlanSubqueries true olarak ayarlanmalıdır InSubqueryExec#shouldBroadcast
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 2 Haziran 2023
    • JSON ayrıştırıcısı failOnUnknownFields modda bir kaydı DROPMALFORMED modda bırakır ve FAILFAST modunda doğrudan başarısız olur.
    • Artımlı güncellemelerin performansını Iceberg ve Parquet ile geliştirin.
    • Otomatik Yükleyici'de sağlanan şemada türetilmiş bölümler bulunmadığında, farklı kaynak dosya biçimlerinin uyumsuz olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
    • [SPARK-43404][Backport] Kimlik uyuşmazlığı hatasını önlemek için aynı RocksDB durum deposu sürümü için sst dosyasını yeniden kullanma işlemini atlayın.
    • [SPARK-43340][CORE] Olay günlüklerinde eksik yığın izleme alanı düzeltildi.
    • [SPARK-43300][CORE] NonFateSharingCache Guava Cache için sarmalayıcı.
    • [SPARK-43378][CORE] içindeki deserializeFromChunkedBufferakış nesnelerini düzgün bir şekilde kapatın.
    • [SPARK-16484][SQL] DataSketches'i temsil etmek için 8 bit yazmaçlar kullanın.
    • [SPARK-43522][SQL] Dizi diziniyle yapı sütun adı oluşturma düzeltildi.
    • [SPARK-43413][11.3-13.0][SQL] Alt sorgu IN null atanabilirliği düzeltildiListQuery.
    • [SPARK-43043][CORE] Geliştirilmiş MapOutputTracker.updateMapOutput performans.
    • [SPARK-16484][SQL] DataSketches HllSketch desteği eklendi.
    • [SPARK-43123][SQL] İç alan meta verileri artık kataloglara sızmaz.
    • [SPARK-42851][SQL] ile EquivalentExpressions.addExpr()korumasupportedExpression().
    • [SPARK-43336][SQL] Timestamp ve TimestampNTZ arasında dönüştürme yapılması için saat dilimi gerekir.
    • [SPARK-43286][SQL] Rastgele IV'ler oluşturmak için CBC modu güncelleştirildi aes_encrypt .
    • [SPARK-42852][SQL] ile ilgili değişiklikler NamedLambdaVariable geri döndürüldü EquivalentExpressions.
    • [SPARK-43541][SQL] İfadelerin ve eksik sütunların çözümünde tüm Project etiketlerini yay...
    • [SPARK-43527][PYTHON] PySpark'ta düzeltildi catalog.listCatalogs .
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Mayıs 2023
    • Unity Kataloğu'nda kayıtlı Delta tabloları için varsayılan iyileştirilmiş yazma desteği, bölümlenmiş tablolar için CTAS deyimlerini ve INSERT işlemlerini içerecek şekilde genişletilmiştir. Bu davranış, SQL ambarlarında varsayılanlara hizalanır. Bkz. İyileştirilmiş yazma işlemleri.
  • 17 Mayıs 2023
    • _metadata.file_path ve _metadata.file_name öğelerinin yanlış biçimlendirilmiş dizeler döndürmesine neden olan bir regresyon düzeltildi. Örneğin, artık boşluklu bir yol yerine s3://test-bucket/some%20directory/some%20data.csvolarak s3://test-bucket/some directory/some data.csv temsil edilir.
    • Parquet taramaları artık toplu iş boyutunu dinamik olarak ayarlayarak olağanüstü yapılandırılmış dosyaları tararken OOM'lere karşı sağlamdır. Dosya meta verileri, toplu işlem boyutunu önceden azaltmak için analiz edilir ve görev yeniden denemelerinde ek bir güvenlik katmanı olarak tekrar azaltılır.
      • Bir Avro dosyası yalnızca failOnUnknownFields seçeneğiyle veya failOnNewColumns şeması evrim modunda Otomatik Yükleyici ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata atmak yerine null olarak okunur. Bu okumalar artık başarısız oluyor ve kullanıcılara rescuedDataColumn seçeneğini kullanmalarını öneriyor.
    • Otomatik Yükleyici şimdi aşağıdakileri yapar.
      • Bu veri türlerinden biri sağlandığında, Integer, Short ve Byte türlerini doğru okur ancak artık kurtarmaz; fakat Avro dosyası diğer iki türden birini önerirse.
      • Bozuk tarihlerin oluşmasını önlemek için aralık türlerinin tarih veya zaman damgası türleri olarak okunmasını engeller.
      • Daha düşük hassasiyete sahip Decimal türlerinin okunmasını önler.
    • [SPARK-43172] [BAĞLAN] Spark bağlantı istemcisinden konağı ve belirteci kullanıma sunar.
    • [SPARK-43293][SQL] __qualified_access_only normal sütunlarda görmezden gelinir.
    • [SPARK-43098][SQL] Skaler alt sorgunun bir yan tümceye göre gruplandırılması sırasında oluşan doğruluk hatası düzeltildi.
    • [SPARK-43085][SQL] Çok parçalı tablo adları için sütun DEFAULT atama desteği.
    • [SPARK-43190][SQL] ListQuery.childOutput artık ikincil çıkışla tutarlıdır.
    • [SPARK-43192] [BAĞLAN] Kullanıcı agent karakter seti doğrulaması kaldırıldı.
  • 25 Nisan 2023
    • Delta tablosu özelliği için destek eklemek amacıyla Delta tablosunu DeltaTable.addFeatureSupport(feature_name) kullanarak değiştirebilirsiniz.
    • Komutu SYNC artık eski veri kaynağı biçimlerini destekliyor.
    • Python not defterinde başka komutlar çalıştırmadan önce Python biçimlendiricinin kullanılması not defteri yolunun sys.path. eksik olmasına neden olabilen bir hata düzeltildi
    • Azure Databricks artık Delta tablolarının sütunları için varsayılan değerleri belirtmeyi destekliyor. INSERT, UPDATE, DELETEve MERGE komutları, açık DEFAULT anahtar sözcüğünü kullanarak bir sütunun varsayılan değerine başvurabilir. INSERT Hedef tablodan daha az sütun içeren açık bir listeye sahip komutlar için, karşılık gelen sütun varsayılan değerleri kalan sütunlar (veya NULL varsayılan belirtilmemişse) ile değiştirilir.
  • Web terminalinin bazı kullanıcılar için /Workspace dosyalarına erişim sağlanamaması hatasını düzeltir.
    • Parquet dosyası yalnızca failOnUnknownFields seçeneğiyle veya failOnNewColumns şeması evrim modunda Otomatik Yükleyici ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata oluşturmak yerine null olarak okunur. Bu okumalar artık başarısız oluyor ve kullanıcılara rescuedDataColumn seçeneğini kullanmalarını öneriyor.
    • Otomatik Yükleyici, bu veri türlerinden biri sağlanmışsa Integer, Short, Byte türlerini artık doğru şekilde okur ve kurtarmaz. Parquet dosyası diğer iki türden birini önerir. Kurtarılan veri sütunu daha önce etkinleştirildiğinde, veri türü uyuşmazlığı okunabilir olsalar bile sütunların kurtarılmalarına neden olurdu.
    • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir hata düzeltildi.
    • [SPARK-42794][SS] Yapılandırılmış Akış'ta RocksDB durum deposunu almak için lockAcquireTimeoutMs değerini 2 dakikaya yükseltin.
    • [SPARK-39221][SQL] Thrift sunucu işi/aşama sekmesi için hassas bilgilerin doğru şekilde düzeltilmesi.
    • [SPARK-42971][CORE] Çalışan işleyici workdir olayını ele aldığında, appDirs null ise WorkDirCleanup yazdırılacak şekilde değiştirin.
    • [SPARK-42936][SQL] Having yan tümcesi doğrudan alt toplam tarafından çözümlenebildiğinde LCA hatasını düzeltin.
    • [SPARK-43018][SQL] Zaman damgası değişmez değerlerine sahip komutlar için INSERT hata düzeltildi.
    • Geri al [SPARK-42754][SQL][UI] İç içe SQL çalıştırmasında geriye dönük uyumluluk sorununu düzeltin.
    • Revert [SPARK-41498] Union aracılığıyla meta verileri yayma.
    • [SPARK-43038][SQL] tarafından CBC modunu destekler aes_encrypt()/aes_decrypt().
    • [SPARK-42928][SQL] resolvePersistentFunction senkronize et.
    • [SPARK-42521][SQL] Kullanıcı tarafından belirtilen, hedef tablodan daha az sütun içeren listelerle NULL değerleri ekleyinINSERT.
    • [SPARK-41391][SQL] çıkış sütun adı groupBy.agg(count_distinct) yanlıştı.
    • [SPARK-42548][SQL] Öznitelikleri yeniden yazmayı atlamak için ekleyin ReferenceAllColumns .
    • [SPARK-42423][SQL] Meta veri sütun dosyası bloğu başlangıç ve uzunluğu ekleyin.
    • [SPARK-42796][SQL] içindeki TimestampNTZsütunlara erişme desteğiCachedBatch.
    • [SPARK-42266][PYTHON] IPython kullanıldığında shell.py çalıştırmada üst dizini kaldırın.
    • [SPARK-43011][SQL] array_insert 0 diziniyle başarısız olmalıdır.
    • [SPARK-41874][BAĞLAN][PYTHON] Spark Connect'te SameSemantics desteği.
    • [SPARK-42702][SPARK-42623][SQL] Alt sorgu ve CTE'de parametreli sorguyu destekleyin.
    • [SPARK-42967][CORE] Aşama iptal edildikten sonra bir görev başlatıldığında oluşan sorun SparkListenerTaskStart.stageAttemptId düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 12.2 LTS

Bkz. Databricks Runtime 12.2 LTS (EoS).

  • 26 Şubat 2026

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 19 Şubat 2026

    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Ocak 2026
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Ocak 2026
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Aralık 2025, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Kasım 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 4 Kasım 2025
    • Güncelleştirilmiş R kitaplıkları:
      • 10.0.0'dan 21.0.0'a kadar
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 21 Ekim 2025
    • Python 2.7.18'den 2.7.18.1'e güncelleştirildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 7 Ekim 2025, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Eylül 2025, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Eylül 2025, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 26 Ağustos 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Ağustos 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Temmuz 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Temmuz 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Temmuz 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 3 Haziran 2025
    • güncelleştirilmiş Python kitaplıkları:
      • 2019.11.28 - 2021.10.8 ve 2021.10.8 tarihleri arasında geçerlidir.
      • chardet 3.0.4 ve 4.0.0 sürümünden 4.0.0 sürümüne
      • idna 2.8, 3.3'ten 3.3'e
      • 2.22.0'dan 2.27.1'e kadar istekler
      • 1.14.0'dan 1.16.0'a kadar altı versiyon, 1.16.0
      • urllib3 1.25.8'den 1.26.9'a güncellendi
      • pip 21.2.4 eklendi
      • Kurulum araçları 61.2.0 eklendi
      • tomli 1.2.2 eklendi
      • wcwidth 0.2.5 eklendi
      • Tekerlek 0.37.0 eklendi
      • Dağıtım 1.4.0 kaldırıldı
      • Distro-info 0.23+ubuntu1.1 kaldırıldı
      • python-apt 2.0.1+ubuntu0.20.4.1 kaldırıldı
    • güncelleştirilmiş Java kitaplıkları:
      • yazılım.amazon.cryptools.AmazonCorrettoCryptoProvider sürüm 1.6.1-linux-x86_64'dan sürüm 1.6.1'e
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 20 Mayıs 2025
    • [SPARK-42655][SQL] Belirsiz sütun referansı yanlışı hatası
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Nisan 2025
    • [Davranış Değişikliği] Vakum işlemleri artık diğer işlemlere benzer Yazıcı protokolü denetimleri gerçekleştirerek uyumsuz eski Databricks Runtime sürümlerinden çalıştırıldığında daha yeni özelliklere sahip tablolarda beklenmeyen temizlemeleri önlüyor.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Nisan 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 11 Mart 2025

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 10 Aralık 2024, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 26 Kasım 2024

    • Çeşitli hata düzeltmeleri.

  • 10 Ekim 2024, Cumartesi

    • [SPARK-49743][SQL] GetArrayStructFields ayıklaması sırasında OptimizeCsvJsonExpr şema alanlarını değiştirmemelidir

  • 25 Eylül 2024, Cumartesi

    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" düzeltildi
    • [SPARK-46601] [CORE] handleStatusMessage'daki günlük hatasını düzelt
    • Çeşitli hata düzeltmeleri.

  • 17 Eylül 2024, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Ağustos 2024

    • Çeşitli hata düzeltmeleri.

  • 14 Ağustos 2024

    • [SPARK-48941][SPARK-48970] Backport ML yazıcı / okuyucu düzeltmeleri
    • [SPARK-49065][SQL] Eski biçimlendiriciler ve ayrıştırıcılarda yeniden yapılandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
    • [SPARK-49056][SQL] ErrorClassesJsonReader null değerini düzgün işleyemiyor
    • [SPARK-48597][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
    • [SPARK-48463][ML] İç içe giriş sütunlarını destekleyen StringIndexer yapın
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Ağustos 2024

  • 1 Ağustos 2024

    • Gerekli güvenlik düzeltme eklerini uygulamak için Databricks Runtime 12.2 LTS'deki Python sürümü 3.9.5'ten 3.9.19'a yükseltilir.

  • 11 Temmuz 2024

    • (Davranış değişikliği) Delta tablo kaynaklarına karşı önbelleğe alınan Veri Çerçeveleri artık kaynak tablonun üzerine yazılırsa geçersiz kılınır. Bu değişiklik, Delta tablolarındaki tüm durum değişikliklerinin önbelleğe alınmış sonuçları geçersiz kıldığı anlamına gelir. DataFrame'in kullanım ömrü boyunca tablo durumunu kalıcı hale getirmek için .checkpoint() kullanın.
    • [SPARK-48481][SQL][SS] Akış Veri Kümesine OptimizeOneRowPlan uygulamayın
    • [SPARK-47070] Alt sorgu yeniden yazıldıktan sonra geçersiz birleştirmeyi düzeltme
    • [SPARK-42741][SQL] Sabit değer null olduğunda ikili karşılaştırmada tür dönüştürmelerini kaldırmayın
    • [SPARK-48445][SQL] Pahalı alt öğeleri olan satır içi UDF'ler yapmayın
    • [SPARK-48503][SQL] Yanlışlıkla izin verilen ve eşdeğer olmayan sütunlarla gruplama yapılan geçersiz skaler alt sorgular düzeltildi.
    • [SPARK-48383][SS] Kafka'da startOffset seçeneğinde eşleşmeyen bölümler için daha iyi hata oluşturma
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 17 Haziran 2024

    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage için hata iletisini iyileştirme
    • Çeşitli hata düzeltmeleri.

  • 21 Mayıs 2024

    • [SPARK-48105][SS] Durum deposu kaldırma ve anlık görüntü oluşturma arasındaki yarış durumunu düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 9 Mayıs 2024

    • [SPARK-44251][SQL] Tam dış USING JOIN işleminde birleştirilmiş birleştirme anahtarında nullable ayarını doğru ayarlama
    • [SPARK-47973][CORE] SparkContext.stop() ve daha sonrasında SparkContext.assertNotStopped() içinde arama konumunu günlüğe kaydetme
    • [SPARK-47956][SQL] Çözümlenmemiş LCA referansı için mantık kontrolü
    • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange oluşturulurken eksik param hatasına neden olan null groupId değeri düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 25 Nisan 2024

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 11 Nisan 2024

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Nisan 2024

    • [SPARK-47305][SQL] Plan hem toplu hem de akış içeriğine sahip olduğunda, LocalRelation'ın "isStreaming" bayrağını doğru etiketlemek amacıyla PruneFilters üzerinde düzeltmeler yapın.
    • [SPARK-44252][SS] Yeni bir hata sınıfı tanımlayın ve DFS'den yükleme durumunun başarısız olduğu durum için uygulayın
    • [SPARK-47135][SS] Kafka veri kaybı özel durumları için hata sınıfları uygulama
    • [SPARK-47200][SS] Foreach toplu havuz kullanıcı işlevi hatası için hata sınıfı
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 14 Mart 2024

    • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning yardımcı işlevine sahip olun
    • Geri Al "[SPARK-46861][CORE] DAGScheduler'da Kilitlenmeyi Önle"
    • [SPARK-47125][SQL] Univocity hiçbir zaman ayrıştırma tetiklemiyorsa null döndür
    • [SPARK-47167][SQL] JDBC anonim ilişkisi için somut sınıf ekleme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Şubat 2024

    • MERGE komutunda kaynak olarak yerel koleksiyon kullanmanın numSourceRows işlem ölçümünün doğru satır sayısını ikiye katladığı bir sorun düzeltildi.
    • Tanımlı bir konuma sahip bir şema oluşturmak için artık kullanıcının HERHANGI BIR DOSYADA SELECT ve MODIFY ayrıcalıklarına sahip olması gerekir.
    • [SPARK-45582][SS] Çıkış modu akış toplama işlemi içinde komut işlemi çağrıldıktan sonra depolama örneğinin kullanılmadığından emin olunmalıdır.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 13 Şubat 2024

    • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
    • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 31 Ocak 2024

    • [SPARK-46763] Yinelenen öznitelikler için ReplaceDeduplicateWithAggregate içindeki onay hatası düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 25 Aralık 2023, Cumartesi

    • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
    • [SPARK-39440] Olay zaman çizelgesini devre dışı bırakmak için bir yapılandırma ekleyin.
    • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
    • [SPARK-46394] spark.sql.legacy.keepCommandOutputSchema true olarak ayarlandığında özel karakterler içeren şemalardaki spark.catalog.listDatabases() sorunlarını düzeltin.
    • [SPARK-46417] hive.getTable çağrılırken, throwException false olduğunda başarısızlık yaşanmaz.
    • [SPARK-43067] Kafka bağlayıcısında hata sınıfı kaynak dosyasının konumunu düzeltin.
    • [SPARK-46249] Arka plan işlemleriyle yarışmayı önlemek için RocksDB ölçümlerinin elde edilmesi için örnek kilidi gereklidir.
    • [SPARK-46602] Görünüm/tablo mevcut olmadığında görünüm oluşturulmasında allowExisting'nin yayılması.
    • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
    • [SPARK-46145] spark.catalog.listTables tablo veya görünüm bulunamadığında özel durum oluşturmaz.
    • [SPARK-46538]ALSModel.transform içindeki belirsiz sütun başvurusu sorununu düzeltin.
    • [SPARK-42852] NamedLambdaVariable ile ilgili değişiklikleri EquivalentExpressions'tan geri alın.

  • 14 Aralık 2023, Cumartesi

    • JDBC veya ODBC istemcilerinden kaynaklanan getColumns işlemlerinde kaçış alt çizgilerinin yanlış işlendiği ve joker karakter olarak yorumlandığı bir sorun düzeltildi.
    • [SPARK-44582] Temizlenmişse SMJ'deki yineleyiciyi atlayın.
    • [SPARK-45920] ordinal ile gruplama idempotent olmalıdır.
    • [SPARK-45655] CollectMetrics içindeki AggregateFunctions içinde belirlenemeyen ifadelere izin verin.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Kasım 2023

    • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
    • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde kaçış karakteri olarak kullanılan getColumns alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
    • [SPARK-42205]Stage ve Task başlatma olaylarında günlük akümülasyonlar kaldırıldı.
    • [SPARK-44846] sonrasındaki RemoveRedundantAggregateskarmaşık gruplandırma ifadeleri kaldırıldı.
    • [SPARK-43718] Birleştirmelerdeki anahtarların null olma durumu düzeltildi.
    • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
    • [SPARK-43973] Structured Streaming UI artık başarısız sorguları doğru şekilde görüntülüyor.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • [SPARK-45859] UDF nesnelerini tembel hale ml.functions getirdi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 14 Kasım 2023

    • Delta Lake akış sorgularında bölüm filtreleri, daha iyi kullanım elde etmek için hız sınırlamadan önce aşağı itilir.
    • [SPARK-45545], SparkTransportConf oluşturulurken SSLOptions'i devralır.
    • [SPARK-45427] ve SSLOptionsöğesine SparkTransportConf RPC SSL ayarları eklendi.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • [SPARK-45541] eklendi SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction artık IGNORE NULLS ve offset > rowCount durumlarında başarısız olmaz.
    • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 24 Ekim 2023, Cumartesi

    • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
    • Çeşitli düzeltmeler.

  • 13 Ekim 2023

    • Snowflake-jdbc bağımlılığı 3.13.29'dan 3.13.33'e yükseltildi.
    • [SPARK-42553] Aralıktan sonra en az bir zaman birimi bulunduğundan emin olun.
    • [SPARK-45346] Parquet şema çıkarımı, şemayı birleştirirken "case sensitive" bayrağını dikkate alır.
    • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönmek.
    • [SPARK-45084]StateOperatorProgress doğru, yeterli bir karıştırma bölüm numarası kullanmak için.

  • 12 Eylül 2023, Cumartesi

    • [SPARK-44873] Hive istemcisinde iç içe sütunlara sahip alter view desteği eklendi.
    • [SPARK-44718] Hafıza modu yapılandırmasının varsayılan ayarını ColumnVector yapılandırma değeriyle OffHeapMemoryMode eşleştir.
    • [SPARK-43799] PySpark Protobuf API'sine tanımlayıcı ikili seçeneği eklendi.
    • Çeşitli düzeltmeler.

  • 30 Ağustos 2023

    • [SPARK-44485] İyileştirilmiş TreeNode.generateTreeString.
    • [SPARK-44818]taskThread başlatılmadan önce verilen bekleyen görev kesintisi için yarış durumu düzeltildi.
    • [SPARK-44871][11.3-13.0] Sabit percentile_disc davranış.
    • [SPARK-44714] Sorgular ile ilgili LCA çözümlemesi kısıtlaması kolaylaştırıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Ağustos 2023

    • [SPARK-44504] Bakım görevi, durdurma hatası durumunda yüklenmiş sağlayıcıları temizler.
    • [SPARK-44464] İlk sütun değeri olan satırların çıktısını almak için applyInPandasWithStatePythonRunner düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Temmuz 2023

    • dbutils.fs.ls()'nin, başka bir dış veya yönetilen depolama konumuyla çakışan bir depolama konumu yolu için çağrıldığında INVALID_PARAMETER_VALUE.LOCATION_OVERLAP döndürmesine neden olan bir sorun düzeltildi.
    • [SPARK-44199]CacheManager artık fileIndex gereksiz yere yenilenmez.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 24 Temmuz 2023

    • [SPARK-44337] Any.getDefaultInstance olarak ayarlanmış herhangi bir alanın ayrıştırma hatalarına neden olduğu bir sorun düzeltildi.
    • [SPARK-44136]StateManager içinde, FlatMapGroupsWithStateExec'in sürücü yerine yürütücüde gerçekleştirilmesine sebep olan bir sorun düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 23 Haziran 2023

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Haziran 2023

    • Fotona dönüştü approx_count_distinct.
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • [SPARK-43779]ParseToDate artık ana iş parçacığında EvalMode yükleniyor.
    • [SPARK-43156][SPARK-43098]decorrelateInnerQuery kapalıyken genişletilmiş skaler alt sorgu sayısı hata testi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 2 Haziran 2023

    • JSON ayrıştırıcısı failOnUnknownFields modda bir kaydı DROPMALFORMED modda bırakır ve FAILFAST modunda doğrudan başarısız olur.
    • Iceberg ve Parquet ile SHALLOW CLONE artımlı güncelleştirmelerin performansını geliştirin.
    • Otomatik Yükleyici'de sağlanan şemada türetilmiş bölümler bulunmadığında, farklı kaynak dosya biçimlerinin uyumsuz olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
    • [SPARK-43404] Kimlik uyuşmazlığı hatasını önlemek için sst dosyasını Aynı RocksDB durum deposu sürümü için yeniden kullanma işlemini atlayın.
    • [SPARK-43413][11.3-13.0] Alt sorgu IN null ListQuery özelliği düzeltildi.
    • [SPARK-43522] Dizi indeksi ile yapı sütun adını oluşturma hatası düzeltildi.
    • [SPARK-43541] İfadelerin ve eksik sütunların çözümlemesinde tüm Project etiketlerini ilet.
    • [SPARK-43527] PySpark'ta düzeltildi catalog.listCatalogs .
    • [SPARK-43123] İç alan meta verileri artık kataloglara sızmaz.
    • [SPARK-43340] Olay günlüklerinde eksik yığın izleme alanı düzeltildi.
    • [SPARK-42444]DataFrame.drop artık yinelenen sütunları doğru şekilde işler.
    • [SPARK-42937]PlanSubqueries şimdi true olarak ayarlanır InSubqueryExec#shouldBroadcast .
    • [SPARK-43286] Rastgele IV'ler oluşturmak için CBC modu güncelleştirildi aes_encrypt .
    • [SPARK-43378] içindeki deserializeFromChunkedBufferakış nesnelerini düzgün bir şekilde kapatın.

  • 17 Mayıs 2023

    • Parquet taramaları artık toplu iş boyutunu dinamik olarak ayarlayarak olağanüstü yapılandırılmış dosyaları tararken OOM'lere karşı sağlamdır. Dosya meta verileri, toplu işlem boyutunu önceden azaltmak için analiz edilir ve görev yeniden denemelerinde ek bir güvenlik katmanı olarak tekrar azaltılır.
    • Bir Avro dosyası yalnızca failOnUnknownFields seçeneğiyle veya failOnNewColumns şeması evrim modunda Otomatik Yükleyici ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata atmak yerine null olarak okunur. Bu okumalar artık başarısız oluyor ve kullanıcılara rescuedDataColumn seçeneğini kullanmalarını öneriyor.
    • Otomatik Yükleyici şimdi aşağıdakileri yapar.
      • Bu veri türlerinden biri sağlandığında ve Avro dosyası diğer iki türden birini önerdiğinde, Integer, Short ve Byte türlerini doğru okur ancak artık kurtarmaz.
      • Bozuk tarihlerin oluşmasını önlemek için aralık türlerinin tarih veya saat damgası türleri olarak okunmasının önüne geçer.
      • Daha düşük hassasiyete sahip Decimal türlerinin okunmasını önler.
    • [SPARK-43172] Spark connect istemcisinin ana bilgisayar ve belirtecini görüntülemesini sağlar.
    • [SPARK-43293]__qualified_access_only, normal sütunlarda göz ardı edilir.
    • [SPARK-43098] Skaler alt sorgu bir yan tümceye göre gruplandırıldığında oluşan doğruluk hatası düzeltildi.
    • [SPARK-43085] Çok parçalı tablo adları için sütun DEFAULT atama desteği.
    • [SPARK-43190]ListQuery.childOutput artık ikincil çıkışla tutarlıdır.
    • [SPARK-43192] Kullanıcı aracısı karakter kümesi doğrulaması kaldırıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 25 Nisan 2023

    • Parquet dosyası yalnızca failOnUnknownFields seçeneğiyle veya failOnNewColumns şeması evrim modunda Otomatik Yükleyici ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata oluşturmak yerine null olarak okunur. Bu okumalar artık başarısız oluyor ve kullanıcılara rescuedDataColumn seçeneğini kullanmalarını öneriyor.
    • Otomatik Yükleyici artık Integer, Short, ve Byte türlerini doğru şekilde okur ve bu veri türlerinden biri sağlandığında bunları kurtarmaz. Parquet dosyası diğer iki türden birini önerir. "Kurtarılan veri sütunu daha önce etkinleştirildiğinde, veri türü uyuşmazlığı nedeniyle sütunlar okunabilir olsalar bile yine de kaydedilirdi."
    • [SPARK-43009]sql() sabitlerle Any parametreleştirilmiş
    • [SPARK-42406] Protobuf özyinelemeli alanlarını, alanı kaldırarak sonlandırın.
    • [SPARK-43038] CBC modunu destekle aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Eğer workdir null ise, çalışan işleyicisi appDirs olayını işlediğinde, WorkDirCleanup yazdırılması için değiştirin.
    • [SPARK-43018] Zaman damgası sabitlerine sahip INSERT komutlar için hata düzeltmesi yapıldı
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 11 Nisan 2023

    • komutunda eski veri kaynağı biçimlerini destekleyin SYNC .
    • Depo dışında kalan not defterlerinde %autoreload davranışında görülen bir sorunu düzeltir.
    • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir sorun düzeltildi.
    • [SPARK-42928] Senkronize hale getiriyor resolvePersistentFunction.
    • [SPARK-42936] Şart doğrudan alt birleşimi tarafından çözümlenebildiğinde LCan sorununu düzeltir.
    • [SPARK-42967] Bir aşama iptal edildikten sonra bir görev başlatıldığında ortaya çıkan sorunları giderir SparkListenerTaskStart.stageAttemptId.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Mart 2023

    • Databricks SQL artık Delta Lake tablolarının sütunları için tablo oluşturma zamanında veya sonrasında varsayılan değerleri belirtmeyi destekliyor. Sonraki INSERT, UPDATE, DELETEve MERGE komutları, açık DEFAULT anahtar sözcüğünü kullanarak herhangi bir sütunun varsayılan değerine başvurabilir. Buna ek olarak, herhangi bir INSERT ataması hedef tablodan daha az sütun içeren açık bir listeye sahipse, karşılık gelen sütun varsayılan değerleri kalan sütunlar (veya varsayılan belirtilmemişse NULL) ile değiştirilir.

      Örneğin:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • Otomatik Yükleyici, hızlı çalışan Otomatik Yükleyici akışları için denetim noktasının düzenli bir şekilde temizlenebildiğini kontrol etmek amacıyla artık Trigger.AvailableNow akışları için en az bir eşzamanlı RocksDB günlük temizleme işlemi başlatıyor. Bu, bazı akışların kapanmadan önce daha uzun sürmesine neden olabilir, ancak gelecekteki çalıştırmalarda depolama maliyetlerinden tasarruf etmenizi ve Otomatik Yükleyici deneyimini geliştirmenizi sağlar.

    • Artık bir Delta tablosunu, tablo özelliklerine destek eklemek için DeltaTable.addFeatureSupport(feature_name) kullanarak değiştirebilirsiniz.

    • [SPARK-42794] Yapı Akışı'nda RocksDB durum deposunu almak için lockAcquireTimeoutMs değerini 2 dakikaya yükseltin

    • [SPARK-42521] Kullanıcı tarafından belirtilen ve hedef tablodan daha az sütun içeren listelerle yapılan INSERT'ler için NULL değerleri ekleme

    • [SPARK-42702][SPARK-42623] Alt sorgu ve CTE'de parametreli sorguyu destekleme

    • [SPARK-42668] HDFSStateStoreProvider'da sıkıştırılmış akışı kapatmaya çalışırken istisnayı yakala

    • [SPARK-42403] JsonProtocol null JSON dizelerini işlemelidir

  • 8 Mart 2023

    • "Yapılandırma başlatılamadı" hata iletisi, müşteri için daha fazla bağlam sağlayacak şekilde geliştirilmiştir.
    • Tablo özelliğini kullanarak Delta tablosuna özellik eklemek için bir terminoloji değişikliği vardır. Tercih edilen söz dizimi artık 'delta.feature.featureName'='supported' yerine 'delta.feature.featureName'='enabled'kullanılır. Geriye dönük uyumluluk için "'delta.feature.featureName'='enabled'" kullanımı halen çalışır ve çalışmaya devam edecektir.
    • Bu sürümden başlayarak, varsayılan okuyucu ve yazıcı sürümlerini ve varsayılan olarak desteklenen tablo özelliklerini içeren protokolle ilgili Spark yapılandırmalarını yoksaymak için bir tablo oluşturmak/başka bir tablo özelliğiyle delta.ignoreProtocolDefaults değiştirmek mümkündür.
    • [SPARK-42070] Mask işlevinin bağımsız değişkeninin varsayılan değerini -1 yerine NULL olarak değiştirin
    • [SPARK-41793] Önemli ondalıklarda aralık cümlesi ile tanımlanan pencere çerçeveleri için hatalı sonuç
    • [SPARK-42484] UnsafeRowUtils daha iyi hata mesajı
    • [SPARK-42516] Görünüm oluştururken oturum saat dilimi yapılandırmasını her zaman tutun
    • [SPARK-42635] TimestampAdd ifadesini düzeltin.
    • [SPARK-42622] Değerlerde değiştirme devre dışı
    • [SPARK-42534] DB2Dialect Limit yan tümcesini düzeltme
    • [SPARK-42121] Yerleşik tablo değerli işlevler olan posexplode, posexplode_outer, json_tuple ve stack'i ekleme
    • [SPARK-42045] ANSI SQL modu: Yuvarlama/Bround önemsiz/küçük/önemli tamsayı taşmasında hata döndürmelidir
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 12.1

Bkz . Databricks Runtime 12.1 (EoS).

  • 23 Haziran 2023

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Haziran 2023

    • Fotona dönüştü approx_count_distinct.
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • [SPARK-43779][SQL] ParseToDate şimdi ana iş parçacığında yüklenir EvalMode.
    • [SPARK-43156][SPARK-43098][SQL] DecorrelateInnerQuery devre dışı bırakılmış olarak skaler alt sorgu sayısı hata testini genişletme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 2 Haziran 2023

    • JSON ayrıştırıcısı failOnUnknownFields modda bir kaydı DROPMALFORMED modda bırakır ve FAILFAST modunda doğrudan başarısız olur.
    • Artımlı güncellemelerin performansını Iceberg ve Parquet ile geliştirin.
    • Otomatik Yükleyici'de sağlanan şemada türetilmiş bölümler bulunmadığında, farklı kaynak dosya biçimlerinin uyumsuz olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
    • [SPARK-43404][Backport] Kimlik uyuşmazlığı hatasını önlemek için aynı RocksDB durum deposu sürümü için sst dosyasını yeniden kullanma işlemini atlayın.
    • [SPARK-43413][11.3-13.0][SQL] Alt sorgu IN null atanabilirliği düzeltildiListQuery.
    • [SPARK-43522][SQL] Dizi diziniyle yapı sütun adı oluşturma düzeltildi.
    • [SPARK-42444][PYTHON] DataFrame.drop artık yinelenen sütunları düzgün bir şekilde işler.
    • [SPARK-43541][SQL] İfadelerin ve eksik sütunların çözümünde tüm Project etiketlerini yay...
    • [SPARK-43340][CORE] Olay günlüklerinde eksik yığın izleme alanı düzeltildi.
    • [SPARK-42937][SQL] PlanSubqueries şimdi true olarak ayarlanır InSubqueryExec#shouldBroadcast .
    • [SPARK-43527][PYTHON] PySpark'ta düzeltildi catalog.listCatalogs .
    • [SPARK-43378][CORE] içindeki deserializeFromChunkedBufferakış nesnelerini düzgün bir şekilde kapatın.

  • 17 Mayıs 2023

    • Parquet taramaları artık toplu iş boyutunu dinamik olarak ayarlayarak olağanüstü yapılandırılmış dosyaları tararken OOM'lere karşı sağlamdır. Dosya meta verileri, toplu işlem boyutunu önceden azaltmak için analiz edilir ve görev yeniden denemelerinde ek bir güvenlik katmanı olarak tekrar azaltılır.
    • Bir Avro dosyası yalnızca failOnUnknownFields seçeneğiyle veya failOnNewColumns şeması evrim modunda Otomatik Yükleyici ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata atmak yerine null olarak okunur. Bu okumalar artık başarısız oluyor ve kullanıcılara rescuedDataColumn seçeneğini kullanmalarını öneriyor.
    • Otomatik Yükleyici şimdi aşağıdakileri yapar.
      • Bu veri türlerinden biri sağlandığında, Integer, Short ve Byte türlerini doğru okur ancak artık kurtarmaz; fakat Avro dosyası diğer iki türden birini önerirse.
      • Bozuk tarihlerin oluşmasını önlemek için aralık türlerinin tarih veya zaman damgası türleri olarak okunmasını engeller.
      • Daha düşük hassasiyete sahip Decimal türlerinin okunmasını önler.
    • [SPARK-43098][SQL] Skaler alt sorgunun bir yan tümceye göre gruplandırılması sırasında oluşan doğruluk hatası düzeltildi.
    • [SPARK-43190][SQL] ListQuery.childOutput artık ikincil çıkışla tutarlıdır.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 25 Nisan 2023

    • Parquet dosyası yalnızca failOnUnknownFields seçeneğiyle veya failOnNewColumns şeması evrim modunda Otomatik Yükleyici ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata oluşturmak yerine null olarak okunur. Bu okumalar artık başarısız oluyor ve kullanıcılara rescuedDataColumn seçeneğini kullanmalarını öneriyor.
    • Otomatik Yükleyici, bu veri türlerinden biri sağlanmışsa Integer, Short, Byte türlerini artık doğru şekilde okur ve kurtarmaz. Parquet dosyası diğer iki türden birini önerir. Kurtarılan veri sütunu daha önce etkinleştirildiğinde, veri türü uyuşmazlığı okunabilir olsalar bile sütunların kurtarılmalarına neden olurdu.
    • [SPARK-43009][SQL] Sabitlerle sql() parametreliAny.
    • [SPARK-42971][CORE] Çalışan işleyici workdir olayını ele aldığında, appDirs null ise WorkDirCleanup yazdırılacak şekilde değiştirin.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 11 Nisan 2023

    • Komutunda SYNC eski veri kaynağı biçimlerini destekleyin.
    • Depo dışındaki not defterlerinde %autoreload davranışındaki bir hatayı düzeltir.
    • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir hata düzeltildi.
    • [SPARK-42928][SQL] resolvePersistentFunction senkronize hale getirir.
    • [SPARK-42967][CORE] Aşama iptal edildikten sonra bir görev başlatıldığında düzeltilir SparkListenerTaskStart.stageAttemptId .
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Mart 2023

    • Otomatik Yükleyici artık, hızlı çalışan Otomatik Yükleyici akışları için denetim noktasının düzenli olarak temizlenebilmesini sağlamak amacıyla, Trigger.AvailableNow akışları için en az bir eşzamanlı RocksDB günlüğü temizleme işlemini tetikliyor. Bu, bazı akışların kapanmadan önce daha uzun sürmesine neden olabilir, ancak gelecekteki çalıştırmalarda depolama maliyetlerinden tasarruf etmenizi ve Otomatik Yükleyici deneyimini geliştirmenizi sağlar.
    • Artık bir Delta tablosunu, tablo özelliklerine destek eklemek için DeltaTable.addFeatureSupport(feature_name) kullanarak değiştirebilirsiniz.
    • [SPARK-42702][SPARK-42623][SQL] Alt sorgu ve CTE'de parametreli sorguyu destekleme
    • [SPARK-41162][SQL] Toplamalar içeren kendi kendine birleşim için anti-birleştirme ve yarı-birleştirmeyi düzeltme
    • [SPARK-42403][CORE] JsonProtocol null JSON dizelerini işlemelidir
    • [SPARK-42668][SS] HDFSStateStoreProvider iptali sırasında sıkıştırılmış akışı kapatmaya çalışırken istisna yakalama
    • [SPARK-42794][SS] Yapı Akışı'nda RocksDB durum depounu almak için lockAcquireTimeoutMs değerini 2 dakikaya yükseltin

  • 14 Mart 2023

    • Tablo özelliğini kullanarak Delta tablosuna özellik eklemek için bir terminoloji değişikliği vardır. Tercih edilen söz dizimi artık 'delta.feature.featureName'='supported' yerine 'delta.feature.featureName'='enabled'kullanılır. Geriye dönük uyumluluk sağlamak için 'delta.feature.featureName'='enabled' kullanımı hala geçerlidir ve çalışmaya devam edecektir.
    • [SPARK-42622][CORE] Değerlerde değiştirme özelliğini devre dışı bırakma
    • [SPARK-42534][SQL] DB2Dialect Limit yan tümcesini düzeltme
    • [SPARK-42635][SQL] TimestampAdd ifadesini düzeltin.
    • [SPARK-42516][SQL] Görünüm oluşturulurken oturum saat dilimi yapılandırmasını her zaman kaydedin
    • [SPARK-42484] [SQL] UnsafeRowUtils daha iyi bir hata mesajı
    • [SPARK-41793][SQL] Büyük ondalık sayılarda bir aralık cümlesi ile tanımlanan pencere çerçeveleri için yanlış sonuç
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 24 Şubat 2023

    • Artık Sorgu Federasyonu'nda (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server) desteklenen veri kaynaklarına bağlanmak için birleşik bir seçenek kümesi (host, port, database, user, password) kullanabilirsiniz. Her veri kaynağı için port isteğe bağlıdır ve sağlanmadığında varsayılan bağlantı noktası numarasını kullanır, bunu unutmayın.

    PostgreSQL bağlantı yapılandırması örneği

    CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

    Snowflake bağlantı yapılandırması örneği

    CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);
    • [SPARK-41989][PYTHON] pyspark.pandas dosyasının günlük yapılandırmasının bozulmasını önleyin
    • [SPARK-42346][SQL] Alt sorgu birleştirme işleminden sonra ayrı toplamaları yeniden yazma
    • [SPARK-41990][SQL] V1'den V2'ye filtre dönüştürmede FieldReference.column yerine apply kullanın
    • Geri Döndürme [SPARK-41848][CORE] TaskResourceProfile ile fazla zamanlanmış görevi düzeltme
    • [SPARK-42162] Büyük commutative ifade ağaçlarını kurallı hale getirme için bellek iyileştirmesi olarak MultiCommutativeOp ifadesini tanıtın
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 16 Şubat 2023

    • SYNC komutu, yeniden oluşturulmuş Hive Meta Veri Deposu tablolarının eşitlenmesini destekler. HMS tablosu daha önce Unity Kataloğu'na senkronize edildiyse ancak daha sonra bırakılıp yeniden oluşturulduysa, TABLE_ALREADY_EXISTS durum kodu oluşturmak yerine bir sonraki yeniden senkronizasyon çalışır.
    • [SPARK-41219][SQL] IntegralDivide, 0'ı göstermek için ondalık (1, 0) kullanır
    • [SPARK-36173][CORE] TaskContext'te CPU numarası alma desteği
    • [SPARK-41848][CORE] TaskResourceProfile ile fazla zamanlanmış görevi düzeltme
    • [SPARK-42286][SQL] CAST ile karmaşık ifadelere yönelik kod üretimi için önceki kod yoluna geriye dönüş

  • 31 Ocak 2023

    • Tanımlı bir konuma sahip bir şema oluşturmak için artık kullanıcının HERHANGI BIR DOSYADA SELECT ve MODIFY ayrıcalıklarına sahip olması gerekir.
    • [SPARK-41581][SQL] _LEGACY_ERROR_TEMP_1230'a bir ad ata
    • [SPARK-41996][SQL][SS] Kafka testini kayıp bölümleri yavaş Kafka işlemlerini dikkate alacak şekilde doğrulamak için düzeltme
    • [SPARK-41580][SQL] _LEGACY_ERROR_TEMP_2137'e isim ver
    • [SPARK-41666][PYTHON] Parametreli SQL desteği: sql()
    • [SPARK-41579][SQL] _LEGACY_ERROR_TEMP_1249'ye isim atamak
    • [SPARK-41573][SQL] _LEGACY_ERROR_TEMP_2136'a adını atamak
    • [SPARK-41574][SQL] _LEGACY_ERROR_TEMP_2009'a isim ver
    • [SPARK-41049][İzleme] ConvertToLocalRelation için kod eşitleme regresyonu düzeltilir
    • [SPARK-41576][SQL] _LEGACY_ERROR_TEMP_2051'e isim atayın
    • [SPARK-41572][SQL] _LEGACY_ERROR_TEMP_2149'a isim atama
    • [SPARK-41575][SQL] _LEGACY_ERROR_TEMP_2054'e isim verilecek
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 12.0

Bkz . Databricks Runtime 12.0 (EoS).

  • 15 Haziran 2023

    • Fotona dönüştü approx_count_distinct.
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • [SPARK-43156][SPARK-43098][SQL] DecorrelateInnerQuery devre dışı bırakılmış olarak skaler alt sorgu sayısı hata testini genişletme
    • [SPARK-43779][SQL] ParseToDate şimdi ana iş parçacığında yüklenir EvalMode.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 2 Haziran 2023

    • JSON ayrıştırıcısı failOnUnknownFields modda bir kaydı DROPMALFORMED modda bırakır ve FAILFAST modunda doğrudan başarısız olur.
    • Artımlı güncellemelerin performansını Iceberg ve Parquet ile geliştirin.
    • Otomatik Yükleyici'de sağlanan şemada türetilmiş bölümler bulunmadığında, farklı kaynak dosya biçimlerinin uyumsuz olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
    • [SPARK-42444][PYTHON] DataFrame.drop artık yinelenen sütunları düzgün bir şekilde işler.
    • [SPARK-43404][Backport] Kimlik uyuşmazlığı hatasını önlemek için aynı RocksDB durum deposu sürümü için sst dosyasını yeniden kullanma işlemini atlayın.
    • [SPARK-43413][11.3-13.0][SQL] Alt sorgu IN null atanabilirliği düzeltildiListQuery.
    • [SPARK-43527][PYTHON] PySpark'ta düzeltildi catalog.listCatalogs .
    • [SPARK-43522][SQL] Dizi diziniyle yapı sütun adı oluşturma düzeltildi.
    • [SPARK-43541][SQL] İfadelerin ve eksik sütunların çözümünde tüm Project etiketlerini yay...
    • [SPARK-43340][CORE] Olay günlüklerinde eksik yığın izleme alanı düzeltildi.
    • [SPARK-42937][SQL] PlanSubqueries true olarak ayarlanır InSubqueryExec#shouldBroadcast .

  • 17 Mayıs 2023

    • Parquet taramaları artık toplu iş boyutunu dinamik olarak ayarlayarak olağanüstü yapılandırılmış dosyaları tararken OOM'lere karşı sağlamdır. Dosya meta verileri, toplu işlem boyutunu önceden azaltmak için analiz edilir ve görev yeniden denemelerinde ek bir güvenlik katmanı olarak tekrar azaltılır.
    • Bir Avro dosyası yalnızca failOnUnknownFields seçeneğiyle veya failOnNewColumns şeması evrim modunda Otomatik Yükleyici ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata atmak yerine null olarak okunur. Bu okumalar artık başarısız oluyor ve kullanıcılara rescuedDataColumn seçeneğini kullanmalarını öneriyor.
    • Otomatik Yükleyici şimdi aşağıdakileri yapar.
      • Bu veri türlerinden biri sağlandığında, Integer, Short ve Byte türlerini doğru okur ancak artık kurtarmaz; fakat Avro dosyası diğer iki türden birini önerirse.
      • Bozuk tarihlerin oluşmasını önlemek için aralık türlerinin tarih veya zaman damgası türleri olarak okunmasını engeller.
      • Daha düşük hassasiyete sahip Decimal türlerinin okunmasını önler.
    • [SPARK-43172] [BAĞLAN] Spark bağlantı istemcisinden konağı ve belirteci kullanıma sunar.
    • [SPARK-41520][SQL] Ağaç desenini AND_OR öğelerini AND ve OR olarak ayırmak.
    • [SPARK-43098][SQL] Skaler alt sorgunun bir yan tümceye göre gruplandırılması sırasında oluşan doğruluk hatası düzeltildi.
    • [SPARK-43190][SQL] ListQuery.childOutput artık ikincil çıkışla tutarlıdır.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 25 Nisan 2023

    • Parquet dosyası yalnızca failOnUnknownFields seçeneğiyle veya failOnNewColumns şeması evrim modunda Otomatik Yükleyici ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata oluşturmak yerine null olarak okunur. Bu okumalar artık başarısız oluyor ve kullanıcılara rescuedDataColumn seçeneğini kullanmalarını öneriyor.
    • Otomatik Yükleyici, bu veri türlerinden biri sağlanmışsa Integer, Short, Byte türlerini artık doğru şekilde okur ve kurtarmaz. Parquet dosyası diğer iki türden birini önerir. Kurtarılan veri sütunu daha önce etkinleştirildiğinde, veri türü uyuşmazlığı okunabilir olsalar bile sütunların kurtarılmalarına neden olurdu.
    • [SPARK-42971][CORE] Çalışan işleyici workdir olayını işlerken, appDirs null ise WorkDirCleanup yazdırılacak şekilde değiştirin.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 11 Nisan 2023

    • Komutunda SYNC eski veri kaynağı biçimlerini destekleyin.
    • Depo dışındaki not defterlerinde %autoreload davranışındaki bir hatayı düzeltir.
    • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir hata düzeltildi.
    • [SPARK-42928][SQL] resolvePersistentFunction senkronize hale getirir.
    • [SPARK-42967][CORE] Aşama iptal edildikten sonra bir görev başlatıldığında düzeltilir SparkListenerTaskStart.stageAttemptId .
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Mart 2023

    • [SPARK-42794][SS] Yapı Akışı'nda RocksDB durum depounu almak için lockAcquireTimeoutMs değerini 2 dakikaya yükseltin
    • [SPARK-41162][SQL] Toplamalar içeren kendi kendine birleşim için anti-birleştirme ve yarı-birleştirmeyi düzeltme
    • [SPARK-42403][CORE] JsonProtocol null JSON dizelerini işlemelidir
    • [SPARK-42668][SS] HDFSStateStoreProvider iptali sırasında sıkıştırılmış akışı kapatmaya çalışırken istisna yakalama
    • Çeşitli hata düzeltmeleri.

  • 14 Mart 2023

    • [SPARK-42534][SQL] DB2Dialect Limit yan tümcesini düzeltme
    • [SPARK-42622][CORE] Değerlerde değiştirme özelliğini devre dışı bırakma
    • [SPARK-41793][SQL] Büyük ondalık sayılarda bir aralık cümlesi ile tanımlanan pencere çerçeveleri için yanlış sonuç
    • [SPARK-42484] [SQL] UnsafeRowUtils daha iyi bir hata mesajı
    • [SPARK-42635][SQL] TimestampAdd ifadesini düzeltin.
    • [SPARK-42516][SQL] Görünüm oluşturulurken oturum saat dilimi yapılandırmasını her zaman kaydedin
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 24 Şubat 2023

    • Sorgu Federasyonu için StandartLaştırılmış Bağlantı Seçenekleri

      Artık Sorgu Federasyonu'nda (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server) desteklenen veri kaynaklarına bağlanmak için birleşik bir seçenek kümesi (host, port, database, user, password) kullanabilirsiniz. port İsteğe bağlı olduğunu ve sağlanmazsa her veri kaynağı için varsayılan bağlantı noktası numarasını kullanacağını unutmayın.

      PostgreSQL bağlantı yapılandırması örneği

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Snowflake bağlantı yapılandırması örneği

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • Geri Döndürme [SPARK-41848][CORE] TaskResourceProfile ile fazla zamanlanmış görevi düzeltme

    • [SPARK-42162] Büyük commutative ifade ağaçlarını kurallı hale getirme için bellek iyileştirmesi olarak MultiCommutativeOp ifadesini tanıtın

    • [SPARK-41990][SQL] V1'den V2'ye filtre dönüştürmede FieldReference.column yerine apply kullanın

    • [SPARK-42346][SQL] Alt sorgu birleştirme işleminden sonra ayrı toplamaları yeniden yazma

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 16 Şubat 2023

    • Kullanıcılar artık Databricks Runtime 9.1 veya sonraki bir sürümünü kullanarak Okuyucu sürüm 3 ve Yazıcı sürüm 7 gerektiren bazı Delta tablolarını okuyabilir ve yazabilir. Başarılı olmak için tabloların protokolünde listelenen tablo özellikleri Databricks Runtime'ın geçerli sürümü tarafından desteklenmelidir.
    • SYNC komutu, yeniden oluşturulmuş Hive Meta Veri Deposu tablolarının eşitlenmesini destekler. HMS tablosu daha önce Unity Kataloğu'na senkronize edildiyse ancak daha sonra bırakılıp yeniden oluşturulduysa, TABLE_ALREADY_EXISTS durum kodu oluşturmak yerine bir sonraki yeniden senkronizasyon çalışır.
    • [SPARK-36173][CORE] TaskContext'te CPU numarası alma desteği
    • [SPARK-42286][SQL] CAST ile karmaşık ifadelere yönelik kod üretimi için önceki kod yoluna geriye dönüş
    • [SPARK-41848][CORE] TaskResourceProfile ile fazla zamanlanmış görevi düzeltme
    • [SPARK-41219][SQL] IntegralDivide, 0'ı göstermek için ondalık (1, 0) kullanır

  • 25 Ocak 2023

    • [SPARK-41660][SQL] Meta veri sütunlarını yalnızca kullanıldıklarında yayma
    • [SPARK-41379][SS][PYTHON] PySpark'ta foreachBatch havuzu için kullanıcı fonksiyonunda DataFrame içerisinde kopyalanmış bir spark oturumu sağlama.
    • [SPARK-41669][SQL] canCollapseExpressions'da erken budama
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 18 Ocak 2023

    • REFRESH FUNCTION SQL komutu artık SQL işlevlerini ve SQL Tablo işlevlerini destekliyor. Örneğin, komutu başka bir SQL oturumunda güncelleştirilen kalıcı bir SQL işlevini yenilemek için kullanılabilir.
    • Java Veritabanı Bağlantısı (JDBC) veri kaynağı v1 artık sorgulardaki performansı artırmak için LIMIT yan tümcesi göndermeyi destekliyor. Bu özellik varsayılan olarak etkindir ve spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabledfalse olarak ayarlanarak devre dışı bırakılabilir.
    • Eski Tablo ACL'leri kümelerinde, JVM sınıflarına başvuran işlevler oluşturmak için artık MODIFY_CLASSPATH ayrıcalığı gereklidir.
    • Java Veritabanı Bağlantısı (JDBC) veri kaynağı v1 artık sorgulardaki performansı artırmak için LIMIT yan tümcesi göndermeyi destekliyor. Bu özellik varsayılan olarak etkindir ve spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled değeri false olarak ayarlandığında devre dışı bırakılabilir.
    • Azure Synapse bağlayıcısı artık sütun adında boşluklar veya noktalı virgüller gibi geçersiz karakterler bulunduğunda daha açıklayıcı bir hata iletisi döndürür. Böyle durumlarda şu ileti döndürülür: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • Spark yapılandırılmış akışı artık bir delta paylaşım tablosunu kaynak olarak alıp format("deltasharing") ile çalışıyor.
    • [SPARK-38277][SS] RocksDB durum deposu işleme işleminden sonra yazma toplu işlemini temizle
    • [SPARK-41733][SQL][SS] ResolveWindowTime kuralı için ağaç deseni tabanlı ayıklama uygulama
    • [SPARK-39591][SS] Asenkron İlerleme İzleme
    • [SPARK-41339][SQL] Yalnızca temizlemek yerine RocksDB yazma toplu işlemini kapatın ve yeniden oluşturun
    • [SPARK-41198][SS] CTE ve DSv1 akış kaynağına sahip akış sorgusundaki ölçümleri düzeltme
    • [SPARK-41539][SQL] MantıksalRDD için mantıksal plandaki çıkışa karşı istatistikleri ve kısıtlamaları yeniden düzenleme
    • [SPARK-41732][SQL][SS] SessionWindowing kuralı için ağaç deseni tabanlı ayıklama uygulama
    • [SPARK-41862][SQL] Ork okuyucuda DEFAULT değerleriyle ilgili doğruluk hatasını düzeltme
    • [SPARK-41199][SS] DSv1 akış kaynağı ve DSv2 akış kaynağı birlikte kullanıldığında oluşan ölçümler sorunu düzeltildi
    • [SPARK-41261][PYTHON][SS] Gruplandırma anahtarlarının sütunları en erkenden sıralanmadığında applyInPandasWithState ile ilgili sorun düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 17 Mayıs 2023

    • Parquet taramaları artık toplu iş boyutunu dinamik olarak ayarlayarak olağanüstü yapılandırılmış dosyaları tararken OOM'lere karşı sağlamdır. Dosya meta verileri, toplu işlem boyutunu önceden azaltmak için analiz edilir ve görev yeniden denemelerinde ek bir güvenlik katmanı olarak tekrar azaltılır.
    • Küme başlatma sırasında meta veri deposuna bağlanamadığında Azure Databricks işlerinin kalıcı olmasına neden olan bir regresyon düzeltildi.
    • [SPARK-41520][SQL] Ağaç desenini AND_OR öğelerini AND ve OR olarak ayırmak.
    • [SPARK-43190][SQL] ListQuery.childOutput artık ikincil çıkışla tutarlıdır.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 25 Nisan 2023

    • Parquet dosyası yalnızca failOnUnknownFields seçeneğiyle veya failOnNewColumns şeması evrim modunda Otomatik Yükleyici ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata oluşturmak yerine null olarak okunur. Bu okumalar artık başarısız oluyor ve kullanıcılara rescuedDataColumn seçeneğini kullanmalarını öneriyor.
    • Otomatik Yükleyici, bu veri türlerinden biri sağlanmışsa Integer, Short, Byte türlerini artık doğru şekilde okur ve kurtarmaz. Parquet dosyası diğer iki türden birini önerir. Kurtarılan veri sütunu daha önce etkinleştirildiğinde, veri türü uyuşmazlığı okunabilir olsalar bile sütunların kurtarılmalarına neden olurdu.
    • [SPARK-42937][SQL] PlanSubqueries şimdi true olarak ayarlanır InSubqueryExec#shouldBroadcast .
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 11 Nisan 2023

    • Komutunda SYNC eski veri kaynağı biçimlerini destekleyin.
    • Depo dışındaki not defterlerinde %autoreload davranışındaki bir hatayı düzeltir.
    • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir hata düzeltildi.
    • [SPARK-42928][SQL] resolvePersistentFunction'ın eşitlenmesini sağlayın.
    • [SPARK-42967][CORE] Aşama iptal edildikten sonra bir görev başlatıldığında SparkListenerTaskStart.stageAttemptId dosyasını düzeltin.

  • 29 Mart 2023

    • [SPARK-42794][SS] Yapı Akışı'nda RocksDB durum depounu almak için lockAcquireTimeoutMs değerini 2 dakikaya yükseltin
    • [SPARK-42403][CORE] JsonProtocol null JSON dizelerini işlemelidir
    • [SPARK-42668][SS] HDFSStateStoreProvider iptali sırasında sıkıştırılmış akışı kapatmaya çalışırken istisna yakalama
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 14 Mart 2023

    • [SPARK-42635][SQL] TimestampAdd ifadesini düzeltin.
    • [SPARK-41793][SQL] Büyük ondalık sayılarda bir aralık cümlesi ile tanımlanan pencere çerçeveleri için yanlış sonuç
    • [SPARK-42484] [SQL] UnsafeRowUtils daha iyi bir hata mesajı
    • [SPARK-42534][SQL] DB2Dialect Limit yan tümcesini düzeltme
    • [SPARK-41162][SQL] Toplamalar içeren kendi kendine birleşim için anti-birleştirme ve yarı-birleştirmeyi düzeltme
    • [SPARK-42516][SQL] Görünüm oluşturulurken oturum saat dilimi yapılandırmasını her zaman kaydedin
    • Çeşitli hata düzeltmeleri.

  • 28 Şubat 2023

    • Sorgu Federasyonu için StandartLaştırılmış Bağlantı Seçenekleri

      Artık Sorgu Federasyonu'nda (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server) desteklenen veri kaynaklarına bağlanmak için birleşik bir seçenek kümesi (host, port, database, user, password) kullanabilirsiniz. Her veri kaynağı için port isteğe bağlıdır ve sağlanmadığında varsayılan bağlantı noktası numarasını kullanır, bunu unutmayın.

      PostgreSQL bağlantı yapılandırması örneği

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Snowflake bağlantı yapılandırması örneği

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • [SPARK-42286][SQL] CAST ile karmaşık ifadelere yönelik kod üretimi için önceki kod yoluna geriye dönüş

    • [SPARK-41989][PYTHON] pyspark.pandas dosyasının günlük yapılandırmasının bozulmasını önleyin

    • [SPARK-42346][SQL] Alt sorgu birleştirme işleminden sonra ayrı toplamaları yeniden yazma

    • [SPARK-41360][CORE] Yürütücü kaybolduysa BlockManager yeniden kaydından kaçının

    • [SPARK-42162] Büyük commutative ifade ağaçlarını kurallı hale getirme için bellek iyileştirmesi olarak MultiCommutativeOp ifadesini tanıtın

    • [SPARK-41990][SQL] V1'den V2'ye filtre dönüştürmede FieldReference.column yerine apply kullanın

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 16 Şubat 2023

    • Kullanıcılar artık Databricks Runtime 9.1 veya sonraki bir sürümünü kullanarak Okuyucu sürüm 3 ve Yazıcı sürüm 7 gerektiren bazı Delta tablolarını okuyabilir ve yazabilir. Başarılı olmak için tabloların protokolünde listelenen tablo özellikleri Databricks Runtime'ın geçerli sürümü tarafından desteklenmelidir.
    • SYNC komutu, yeniden oluşturulmuş Hive Meta Veri Deposu tablolarının eşitlenmesini destekler. HMS tablosu daha önce Unity Kataloğu'na senkronize edildiyse ancak daha sonra bırakılıp yeniden oluşturulduysa, TABLE_ALREADY_EXISTS durum kodu oluşturmak yerine bir sonraki yeniden senkronizasyon çalışır.
    • [SPARK-41219][SQL] IntegralDivide, 0'ı göstermek için ondalık (1, 0) kullanır
    • [SPARK-40382][SQL] Ayrı toplama ifadelerini, RewriteDistinctAggregates anlamsal olarak eşdeğer alt öğelere göre grupla.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 25 Ocak 2023

    • [SPARK-41379][SS][PYTHON] PySpark'ta foreachBatch havuzu için kullanıcı fonksiyonunda DataFrame içerisinde kopyalanmış bir spark oturumu sağlama.
    • [SPARK-41660][SQL] Meta veri sütunlarını yalnızca kullanıldıklarında yayma
    • [SPARK-41669][SQL] canCollapseExpressions'da erken budama
    • Çeşitli hata düzeltmeleri.

  • 18 Ocak 2023

    • REFRESH FUNCTION SQL komutu artık SQL işlevlerini ve SQL Tablo işlevlerini destekliyor. Örneğin, komutu başka bir SQL oturumunda güncelleştirilen kalıcı bir SQL işlevini yenilemek için kullanılabilir.
    • Java Veritabanı Bağlantısı (JDBC) veri kaynağı v1 artık sorgulardaki performansı artırmak için LIMIT yan tümcesi göndermeyi destekliyor. Bu özellik varsayılan olarak etkindir ve spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabledfalse olarak ayarlanarak devre dışı bırakılabilir.
    • Java Veritabanı Bağlantısı (JDBC) veri kaynağı v1 artık sorgulardaki performansı artırmak için LIMIT yan tümcesi göndermeyi destekliyor. Bu özellik varsayılan olarak etkindir ve spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled değeri false olarak ayarlandığında devre dışı bırakılabilir.
    • Azure Synapse bağlayıcısı artık sütun adında boşluklar veya noktalı virgüller gibi geçersiz karakterler bulunduğunda daha açıklayıcı bir hata iletisi döndürür. Böyle durumlarda şu ileti döndürülür: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] CTE ve DSv1 akış kaynağına sahip akış sorgusundaki ölçümleri düzeltme
    • [SPARK-41862][SQL] Ork okuyucuda DEFAULT değerleriyle ilgili doğruluk hatasını düzeltme
    • [SPARK-41539][SQL] MantıksalRDD için mantıksal plandaki çıkışa karşı istatistikleri ve kısıtlamaları yeniden düzenleme
    • [SPARK-39591][SS] Asenkron İlerleme İzleme
    • [SPARK-41199][SS] DSv1 akış kaynağı ve DSv2 akış kaynağı birlikte kullanıldığında oluşan ölçümler sorunu düzeltildi
    • [SPARK-41261][PYTHON][SS] Gruplandırma anahtarlarının sütunları en erkenden sıralanmadığında applyInPandasWithState ile ilgili sorun düzeltildi
    • [SPARK-41339][SQL] Yalnızca temizlemek yerine RocksDB yazma toplu işlemini kapatın ve yeniden oluşturun
    • [SPARK-41732][SQL][SS] SessionWindowing kuralı için ağaç deseni tabanlı ayıklama uygulama
    • [SPARK-38277][SS] RocksDB durum deposu işleme işleminden sonra yazma toplu işlemini temizle
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Kasım 2022

    • Kullanıcılar, Redshift bağlayıcısını kullanarak veri yazarken baştaki ve sondaki boşlukların davranışını yapılandırabilir. Boşluk işlemeyi denetlemek için aşağıdaki seçenekler eklenmiştir:
      • csvignoreleadingwhitespace, true olarak ayarlandığında veya tempformatCSV veya CSV GZIP olarak ayarlandığında, yazma sırasında değerlerden baştaki boşluğu kaldırır. Boşluklar, yapılandırma false olarak ayarlandığında korunur. Varsayılan değer true şeklindedir.
      • csvignoretrailingwhitespace olarak ayarlandığında, true yazma işlemleri sırasında tempformat veya CSV olarak ayarlandığında değerlerden sondaki boşluğu kaldırır. Boşluklar, yapılandırma false olarak ayarlandığında korunur. Varsayılan değer true şeklindedir.
    • Tüm sütunlar dize olarak bırakıldığında (cloudFiles.inferColumnTypes ayarlanmamış ya da false olarak ayarlanmış) ve JSON iç içe geçmiş nesneler içerdiğinde, Otomatik Yükleyici'de JSON ayrıştırma ile ilgili bir hata düzeltildi.
    • snowflake-jdbc bağımlılığını 3.13.22 sürümüne yükseltin.
    • JDBC tablolarının tablo türleri artık varsayılan olarak EXTERNAL'tir.
    • [SPARK-40906][SQL] Mode Harita'ya eklemeden önce anahtarları kopyalamalı
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Kasım 2022

    • Tablo ACL'leri ve UC Paylaşılan kümeleri artık python'dan Dataset.toJSON yöntemine izin verir.
    • [SPARK-40646] Yapılar, haritalar ve diziler için JSON ayrıştırma düzeltildi, bu nedenle kaydın bir bölümü şemayla eşleşmediğinde, kaydın geri kalanı null döndürmek yerine doğru şekilde ayrıştırılabilir. geliştirilmiş davranış kümesine spark.sql.json.enablePartialResults katılmayı kabul etmek için true. Özgün davranışı korumak için bayrak varsayılan olarak devre dışıdır
    • [SPARK-40903][SQL] Veri türü değiştirilirse ondalık ekle kurallı hale getirme için yeniden sıralamaktan kaçının
    • [SPARK-40618][SQL] Başvuru izleme kullanarak iç içe alt sorgular içeren MergeScalarSubqueries kuralındaki hata düzeltildi
    • [SPARK-40697][SQL] Dış veri dosyalarını kapsayacak şekilde okuma tarafında karakter doldurma yapılması
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Kasım 2022, İstanbul

    • Unity Kataloğu'nda Yapılandırılmış Akış artık geçici erişim belirteçlerinin yenilenmesini destekliyor. Unity Catalog ile çalışan akış iş yükleri, çok amaçlı veya iş kümelerinde ilk belirtecin süresi dolduktan sonra artık başarısız olmaz.
    • Delta tablosunda adlı _change_typekullanıcı tanımlı bir sütun varsa ancak Bu tabloda Veri akışını değiştir devre dışı bırakıldıysa, bu sütundaki verilerin çalıştırırken MERGEhatalı bir şekilde NULL değerleriyle doldurulması sorunu düzeltildi.
    • MERGE çalıştırıldığında ve koşulda kaynaktan tam olarak 99 sütun kullanıldığında java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow oluşmasına neden olan bir sorun düzeltildi.
    • Otomatik Yükleyici'de, allowOverwrites etkinleştirildiğinde bir dosyanın aynı mikro partide çoğaltılabilmesine neden olan bir sorun düzeltildi.
    • Apache commons-text 1.10.0 sürümüne yükseltildi.
    • [SPARK-38881][DSTREAMS][KINESIS][PYSPARK] CloudWatch MetricsLevel Yapılandırması desteği eklendi
    • [SPARK-40596][CORE] ExecutorDecommissionInfo içindeki iletilerle ExecutorDecommission'i doldurma
    • [SPARK-40670][SS][PYTHON] Giriş şemasında 'null kabul etmeyen' sütunlar bulunduğunda applyInPandasWithState içindeki NPE düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 11.3 LTS

Bkz. Databricks Runtime 11.3 LTS (EoS).

  • 4 Kasım 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 21 Ekim 2025
    • Python 2.7.18'den 2.7.18.1'e güncelleştirildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 7 Ekim 2025, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Eylül 2025, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Eylül 2025, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 26 Ağustos 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Ağustos 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Temmuz 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Temmuz 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Temmuz 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 3 Haziran 2025
    • güncelleştirilmiş Python kitaplıkları:
      • 2019.11.28 - 2021.10.8 ve 2021.10.8 tarihleri arasında geçerlidir.
      • chardet 3.0.4 ve 4.0.0 sürümünden 4.0.0 sürümüne
      • idna 2.8 ve 3.2'den 3.2'ye
      • 2.22.0, 2.26.0'dan 2.26.0'a istekler
      • 1.14.0'dan 1.16.0'a kadar altı versiyon, 1.16.0
      • urllib3 sürüm 1.25.8, 1.26.7'den 1.26.7'ye
      • pip 21.2.4 eklendi
      • Kurulum araçları eklendi 58.0.4
      • tomli 2.0.1 eklendi
      • wcwidth 0.2.5 eklendi
      • Tekerlek 0.37.0 eklendi
      • Dağıtım 1.4.0 kaldırıldı
      • Distro-info 0.23+ubuntu1.1 kaldırıldı
      • python-apt 2.0.1+ubuntu0.20.4.1 kaldırıldı
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 20 Mayıs 2025
    • [SPARK-42655][SQL] Belirsiz sütun referansı yanlışı hatası
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Nisan 2025
    • [Davranış Değişikliği] Vakum işlemleri artık diğer işlemlere benzer Yazıcı protokolü denetimleri gerçekleştirerek uyumsuz eski Databricks Runtime sürümlerinden çalıştırıldığında daha yeni özelliklere sahip tablolarda beklenmeyen temizlemeleri önlüyor.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Nisan 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Mart 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Şubat 2025
    • Bu sürüm, artımlı bir CLONE'ın, kaynak tablodan hedef tabloya zaten kopyalanmış dosyaları yeniden kopyalayabileceği bir uç duruma yönelik bir düzeltme içerir. Bkz. Azure Databricks'te bir tabloyu klonlama.
  • 10 Aralık 2024, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 26 Kasım 2024
    • Çeşitli hata düzeltmeleri.
  • 10 Ekim 2024, Cumartesi
    • Çeşitli hata düzeltmeleri.
  • 25 Eylül 2024, Cumartesi
    • [SPARK-46601] [CORE] handleStatusMessage'daki günlük hatasını düzelt
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" düzeltildi
    • Çeşitli hata düzeltmeleri.
  • 17 Eylül 2024, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Ağustos 2024
    • [SPARK-48941][SPARK-48970] Backport ML yazıcı / okuyucu düzeltmeleri
    • [SPARK-49065][SQL] Eski biçimlendiriciler ve ayrıştırıcılarda yeniden yapılandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir
    • [SPARK-48597][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
    • [SPARK-48463][ML] İç içe giriş sütunlarını destekleyen StringIndexer yapın
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Ağustos 2024
  • 1 Ağustos 2024
    • Gerekli güvenlik düzeltme eklerini uygulamak için Databricks Runtime 11.3 LTS'deki Python sürümü 3.9.5'ten 3.9.19'a yükseltilir.
  • 11 Temmuz 2024
    • [SPARK-48383][SS] Kafka'da startOffset seçeneğinde eşleşmeyen bölümler için daha iyi hata oluşturma
    • [SPARK-47070] Alt sorgu yeniden yazıldıktan sonra geçersiz birleştirmeyi düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Haziran 2024
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 21 Mayıs 2024
    • [SPARK-48105][SS] Durum deposu kaldırma ve anlık görüntü oluşturma arasındaki yarış durumunu düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Mayıs 2024
    • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange oluşturulurken eksik param hatasına neden olan null groupId değeri düzeltildi
    • [SPARK-47973][CORE] SparkContext.stop() ve daha sonrasında SparkContext.assertNotStopped() içinde arama konumunu günlüğe kaydetme
    • [SPARK-44251][SQL] Tam dış USING JOIN işleminde birleştirilmiş birleştirme anahtarında nullable ayarını doğru ayarlama
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Nisan 2024
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Nisan 2024
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Nisan 2024
    • [SPARK-44252][SS] Yeni bir hata sınıfı tanımlayın ve DFS'den yükleme durumunun başarısız olduğu durum için uygulayın
    • [SPARK-47135][SS] Kafka veri kaybı özel durumları için hata sınıfları uygulama
    • Geri Al "[SPARK-46861][CORE] DAGScheduler'da Kilitlenmeyi Önle"
    • [SPARK-47200][SS] Foreach toplu havuz kullanıcı işlevi hatası için hata sınıfı
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Mart 2024
    • [SPARK-47167][SQL] JDBC anonim ilişkisi için somut sınıf ekleme
    • [SPARK-47125][SQL] Univocity hiçbir zaman ayrıştırma tetiklemiyorsa null döndür
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Şubat 2024
    • MERGE komutunda kaynak olarak yerel koleksiyon kullanmanın numSourceRows işlem ölçümünün doğru satır sayısını ikiye katladığı bir sorun düzeltildi.
    • [SPARK-45582][SS] Çıkış modu akış toplama işlemi içinde komut işlemi çağrıldıktan sonra depolama örneğinin kullanılmadığından emin olunmalıdır.
  • 13 Şubat 2024
    • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
    • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2024
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Aralık 2023, Cumartesi
    • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
    • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
    • [SPARK-46602] Görünüm/tablo mevcut olmadığında görünüm oluşturulmasında allowExisting'nin yayılması.
    • [SPARK-46394] spark.sql.legacy.keepCommandOutputSchema true olarak ayarlandığında özel karakterler içeren şemalardaki spark.catalog.listDatabases() sorunlarını düzeltin.
    • [SPARK-46538]ALSModel.transform içindeki belirsiz sütun başvurusu sorununu düzeltin.
    • [SPARK-39440] Olay zaman çizelgesini devre dışı bırakmak için bir yapılandırma ekleyin.
    • [SPARK-46249] Arka plan işlemleriyle yarışmayı önlemek için RocksDB ölçümlerinin elde edilmesi için örnek kilidi gereklidir.
    • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
  • 14 Aralık 2023, Cumartesi
    • JDBC veya ODBC istemcilerinden kaynaklanan getColumns işlemlerinde kaçış alt çizgilerinin yanlış işlendiği ve joker karakter olarak yorumlandığı bir sorun düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2023
    • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde kaçış karakteri olarak kullanılan getColumns alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
    • [SPARK-43973] Structured Streaming UI artık başarısız sorguları doğru şekilde görüntülüyor.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
    • [SPARK-45859] UDF nesnelerini tembel hale ml.functions getirdi.
    • [SPARK-43718] Birleştirmelerdeki anahtarların null olma durumu düzeltildi.
    • [SPARK-44846] sonrasındaki RemoveRedundantAggregateskarmaşık gruplandırma ifadeleri kaldırıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Kasım 2023
    • Delta Lake akış sorgularında bölüm filtreleri, daha iyi kullanım elde etmek için hız sınırlamadan önce aşağı itilir.
    • [SPARK-42205] Aşama ve Görev başlatma olaylarında kayıt birikimleri kaldırıldı.
    • [SPARK-45545], SparkTransportConf oluşturulurken SSLOptions'i devralır.
    • Geri döndür [SPARK-33861].
    • [SPARK-45541] eklendi SSLFactory.
    • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • [SPARK-45430]FramelessOffsetWindowFunction artık IGNORE NULLS ve offset > rowCount durumlarında başarısız olmaz.
    • [SPARK-45427] ve SSLOptionsöğesine SparkTransportConf RPC SSL ayarları eklendi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Ekim 2023, Cumartesi
    • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
    • Çeşitli düzeltmeler.
  • 13 Ekim 2023, Cumartesi
    • Snowflake-jdbc bağımlılığı 3.13.29'dan 3.13.33'e yükseltildi.
    • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönmek.
    • [SPARK-45084]StateOperatorProgress doğru, yeterli bir karıştırma bölüm numarası kullanmak için.
    • [SPARK-45346] Parquet şema çıkarımı, artık bir şemayı birleştirirken büyük/küçük harfe duyarlılık bayrağını dikkate alır.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Eylül 2023, Cumartesi
    • Çeşitli düzeltmeler.
  • 30 Ağustos 2023
    • [SPARK-44818]taskThread başlatılmadan önce verilen bekleyen görev kesintisi için yarış durumu düzeltildi.
    • [SPARK-44871][11.3-13.0] Sabit percentile_disc davranış.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Ağustos 2023
    • [SPARK-44485] İyileştirilmiş TreeNode.generateTreeString.
    • [SPARK-44504] Bakım görevi, durdurma hatası durumunda yüklenmiş sağlayıcıları temizler.
    • [SPARK-44464] İlk sütun değeri olan satırların çıktısını almak için applyInPandasWithStatePythonRunner düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Temmuz 2023
    • dbutils.fs.ls()'nin, başka bir dış veya yönetilen depolama konumuyla çakışan bir depolama konumu yolu için çağrıldığında INVALID_PARAMETER_VALUE.LOCATION_OVERLAP döndürmesine neden olan bir sorun düzeltildi.
    • [SPARK-44199]CacheManager artık fileIndex gereksiz yere yenilenmez.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Temmuz 2023
    • [SPARK-44136] StateManager'ın FlatMapGroupsWithStateExec'te sürücü yerine yürütücüde oluşturulması sorunu düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 23 Haziran 2023
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Haziran 2023
    • Fotona dönüştü approx_count_distinct.
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • [SPARK-43779]ParseToDate artık ana iş parçacığında EvalMode yükleniyor.
    • [SPARK-40862] RewriteCorrelatedScalarSubquery'de toplanmamış alt sorguları destekleme
    • [SPARK-43156][SPARK-43098] Skaler alt sorgu sayısı hata testi, decorrelateInnerQuery kapatıldığında genişletildi.
    • [SPARK-43098] Skaler alt sorgunun group by yan tümcesi içermesi durumunda doğruluk hatasına neden olan COUNT hatası düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 2 Haziran 2023
    • JSON ayrıştırıcısı failOnUnknownFields modda bir kaydı DROPMALFORMED modda bırakır ve FAILFAST modunda doğrudan başarısız olur.
    • Iceberg ve Parquet ile SHALLOW CLONE artımlı güncelleştirmelerin performansını geliştirin.
    • Otomatik Yükleyici'de sağlanan şemada türetilmiş bölümler bulunmadığında, farklı kaynak dosya biçimlerinin uyumsuz olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
    • [SPARK-43404]Kimlik uyuşmazlığı hatasını önlemek için sst dosyasını Aynı RocksDB durum deposu sürümü için yeniden kullanma işlemini atlayın.
    • [SPARK-43527] PySpark'ta düzeltildi catalog.listCatalogs .
    • [SPARK-43413][11.3-13.0] Alt sorgu IN null ListQuery özelliği düzeltildi.
    • [SPARK-43340] Olay günlüklerinde eksik yığın izleme alanı düzeltildi.

Databricks Runtime 11.2

Bkz . Databricks Runtime 11.2 (EoS).

  • 28 Şubat 2023
    • [SPARK-42286][SQL] CAST ile karmaşık ifadelere yönelik kod üretimi için önceki kod yoluna geriye dönüş
    • [SPARK-42346][SQL] Alt sorgu birleştirme işleminden sonra ayrı toplamaları yeniden yazma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 16 Şubat 2023
    • Kullanıcılar artık Databricks Runtime 9.1 veya sonraki bir sürümünü kullanarak Okuyucu sürüm 3 ve Yazıcı sürüm 7 gerektiren bazı Delta tablolarını okuyabilir ve yazabilir. Başarılı olmak için tabloların protokolünde listelenen tablo özellikleri Databricks Runtime'ın geçerli sürümü tarafından desteklenmelidir.
    • SYNC komutu, yeniden oluşturulmuş Hive Meta Veri Deposu tablolarının eşitlenmesini destekler. HMS tablosu daha önce Unity Kataloğu'na senkronize edildiyse ancak daha sonra bırakılıp yeniden oluşturulduysa, TABLE_ALREADY_EXISTS durum kodu oluşturmak yerine bir sonraki yeniden senkronizasyon çalışır.
    • [SPARK-41219][SQL] IntegralDivide, 0'ı göstermek için ondalık (1, 0) kullanır
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2023
    • JDBC tablolarının tablo türleri artık varsayılan olarak EXTERNAL'tir.
    • [SPARK-41379][SS][PYTHON] PySpark'ta foreachBatch havuzu için kullanıcı fonksiyonunda DataFrame içerisinde kopyalanmış bir spark oturumu sağlama.
  • 18 Ocak 2023
    • Azure Synapse bağlayıcısı artık sütun adında boşluklar veya noktalı virgüller gibi geçersiz karakterler bulunduğunda daha açıklayıcı bir hata iletisi döndürür. Böyle durumlarda şu ileti döndürülür: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] CTE ve DSv1 akış kaynağına sahip akış sorgusundaki ölçümleri düzeltme
    • [SPARK-41862][SQL] Ork okuyucuda DEFAULT değerleriyle ilgili doğruluk hatasını düzeltme
    • [SPARK-41539][SQL] MantıksalRDD için mantıksal plandaki çıkışa karşı istatistikleri ve kısıtlamaları yeniden düzenleme
    • [SPARK-41199][SS] DSv1 akış kaynağı ve DSv2 akış kaynağı birlikte kullanıldığında oluşan ölçümler sorunu düzeltildi
    • [SPARK-41339][SQL] Yalnızca temizlemek yerine RocksDB yazma toplu işlemini kapatın ve yeniden oluşturun
    • [SPARK-41732][SQL][SS] SessionWindowing kuralı için ağaç deseni tabanlı ayıklama uygulama
    • [SPARK-38277][SS] RocksDB durum deposu işleme işleminden sonra yazma toplu işlemini temizle
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2022
    • Kullanıcılar, Redshift bağlayıcısını kullanarak veri yazarken baştaki ve sondaki boşlukların davranışını yapılandırabilir. Boşluk işlemeyi denetlemek için aşağıdaki seçenekler eklenmiştir:
      • csvignoreleadingwhitespace, true olarak ayarlandığında veya tempformatCSV veya CSV GZIP olarak ayarlandığında, yazma sırasında değerlerden baştaki boşluğu kaldırır. Boşluklar, yapılandırma false olarak ayarlandığında korunur. Varsayılan değer true şeklindedir.
      • csvignoretrailingwhitespace olarak ayarlandığında, true yazma işlemleri sırasında tempformat veya CSV olarak ayarlandığında değerlerden sondaki boşluğu kaldırır. Boşluklar, yapılandırma false olarak ayarlandığında korunur. Varsayılan değer true şeklindedir.
    • Tüm sütunlar dize olarak bırakıldığında (cloudFiles.inferColumnTypes ayarlanmamış ya da false olarak ayarlanmış) ve JSON iç içe geçmiş nesneler içerdiğinde, Otomatik Yükleyici'de JSON ayrıştırma ile ilgili bir hata düzeltildi.
    • [SPARK-40906][SQL] Mode Harita'ya eklemeden önce anahtarları kopyalamalı
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Kasım 2022
    • [SPARK-40646] Yapılar, haritalar ve diziler için JSON ayrıştırma düzeltildi, bu nedenle kaydın bir bölümü şemayla eşleşmediğinde, kaydın geri kalanı null döndürmek yerine doğru şekilde ayrıştırılabilir. Geliştirilmiş davranışı etkinleştirmek için spark.sql.json.enablePartialResults öğesini true olarak ayarlayın. Özgün davranışı korumak için bayrak varsayılan olarak devre dışıdır
    • [SPARK-40618][SQL] Başvuru izleme kullanarak iç içe alt sorgular içeren MergeScalarSubqueries kuralındaki hata düzeltildi
    • [SPARK-40697][SQL] Dış veri dosyalarını kapsayacak şekilde okuma tarafında karakter doldurma yapılması
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Kasım 2022, İstanbul
    • Apache commons-text 1.10.0 sürümüne yükseltildi.
    • Delta tablosunda adlı _change_typekullanıcı tanımlı bir sütun varsa ancak Bu tabloda Veri akışını değiştir devre dışı bırakıldıysa, bu sütundaki verilerin çalıştırırken MERGEhatalı bir şekilde NULL değerleriyle doldurulması sorunu düzeltildi.
    • MERGE çalıştırıldığında ve koşulda kaynaktan tam olarak 99 sütun kullanıldığında java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow oluşmasına neden olan bir sorun düzeltildi.
    • allowOverwrites etkinleştirildiğinde dosyanın aynı mikro toplu işlemde çoğaltılabilmesine neden olan Otomatik Yükleyici ile ilgili bir sorun düzeltildi
    • [SPARK-40596][CORE] ExecutorDecommissionInfo içindeki iletilerle ExecutorDecommission'i doldurma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 19 Ekim 2022, Cumartesi
    • Unity Kataloğu etkinleştirilmiş kümelerde/ambarlarda geçici kimlik bilgileriyle COPY INTO kullanımıyla ilgili bir sorun düzeltildi.
    • [SPARK-40213][SQL] Latin-1 karakterleri için ASCII değer dönüştürme desteği
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Ekim 2022, Cumartesi
    • Kullanıcılar spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") öğesini ADLS üzerinde Otomatik Yükleyici için yerel listeyi yeniden etkinleştirmek üzere ayarlayabilir. Yerel listeleme daha önce performans sorunları nedeniyle kapatılmıştı, ancak müşteriler için depolama maliyetlerinin artmasına neden olmuş olabilir. Bu değişiklik önceki bakım güncelleştirmesinde Databricks Runtime 10.4 ve 9.1'e dağıtıldı.
    • [SPARK-40315][SQL]Yerleşik işlev desteği olarak URL kodlama/kod çözme ve URL ile ilgili işlevleri düzenleme
    • [SPARK-40156][SQL]url_decode() hata sınıfı döndürmelidir
    • [SPARK-40169] Veri şemasına başvurmadan Parquet filtrelerini göndermeyin
    • [SPARK-40460][SS] Seçim yaparken akış ölçümlerini düzeltme _metadata
    • [SPARK-40468][SQL] _corrupt_record seçildiğinde CSV'de sütun ayıklamayı düzeltme
    • [SPARK-40055][SQL] listCatalogs, spark_catalog uygulaması defaultSessionCatalog olduğunda bile, spark_catalog'u da döndürmelidir.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Eylül 2022, Cumartesi
    • [SPARK-40315][SQL] ArrayBasedMapData Literal'i için hashCode() ekle
    • [SPARK-40389][SQL] Ondalıklar, eğer dönüşüm taşma yapabiliyorsa, tam sayı türleri olarak yukarıya dönüştürülemez.
    • [SPARK-40380][SQL] Plana serileştirilebilir olmayan sabit değer katıştırılmasını önlemek için InvokeLike'in sürekli katlanması düzeltilir
    • [SPARK-40066][SQL][TAKİP] DataType'ı almadan önce ElementAt'in çözümlenip çözümlenmediğini denetleyin
    • [SPARK-40109][SQL] Yeni SQL işlevi: get()
    • [SPARK-40066][SQL] ANSI modu: Eşleme sütununa geçersiz erişimde her zaman null döndür
    • [SPARK-40089][SQL] Bazı Ondalık türleri için sıralamayı düzeltme
    • [SPARK-39887][SQL] RemoveRedundantAliases, projeksiyon düğümlerinin çıkışını benzersiz hale getiren diğer adları tutmalıdır
    • [SPARK-40152][SQL] split_part codegen derleme sorunu düzeltildi
    • [SPARK-40235][CORE] Executor.updateDependencies() içinde senkronize yerine kesilebilir kilit kullanın
    • [SPARK-40212][SQL] SparkSQL castPartValue bayt, kısa veya kayan değeri düzgün şekilde işlemez
    • [SPARK-40218][SQL] GRUPLANDıRMA KÜMESİ, gruplandırma sütunlarını korumalıdır
    • [SPARK-35542][ML] Düzeltme: Parametrelerle birden çok sütun için demet oluşturucu oluşturuldu
    • [SPARK-40079] Boş giriş durumları için Imputer inputCols doğrulamasını ekle
    • [SPARK-39912]SPARK-39828[SQL] Kataloğu İyileştirmeImpl

Databricks Runtime 11.1

Bkz . Databricks Runtime 11.1 (EoS).

  • 31 Ocak 2023

    • [SPARK-41379][SS][PYTHON] PySpark'ta foreachBatch havuzu için kullanıcı fonksiyonunda DataFrame içerisinde kopyalanmış bir spark oturumu sağlama.
    • Çeşitli hata düzeltmeleri.

  • 18 Ocak 2023

    • Azure Synapse bağlayıcısı artık sütun adında boşluklar veya noktalı virgüller gibi geçersiz karakterler bulunduğunda daha açıklayıcı bir hata iletisi döndürür. Böyle durumlarda şu ileti döndürülür: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] CTE ve DSv1 akış kaynağına sahip akış sorgusundaki ölçümleri düzeltme
    • [SPARK-41862][SQL] Ork okuyucuda DEFAULT değerleriyle ilgili doğruluk hatasını düzeltme
    • [SPARK-41199][SS] DSv1 akış kaynağı ve DSv2 akış kaynağı birlikte kullanıldığında oluşan ölçümler sorunu düzeltildi
    • [SPARK-41339][SQL] Yalnızca temizlemek yerine RocksDB yazma toplu işlemini kapatın ve yeniden oluşturun
    • [SPARK-41732][SQL][SS] SessionWindowing kuralı için ağaç deseni tabanlı ayıklama uygulama
    • [SPARK-38277][SS] RocksDB durum deposu işleme işleminden sonra yazma toplu işlemini temizle
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Kasım 2022

    • Kullanıcılar, Redshift bağlayıcısını kullanarak veri yazarken baştaki ve sondaki boşlukların davranışını yapılandırabilir. Boşluk işlemeyi denetlemek için aşağıdaki seçenekler eklenmiştir:
      • csvignoreleadingwhitespace, true olarak ayarlandığında veya tempformatCSV veya CSV GZIP olarak ayarlandığında, yazma sırasında değerlerden baştaki boşluğu kaldırır. Boşluklar, yapılandırma false olarak ayarlandığında korunur. Varsayılan değer true şeklindedir.
      • csvignoretrailingwhitespace olarak ayarlandığında, true yazma işlemleri sırasında tempformat veya CSV olarak ayarlandığında değerlerden sondaki boşluğu kaldırır. Boşluklar, yapılandırma false olarak ayarlandığında korunur. Varsayılan değer true şeklindedir.
    • Tüm sütunlar dize olarak bırakıldığında (cloudFiles.inferColumnTypes ayarlanmamış ya da false olarak ayarlanmış) ve JSON iç içe geçmiş nesneler içerdiğinde, Otomatik Yükleyici'de JSON ayrıştırma ile ilgili bir hata düzeltildi.
    • [SPARK-39650][SS] Geriye dönük uyumluluk ile akışta yinelenenlerin kaldırılmasında yanlış değer şeması düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Kasım 2022

    • [SPARK-40646] Yapılar, haritalar ve diziler için JSON ayrıştırma düzeltildi, bu nedenle kaydın bir bölümü şemayla eşleşmediğinde, kaydın geri kalanı null döndürmek yerine doğru şekilde ayrıştırılabilir. Geliştirilmiş davranışı kabul etmek için olarak ayarlayın spark.sql.json.enablePartialResultstrue. Özgün davranışı korumak için bayrak varsayılan olarak devre dışıdır
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Kasım 2022, İstanbul

    • Apache commons-text 1.10.0 sürümüne yükseltildi.
    • Delta tablosunda adlı _change_typekullanıcı tanımlı bir sütun varsa ancak Bu tabloda Veri akışını değiştir devre dışı bırakıldıysa, bu sütundaki verilerin çalıştırırken MERGEhatalı bir şekilde NULL değerleriyle doldurulması sorunu düzeltildi.
    • MERGE çalıştırıldığında ve koşulda kaynaktan tam olarak 99 sütun kullanıldığında java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow oluşmasına neden olan bir sorun düzeltildi.
    • allowOverwrites etkinleştirildiğinde dosyanın aynı mikro toplu işlemde çoğaltılabilmesine neden olan Otomatik Yükleyici ile ilgili bir sorun düzeltildi
    • [SPARK-40697][SQL] Dış veri dosyalarını kapsayacak şekilde okuma tarafında karakter doldurma yapılması
    • [SPARK-40596][CORE] ExecutorDecommissionInfo içindeki iletilerle ExecutorDecommission'i doldurma
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 18 Ekim 2022, Cumartesi

    • Unity Kataloğu etkinleştirilmiş kümelerde/ambarlarda geçici kimlik bilgileriyle COPY INTO kullanımıyla ilgili bir sorun düzeltildi.
    • [SPARK-40213][SQL] Latin-1 karakterleri için ASCII değer dönüştürme desteği
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 5 Ekim 2022 Çarşamba

    • Kullanıcılar spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") öğesini ADLS üzerinde Otomatik Yükleyici için yerel listeyi yeniden etkinleştirmek üzere ayarlayabilir. Yerel listeleme daha önce performans sorunları nedeniyle kapatılmıştı, ancak müşteriler için depolama maliyetlerinin artmasına neden olmuş olabilir. Bu değişiklik önceki bakım güncelleştirmesinde Databricks Runtime 10.4 ve 9.1'e dağıtıldı.
    • [SPARK-40169] Veri şemasına başvurmadan Parquet filtrelerini göndermeyin
    • [SPARK-40460][SS] Seçim yaparken akış ölçümlerini düzeltme _metadata
    • [SPARK-40468][SQL] _corrupt_record seçildiğinde CSV'de sütun ayıklamayı düzeltme
    • [SPARK-40055][SQL] listCatalogs, spark_catalog uygulaması defaultSessionCatalog olduğunda bile, spark_catalog'u da döndürmelidir.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 22 Eylül 2022, Cumartesi

    • [SPARK-40315][SQL] ArrayBasedMapData Literal'i için hashCode() ekle
    • [SPARK-40380][SQL] Plana serileştirilebilir olmayan sabit değer katıştırılmasını önlemek için InvokeLike'in sürekli katlanması düzeltilir
    • [SPARK-40089][SQL] Bazı Ondalık türleri için sıralamayı düzeltme
    • [SPARK-39887][SQL] RemoveRedundantAliases, projeksiyon düğümlerinin çıkışını benzersiz hale getiren diğer adları tutmalıdır
    • [SPARK-40152][SQL] split_part codegen derleme sorunu düzeltildi

  • 6 Eylül 2022, Cumartesi

    • Tablo Erişim Denetimleri'ndeki (Tablo ACL'leri) izin modelini, ile ALTER TABLEtablonun şemasını veya tablo özelliklerini değiştirmek için yalnızca DEĞİşTİrİm izinlerinin gerekli olması için güncelleştirdik. Daha önce, bu işlemler bir kullanıcının tabloya sahip olmasını gerekiyordu. Bir tablo üzerinde izinleri vermek, sahibini değiştirmek, konumunu değiştirmek veya yeniden adlandırmak için sahiplik hala gereklidir. Bu değişiklik, Tablo ACL'leri için izin modelini Unity Kataloğu ile daha tutarlı hale getirir.
    • [SPARK-40235][CORE] Executor.updateDependencies() içinde senkronize yerine kesilebilir kilit kullanın
    • [SPARK-40212][SQL] SparkSQL castPartValue bayt, kısa veya kayan değeri düzgün şekilde işlemez
    • [SPARK-40218][SQL] GRUPLANDıRMA KÜMESİ, gruplandırma sütunlarını korumalıdır
    • [SPARK-39976][SQL] ArrayIntersect sol ifadede null değerini doğru işlemelidir
    • [SPARK-40053][CORE][SQL][TESTLER] Python çalışma zamanı ortamı gerektiren dinamik iptal durumlarına assume ekleme
    • [SPARK-35542][CORE][ML] Düzeltme: SplitsArray, inputCols ve outputCols parametreleriyle birden çok sütun için oluşturulan demet oluşturucu kaydedildikten sonra yüklenemiyor
    • [SPARK-40079][CORE] Boş giriş durumu için Imputer inputCols doğrulamasını ekleyin

  • 24 Ağustos 2022

    • Paylaşımlar, sağlayıcılar ve alıcılar artık sahiplerini değiştirmek, açıklama yapmak, yeniden adlandırmak için SQL komutlarını destekliyor
    • [SPARK-39983][CORE][SQL] Seri hale getirilmemiş yayın ilişkilerini sürücüde önbelleğe almayın
    • [SPARK-39912][SPARK-39828][SQL] Kataloğu İyileştirImpl
    • [SPARK-39775][CORE][AVRO] Avro şemalarını ayrıştırırken varsayılan değerleri doğrulamayı devre dışı bırakma
    • [SPARK-39806] Bölümlenmiş tablolarda METADATA yapısına erişen sorguların neden olduğu kilitlenme sorunu giderildi.
    • [SPARK-39867][SQL] Genel sınır OrderPreservingUnaryNode'yi devralmamalıdır
    • [SPARK-39962][PYTHON][SQL] Grup öznitelikleri boş olduğunda projeksiyonu uygulama
    • [SPARK-39839][SQL] UnsafeRow yapısal bütünlük denetiminde, null ve değişken uzunluklu Ondalık'ın sıfır olmayan offsetAndSize ile ilgili özel durumunu ele alma
    • [SPARK-39713][SQL] ANSI modu: INVALID_ARRAY_INDEX hatası için try_element_at kullanma önerisi ekleme
    • [SPARK-39847][SS] Çağıran iş parçacığı kesintiye uğrarsa RocksDBLoader.loadLibrary() içindeki yarış koşulu düzeltildi.
    • [SPARK-39731][SQL] "yyyyMMdd" biçimindeki tarihleri düzeltilmiş zaman ayrıştırıcı ilkesi kullanılarak ayrıştırırken CSV ve JSON veri kaynaklarındaki tarih ayrıştırma sorunları düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 10 Ağustos 2022

    • Tablo erişim kontrolüne sahip Delta tabloları için, INSERT ve MERGE gibi DML deyimleri aracılığıyla otomatik şema evrimi, bu tablolarda MODIFY izinleri olan tüm kullanıcılar tarafından artık kullanılabilir. Buna ek olarak, şema evrimi işlemi gerçekleştirme izni COPY INTO için, diğer komutlarla tutarlılık sağlamak amacıyla izinler OWNER'den MODIFY'ye düşürülmüştür. Bu değişiklikler, tablo ACL güvenlik modelini Unity Kataloğu güvenlik modeliyle ve bir tabloyu değiştirme gibi diğer işlemlerle daha tutarlı hale getirir.
    • [SPARK-39889] Bölme hata iletisini 0'a kadar geliştirme
    • [SPARK-39795] [SQL] Yeni SQL işlevi: try_to_timestamp
    • [SPARK-39749] ANSI modunda dize olarak ondalık atamada her zaman düz dize gösterimi kullanın
    • [SPARK-39625] df.as df.to olarak yeniden adlandırma
    • [SPARK-39787] [SQL] hata sınıfını işlev to_timestamp ayrıştırma hatasında kullanma
    • [SPARK-39625] [SQL] Dataset.as(StructType) ekleme
    • [SPARK-39689] CSV veri kaynağında 2 karakterli destek lineSep
    • [SPARK-39579] [SQL][python][R] ListFunctions/getFunction/functionExists'i 3 katmanlı ad alanıyla uyumlu hale getirme
    • [SPARK-39702] [CORE] Paylaşılan byteRawChannel kullanarak TransportCipher$EncryptedMessage'ın bellek yükünü azaltın
    • [SPARK-39575] [AVRO] AvroDeserializer'de ByteBuffer#get'den sonra ByteBuffer#rewind ekle
    • [SPARK-39265] [SQL] SPARK_ANSI_SQL_MODE etkinleştirildiğinde test hatasını düzeltme
    • [SPARK-39441] [SQL] DeduplicateRelations'i hızlandırma
    • [SPARK-39497] [SQL] Eksik eşleme anahtarı sütununun analiz özel durumunu iyileştirme
    • [SPARK-39476] [SQL] Long'dan Float/Double'a veya Tamsayıdan Float'a dönüştürme sırasında Unwrap dönüştürme iyileştirmesini devre dışı bırakma
    • [SPARK-39434] [SQL] Dizi indeksi sınırları aştığında çalışma zamanı hatası sorgu bağlamı sağlama

Databricks Runtime 11.0

Bkz . Databricks Runtime 11.0 (EoS).

  • 29 Kasım 2022
    • Kullanıcılar, Redshift bağlayıcısını kullanarak veri yazarken baştaki ve sondaki boşlukların davranışını yapılandırabilir. Boşluk işlemeyi denetlemek için aşağıdaki seçenekler eklenmiştir:
      • csvignoreleadingwhitespace, true olarak ayarlandığında veya tempformatCSV veya CSV GZIP olarak ayarlandığında, yazma sırasında değerlerden baştaki boşluğu kaldırır. Boşluklar, yapılandırma false olarak ayarlandığında korunur. Varsayılan değer true şeklindedir.
      • csvignoretrailingwhitespace olarak ayarlandığında, true yazma işlemleri sırasında tempformat veya CSV olarak ayarlandığında değerlerden sondaki boşluğu kaldırır. Boşluklar, yapılandırma false olarak ayarlandığında korunur. Varsayılan değer true şeklindedir.
    • Tüm sütunlar dize olarak bırakıldığında (cloudFiles.inferColumnTypes ayarlanmamış ya da false olarak ayarlanmış) ve JSON iç içe geçmiş nesneler içerdiğinde, Otomatik Yükleyici'de JSON ayrıştırma ile ilgili bir hata düzeltildi.
    • [SPARK-39650][SS] Geriye dönük uyumluluk ile akışta yinelenenlerin kaldırılmasında yanlış değer şeması düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Kasım 2022
    • [SPARK-40646] Yapılar, haritalar ve diziler için JSON ayrıştırma düzeltildi, bu nedenle kaydın bir bölümü şemayla eşleşmediğinde, kaydın geri kalanı null döndürmek yerine doğru şekilde ayrıştırılabilir. Geliştirilmiş davranışı etkinleştirmek için spark.sql.json.enablePartialResults öğesini true olarak ayarlayın. Özgün davranışı korumak için bayrak varsayılan olarak devre dışı bırakılır.
  • 1 Kasım 2022, İstanbul
    • Apache commons-text 1.10.0 sürümüne yükseltildi.
    • Delta tablosunda adlı _change_typekullanıcı tanımlı bir sütun varsa ancak Bu tabloda Veri akışını değiştir devre dışı bırakıldıysa, bu sütundaki verilerin çalıştırırken MERGEhatalı bir şekilde NULL değerleriyle doldurulması sorunu düzeltildi.
    • allowOverwrites etkinleştirildiğinde dosyanın aynı mikro toplu işlemde çoğaltılabilmesine neden olan Otomatik Yükleyici ile ilgili bir sorun düzeltildi
    • [SPARK-40697][SQL] Dış veri dosyalarını kapsayacak şekilde okuma tarafında karakter doldurma yapılması
    • [SPARK-40596][CORE] ExecutorDecommissionInfo içindeki iletilerle ExecutorDecommission'i doldurma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Ekim 2022, Cumartesi
    • [SPARK-40213][SQL] Latin-1 karakterleri için ASCII değer dönüştürme desteği
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Ekim 2022, Cumartesi
    • Kullanıcılar spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") öğesini ADLS üzerinde Otomatik Yükleyici için yerel listeyi yeniden etkinleştirmek üzere ayarlayabilir. Yerel listeleme daha önce performans sorunları nedeniyle kapatılmıştı, ancak müşteriler için depolama maliyetlerinin artmasına neden olmuş olabilir. Bu değişiklik önceki bakım güncelleştirmesinde Databricks Runtime 10.4 ve 9.1'e dağıtıldı.
    • [SPARK-40169] Veri şemasına başvurmadan Parquet filtrelerini göndermeyin
    • [SPARK-40460][SS] Seçim yaparken akış ölçümlerini düzeltme _metadata
    • [SPARK-40468][SQL] _corrupt_record seçildiğinde CSV'de sütun ayıklamayı düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Eylül 2022, Cumartesi
    • [SPARK-40315][SQL] ArrayBasedMapData Literal'i için hashCode() ekle
    • [SPARK-40380][SQL] Plana serileştirilebilir olmayan sabit değer katıştırılmasını önlemek için InvokeLike'in sürekli katlanması düzeltilir
    • [SPARK-40089][SQL] Bazı Ondalık türleri için sıralamayı düzeltme
    • [SPARK-39887][SQL] RemoveRedundantAliases, projeksiyon düğümlerinin çıkışını benzersiz hale getiren diğer adları tutmalıdır
    • [SPARK-40152][SQL] split_part codegen derleme sorunu düzeltildi
  • 6 Eylül 2022, Cumartesi
    • [SPARK-40235][CORE] Executor.updateDependencies() içinde senkronize yerine kesilebilir kilit kullanın
    • [SPARK-40212][SQL] SparkSQL castPartValue bayt, kısa veya kayan değeri düzgün şekilde işlemez
    • [SPARK-40218][SQL] GRUPLANDıRMA KÜMESİ, gruplandırma sütunlarını korumalıdır
    • [SPARK-39976][SQL] ArrayIntersect sol ifadede null değerini doğru işlemelidir
    • [SPARK-40053][CORE][SQL][TESTLER] Python çalışma zamanı ortamı gerektiren dinamik iptal durumlarına assume ekleme
    • [SPARK-35542][CORE][ML] Düzeltme: SplitsArray, inputCols ve outputCols parametreleriyle birden çok sütun için oluşturulan demet oluşturucu kaydedildikten sonra yüklenemiyor
    • [SPARK-40079][CORE] Boş giriş durumu için Imputer inputCols doğrulamasını ekleyin
  • 24 Ağustos 2022
    • [SPARK-39983][CORE][SQL] Seri hale getirilmemiş yayın ilişkilerini sürücüde önbelleğe almayın
    • [SPARK-39775][CORE][AVRO] Avro şemalarını ayrıştırırken varsayılan değerleri doğrulamayı devre dışı bırakma
    • [SPARK-39806] Bölümlenmiş tablolarda METADATA yapısına erişen sorguların neden olduğu kilitlenme sorunu giderildi.
    • [SPARK-39867][SQL] Genel sınır OrderPreservingUnaryNode'yi devralmamalıdır
    • [SPARK-39962][PYTHON][SQL] Grup öznitelikleri boş olduğunda projeksiyonu uygulama
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Ağustos 2022
    • [SPARK-39713][SQL] ANSI modu: INVALID_ARRAY_INDEX hatası için try_element_at kullanma önerisi ekleme
    • [SPARK-39847] Çağıran iş parçacığı kesintiye uğrarsa RocksDBLoader.loadLibrary() içindeki yarış durumu düzeltiliyor
    • [SPARK-39731][SQL] "yyyyMMdd" biçimindeki tarihleri düzeltilmiş zaman ayrıştırıcı ilkesi kullanılarak ayrıştırırken CSV ve JSON veri kaynaklarındaki tarih ayrıştırma sorunları düzeltildi.
    • [SPARK-39889] Bölme hata iletisini 0'a kadar geliştirme
    • [SPARK-39795][SQL] Yeni SQL işlevi: try_to_timestamp
    • [SPARK-39749] ANSI modunda dize olarak ondalık atamada her zaman düz dize gösterimi kullanın
    • [SPARK-39625][SQL] Dataset.to(StructType) ekleme
    • [SPARK-39787][SQL] hata sınıfını işlev to_timestamp ayrıştırma hatasında kullanma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Temmuz 2022, Saat 20:00
    • [SPARK-39689]CSV veri kaynağında 2 karakterli destek lineSep
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded, iş parçacığına karşı güvenli olmalıdır
    • [SPARK-39702][CORE] Paylaşılan byteRawChannel kullanarak TransportCipher$EncryptedMessage'ın bellek yükünü azaltın
    • [SPARK-39575][AVRO] AvroDeserializer içinde ByteBuffer#get'ten sonra ByteBuffer#rewind ekle
    • [SPARK-39497][SQL] Eksik eşleme anahtarı sütununun analiz özel durumunu iyileştirme
    • [SPARK-39441][SQL] DeduplicateRelations'i hızlandırma
    • [SPARK-39476][SQL] Long'dan Float/Double'a veya Integer'den Float'a dönüştürme sırasında Unwrap cast optimizasyonunu devre dışı bırakma
    • [SPARK-39434][SQL] Dizi dizini sınırların dışında olduğunda, çalışma zamanı hatası sorgu bağlamı sağlamak
    • [SPARK-39570][SQL] Satır içi tablo diğer adla ifadelere izin vermelidir
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Temmuz 2022
    • Kaynak belirleyici olmadığında Delta MERGE işleminin sonuçlarını tutarlı hale getirin.
    • cloud_files_state TVF'nin DBFS olmayan yollarda çalışırken karşılaştığı bir sorun giderildi.
    • Otomatik Yükleyici'nin Azure dizin listesi için yerel bulut API'lerini kullanması devre dışı bırakıldı.
    • [SPARK-38796][SQL] to_number ve try_to_number işlevlerini pozitif sayılarla PR’ye izin vermek için güncelleyin
    • [SPARK-39272][SQL] Sorgu bağlamının başlangıç konumunu 1 artırma
    • [SPARK-39419][SQL] Karşılaştırıcı null döndürdüğünde özel durum oluşturacak ArraySort düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Temmuz 2022
    • Bir dizi hata sınıfı için hata iletilerinde iyileştirme.
    • [SPARK-39451][SQL] ANSI modunda integrallere dönüştürme aralıklarını destekleme
    • [SPARK-39361] Varsayılan günlük yapılandırmalarında Log4J2'nin genişletilmiş atılabilir dönüştürme düzenini kullanmayın
    • [SPARK-39354][SQL] Aynı anda Table or view not found ile ilgili dataTypeMismatchError olsa bile Filter gösteriminin sağlanmasından emin olun
    • [SPARK-38675][CORE] BlockInfoManager'da kilit açma sırasında yarış durumu düzeltildi
    • [SPARK-39392][SQL] try_* işlev ipuçları için ANSI hata iletilerini iyileştirme
    • [SPARK-39214][SQL][3.3] CAST ile ilgili hataları iyileştirme
    • [SPARK-37939][SQL] Özellikleri ayrıştırma hatalarında hata sınıflarını kullanma
    • [SPARK-39085][SQL] Hata iletisini INCONSISTENT_BEHAVIOR_CROSS_VERSION error-classes.json'a taşı
    • [SPARK-39376][SQL] NATURAL/USING JOIN alt sorgu takma adının yıldız genişletmesinde yinelenen sütunları gizleme
    • [SPARK-39283][CORE] TaskMemoryManager ile UnsafeExternalSorter.SpillableIterator arasındaki kilitlenme düzeltildi
    • [SPARK-39285][SQL] Spark, dosyaları okurken alan adlarını denetlememelidir
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 10.5

Bkz . Databricks Runtime 10.5 (EoS).

  • 1 Kasım 2022, İstanbul
    • Delta tablosunda adlı _change_typekullanıcı tanımlı bir sütun varsa ancak Bu tabloda Veri akışını değiştir devre dışı bırakıldıysa, bu sütundaki verilerin çalıştırırken MERGEhatalı bir şekilde NULL değerleriyle doldurulması sorunu düzeltildi.
    • [SPARK-40697][SQL] Dış veri dosyalarını kapsayacak şekilde okuma tarafında karakter doldurma yapılması
    • [SPARK-40596][CORE] ExecutorDecommissionInfo içindeki iletilerle ExecutorDecommission'i doldurma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Ekim 2022, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Ekim 2022, Cumartesi
    • Kullanıcılar spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") öğesini ADLS üzerinde Otomatik Yükleyici için yerel listeyi yeniden etkinleştirmek üzere ayarlayabilir. Yerel listeleme daha önce performans sorunları nedeniyle kapatılmıştı, ancak müşteriler için depolama maliyetlerinin artmasına neden olmuş olabilir. Bu değişiklik önceki bakım güncelleştirmesinde Databricks Runtime 10.4 ve 9.1'e dağıtıldı.
    • reload4j, güvenlik açıklarını düzeltmek için 1.2.19 sürümüne yükseltildi.
    • [SPARK-40460][SS] Seçim yaparken akış ölçümlerini düzeltme _metadata
    • [SPARK-40468][SQL] _corrupt_record seçildiğinde CSV'de sütun ayıklamayı düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Eylül 2022, Cumartesi
    • [SPARK-40315][SQL] ArrayBasedMapData Literal'i için hashCode() ekle
    • [SPARK-40213][SQL] Latin-1 karakterleri için ASCII değer dönüştürme desteği
    • [SPARK-40380][SQL] Plana serileştirilebilir olmayan sabit değer katıştırılmasını önlemek için InvokeLike'in sürekli katlanması düzeltilir
    • [SPARK-38404][SQL] İç içe bir CTE dış CTE'ye başvurduğunda CTE çözünürlüğünü geliştirme
    • [SPARK-40089][SQL] Bazı Ondalık türleri için sıralamayı düzeltme
    • [SPARK-39887][SQL] RemoveRedundantAliases, projeksiyon düğümlerinin çıkışını benzersiz hale getiren diğer adları tutmalıdır
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 6 Eylül 2022, Cumartesi
    • [SPARK-40235][CORE] Executor.updateDependencies() içinde senkronize yerine kesilebilir kilit kullanın
    • [SPARK-39976][SQL] ArrayIntersect sol ifadede null değerini doğru işlemelidir
    • [SPARK-40053][CORE][SQL][TESTLER] Python çalışma zamanı ortamı gerektiren dinamik iptal durumlarına assume ekleme
    • [SPARK-35542][CORE][ML] Düzeltme: SplitsArray, inputCols ve outputCols parametreleriyle birden çok sütun için oluşturulan demet oluşturucu kaydedildikten sonra yüklenemiyor
    • [SPARK-40079][CORE] Boş giriş durumu için Imputer inputCols doğrulamasını ekleyin
  • 24 Ağustos 2022
    • [SPARK-39983][CORE][SQL] Seri hale getirilmemiş yayın ilişkilerini sürücüde önbelleğe almayın
    • [SPARK-39775][CORE][AVRO] Avro şemalarını ayrıştırırken varsayılan değerleri doğrulamayı devre dışı bırakma
    • [SPARK-39806] Bölümlenmiş tablolarda METADATA yapısına erişen sorguların neden olduğu kilitlenme sorunu giderildi.
    • [SPARK-39962][PYTHON][SQL] Grup öznitelikleri boş olduğunda projeksiyonu uygulama
    • [SPARK-37643][SQL] charVarcharAsString true olduğunda, char veri türü koşul sorgusu rpadding kuralını atlamalıdır
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Ağustos 2022
    • [SPARK-39847] Çağıran iş parçacığı kesintiye uğrarsa RocksDBLoader.loadLibrary() içindeki yarış durumu düzeltiliyor
    • [SPARK-39731][SQL] "yyyyMMdd" biçimindeki tarihleri düzeltilmiş zaman ayrıştırıcı ilkesi kullanılarak ayrıştırırken CSV ve JSON veri kaynaklarındaki tarih ayrıştırma sorunları düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Temmuz 2022, Saat 20:00
    • [SPARK-39625][SQL] Dataset.as(StructType) ekleme
    • [SPARK-39689]CSV veri kaynağında 2 karakterli destek lineSep
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded, iş parçacığına karşı güvenli olmalıdır
    • [SPARK-39570][SQL] Satır içi tablo diğer adla ifadelere izin vermelidir
    • [SPARK-39702][CORE] Paylaşılan byteRawChannel kullanarak TransportCipher$EncryptedMessage'ın bellek yükünü azaltın
    • [SPARK-39575][AVRO] AvroDeserializer içinde ByteBuffer#get'ten sonra ByteBuffer#rewind ekle
    • [SPARK-39476][SQL] Long'dan Float/Double'a veya Integer'den Float'a dönüştürme sırasında Unwrap cast optimizasyonunu devre dışı bırakma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Temmuz 2022
    • Kaynak belirleyici olmadığında Delta MERGE işleminin sonuçlarını tutarlı hale getirin.
    • [SPARK-39355][SQL] Tek sütun UnresolvedAttribute oluşturmak için quoted kullanır
    • [SPARK-39548][SQL] Pencere yan tümcesi içeren sorguyla CreateView komutu yanlış pencere tanımı bulunamadı sorunuyla karşılaştı
    • [SPARK-39419][SQL] Karşılaştırıcı null döndürdüğünde özel durum oluşturacak ArraySort düzeltildi
    • Otomatik Yükleyici'nin Azure dizin listesi için yerel bulut API'lerini kullanması devre dışı bırakıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Temmuz 2022
    • [SPARK-39376][SQL] NATURAL/USING JOIN alt sorgu takma adının yıldız genişletmesinde yinelenen sütunları gizleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Haziran 2022
    • [SPARK-39283][CORE] TaskMemoryManager ile UnsafeExternalSorter.SpillableIterator arasındaki kilitlenme düzeltildi
    • [SPARK-39285][SQL] Spark, dosyaları okurken alan adlarını denetlememelidir
    • [SPARK-34096][SQL] Uzaklık penceresi üzerinde null değerleri yoksayan nth_value için performansı iyileştirme
    • [SPARK-36718][SQL][TAKİP] CollapseProject'teki isExtractOnly kontrolünü düzeltme
  • 2 Haziran 2022
    • [SPARK-39166][SQL] WSCG kapalıyken ikili aritmetik işlemler için çalışma zamanı hata sorgu bağlamı sağlama
    • [SPARK-39093][SQL] Yıl-ay aralıklarını veya gün/saat aralıklarını bir integrale bölerken kod oluşturma hatasından kaçının
    • [SPARK-38990][SQL] date_trunc/trunc biçimini ilişkili başvuru olarak değerlendirirken NullPointerException'den kaçının
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Mayıs 2022
    • Otomatik Yükleyici'deki olası yerel bellek sızıntısını düzeltir.
    • [SPARK-38868][SQL]Dış birleşimleri optimize ederken filtre önermesinden istisnaları yayma
    • [SPARK-38796][SQL] Yeni belirtimlere göre to_number ve try_to_number SQL işlevlerini uygulayın
    • [SPARK-38918][SQL] İç içe sütun ayıklama, geçerli ilişkiye ait olmayan öznitelikleri filtrelemelidir
    • [SPARK-38929][SQL] ANSI'de cast hataları için hata iletilerini iyileştirin
    • [SPARK-38926][SQL] SQL stilindeki hata iletilerinde çıkış türleri
    • [SPARK-39084][PYSPARK] Görev tamamlandığında yineleyiciyi durdurmak için TaskContext kullanarak df.rdd.isEmpty() düzeltmesi
    • [SPARK-32268][SQL] ColumnPruning özelliğini injectBloomFilter içine ekle
    • [SPARK-38908][SQL] Dizgiden Sayı/Tarih/Zaman Damgası/Boole'a dönüştürmede çalışma zamanı hatasında sorgu bağlamı sağlamak
    • [SPARK-39046][SQL] TreeNode.origin yanlış ayarlanmışsa boş bir bağlam dizesi döndür
    • [SPARK-38974][SQL] Liste işlevlerinde belirli bir veritabanı adıyla kayıtlı işlevleri filtreleme
    • [SPARK-38762][SQL] Ondalık taşma hatalarında sorgu bağlamı sağlama
    • [SPARK-38931][SS] 1. denetim noktasında bilinmeyen sayıda anahtarla RocksDBFileManager için kök dfs dizini oluşturma
    • [SPARK-38992][CORE] ShellBasedGroupsMappingProvider'da bash -c kullanmaktan kaçının
    • [SPARK-38716][SQL] Eşleme anahtarı mevcut değil hatasında sorgu bağlamı sağla
    • [SPARK-38889][SQL] MSSQL veri kaynağı için bit türünü kullanmak üzere boole sütun filtrelerini derleme
    • [SPARK-38698][SQL] Bölme/Böl/Anımsatıcı/Pmod çalışma zamanında sorgu bağlamı sağlama hatası
    • [SPARK-38823][SQL] Toplama arabelleğinde bozulma sorununu düzeltmek için katlanamaz olarak ayarla NewInstance
    • [SPARK-38809][SS] Stream-stream birleşimlerinin simetrik karma uygulamasında null değerleri atlama seçeneğini uygulama
    • [SPARK-38676][SQL] Ekleme/Çıkarma/Çarpma işlemlerinin hata iletisinde çalışma zamanında SQL sorgu bağlamını sağlayın
    • [SPARK-38677][PYSPARK] Python MonitorThread, G/Ç'yi engellediği için kilitlenmeyi algılamalıdır
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 10.4 LTS

Bkz. Databricks Runtime 10.4 LTS (EoS).

  • 12 Ağustos 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Temmuz 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Temmuz 2025

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 17 Haziran 2025

    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 3 Haziran 2025
    • güncelleştirilmiş Python kitaplıkları:
      • certifi tarihleri: 2019.11.28 ve 2020.12.5 ile 2020.12.5
      • chardet 3.0.4 ve 4.0.0 sürümünden 4.0.0 sürümüne
      • idna 2.10, 2.8 ile 2.10
      • 2.22.0 ve 2.25.1'den 2.25.1'e istekler
      • 1.14.0'dan 1.15.0'ye kadar altı adet
      • urllib3 1.25.11 ve 1.25.8 sürümünden 1.25.11 sürümüne
      • Pip 21.0.1 eklendi
      • Kurulum araçları 52.0.0 eklendi
      • wcwidth 0.2.5 eklendi
      • Tekerlek 0.36.2 eklendi
      • Dağıtım 1.4.0 kaldırıldı
      • Distro-info 0.23+ubuntu1.1 kaldırıldı
      • python-apt 2.0.1+ubuntu0.20.4.1 kaldırıldı
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 20 Mayıs 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Nisan 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Nisan 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Mart 2025
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Şubat 2025
    • Bu sürüm, artımlı bir CLONE'ın, kaynak tablodan hedef tabloya zaten kopyalanmış dosyaları yeniden kopyalayabileceği bir uç duruma yönelik bir düzeltme içerir. Bkz. Azure Databricks'te bir tabloyu klonlama.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 10 Aralık 2024, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 26 Kasım 2024

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 5 Kasım 2024

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 22 Ekim 2024

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 10 Ekim 2024, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 25 Eylül 2024, Cumartesi

    • [SPARK-46601] [CORE] handleStatusMessage'daki günlük hatasını düzelt
    • [SPARK-49000][SQL] RewriteDistinctAggregates'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 17 Eylül 2024, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Ağustos 2024

    • [SPARK-49065][SQL] Eski biçimlendiriciler ve ayrıştırıcılarda yeniden yapılandırma, JVM olmayan varsayılan saat dilimlerini desteklemelidir

  • 14 Ağustos 2024

    • [SPARK-48597][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
    • [SPARK-48941][SPARK-48970] Backport ML yazıcı / okuyucu düzeltmeleri
    • [SPARK-48463][ML] İç içe giriş sütunlarını destekleyen StringIndexer yapın

  • 1 Ağustos 2024

  • 11 Temmuz 2024

    • [SPARK-48383][SS] Kafka'da startOffset seçeneğinde eşleşmeyen bölümler için daha iyi hata oluşturma
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 17 Haziran 2024

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 21 Mayıs 2024

    • [SPARK-48105][SS] Durum deposu kaldırma ve anlık görüntü oluşturma arasındaki yarış durumunu düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 9 Mayıs 2024

    • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange oluşturulurken eksik param hatasına neden olan null groupId değeri düzeltildi
    • [SPARK-47973][CORE] SparkContext.stop() ve daha sonrasında SparkContext.assertNotStopped() içinde arama konumunu günlüğe kaydetme
    • [SPARK-44251][SQL] Tam dış USING JOIN işleminde birleştirilmiş birleştirme anahtarında nullable ayarını doğru ayarlama
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 25 Nisan 2024

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 11 Nisan 2024

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Nisan 2024

    • [SPARK-47135][SS] Kafka veri kaybı özel durumları için hata sınıfları uygulama
    • [SPARK-44252][SS] Yeni bir hata sınıfı tanımlayın ve DFS'den yükleme durumunun başarısız olduğu durum için uygulayın
    • [SPARK-47200][SS] Foreach toplu havuz kullanıcı işlevi hatası için hata sınıfı
    • "[SPARK-46861][CORE] DAGScheduler'da Kilitlenmeyi Önleme Değişikliğini Geri Al"
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 14 Mart 2024

    • [SPARK-47125][SQL] Univocity hiçbir zaman ayrıştırma tetiklemiyorsa null döndür
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Şubat 2024

    • MERGE komutunda kaynak olarak yerel koleksiyon kullanmanın numSourceRows işlem ölçümünün doğru satır sayısını ikiye katladığı bir sorun düzeltildi.
    • [SPARK-45582][SS] Çıkış modu akış toplama işlemi içinde komut işlemi çağrıldıktan sonra depolama örneğinin kullanılmadığından emin olunmalıdır.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 13 Şubat 2024

    • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 31 Ocak 2024

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 25 Aralık 2023, Cumartesi

    • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
    • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
    • [SPARK-46538]ALSModel.transform içindeki belirsiz sütun başvurusu sorununu düzeltin.
    • [SPARK-39440] Olay zaman çizelgesini devre dışı bırakmak için bir yapılandırma ekleyin.
    • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.

  • 14 Aralık 2023, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Kasım 2023

    • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
    • [SPARK-45859] UDF nesnelerini tembel hale ml.functions getirdi.
    • [SPARK-43718] Birleştirmelerdeki anahtarların null olma durumu düzeltildi.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • [SPARK-42205] Aşama ve Görev başlatma olaylarında kayıt birikimleri kaldırıldı.
    • [SPARK-44846] sonrasındaki RemoveRedundantAggregateskarmaşık gruplandırma ifadeleri kaldırıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 14 Kasım 2023

    • [SPARK-45541] eklendi SSLFactory.
    • [SPARK-45545], SparkTransportConf oluşturulurken SSLOptions'i devralır.
    • [SPARK-45427] ve SSLOptionsöğesine SparkTransportConf RPC SSL ayarları eklendi.
    • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • Geri döndür [SPARK-33861].
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 24 Ekim 2023, Cumartesi

    • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 13 Ekim 2023

    • [SPARK-45084]StateOperatorProgress doğru, yeterli bir karıştırma bölüm numarası kullanmak için.
    • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönmek.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 10 Eylül 2023, Cumartesi

    • Çeşitli düzeltmeler.

  • 30 Ağustos 2023

    • [SPARK-44818]taskThread başlatılmadan önce verilen bekleyen görev kesintisi için yarış durumu düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Ağustos 2023

    • [SPARK-44504] Bakım görevi, durdurma hatası durumunda yüklenmiş sağlayıcıları temizler.
    • [SPARK-43973] Yapılandırılmış Akış kullanıcı arabirimi artık başarısız sorguları doğru bir şekilde görüntülüyor.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 23 Haziran 2023

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Haziran 2023

    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • [SPARK-43098] Skaler alt sorgunun group by yan tümcesi içermesi durumunda doğruluk hatasına neden olan COUNT hatası düzeltildi.
    • [SPARK-40862] RewriteCorrelatedScalarSubquery'de toplanmamış alt sorguları destekleme
    • [SPARK-43156][SPARK-43098]decorrelateInnerQuery kapalıyken genişletilmiş skaler alt sorgu sayısı testi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 2 Haziran 2023

    • JSON ayrıştırıcısı failOnUnknownFields modda bir kaydı DROPMALFORMED modda bırakır ve FAILFAST modunda doğrudan başarısız olur.
    • JSON ile kurtarılan verilerin ayrıştırılmasındaki UnknownFieldException sorununu önlemek için bir düzeltme yapıldı.
    • Otomatik Yükleyici'de sağlanan şemada türetilmiş bölümler bulunmadığında, farklı kaynak dosya biçimlerinin uyumsuz olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
    • [SPARK-43404] Kimlik uyuşmazlığı hatasını önlemek için sst dosyasını Aynı RocksDB durum deposu sürümü için yeniden kullanma işlemini atlayın.
    • [SPARK-43413] Alt sorguların null olma durumu düzeltildi. IN
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 17 Mayıs 2023

    • Parquet taramaları artık toplu iş boyutunu dinamik olarak ayarlayarak olağanüstü yapılandırılmış dosyaları tararken OOM'lere karşı sağlamdır. Dosya meta verileri, toplu işlem boyutunu önceden azaltmak için analiz edilir ve görev yeniden denemelerinde ek bir güvenlik katmanı olarak tekrar azaltılır.
    • [SPARK-41520]AND_OR ağaç modelini AND ve OR öğelerini ayırmak için bölün.
    • [SPARK-43190]ListQuery.childOutput artık ikincil çıkışla tutarlıdır.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 25 Nisan 2023

    • [SPARK-42928] Senkronize et resolvePersistentFunction.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 11 Nisan 2023

    • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir sorun düzeltildi.
    • [SPARK-42937]PlanSubqueries şimdi true olarak ayarlanır InSubqueryExec#shouldBroadcast .
    • [SPARK-42967] Aşama iptal edildikten sonra bir görev başlatıldığında SparkListenerTaskStart.stageAttemptId dosyasını düzeltin.

  • 29 Mart 2023

    • [SPARK-42668] HDFSStateStoreProvider'da sıkıştırılmış akışı kapatmaya çalışırken istisnayı yakala
    • [SPARK-42635] Düzelt...
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 14 Mart 2023

    • [SPARK-41162] Toplamalarla kendi kendine katılma için anti ve yarı birleştirmeyi düzeltme
    • [SPARK-33206] Küçük dizin dosyaları için karışık dizin önbelleği ağırlık hesaplamasını düzeltme
    • [SPARK-42484]UnsafeRowUtils Hata iletisi geliştirildi
    • Çeşitli düzeltmeler.

  • 28 Şubat 2023

    • yyyy-MM-dd tarih formatı için oluşturulmuş sütun desteği. Bu değişiklik, oluşturulan sütunlarda date_format olarak yyyy-MM-dd için bölüm ayıklamayı destekler.
    • Kullanıcılar artık Databricks Runtime 9.1 LTS veya üzerini kullanarak Okuyucu sürüm 3 ve Yazıcı sürüm 7 gerektiren belirli Delta tablolarını okuyabilir ve yazabilir. Başarılı olmak için tabloların protokolünde listelenen tablo özellikleri Databricks Runtime'ın geçerli sürümü tarafından desteklenmelidir.
    • yyyy-MM-dd tarih formatı için oluşturulmuş sütun desteği. Bu değişiklik, oluşturulan sütunlarda date_format olarak yyyy-MM-dd için bölüm ayıklamayı destekler.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 16 Şubat 2023

    • [SPARK-30220] Filtre düğümünün dışında Exists/In alt sorgularını kullanarak etkinleştirme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 31 Ocak 2023

    • JDBC tablolarının tablo türleri artık varsayılan olarak EXTERNAL'tir.

  • 18 Ocak 2023

    • Azure Synapse bağlayıcısı, sütun adında boşluklar veya noktalı virgüller gibi geçerli karakterler olmadığında daha açıklayıcı bir hata iletisi döndürür. Böyle durumlarda şu ileti döndürülür: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] RocksDB durum deposu işlemi sonrasında yazma toplu işleminin temizlenmesi
    • [SPARK-41199] DSv1 akış kaynağı ve DSv2 akış kaynağı birlikte kullanıldığında oluşan ölçümler sorunu düzeltildi
    • [SPARK-41198] CTE ve DSv1 akış kaynağına sahip akış sorgusundaki ölçümleri düzeltme
    • [SPARK-41339] Yalnızca temizlemek yerine RocksDB yazma toplu işlemini kapatın ve yeniden oluşturun
    • [SPARK-41732] SessionWindowing kuralı için ağaç deseni bazlı ayıklamanın uygulanması
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Kasım 2022

    • Kullanıcılar, Redshift bağlayıcısını kullanarak veri yazarken baştaki ve sondaki boşlukların davranışını yapılandırabilir. Boşluk işlemeyi denetlemek için aşağıdaki seçenekler eklenmiştir:
      • csvignoreleadingwhitespaceolarak ayarlandığında, veya trueolarak ayarlandığında tempformatCSV yazma CSV GZIP işlemleri sırasında değerlerden baştaki boşluklar kaldırılır. Boşluklar, yapılandırma false olarak ayarlandığında korunur. Varsayılan değer true şeklindedir.
      • csvignoretrailingwhitespace olarak ayarlandığında ve truetempformat veya CSV olarak belirlendiğinde, yazma işlemleri sırasında değerlerdeki sondaki boşlukları kaldırır. Boşluklar, yapılandırma false olarak ayarlandığında korunur. Varsayılan değer true şeklindedir.
    • Tüm sütunlar dize olarak bırakıldığında (ya cloudFiles.inferColumnTypes ayarlanmamış ya da false olarak ayarlanmış) ve JSON iç içe nesneler içerdiğinde Otomatik Yükleyici'de JSON ayrıştırma ile ilgili bir sorun düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Kasım 2022

    • Apache commons-text 1.10.0 sürümüne yükseltildi.
    • [SPARK-40646] Yapılar, haritalar ve diziler için JSON ayrıştırma düzeltildi, bu nedenle kaydın bir bölümü şemayla eşleşmediğinde, kaydın geri kalanı null döndürmek yerine doğru şekilde ayrıştırılabilir. Geliştirilmiş davranışı etkinleştirmek için spark.sql.json.enablePartialResults öğesini true olarak ayarlayın. Özgün davranışı korumak için bayrak varsayılan olarak kapalıdır.
    • [SPARK-40292] dizilere iç içe yapılardan başvurulduğunda işlevdeki arrays_zip sütun adlarını düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Kasım 2022, İstanbul

    • Delta tablosunun _change_typeadlı kullanıcı tanımlı bir sütunu varsa ancak Veri akışını değiştir bu tabloda kapalıysa, bu sütundaki verilerin MERGEçalıştırılırken hatalı bir şekilde NULL değerleriyle doldurulması sorunu düzeltildi.
    • allowOverwrites etkinleştirildiğinde dosyanın aynı mikro toplu işlemde çoğaltılabilmesine neden olan Otomatik Yükleyici ile ilgili bir sorun düzeltildi
    • [SPARK-40697] Dış veri dosyalarını kapsayacak şekilde okuma tarafına karakter doldurma ekledik
    • [SPARK-40596] ExecutorDecommissionInfo'daki mesajlarla ExecutorDecommission'i doldurun
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 18 Ekim 2022, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 5 Ekim 2022 Çarşamba

    • [SPARK-40468]_corrupt_record seçildiğinde CSV'deki sütun ayıklama sorununu düzeltin.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 22 Eylül 2022, Cumartesi

    • Kullanıcılar spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) ayarını, ADLS'de Otomatik Yükleyici için yerleşik listeyi yeniden etkinleştirmek üzere ayarlayabilir. Daha önce performans sorunları nedeniyle kapatılan yerleşik liste, müşteriler için depolama maliyetlerinin artmasına yol açmış olabilir.
    • [SPARK-40315] ArrayBasedMapData'nın Literal'i için hashCode() ekle
    • [SPARK-40213] Latin-1 karakterleri için ASCII değer dönüştürme desteği
    • [SPARK-40380] Plana serileştirilebilir olmayan sabit değer katıştırılmasını önlemek için InvokeLike'in sürekli katlanması düzeltilir
    • [SPARK-38404] İç içe bir CTE dış CTE'ye başvurduğunda CTE çözünürlüğünün geliştirilmesi
    • [SPARK-40089] Bazı Ondalık türleri için sıralamayı düzeltme
    • [SPARK-39887] RemoveRedundantAliases, gösterim düğümlerinin çıkışını benzersiz hale getiren takma adları korumalıdır

  • 6 Eylül 2022, Cumartesi

    • [SPARK-40235] Executor.updateDependencies() içinde senkronizasyon yerine kesilebilir kilit kullanın
    • [SPARK-40218] GRUPLANDıRMA KÜMESİ, gruplandırma sütunlarını korumalıdır
    • [SPARK-39976] ArrayIntersect sol ifadede null değerini doğru işlemelidir
    • [SPARK-40053] Python çalışma zamanı ortamı gerektiren dinamik iptal durumlarına assume ekleme
    • [SPARK-35542] Düzeltme: SplitsArray, inputCols ve outputCols parametreleriyle birden çok sütun için oluşturulan demet oluşturucu kaydedildikten sonra yüklenemiyor
    • [SPARK-40079] Boş giriş durumları için Imputer inputCols doğrulamasını ekle

  • 24 Ağustos 2022

    • [SPARK-39983] Serileştirilmemiş yayın ilişkilerini sürücüde önbelleğe alma
    • [SPARK-39775] Avro şemalarını ayrıştırırken varsayılan değerleri doğrulamayı devre dışı bırakma
    • [SPARK-39962] Grup öznitelikleri boş olduğunda projeksiyonu uygulama
    • [SPARK-37643] charVarcharAsString true olduğunda, char veri türü koşul sorgusu rpadding kuralını atlamalıdır
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 9 Ağustos 2022

    • [SPARK-39847] Çağıran iş parçacığı kesintiye uğrarsa, RocksDBLoader.loadLibrary() içindeki yarış durumu sorunu giderilsin.
    • [SPARK-39731] TARIHLERI DÜZELTilmiş zaman ayrıştırıcı ilkesiyle "yyMdd" biçiminde ayrıştırırken CSV ve JSON veri kaynaklarında oluşan sorun düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 27 Temmuz 2022, Saat 20:00

    • [SPARK-39625] Dataset.as(StructType) ekleme
    • [SPARK-39689]CSV veri kaynağında 2 karakter lineSep desteği
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded iş parçacığı güvenli olmalıdır
    • [SPARK-39570] Satır içi tablo diğer adla ifadelere izin vermelidir
    • [SPARK-39702] Paylaşılan byteRawChannel kullanarak TransportCipher$EncryptedMessage'ın bellek yükünü azaltın
    • [SPARK-39575] AvroDeserializer içinde ByteBuffer#get sonrasında ByteBuffer#rewind ekle
    • [SPARK-39476] Uzun'dan Kayan/Çift'e veya Tamsayıdan Float'a dönüştürme sırasında Unwrap dönüştürme iyileştirmesini devre dışı bırakma
    • [SPARK-38868] Dış birleşimleri iyileştirirken filtre koşulundan istisnaları iletme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 20 Temmuz 2022, Saat 20:00

    • Kaynak belirleyici olmadığında Delta MERGE işleminin sonuçlarını tutarlı hale getirin.
    • [SPARK-39355] Tek sütun, UnresolvedAttribute oluşturmak için tırnak işareti kullanır
    • [SPARK-39548] Window yan tümce sorgusu ile CreateView Komutu'nda hatalı pencere tanımı bulunamama sorunu
    • [SPARK-39419] Karşılaştırıcı null döndürdüğünde özel durum oluşturacak ArraySort düzeltildi
    • Otomatik Yükleyici'nin Azure'de dizin listesi için yerleşik bulut API'leri kullanımı kapatıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 5 Temmuz 2022

    • [SPARK-39376] NATURAL/USING JOIN alt sorgu diğer adının genişletme işleminde yinelenen sütunları gizleme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Haziran 2022

    • [SPARK-39283] TaskMemoryManager ile UnsafeExternalSorter.SpillableIterator arasındaki kilitlenme düzeltildi
    • [SPARK-39285] Spark, dosyaları okurken alan adlarını denetlememelidir
    • [SPARK-34096] Ofset penceresi üzerinde null değerleri yoksayarak nth_value için performansı arttırma
    • [SPARK-36718] CollapseProject isExtractOnly kontrolünü düzelt

  • 2 Haziran 2022

    • [SPARK-39093] Yıl-ay aralıklarını veya gün/saat aralıklarını bir integrale bölerken kod oluşturma hatasından kaçının
    • [SPARK-38990] date_trunc/trunc biçimini ilişkili başvuru olarak değerlendirirken NullPointerException'den kaçının
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 18 Mayıs 2022

    • Otomatik Yükleyici'deki olası yerleşik bellek sızıntısını düzeltir.
    • [SPARK-38918] İç içe sütun ayıklama, geçerli ilişkiye ait olmayan öznitelikleri filtrelemelidir
    • [SPARK-37593] G1GC ve ON_HEAP kullanılıyorsa varsayılan sayfa boyutunun LONG_ARRAY_OFFSET kadar azaltılması
    • [SPARK-39084] Görev tamamlandığında yineleyiciyi durdurmak için TaskContext kullanarak df.rdd.isEmpty() düzeltmesi
    • [SPARK-32268] injectBloomFilter'a ColumnPruning ekle
    • [SPARK-38974] Liste işlevlerinde belirli bir veritabanı adıyla kayıtlı işlevleri filtreleme
    • [SPARK-38931] 1. denetim noktasında bilinmeyen sayıda anahtarla RocksDBFileManager için kök dfs dizini oluşturma
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 19 Nisan 2022

    • AWS SDK Java sürüm 1.11.655'ten 1.12.1899 sürümüne yükseltildi.
    • Toplu akış işlerinde not defteri kapsamındaki kütüphanelerin çalışmamasıyla ilgili bir sorun düzeltildi.
    • [SPARK-38616] Catalyst TreeNode'da SQL sorgu metnini izleme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 6 Nisan 2022, İstanbul

    • Bu sürümde aşağıdaki Spark SQL işlevleri kullanıma sunulmuştur:
      • timestampadd() ve dateadd(): Belirtilen bir ünitede zaman damgası ifadesine bir zaman süresi ekleyin.
      • timestampdiff() ve datediff(): Belirtilen bir ünitedeki iki zaman damgası ifadeleri arasındaki zaman farkını hesaplayın.
    • Parquet-MR 1.12.2 sürümüne yükseltildi
    • Parquet dosyalarında kapsamlı şemalar için geliştirilmiş destek
    • [SPARK-38631] Utils.unpack'te katranı kaldırma için Java tabanlı uygulama kullanır
    • [SPARK-38509][SPARK-38481] Üç timestmapadd/diff değişikliği seç.
    • [SPARK-38523] CSV'den bozuk kayıt sütununa başvuruda bulunarak düzeltme
    • [SPARK-38237] Tam kümeleme anahtarları gerektirmeye izin ver ClusteredDistribution
    • [SPARK-38437] Veri kaynağından tarih saat verilerinin esnek şekilde seri hale getirilmesi
    • [SPARK-38180] Bağıntılı eşitlik önermelerinde güvenli yukarı atama ifadelerine izin ver
    • [SPARK-38155] Desteklenmeyen koşullarla yanal alt sorgularda ayrı agregayı yasakla
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • Last updated on