Aracılığıyla paylaş

Databricks Runtime için bakım güncelleştirmeleri (arşivlenmiş)

  • Makale

Bu arşivlenmiş sayfa, artık desteklenmeyen Databricks Runtime sürümleri için yayımlanan bakım güncelleştirmelerini listeler. Mevcut bir kümeye bakım güncelleştirmesi eklemek için kümeyi yeniden başlatın.

Desteklenen bir Databricks Runtime sürümüne geçiş yapmak için Databricks Runtime geçiş kılavuzuna bakın.

Önemli

Bu belge kullanımdan kaldırılmıştır ve güncelleştirilmeyebilir. Bu içerikte belirtilen ürünler, hizmetler veya teknolojiler artık desteklenmemektedir. Bkz . Databricks Runtime sürüm notları sürümleri ve uyumluluğu.

Not

Bu makale, Azure Databricks'in kullanmadığı bir terim olan beyaz listeye başvurular içerir. Terim yazılımdan kaldırıldığında bu makaleden de kaldırılacak.

Databricks Runtime sürümleri

Yayına göre bakım güncelleştirmeleri:

Desteklenen Databricks Runtime sürümlerindeki bakım güncelleştirmeleri için bkz . Databricks Runtime bakım güncelleştirmeleri.

Databricks Runtime 15.0

Bkz . Databricks Runtime 15.0 (desteklenmiyor).

  • 30 Mayıs 2024, Saat 2024, Mayıs 2024, Saat 20:00
  • 25 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024, Saat
    • [SPARK-47786] SELECT DISTINCT (), SELECT DISTINCT yapısı () olmamalıdır (önceki davranışa geri dön)
    • [SPARK-47802][SQL] () anlam yapısından() anlamlarına geri dön *
    • [SPARK-47509][SQL] Lambda ve daha yüksek sıralı işlevlerde alt sorgu ifadelerini engelleme
    • [SPARK-47722] Kapatmadan önce RocksDB arka plan çalışması bitene kadar bekleyin
    • [SPARK-47081][BAĞLAN] [TAKİP EDEMİ] İlerleme İşleyicisinin kullanılabilirliğini geliştirme
    • [SPARK-47694][BAĞLAN] en büyük ileti boyutunu istemci tarafında yapılandırılabilir hale getirme
    • [SPARK-47669][SQL] [BAĞLAN] [PYTHON] Eklemek Column.try_cast
    • [SPARK-47664][PYTHON] [BAĞLAN] [Cherry-pick-15.0] Sütun adını önbelleğe alınmış şemayla doğrulama
    • [SPARK-47818][BAĞLAN] [Cherry-pick-15.0] Analiz isteklerinin performansını geliştirmek için SparkConnectPlanner'da plan önbelleğini tanıtın
    • [SPARK-47704][SQL] spark.sql.json.enablePartialResults etkinleştirildiğinde JSON ayrıştırma "java.lang.ClassCastException" ile başarısız oluyor
    • [SPARK-47755][BAĞLAN] Ayrı değerlerin sayısı çok fazla olduğunda Pivot başarısız olmalıdır
    • [SPARK-47713][SQL] [BAĞLAN] Kendi kendine birleştirme hatasını düzeltme
    • [SPARK-47812][BAĞLAN] ForEachBatch çalışanı için SparkSession Serileştirme desteği
    • [SPARK-47828][BAĞLAN] [PYTHON] DataFrameWriterV2.overwrite geçersiz planla başarısız oluyor
    • [SPARK-47862][PYTHON] [BAĞLAN] Proto dosyalarının oluşturulmasını düzeltme
    • [SPARK-47800][SQL] TableIdentifier dönüştürme tanımlayıcısı için yeni yöntem oluşturma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 3 Nisan 2024, Saat 2024, Temmuz 2024, Temmuz 2024
    • (Davranış değişikliği) İşlem türleri arasında tutarlı bir davranış sağlamak için, paylaşılan kümelerdeki PySpark UDF'leri artık yalıtımsız ve atanmış kümelerdeki UDF'lerin davranışıyla eşleşir. Bu güncelleştirme, mevcut kodu bozabilecek aşağıdaki değişiklikleri içerir:
      • Dönüş türüne sahip string UDF'ler artık örtük olarak olmayanstring değerleri değerlere string dönüştürmez. Daha önce, dönüş türüne str sahip UDF'ler döndürülen değerin gerçek veri türünden bağımsız olarak dönüş değerini bir str() işlevle sarmalardı.
      • Dönüş türlerine sahip timestamp UDF'ler artık ile timezoneöğesine örtük olarak bir dönüştürme timestamp uygulamaz.
      • Spark kümesi yapılandırmaları artık paylaşılan kümelerdeki spark.databricks.sql.externalUDF.* PySpark UDF'leri için geçerli değildir.
      • Spark kümesi yapılandırması spark.databricks.safespark.externalUDF.plan.limit artık PySpark UDF'lerini etkilemez ve PySpark UDF'leri için sorgu başına 5 UDF'nin Genel Önizleme sınırlamasını kaldırır.
      • Spark kümesi yapılandırması spark.databricks.safespark.sandbox.size.default.mib artık paylaşılan kümelerdeki PySpark UDF'leri için geçerli değildir. Bunun yerine, sistemdeki kullanılabilir bellek kullanılır. PySpark UDF'lerinin belleğini sınırlamak için en düşük değeriyle 100mkullanınspark.databricks.pyspark.udf.isolation.memoryLimit.
    • Veri TimestampNTZ türü artık sıvı kümeleme içeren bir kümeleme sütunu olarak desteklenmektedir. Bkz. Delta tabloları için sıvı kümeleme kullanma.
    • [SPARK-47218][SQL] XML: XML belirteç oluşturucusunda açıklama satırı etiketlerini yoksay
    • [SPARK-46990][SQL] event-hubs tarafından yayılan boş Avro dosyalarının yüklenmesi düzeltilir
    • [SPARK-47033][SQL] EXECUTE IMMEDIATE USING komutunun oturum değişkeni adlarını tanımaması sorununu düzeltme
    • [SPARK-47368][SQL] ParquetRowConverter'da inferTimestampNTZ yapılandırma denetimini kaldırma
    • [SPARK-47561][SQL] Diğer Ad hakkındaki çözümleyici kuralı sırası sorunlarını düzeltme
    • [SPARK-47638][PS] [BAĞLAN] PS'de sütun adı doğrulamayı atlama
    • [BACKPORT] [[SPARK-46906]]https://issues.apache.org/jira/browse/SPARK-46906) [SS] Akış için durum bilgisi olan işleç değişikliğini denetleme
    • [SPARK-47569][SQL] Değişken karşılaştırmaya izin verme.
    • [SPARK-47241][SQL] ExtractGenerator için kural sırası sorunlarını düzeltme
    • [SPARK-47218] [SQL] XML: SchemaOfXml DROPMALFORMED modunda başarısız olacak şekilde değiştirildi
    • [SPARK-47300][SQL] quoteIfNeeded tırnak tanımlayıcısı basamaklarla başlar
    • [SPARK-47009][SQL] [Harmanlama] Harmanlama için tablo oluşturma desteğini etkinleştirme
    • [SPARK-47322][PYTHON] [BAĞLAN] Sütun adlarını yineleme işlemeyi ile tutarlı hale getirme withColumnsRenamedwithColumnRenamed
    • [SPARK-47544][PYTHON] SparkSession builder yöntemi visual studio code intellisense ile uyumsuz
    • [SPARK-47511][SQL] Kimlikleri yeniden atayarak İfadelerle Kurallı Hale Getirin
    • [SPARK-47385] Seçenek girişleri ile tanımlama grubu kodlayıcılarını düzeltin.
    • [SPARK-47200][SS] Foreach toplu havuz kullanıcı işlevi hatası için hata sınıfı
    • [SPARK-47135][SS] Kafka veri kaybı özel durumları için hata sınıfları uygulama
    • [SPARK-38708][SQL] Hive Meta Veri Deposu İstemcisini Hive 3.1 için 3.1.3'e yükseltme
    • [SPARK-47305][SQL] Plan hem toplu hem de akışa sahip olduğunda LocalRelation'ın isStreaming bayrağını doğru etiketlemek için PruneFilters'ı düzeltin
    • [SPARK-47380][BAĞLAN] Sunucu tarafında SparkSession'ın aynı olduğundan emin olun
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 14.0

Bkz . Databricks Runtime 14.0 (desteklenmiyor).

  • 8 Şubat 2024, İstanbul
    • [SPARK-46396] Zaman damgası çıkarımı özel durum oluşturmamalıdır.
    • [SPARK-46794] MantıksalRDD kısıtlamalarından alt sorguları kaldırın.
    • [SPARK-45182] Sağlama toplamı tarafından belirlenen üst belirsiz aşamayı yeniden denedikten sonra eski aşamadan görev tamamlanmasını yoksayın.
    • [SPARK-46933] JDBCRDD kullanan bağlayıcılara sorgu yürütme süresi ölçümü ekleyin.
    • [SPARK-45957] Yürütülemeyen komutlar için yürütme planı oluşturmaktan kaçının.
    • [SPARK-46861] DAGScheduler'da kilitlenmekten kaçının.
    • [SPARK-46930] Avro'da Birleşim türü alanları için özel ön ek desteği ekleyin.
    • [SPARK-46941] BoyutBasedWindowFunction içeriyorsa üst k hesaplama için pencere grubu sınır düğümü eklenemez.
    • [SPARK-45582] Çıkış modu akış toplama içinde işleme çağrıldıktan sonra depolama örneğinin kullanılmadığından emin olun.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
    • [SPARK-46541] Kendi kendine birleştirmede belirsiz sütun başvurularını düzeltin.
    • [SPARK-46676] dropDuplicatesWithinWatermark, planın kurallı hale getirilmesinde başarısız olmamalıdır.
    • [SPARK-46769] Zaman damgasıyla ilgili şema çıkarımlarını daraltma.
    • [SPARK-45498] İzleme: Eski aşama girişimlerinden görev tamamlanmasını yoksayın.
    • Revert [SPARK-46769] Zaman damgasıyla ilgili şema çıkarımı daraltın.
    • [SPARK-46383] Kullanım Ömrünü TaskInfo.accumulables()Azaltarak Sürücü Yığını Kullanımını Azaltın.
    • [SPARK-46633] Avro okuyucusu sıfır uzunluklu blokları işleyecek şekilde düzeltildi.
    • [SPARK-46677] Çözümü düzeltin dataframe["*"] .
    • [SPARK-46684] Bağımsız değişkenleri düzgün geçirmek için CoGroup.applyInPandas/Arrow dosyasını düzeltin.
    • [SPARK-46763] Yinelenen öznitelikler için ReplaceDeduplicateWithAggregate içindeki onay hatası düzeltildi.
    • [SPARK-46610] Tablo oluşturma, seçeneklerde bir anahtar için değer olmadığında özel durum oluşturmalıdır.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Ocak 2024, Saat 2024, Şubat 2024, Saat 20:00
    • shuffle Bir Photon sorgusu tarafından döndürülen açıklama planının düğümü, yayın birleştirme işleminin causedBroadcastJoinBuildOOM=true parçası olan bir karıştırma sırasında bellek yetersiz hatası oluştuğunda bayrağını ekleyecek şekilde güncelleştirilir.
    • TLSv1.3 üzerinden iletişim kurarken artan gecikme süresini önlemek için bu bakım sürümü JDK 8 yüklemesinde JDK hatası JDK-8293562'yi düzeltmeye yönelik bir düzeltme eki içerir.
    • [SPARK-46394] True olarak ayarlandığında özel karakterler spark.sql.legacy.keepCommandOutputSchema içeren şemalardaki spark.catalog.listDatabases() sorunlarını düzeltin.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-45814] Bellek sızıntısını önlemek için ArrowConverters.createEmptyArrowBatch çağrısı close() yapın.
    • [SPARK-46173] Tarih ayrıştırma sırasında trimTüm çağrı atlanıyor.
    • [SPARK-46484] Yardımcı işlevlerin plan kimliğini korumasını sağlayın resolveOperators .
    • [SPARK-46466] Vektörleştirilmiş parke okuyucu asla zaman damgası ntz için yeniden temel almamalıdır.
    • [SPARK-46056] ByteArrayDecimalType varsayılan değeriyle Parquet vektörleştirilmiş okuma NPE'sı düzeltildi.
    • [SPARK-46058] privateKeyPassword için ayrı bayrak ekleyin.
    • [SPARK-46478] Dize için oracle varchar(255) kullanmak için SPARK-43049'ı geri alın.
    • [SPARK-46132] RPC SSL için JKS anahtarları için destek anahtarı parolası.
    • [SPARK-46417] hive.getTable çağrılırken başarısız olmaz ve throwException false olur.
    • [SPARK-46261]DataFrame.withColumnsRenamed , dikte/harita sıralamasını korumalıdır.
    • [SPARK-46370] Sütun varsayılanlarını değiştirdikten sonra tablodan sorgu yaparken oluşan hata düzeltildi.
    • [SPARK-46609] PartitioningPreservingUnaryExecNode'da üstel patlamadan kaçının.
    • [SPARK-46600] Paylaşılan kodu SqlConf ile SqlApiConf arasında SqlApiConfHelper'a taşıyın.
    • [SPARK-46538] içindeki belirsiz sütun başvurusu sorununu düzeltin ALSModel.transform.
    • [SPARK-46337] öğesinin saklamasını sağlayın CTESubstitutionPLAN_ID_TAG.
    • [SPARK-46602]allowExisting Görünüm/tablo mevcut olmadığında görünüm oluşturmada yayma.
    • [SPARK-46260]DataFrame.withColumnsRenamed dikte düzenine uygun olmalıdır.
    • [SPARK-46145] spark.catalog.listTables tablo veya görünüm bulunamadığında özel durum oluşturmaz.
  • 14 Aralık 2023, Cumartesi
    • JDBC veya ODBC istemcilerinden kaynaklanan getColumns işlemlerinde kaçış alt çizgilerinin yanlış işlendiği ve joker karakter olarak yorumlandığı bir sorun düzeltildi.
    • [SPARK-46255] Karmaşık tür desteği -> dize dönüştürme.
    • [SPARK-46028] Giriş sütununu kabul et yapın Column.__getitem__ .
    • [SPARK-45920] sıralı gruplandırma bir kez etkili olmalıdır.
    • [SPARK-45433] Zaman damgaları belirtilen timestampFormat ile eşleşmediğinde CSV/JSON şema çıkarımı düzeltildi.
    • [SPARK-45509] Spark Connect için df sütun başvurusu davranışı düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
    • PyArrow RCE güvenlik açığını düzeltmek için yeni bir paket pyarrow-hotfix yüklendi.
    • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde getColumns kaçış alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
    • Otomatik Yükleyici veya Akış Tabloları kullanılarak CSV verileri alınırken, büyük CSV dosyaları artık bölünebilir ve hem şema çıkarımı hem de veri işleme sırasında paralel olarak işlenebilir.
    • Spark-snowflake bağlayıcısı 2.12.0 sürümüne yükseltilir.
    • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
    • [SPARK-45592] öğesini geri döndür.
    • [SPARK-45892] ve validateExprIdUniquenessöğesini ayrıştırmak validateSchemaOutput için iyileştirici planı doğrulamasını yeniden düzenleme.
    • [SPARK-45592] ile InMemoryTableScanExecAQE'deki doğruluk sorunu düzeltildi.
    • [SPARK-45620] Python UDF ile ilgili API'ler artık camelCase kullanıyor.
    • [SPARK-44784] Hermetik SBT testi yapıldı.
    • [SPARK-45770] için Dataframe.dropile DataFrameDropColumns sütun çözünürlüğü düzeltildi.
    • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
    • Unity Kataloğu Akış Tabloları ve Gerçekleştirilmiş Görünümler'de veri akışı sorguları, hata iletilerini görüntüleyecek şekilde değiştirildi.
    • [SPARK-45545]SparkTransportConfSSLOptions oluşturulurken devralır.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • [SPARK-45427] ve SparkTransportConföğesine SSLOptions RPC SSL ayarları eklendi.
    • [SPARK-45541] eklendi SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction ve offset > rowCountolduğunda IGNORE NULLS artık başarısız olmaz.
    • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
    • [SPARK-44219] İyileştirme yeniden yazma işlemleri için kural başına ek doğrulamalar eklendi.
    • [SPARK-45543]InferWindowGroupLimit Diğer pencere işlevleri derece benzeri işlevlerle aynı pencere çerçevesine sahip değilse hata oluşturma sorunu düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 23 Ekim 2023, Cumartesi
    • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
    • [SPARK-45396] Modülü için PySpark.ml.connect belge girdisi eklendi ve adresine __all__ml.connecteklendiEvaluator.
    • [SPARK-45256] İlk kapasiteden daha fazla değer yazılırken başarısız olması DurationWriter sorunu düzeltildi.
    • [SPARK-45279] Tüm mantıksal planlara eklenir plan_id .
    • [SPARK-45250] Dinamik ayırma kapatıldığında yarn kümeleri için aşama düzeyinde görev kaynak profili desteği eklendi.
    • [SPARK-45182] Aşama çıktısı belirsiz olduğunda tüm aşama görevlerinin yeniden denenebilmesi için eşleme aşamasını geri döndürme desteği eklendi.
    • [SPARK-45419] Daha büyük sürümlerin rocksdb sst dosya sürümü eşleme girdilerini kaldırarak farklı rocksdb bir örnekteki dosyaları yeniden kullanmaktan kaçının.
    • [SPARK-45386] Yanlış 0 döndürdüğü StorageLevel.NONE bir sorun düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Ekim 2023, Cumartesi
    • Snowflake-jdbc bağımlılığı 3.13.29'dan 3.13.33'e yükseltildi.
    • İşlev array_insert , pozitif ve negatif dizinler için 1 tabanlıyken, daha önce negatif dizinler için 0 tabanlıydı. Şimdi -1 dizini için giriş dizilerinin sonuna yeni bir öğe ekler. Önceki davranışı geri yüklemek için olarak trueayarlayınspark.sql.legacy.negativeIndexInArrayInsert.
    • Otomatik Yükleyici ile bir CSV şeması çıkarımı etkinleştirildiğinde ignoreCorruptFilesAzure Databricks artık bozuk dosyaları yoksayamaz.
    • [SPARK-45227] ile CoarseGrainedExecutorBackendküçük bir iş parçacığı güvenliği sorunu düzeltildi.
    • [SPARK-44658]ShuffleStatus.getMapStatus yerine döndürmelidir NoneSome(null).
    • [SPARK-44910]Encoders.bean genel tür bağımsız değişkenleriyle üst sınıfları desteklemez.
    • [SPARK-45346] Parquet şema çıkarımı, şema birleştirildiğinde büyük/küçük harfe duyarlı bayraklara dikkat eder.
    • [SPARK-42946] öğesini geri döndür.
    • [SPARK-42205] JSON protokolü, bir görevde veya aşama başlangıç olaylarında Biriktirilebilirler günlüğünü kaldıracak şekilde güncelleştirildi.
    • [SPARK-45360] Spark oturum oluşturucusu' ndan SPARK_REMOTEbaşlatmayı destekler.
    • [SPARK-45316] ve NewHadoopRDDöğesine HadoopRDD yeni parametreler ignoreCorruptFiles/ignoreMissingFiles ekleyin.
    • [SPARK-44909] Meşale dağıtımcısı günlük akış sunucusunu kullanılabilir olmadığında çalıştırmayı atlayın.
    • [SPARK-45084]StateOperatorProgress şimdi doğru karıştırma bölüm numarasını kullanıyor.
    • [SPARK-45371] Spark Connect Scala İstemcisi'ndeki gölgelendirme sorunları düzeltildi.
    • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla için Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönüş.
    • [SPARK-44840] Negatif dizinler için 1 tabanlı yapın array_insert() .
    • [SPARK-44551] OSS ile eşitlenecek açıklamalar düzenlendi.
    • [SPARK-45078]ArrayInsert Öğe türü türetilmiş bileşen türüne eşit olmadığında işlev artık açık atama yapar.
    • [SPARK-45339] PySpark artık yeniden deneme hatalarını günlüğe kaydeder.
    • [SPARK-45057] False olduğunda keepReadLock okuma kilidi almaktan kaçının.
    • [SPARK-44908] Çapraz doğrulayıcı foldCol parametresi işlevselliği düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 13.1

Bkz . Databricks Runtime 13.1 (desteklenmiyor).

  • 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
    • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde getColumns kaçış alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
    • [SPARK-44846] sonrasındaki RemoveRedundantAggregateskarmaşık gruplandırma ifadeleri kaldırıldı.
    • [SPARK-43802] unhex ve unbase64 ifadeleri için kod oluşturmanın başarısız olmasına neden olan bir sorun düzeltildi.
    • [SPARK-43718] Birleştirmelerdeki USING anahtarlar için null atanabilirlik düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Kasım 2023, Saat 2023
    • Delta Lake akış sorgularında bölüm filtreleri, daha iyi kullanım elde etmek için hız sınırlamadan önce aşağı itilir.
    • Unity Kataloğu Akış Tabloları ve Gerçekleştirilmiş Görünümler'de veri akışı sorguları, hata iletilerini görüntüleyecek şekilde değiştirildi.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • [SPARK-45430]FramelessOffsetWindowFunction ve offset > rowCountolduğunda IGNORE NULLS artık başarısız olmaz.
    • [SPARK-45543] Diğer pencere işlevlerinin derece benzeri işlevlerle aynı pencere çerçevesine sahip olmadığı durumlarda soruna neden olan bir sorun InferWindowGroupLimit düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Ekim 2023, Cumartesi
    • [SPARK-43799] PySpark Protobuf API'sine tanımlayıcı ikili seçeneği eklendi.
    • [SPARK-42946] öğesini geri döndür.
    • [SPARK-45346] Parquet şema çıkarımı artık bir şemayı birleştirirken büyük/küçük harfe duyarlı bayrağı dikkate alır.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Ekim 2023, Cumartesi
    • Snowflake-jdbc bağımlılığı 3.13.29'dan 3.13.33'e yükseltildi.
    • Otomatik Yükleyici ile CSV şeması çıkarımı sırasında etkinleştirildiğinde ignoreCorruptFiles artık bozuk dosyaları yoksayma.
    • [SPARK-44658]ShuffleStatus.getMapStatusSome(null)yerine döndürürNone.
    • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla için Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönüş.
    • [SPARK-42205] JSON protokolü, bir görevde veya aşama başlangıç olaylarında Biriktirilebilirler günlüğünü kaldıracak şekilde güncelleştirildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 12 Eylül 2023, Cumartesi
    • [SPARK-44718] Bellek modu yapılandırması varsayılan olarak yapılandırma değeriyle OffHeapMemoryMode eşleşColumnVector.
    • SPARK-44878 Önbellekte ekleme özel durumunun tamamlanmasını önlemek için yazma yöneticisi için RocksDB katı sınır kapatıldı.
    • Çeşitli düzeltmeler.
  • 30 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • [SPARK-44871] 'percentile_disc davranışı düzeltildi.
    • [SPARK-44714] Sorgular ile ilgili LCA çözümlemesi kısıtlamasını kolaylaştırma.
    • [SPARK-44245]PySpark.sql.dataframe sample() belge testleri artık yalnızca açıklayıcıdır.
    • [SPARK-44818] Başlatılmadan önce taskThread verilen bekleyen görev kesintisi için yarış düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • [SPARK-44485] İyileştirilmiş TreeNode.generateTreeString.
    • [SPARK-44643] Satır boş olduğunda düzeltildi Row.__repr__ .
    • [SPARK-44504] Bakım görevi artık yüklemeli sağlayıcıları durdurma hatasıyla temizler.
    • [SPARK-44479] Boş bir yapı türünden dönüştürme düzeltildi protobuf .
    • [SPARK-44464] İlk sütun değeri olan Null çıkış satırlarına düzeltildiapplyInPandasWithStatePythonRunner.
    • Çeşitli düzeltmeler.
  • 27 Temmuz 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • Diğer dış veya yönetilen depolama konumuyla çakıştırılan bir depolama konumu yolu için çağrıldığında döndürülen INVALID_PARAMETER_VALUE.LOCATION_OVERLAP bir sorun dbutils.fs.ls() düzeltildi.
    • [SPARK-44199]CacheManager artık gereksiz yere yenilenmez fileIndex .
    • [SPARK-44448] ve InferWindowGroupLimitkaynaklarından DenseRankLimitIterator gelen yanlış sonuç hatası düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Temmuz 2023, Saat 2023, Temmuz 2023, Ağustos 2023, Ağustos
    • Geri döndür [SPARK-42323].
    • [SPARK-41848] ile TaskResourceProfileilgili fazla zamanlanmış görev sorunu düzeltildi.
    • [SPARK-44136] içindeki sürücü FlatMapGroupsWithStateExecyerine yürütücüde gerçekleştirilmesine neden olan StateManager bir sorun düzeltildi.
    • [SPARK-44337] Herhangi bir alanın ayrıştırma hatalarına neden olduğu Any.getDefaultInstance bir sorun düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Haziran 2023, Saat 2023, Temmuz 2023, Ağustos 2023, Ağustos
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Haziran 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • Fotoğraflandı approx_count_distinct.
    • Modda JSON ayrıştırıcısı failOnUnknownFields artık kaydı DROPMALFORMED modda bırakır ve doğrudan modda FAILFAST başarısız olur.
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • Öznitelikler PubSubRecord alanı, daha basit seri hale getirme ve seri durumdan çıkarma için Scala eşlemesinden alınan dize yerine JSON olarak depolanır.
    • Komut EXPLAIN EXTENDED şimdi sorgunun sonuç önbelleğine uygunluğunu döndürür.
    • Iceberg ve Parquet ile SHALLOW CLONE artımlı güncelleştirmelerin performansını geliştirin.
    • [SPARK-43032] Python SQM hata düzeltmesi.
    • [SPARK-43404]Kimlik uyuşmazlığı hatasını önlemek için sst dosyasını Aynı RocksDB durum deposu sürümü için yeniden kullanma işlemini atlayın.
    • [SPARK-43340] Olay günlüklerinde eksik yığın izleme alanını işleme.
    • [SPARK-43527] PySpark'ta düzeltildi catalog.listCatalogs .
    • [SPARK-43541] İfadeleri ve eksik sütunları çözümlemek için tüm Project etiketleri yayma.
    • [SPARK-43300]NonFateSharingCache Guava Cache için sarmalayıcı.
    • [SPARK-43378] içindeki deserializeFromChunkedBufferakış nesnelerini düzgün bir şekilde kapatın.
    • [SPARK-42852] ile ilgili değişiklikleri geri EquivalentExpressionsalınNamedLambdaVariable.
    • [SPARK-43779]ParseToDate şimdi ana iş parçacığına yüklenir EvalMode .
    • [SPARK-43413] Alt sorgu ListQuery null atanabilirliği düzeltildiIN.
    • [SPARK-43889] Hataya açık sütun adlarını filtrelemek için __dir__() için için sütun adı denetimi ekleyin.
    • [SPARK-43043] .updateMapOutput'un MapOutputTrackerperformansı iyileştirildi
    • [SPARK-43522] Dizi diziniyle yapı sütun adı oluşturma düzeltildi.
    • [SPARK-43457] İşletim sistemi, Python ve Spark sürümleriyle kullanıcı aracısı açın.
    • [SPARK-43286] Rastgele IV'ler oluşturmak için CBC modu güncelleştirildi aes_encrypt .
    • [SPARK-42851] ile supportedExpression()korumaEquivalentExpressions.addExpr().
    • [SPARK-43183] öğesini geri döndür.
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 12.2 LTS

Bkz . Databricks Runtime 12.2 LTS.

  • 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
    • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde getColumns kaçış alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
    • [SPARK-42205] ve başlatma olaylarında StageTask günlük akümülalatörleri kaldırıldı.
    • [SPARK-44846] sonrasındaki RemoveRedundantAggregateskarmaşık gruplandırma ifadeleri kaldırıldı.
    • [SPARK-43718] Birleştirmelerdeki USING anahtarlar için null atanabilirlik düzeltildi.
    • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
    • [SPARK-43973] Yapılandırılmış Akış kullanıcı arabirimi artık başarısız sorguları doğru şekilde görüntülüyor.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Kasım 2023, Saat 2023
    • Delta Lake akış sorgularında bölüm filtreleri, daha iyi kullanım elde etmek için hız sınırlamadan önce aşağı itilir.
    • [SPARK-45545]SparkTransportConfSSLOptions oluşturulurken devralır.
    • [SPARK-45427] ve SparkTransportConföğesine SSLOptions RPC SSL ayarları eklendi.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • [SPARK-45541] eklendi SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction ve offset > rowCountolduğunda IGNORE NULLS artık başarısız olmaz.
    • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Ekim 2023, Cumartesi
    • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
    • Çeşitli düzeltmeler.
  • 13 Ekim 2023, Cumartesi
    • Snowflake-jdbc bağımlılığı 3.13.29'dan 3.13.33'e yükseltildi.
    • [SPARK-42553] Aralık sonrasında en az bir zaman birimi olduğundan emin olun.
    • [SPARK-45346] Parquet şema çıkarımı, şema birleştirildiğinde büyük/küçük harfe duyarlı bayrağı dikkate alır.
    • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla için Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönüş.
    • [SPARK-45084]StateOperatorProgress doğru, yeterli bir karıştırma bölüm numarası kullanmak için.
  • 12 Eylül 2023, Cumartesi
    • [SPARK-44873] Hive istemcisinde iç içe sütunlar ile desteği alter view eklendi.
    • [SPARK-44718] Bellek modu yapılandırması varsayılan olarak yapılandırma değeriyle OffHeapMemoryMode eşleşColumnVector.
    • [SPARK-43799] PySpark Protobuf API'sine tanımlayıcı ikili seçeneği eklendi.
    • Çeşitli düzeltmeler.
  • 30 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
  • 15 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • [SPARK-44504] Bakım görevi, durdurma hatasında yüklenen sağlayıcıları temizler.
    • [SPARK-44464] İlk sütun değeri olan Null çıkış satırlarına düzeltildiapplyInPandasWithStatePythonRunner.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Temmuz 2023, Saat 2023, Temmuz 2023, Ağustos 2023, Ağustos
    • Diğer dış veya yönetilen depolama konumuyla çakıştırılan bir depolama konumu yolu için çağrıldığında döndürülen INVALID_PARAMETER_VALUE.LOCATION_OVERLAP bir sorun dbutils.fs.ls() düzeltildi.
    • [SPARK-44199]CacheManager artık gereksiz yere yenilenmez fileIndex .
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Temmuz 2023, Saat 2023, Temmuz 2023, Ağustos 2023, Ağustos
    • [SPARK-44337] Herhangi bir alanın ayrıştırma hatalarına neden olduğu Any.getDefaultInstance bir sorun düzeltildi.
    • [SPARK-44136] içindeki sürücü FlatMapGroupsWithStateExecyerine yürütücüde gerçekleştirilmesine neden olan StateManager bir sorun düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 23 Haziran 2023, Saat 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Haziran 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • Fotoğraflandı approx_count_distinct.
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • [SPARK-43779]ParseToDate şimdi ana iş parçacığına yüklenir EvalMode .
    • [SPARK-43156][SPARK-43098] Kapalı olarak genişletilmiş skaler alt sorgu sayısı hata testi decorrelateInnerQuery .
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 2 Haziran 2023, Ağustos 2023
    • Modda JSON ayrıştırıcısı failOnUnknownFields bir kaydı DROPMALFORMED modda bırakır ve doğrudan modda FAILFAST başarısız olur.
    • Iceberg ve Parquet ile SHALLOW CLONE artımlı güncelleştirmelerin performansını geliştirin.
    • Otomatik Yükleyici'de sağlanan şemada çıkarım yapılan bölümler olmadığında farklı kaynak dosya biçimlerinin tutarsız olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
    • [SPARK-43404] Kimlik uyuşmazlığı hatasını önlemek için sst dosyasını Aynı RocksDB durum deposu sürümü için yeniden kullanma işlemini atlayın.
    • [SPARK-43413][11.3-13.0] Sabit IN alt sorgu ListQuery null atanabilirliği.
    • [SPARK-43522] Dizi diziniyle yapı sütun adı oluşturma düzeltildi.
    • [SPARK-43541] İfadeleri ve eksik sütunları çözümlemek için tüm Project etiketleri yayma.
    • [SPARK-43527] PySpark'ta düzeltildi catalog.listCatalogs .
    • [SPARK-43123] İç alan meta verileri artık kataloglara sızmaz.
    • [SPARK-43340] Olay günlüklerinde eksik yığın izleme alanı düzeltildi.
    • [SPARK-42444]DataFrame.drop artık yinelenen sütunları doğru şekilde işler.
    • [SPARK-42937]PlanSubqueries şimdi true olarak ayarlanır InSubqueryExec#shouldBroadcast .
    • [SPARK-43286] Rastgele IV'ler oluşturmak için CBC modu güncelleştirildi aes_encrypt .
    • [SPARK-43378] içindeki deserializeFromChunkedBufferakış nesnelerini düzgün bir şekilde kapatın.
  • 17 Mayıs 2023, Saat 2023, Mayıs 2023, Saat 20:00
    • Parquet taramaları artık toplu iş boyutunu dinamik olarak ayarlayarak olağanüstü yapılandırılmış dosyaları tararken OOM'lere karşı sağlamdır. Dosya meta verileri, toplu iş boyutunu önceden düşürecek şekilde analiz edilir ve son güvenlik ağı olarak görev yeniden denemelerinde yeniden indirilir.
    • Bir Avro dosyası yalnızca failOnUnknownFields\ seçeneğiyle veya şema evrim modunda Otomatik Yükleyici failOnNewColumns\ ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata atmak yerine okunur null\ . Bu okumalar artık başarısız olur ve kullanıcılara bu seçeneği kullanmalarını rescuedDataColumn\ önerir.
    • Otomatik Yükleyici şimdi aşağıdakileri yapar.
      • Bu veri türlerinden biri sağlanmışsa , Shortve türlerini doğru okur ve Byte artık kurtarmazInteger, ancak Avro dosyası diğer iki türden birini önerir.
      • Bozuk tarihlerin oluşmasını önlemek için okuma aralığı türlerini tarih veya saat damgası türleri olarak önler.
      • Okuma Decimal türlerini daha düşük duyarlıkla önler.
    • [SPARK-43172] Spark connect istemcisinden konağı ve belirteci kullanıma sunar.
    • [SPARK-43293]__qualified_access_only normal sütunlarda yoksayılır.
    • [SPARK-43098] Skaler alt sorgu yan tümcesine göre gruplandırıldığında düzeltilen doğruluk COUNT hatası.
    • [SPARK-43085] Çok parçalı tablo adları için sütun DEFAULT atama desteği.
    • [SPARK-43190]ListQuery.childOutput artık ikincil çıkışla tutarlıdır.
    • [SPARK-43192] Kullanıcı aracısı karakter kümesi doğrulaması kaldırıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Nisan 2023, Saat 2023, Temmuz 2023, Temmuz 2023, Temmuz
    • Parquet dosyası yalnızca failOnUnknownFields seçeneğiyle veya şema evrim modunda Otomatik Yükleyici failOnNewColumns ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata oluşturmak yerine okunur null . Bu okumalar artık başarısız olur ve kullanıcılara bu seçeneği kullanmalarını rescuedDataColumn önerir.
    • Otomatik Yükleyici artık bu veri türlerinden biri sağlanmışsa , Shortve türlerini doğru şekilde okur ve Byte artık kurtarmazInteger. Parquet dosyası diğer iki türden birini önerir. Kurtarılan veri sütunu daha önce etkinleştirildiğinde, veri türü uyuşmazlığı okunabilir olsalar bile sütunların kaydedilmesine neden olur.
    • [SPARK-43009] Sabitlerle Any parametreli sql()
    • [SPARK-42406] Alanı bırakarak Protobuf özyinelemeli alanlarını sonlandırma
    • [SPARK-43038] CBC modunu destekleyen aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Çalışan işleyicisi WorkDirCleanup olayı olduğunda null olduğunda appDirs yazdırılacak workdir şekilde değiştirin
    • [SPARK-43018] Zaman damgası değişmez değerleri olan INSERT komutları için hata düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Nisan 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • komutunda eski veri kaynağı biçimlerini destekleyin SYNC .
    • Depo dışındaki not defterlerinde %autoreload davranışındaki bir sorunu düzeltir.
    • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir sorun düzeltildi.
    • [SPARK-42928] Eşitlenmiş yapar resolvePersistentFunction .
    • [SPARK-42936] Yan tümcesi doğrudan alt toplam tarafından çözümlenebildiğinde LCan sorununu düzeltir.
    • [SPARK-42967] Aşama iptal edildikten sonra bir görev başlatıldığında düzeltilir SparkListenerTaskStart.stageAttemptId .
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Saat

    • Databricks SQL artık Delta Lake tablolarının sütunları için tablo oluşturma zamanında veya sonrasında varsayılan değerleri belirtmeyi destekliyor. Sonraki INSERT, UPDATE, DELETEve MERGE komutları, açık DEFAULT anahtar sözcüğünü kullanarak herhangi bir sütunun varsayılan değerine başvurabilir. Buna ek olarak, herhangi INSERT bir atamanın hedef tablodan daha az sütun içeren açık bir listesi varsa, karşılık gelen sütun varsayılan değerleri kalan sütunlar (veya varsayılan belirtilmemişse NULL) ile değiştirilir.

      Örneğin:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta;
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • Otomatik Yükleyici artık denetim noktasının hızlı çalışan Otomatik Yükleyici akışları için düzenli olarak temizlenebildiğini denetlemek üzere Trigger.AvailableNow akışlar için en az bir zaman uyumlu RocksDB günlük temizleme işlemi başlatıyor. Bu, bazı akışların kapanmadan önce daha uzun sürmesine neden olabilir, ancak gelecekteki çalıştırmalarda depolama maliyetlerinden tasarruf etmenizi ve Otomatik Yükleyici deneyimini geliştirmenizi sağlar.

    • Artık kullanarak bir Delta tablosunu tablo özelliklerine DeltaTable.addFeatureSupport(feature_name)destek eklemek için değiştirebilirsiniz.

    • [SPARK-42794] Yapı Akışı'nda RocksDB durum depounu almak için lockAcquireTimeoutMs değerini 2 dakikaya yükseltin

    • [SPARK-42521] Kullanıcı tarafından belirtilen listelerde hedef tablodan daha az sütun bulunan INSERT'ler için NUL'ler ekleme

    • [SPARK-42702][SPARK-42623] Alt sorgu ve CTE'de parametreli sorguyu destekleme

    • [SPARK-42668] HDFSStateStoreProvider durağında sıkıştırılmış akışı kapatmaya çalışırken özel durumu yakalama

    • [SPARK-42403] JsonProtocol null JSON dizelerini işlemelidir

  • 8 Mart 2023, Saat 2023
    • "Yapılandırma başlatılamadı" hata iletisi, müşteri için daha fazla bağlam sağlayacak şekilde geliştirilmiştir.
    • Tablo özelliğini kullanarak Delta tablosuna özellik eklemek için bir terminoloji değişikliği vardır. Tercih edilen söz dizimi artık 'delta.feature.featureName'='supported' yerine 'delta.feature.featureName'='enabled'kullanılır. Geriye dönük uyumluluk için kullanmaya 'delta.feature.featureName'='enabled' devam eder ve çalışmaya devam eder.
    • Bu sürümden başlayarak, varsayılan okuyucu ve yazıcı sürümlerini ve varsayılan olarak desteklenen tablo özelliklerini içeren protokolle ilgili Spark yapılandırmalarını yoksaymak için bir tablo oluşturmak/başka bir tablo özelliğiyle delta.ignoreProtocolDefaults değiştirmek mümkündür.
    • [SPARK-42070] Mask işlevinin bağımsız değişkeninin varsayılan değerini -1 yerine NULL olarak değiştirin
    • [SPARK-41793] Önemli ondalıklarda aralık yan tümcesi tarafından tanımlanan pencere çerçeveleri için yanlış sonuç
    • [SPARK-42484] UnsafeRowUtils better hata iletisi
    • [SPARK-42516] Görünüm oluştururken her zaman oturum saat dilimi yapılandırmasını yakalayın
    • [SPARK-42635] TimestampAdd ifadesini düzeltin.
    • [SPARK-42622] Değerlerde değiştirme devre dışı
    • [SPARK-42534] DB2Dialect Limit yan tümcesini düzeltme
    • [SPARK-42121] Yerleşik tablo değerli posexplode, posexplode_outer, json_tuple ve yığın işlevleri ekleme
    • [SPARK-42045] ANSI SQL modu: Yuvarlama/Yuvarlama küçük/küçük/önemli tamsayı taşmasında hata döndürmelidir
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 11.3 LTS

Bkz . Databricks Runtime 11.3 LTS.

  • 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
    • JDBC veya ODBC istemcilerinden kaynaklanan işlemlerde getColumns kaçış alt çizgilerinin yanlışlıkla joker karakter olarak yorumlanması sorunu düzeltildi.
    • [SPARK-43973] Yapılandırılmış Akış kullanıcı arabirimi artık başarısız sorguları doğru şekilde görüntülüyor.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
    • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
    • [SPARK-43718] Birleştirmelerdeki USING anahtarlar için null atanabilirlik düzeltildi.
    • [SPARK-44846] sonrasındaki RemoveRedundantAggregateskarmaşık gruplandırma ifadeleri kaldırıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Kasım 2023, Saat 2023
    • Delta Lake akış sorgularında bölüm filtreleri, daha iyi kullanım elde etmek için hız sınırlamadan önce aşağı itilir.
    • [SPARK-42205] Aşama ve Görev başlatma olaylarında günlük akümülalatörleri kaldırıldı.
    • [SPARK-45545]SparkTransportConfSSLOptions oluşturulurken devralır.
    • Geri döndür [SPARK-33861].
    • [SPARK-45541] eklendi SSLFactory.
    • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • [SPARK-45430]FramelessOffsetWindowFunction ve offset > rowCountolduğunda IGNORE NULLS artık başarısız olmaz.
    • [SPARK-45427] ve SparkTransportConföğesine SSLOptions RPC SSL ayarları eklendi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Ekim 2023, Cumartesi
    • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
    • Çeşitli düzeltmeler.
  • 13 Ekim 2023, Cumartesi
    • Snowflake-jdbc bağımlılığı 3.13.29'dan 3.13.33'e yükseltildi.
    • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla için Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönüş.
    • [SPARK-45084]StateOperatorProgress doğru, yeterli bir karıştırma bölüm numarası kullanmak için.
    • [SPARK-45346] Parquet şema çıkarımı artık bir şemayı birleştirirken büyük/küçük harfe duyarlı bayrağı dikkate alır.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Eylül 2023, Cumartesi
    • Çeşitli düzeltmeler.
  • 30 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • [SPARK-44818] Başlatılmadan önce taskThread verilen bekleyen görev kesintisi için yarış düzeltildi.
    • [SPARK-44871][11.3-13.0] Sabit percentile_disc davranış.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • [SPARK-44485] İyileştirilmiş TreeNode.generateTreeString.
    • [SPARK-44504] Bakım görevi, durdurma hatasında yüklenen sağlayıcıları temizler.
    • [SPARK-44464] İlk sütun değeri olan Null çıkış satırlarına düzeltildiapplyInPandasWithStatePythonRunner.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Temmuz 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • Diğer dış veya yönetilen depolama konumuyla çakıştırılan bir depolama konumu yolu için çağrıldığında döndürülen INVALID_PARAMETER_VALUE.LOCATION_OVERLAP bir sorun dbutils.fs.ls() düzeltildi.
    • [SPARK-44199]CacheManager artık gereksiz yere yenilenmez fileIndex .
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Temmuz 2023, Saat 2023, Temmuz 2023, Ağustos 2023, Ağustos
    • [SPARK-44136] StateManager'ın FlatMapGroupsWithStateExec sürücüsü yerine yürütücüde gerçekleştirilmesine neden olan bir sorun düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 23 Haziran 2023, Saat 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Haziran 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • Fotoğraflandı approx_count_distinct.
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • [SPARK-43779]ParseToDate şimdi ana iş parçacığına yüklenir EvalMode .
    • [SPARK-40862] RewriteCorrelatedScalarSubquery'de toplanmamış alt sorguları destekleme
    • [SPARK-43156][SPARK-43098] Kapalı olarak genişletilmiş skaler alt sorgu sayısı hata testi decorrelateInnerQuery .
    • [SPARK-43098] Skaler alt sorguda group by yan tümcesi olduğunda doğruluk COUNT hatası düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 2 Haziran 2023, Ağustos 2023
    • Modda JSON ayrıştırıcısı failOnUnknownFields bir kaydı DROPMALFORMED modda bırakır ve doğrudan modda FAILFAST başarısız olur.
    • Iceberg ve Parquet ile SHALLOW CLONE artımlı güncelleştirmelerin performansını geliştirin.
    • Otomatik Yükleyici'de sağlanan şemada çıkarım yapılan bölümler olmadığında farklı kaynak dosya biçimlerinin tutarsız olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
    • [SPARK-43404]Kimlik uyuşmazlığı hatasını önlemek için sst dosyasını Aynı RocksDB durum deposu sürümü için yeniden kullanma işlemini atlayın.
    • [SPARK-43527] PySpark'ta düzeltildi catalog.listCatalogs .
    • [SPARK-43413][11.3-13.0] Sabit IN alt sorgu ListQuery null atanabilirliği.
    • [SPARK-43340] Olay günlüklerinde eksik yığın izleme alanı düzeltildi.

Databricks Runtime 10.4 LTS

Bkz . Databricks Runtime 10.4 LTS.

  • 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
    • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
    • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
    • [SPARK-43718] Birleştirmelerdeki USING anahtarlar için null atanabilirlik düzeltildi.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • [SPARK-42205] Aşama ve Görev başlatma olaylarında günlük akümülalatörleri kaldırıldı.
    • [SPARK-44846] sonrasındaki RemoveRedundantAggregateskarmaşık gruplandırma ifadeleri kaldırıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Kasım 2023, Saat 2023
    • [SPARK-45541] eklendi SSLFactory.
    • [SPARK-45545]SparkTransportConfSSLOptions oluşturulurken devralır.
    • [SPARK-45427] ve SparkTransportConföğesine SSLOptions RPC SSL ayarları eklendi.
    • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • Geri döndür [SPARK-33861].
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Ekim 2023, Cumartesi
    • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Ekim 2023, Cumartesi
    • [SPARK-45084]StateOperatorProgress doğru, yeterli bir karıştırma bölüm numarası kullanmak için.
    • [SPARK-45178] Sarmalayıcıyı kullanmak yerine desteklenmeyen kaynaklarla için Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönüş.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Eylül 2023, Cumartesi
    • Çeşitli düzeltmeler.
  • 30 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • [SPARK-44818] Başlatılmadan önce taskThread verilen bekleyen görev kesintisi için yarış düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • [SPARK-44504] Bakım görevi, durdurma hatasında yüklenen sağlayıcıları temizler.
    • [SPARK-43973] Yapılandırılmış Akış kullanıcı arabirimi artık başarısız sorgular doğru görünüyor.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 23 Haziran 2023, Saat 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Haziran 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • [SPARK-43098] Skaler alt sorguda group by yan tümcesi olduğunda doğruluk COUNT hatası düzeltildi
    • [SPARK-40862] RewriteCorrelatedScalarSubquery'de toplanmamış alt sorguları destekleme
    • [SPARK-43156][SPARK-43098] Kapalı olarak decorrelateInnerQuery genişletilmiş skaler alt sorgu sayısı testi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 2 Haziran 2023, Ağustos 2023
    • Modda JSON ayrıştırıcısı failOnUnknownFields bir kaydı DROPMALFORMED modda bırakır ve doğrudan modda FAILFAST başarısız olur.
    • önlemek için UnknownFieldExceptionJSON tarafından kurtarılan veri ayrıştırma ile ilgili bir sorun düzeltildi.
    • Otomatik Yükleyici'de sağlanan şemada çıkarım yapılan bölümler olmadığında farklı kaynak dosya biçimlerinin tutarsız olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
    • [SPARK-43404] Kimlik uyuşmazlığı hatasını önlemek için sst dosyasını Aynı RocksDB durum deposu sürümü için yeniden kullanma işlemini atlayın.
    • [SPARK-43413] Alt sorgu ListQuery null atanabilirliği düzeltildiIN.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Mayıs 2023, Saat 2023, Mayıs 2023, Saat 20:00
    • Parquet taramaları artık toplu iş boyutunu dinamik olarak ayarlayarak olağanüstü yapılandırılmış dosyaları tararken OOM'lere karşı sağlamdır. Dosya meta verileri, toplu iş boyutunu önceden düşürecek şekilde analiz edilir ve son güvenlik ağı olarak görev yeniden denemelerinde yeniden indirilir.
    • [SPARK-41520] ve öğesini ayırmak ANDORiçin ağaç deseni bölünAND_OR.
    • [SPARK-43190]ListQuery.childOutput artık ikincil çıkışla tutarlıdır.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Nisan 2023, Saat 2023, Temmuz 2023, Temmuz 2023, Temmuz
    • [SPARK-42928] Eşitlenmiş yap resolvePersistentFunction .
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Nisan 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir sorun düzeltildi.
    • [SPARK-42937]PlanSubqueries şimdi true olarak ayarlanır InSubqueryExec#shouldBroadcast .
    • [SPARK-42967] Aşama iptal edildikten sonra bir görev başlatıldığında SparkListenerTaskStart.stageAttemptId dosyasını düzeltin.
  • 29 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Saat
    • [SPARK-42668] HDFSStateStoreProvider durağında sıkıştırılmış akışı kapatmaya çalışırken özel durumu yakalama
    • [SPARK-42635] Düzelt...
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Mart
    • [SPARK-41162] Toplamalarla kendi kendine birleşim için anti-ve yarı birleştirmeyi düzeltme
    • [SPARK-33206] Küçük dizin dosyaları için karışık dizin önbelleği ağırlık hesaplamasını düzeltme
    • [SPARK-42484]UnsafeRowUtils Hata iletisi geliştirildi
    • Çeşitli düzeltmeler.
  • 28 Şubat 2023, Saat 2023
    • y-MM-dd date_format için oluşturulan sütun desteği. Bu değişiklik, oluşturulan sütunlarda date_format olarak yyyy-MM-dd için bölüm ayıklamayı destekler.
    • Kullanıcılar artık Databricks Runtime 9.1 LTS veya üzerini kullanarak Okuyucu sürüm 3 ve Yazıcı sürüm 7 gerektiren belirli Delta tablolarını okuyabilir ve yazabilir. Başarılı olmak için tabloların protokolünde listelenen tablo özellikleri Databricks Runtime'ın geçerli sürümü tarafından desteklenmelidir.
    • y-MM-dd date_format için oluşturulan sütun desteği. Bu değişiklik, oluşturulan sütunlarda date_format olarak yyyy-MM-dd için bölüm ayıklamayı destekler.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 16 Şubat 2023, Saat 2023, Şubat 2023, Şubat 2023, Şubat 20
    • [SPARK-30220] Filtre düğümünün dışında Exists/In alt sorgularını kullanarak etkinleştirme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00
    • JDBC tablolarının tablo türleri artık varsayılan olarak EXTERNAL'tir.
  • 18 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00
    • Azure Synapse bağlayıcısı, sütun adında boşluklar veya noktalı virgüller gibi geçerli karakterler olmadığında daha açıklayıcı bir hata iletisi döndürür. Böyle durumlarda aşağıdaki ileti döndürülür: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] RocksDB durum deposu işleme işleminden sonra yazma toplu işlemini temizleme
    • [SPARK-41199] DSv1 akış kaynağı ve DSv2 akış kaynağı birlikte kullanıldığında oluşan ölçümler sorunu düzeltildi
    • [SPARK-41198] CTE ve DSv1 akış kaynağına sahip akış sorgusundaki ölçümleri düzeltme
    • [SPARK-41339] Yalnızca temizlemek yerine RocksDB yazma toplu işlemini kapatın ve yeniden oluşturun
    • [SPARK-41732] SessionWindowing kuralı için ağaç deseni tabanlı ayıklama uygulama
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20
    • Kullanıcılar, Redshift bağlayıcısını kullanarak veri yazarken baştaki ve sondaki boşlukların davranışını yapılandırabilir. Boşluk işlemeyi denetlemek için aşağıdaki seçenekler eklenmiştir:
      • csvignoreleadingwhitespaceolarak ayarlandığında, veya CSV GZIPolarak ayarlandığında trueCSV yazma tempformat işlemleri sırasında değerlerden baştaki boşluklar kaldırılır. Yapılandırma olarak ayarlandığında falseboşluklar korunur. Varsayılan değer true şeklindedir.
      • csvignoretrailingwhitespaceolarak ayarlandığında, veya CSV GZIPolarak ayarlandığında trueCSV yazma tempformat işlemleri sırasında değerlerden sondaki boşluğu kaldırır. Yapılandırma olarak ayarlandığında falseboşluklar korunur. Varsayılan değer true şeklindedir.
    • Tüm sütunlar dize olarak bırakıldığında (cloudFiles.inferColumnTypes ayarlanmamış veya ayarlanmamış false) ve JSON iç içe nesneler içerdiğinde Otomatik Yükleyici'de JSON ayrıştırma ile ilgili bir sorun düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20
    • Apache commons-text 1.10.0 sürümüne yükseltildi.
    • [SPARK-40646] Yapılar, haritalar ve diziler için JSON ayrıştırma düzeltildi, bu nedenle kaydın bir bölümü şemayla eşleşmediğinde, kaydın geri kalanı null döndürmek yerine doğru şekilde ayrıştırılabilir. Geliştirilmiş davranışı kabul etmek için olarak ayarlayın spark.sql.json.enablePartialResultstrue. Özgün davranışı korumak için bayrak varsayılan olarak kapalıdır.
    • [SPARK-40292] dizilere iç içe yapılardan başvurulduğunda işlevdeki arrays_zip sütun adlarını düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Kasım 2022, İstanbul
    • Delta tablosunda adlı _change_typekullanıcı tanımlı bir sütun varsa ancak Bu tabloda Veri akışını değiştir seçeneği kapalıysa, bu sütundaki verilerin çalıştırırken MERGEhatalı bir şekilde NULL değerleriyle doldurulması sorunu düzeltildi.
    • Otomatik Yükleyici'de bir dosyanın etkinleştirildiğinde allowOverwrites aynı mikro toplu işlemde çoğaltılabilmesine neden olan bir sorun düzeltildi
    • [SPARK-40697] Dış veri dosyalarını kapsayacak şekilde okuma tarafı karakter doldurma ekleme
    • [SPARK-40596] ExecutorDecommissionInfo içindeki iletilerle ExecutorDecommission'i doldurma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Ekim 2022, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Ekim 2022, Cumartesi
    • [SPARK-40468] Seçildiğinde CSV'de _corrupt_record sütun ayıklamayı düzeltin.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Eylül 2022, Cumartesi
    • Kullanıcılar spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) öğesini ADLS 2. Nesil'de Otomatik Yükleyici için yerleşik listeyi yeniden etkinleştirmek üzere ayarlayabilir. Yerleşik liste daha önce performans sorunları nedeniyle kapatılmıştı ancak müşteriler için depolama maliyetlerinin artmasına neden olabilir.
    • [SPARK-40315] ArrayBasedMapData Değişmez Değeri için hashCode() ekleme
    • [SPARK-40213] Latin-1 karakterleri için ASCII değer dönüştürme desteği
    • [SPARK-40380] Plana serileştirilebilir olmayan sabit değer katıştırılmasını önlemek için InvokeLike'in sürekli katlanması düzeltilir
    • [SPARK-38404] İç içe bir CTE dış CTE'ye başvurduğunda CTE çözünürlüğünü geliştirme
    • [SPARK-40089] Bazı Ondalık türleri için sıralamayı düzeltme
    • [SPARK-39887] RemoveRedundantAliases, projeksiyon düğümlerinin çıkışını benzersiz hale getiren diğer adları tutmalıdır
  • 6 Eylül 2022, Cumartesi
    • [SPARK-40235] Executor.updateDependencies() içinde eşitlenmiş yerine kesilebilir kilit kullanın
    • [SPARK-40218] GRUPLANDıRMA KÜMESİ, gruplandırma sütunlarını korumalıdır
    • [SPARK-39976] ArrayIntersect sol ifadede null değerini doğru işlemelidir
    • [SPARK-40053] Python çalışma zamanı ortamı gerektiren dinamik iptal durumlarına ekleme assume
    • [SPARK-35542] Düzeltme: SplitsArray, inputCols ve outputCols parametreleriyle birden çok sütun için oluşturulan demet oluşturucu kaydedildikten sonra yüklenemiyor
    • [SPARK-40079] Boş giriş olayı için Imputer inputCols doğrulaması ekleme
  • 24 Ağustos 2022, Saat 2022, Ağustos 2022, Ağustos 2022, Ağustos
    • [SPARK-39983] Seri durumdan çıkarılmamış yayın ilişkilerini sürücüde önbelleğe alma
    • [SPARK-39775] Avro şemalarını ayrıştırırken varsayılan değerleri doğrulamayı devre dışı bırakma
    • [SPARK-39962] Grup öznitelikleri boş olduğunda projeksiyonu uygulama
    • [SPARK-37643] charVarcharAsString true olduğunda, char veri türü koşul sorgusu rpadding kuralını atlamalıdır
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Ağustos 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
    • [SPARK-39847] Çağıran iş parçacığı kesintiye uğrarsa RocksDBLoader.loadLibrary() içindeki yarış durumu düzeltildi
    • [SPARK-39731] TARIHLERI DÜZELTilmiş zaman ayrıştırıcı ilkesiyle "yyMdd" biçiminde ayrıştırırken CSV ve JSON veri kaynaklarında oluşan sorun düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Temmuz 2022, Saat 20:00
    • [SPARK-39625] Dataset.as(StructType) ekleme
    • [SPARK-39689]CSV veri kaynağında 2 karakter lineSep desteği
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded iş parçacığı güvenli olmalıdır
    • [SPARK-39570] Satır içi tablo diğer adla ifadelere izin vermelidir
    • [SPARK-39702] Paylaşılan byteRawChannel kullanarak TransportCipher$EncryptedMessage'ın bellek yükünü azaltın
    • [SPARK-39575] Add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer
    • [SPARK-39476] Uzun'dan Kayan/Çift'e veya Tamsayıdan Float'a dönüştürme sırasında Unwrap dönüştürme iyileştirmesini devre dışı bırakma
    • [SPARK-38868] Dış birleşimleri iyileştirirken özel durumları filtre koşulundan yayma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 20 Temmuz 2022, Saat 20:00
    • Kaynak belirleyici olmadığında Delta MERGE işleminin sonuçlarını tutarlı hale getirin.
    • [SPARK-39355] Tek sütun UnresolvedAttribute oluşturmak için quoted kullanır
    • [SPARK-39548] Window yan tümcesi sorgusuyla CreateView Komutu yanlış pencere tanımına basılamadı sorunu
    • [SPARK-39419] Karşılaştırıcı null döndürdüğünde özel durum oluşturacak ArraySort düzeltildi
    • Azure'da dizin listesi için Otomatik Yükleyici'nin yerleşik bulut API'lerini kullanma özelliği kapatıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Temmuz 2022, Ağustos 2022, Saat 20:00
    • [SPARK-39376] Doğal/USING JOIN alt sorgu diğer adının yıldız genişletmesinde yinelenen sütunları gizleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Haziran 2022, Saat 2022, Temmuz 2022, Saat 20:00
    • [SPARK-39283] TaskMemoryManager ile UnsafeExternalSorter.SpillableIterator arasındaki kilitlenme düzeltildi
    • [SPARK-39285] Spark, dosyaları okurken alan adlarını denetlememelidir
    • [SPARK-34096] Uzaklık penceresi üzerinde null değerleri yoksaymak nth_value için performansı geliştirme
    • [SPARK-36718] CollapseProject iadesini isExtractOnly düzeltme
  • 2 Haziran 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
    • [SPARK-39093] Yıl-ay aralıklarını veya gün/saat aralıklarını bir integrale bölerken kod oluşturma hatasından kaçının
    • [SPARK-38990] date_trunc/trunc biçimini ilişkili başvuru olarak değerlendirirken NullPointerException'den kaçının
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Mayıs 2022, Saat 2022, Mayıs 2022, Saat 20:00
    • Otomatik Yükleyici'deki olası yerleşik bellek sızıntısını düzeltir.
    • [SPARK-38918] İç içe sütun ayıklama, geçerli ilişkiye ait olmayan öznitelikleri filtrelemelidir
    • [SPARK-37593] G1GC ve ON_HEAP kullanılıyorsa varsayılan sayfa boyutunu LONG_ARRAY_OFFSET küçültme
    • [SPARK-39084] Görev tamamlandığında yineleyiciyi durdurmak için TaskContext kullanarak df.rdd.isEmpty() düzeltmesi
    • [SPARK-32268] add ColumnPruning in injectBloomFilter
    • [SPARK-38974] Liste işlevlerinde belirli bir veritabanı adıyla kayıtlı işlevleri filtreleme
    • [SPARK-38931] 1. denetim noktasında bilinmeyen sayıda anahtarla RocksDBFileManager için kök dfs dizini oluşturma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 19 Nisan 2022, Saat 2022, Temmuz 2022, Temmuz 2022, Saat
    • Java AWS SDK'sı 1.11.655 sürümünden 1.12.1899 sürümüne yükseltildi.
    • Toplu akış işlerinde not defteri kapsamlı kitaplıkların çalışmamasıyla ilgili bir sorun düzeltildi.
    • [SPARK-38616] Catalyst TreeNode'da SQL sorgu metnini izleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 6 Nisan 2022, İstanbul
    • Bu sürümde aşağıdaki Spark SQL işlevleri kullanıma sunulmuştur:
      • timestampadd() ve dateadd(): Belirtilen bir ünitede zaman damgası ifadesine bir zaman süresi ekleyin.
      • timestampdiff() ve datediff(): Belirtilen bir ünitedeki iki zaman damgası ifadeleri arasındaki zaman farkını hesaplayın.
    • Parquet-MR 1.12.2 sürümüne yükseltildi
    • Parquet dosyalarında kapsamlı şemalar için geliştirilmiş destek
    • [SPARK-38631] Utils.unpack'te tarring'i açmak için Java tabanlı uygulamayı kullanır
    • [SPARK-38509][SPARK-38481] Kiraz seç üç timestmapadd/diff değişiklik.
    • [SPARK-38523] CSV'den bozuk kayıt sütununa başvuruda bulunarak düzeltme
    • [SPARK-38237] Tam kümeleme anahtarları gerektirmeye izin ver ClusteredDistribution
    • [SPARK-38437] Veri kaynağından datetime'ın geçici seri hale getirilmesi
    • [SPARK-38180] Bağıntılı eşitlik koşullarında güvenli yukarı atama ifadelerine izin ver
    • [SPARK-38155] Desteklenmeyen koşullarla yanal alt sorgularda ayrı toplamaya izin verme
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 9.1 LTS

Bkz . Databricks Runtime 9.1 LTS.

  • 29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20
    • [SPARK-45859] UDF nesnelerini gecikmeli hale ml.functions getirdi.
    • [SPARK-45544] ile TransportContexttümleşik SSL desteği.
    • [SPARK-45730] için ReloadingX509TrustManagerSuitegeliştirilmiş zaman kısıtlamaları.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Kasım 2023, Saat 2023
    • [SPARK-45545]SparkTransportConfSSLOptions oluşturulurken devralır.
    • [SPARK-45429] SSL RPC iletişimi için yardımcı sınıflar eklendi.
    • [SPARK-45427] ve SparkTransportConföğesine SSLOptions RPC SSL ayarları eklendi.
    • [SPARK-45584] ile TakeOrderedAndProjectExecalt sorgu çalıştırma hatası düzeltildi.
    • [SPARK-45541] eklendi SSLFactory.
    • [SPARK-42205] Aşama ve Görev başlatma olaylarında günlük akümülalatörleri kaldırıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 24 Ekim 2023, Cumartesi
    • [SPARK-45426] için ReloadingX509TrustManagerdestek eklendi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Ekim 2023, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 10 Eylül 2023, Cumartesi
    • Çeşitli düzeltmeler.
  • 30 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 23 Haziran 2023, Saat 2023, Ağustos 2023, Ağustos 2023, Ağustos
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Haziran 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • [SPARK-43098] Skaler alt sorguda group by yan tümcesi olduğunda doğruluk COUNT hatası düzeltildi
    • [SPARK-43156][SPARK-43098] Skaler alt sorgu sayısı hata testlerini kapalı olarak decorrelateInnerQuery genişletin.
    • [SPARK-40862] RewriteCorrelatedScalarSubquery'de toplanmamış alt sorguları destekleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 2 Haziran 2023, Ağustos 2023
    • Modda JSON ayrıştırıcısı failOnUnknownFields bir kaydı DROPMALFORMED modda bırakır ve doğrudan modda FAILFAST başarısız olur.
    • önlemek için UnknownFieldExceptionJSON tarafından kurtarılan veri ayrıştırma ile ilgili bir sorun düzeltildi.
    • Otomatik Yükleyici'de sağlanan şemada çıkarım yapılan bölümler olmadığında farklı kaynak dosya biçimlerinin tutarsız olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
    • [SPARK-37520]startswith() ve endswith() dize işlevlerini ekleme
    • [SPARK-43413] Alt sorgu ListQuery null atanabilirliği düzeltildiIN.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 17 Mayıs 2023, Saat 2023, Mayıs 2023, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 25 Nisan 2023, Saat 2023, Temmuz 2023, Temmuz 2023, Temmuz
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 11 Nisan 2023, Saat 2023, Temmuz 2023, Saat 20:00
    • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir sorun düzeltildi.
    • [SPARK-42967] Aşama iptal edildikten sonra bir görev başlatıldığında SparkListenerTaskStart.stageAttemptId dosyasını düzeltin.
  • 29 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Saat
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 14 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Mart
    • [SPARK-42484] için UnsafeRowUtilsgeliştirilmiş hata iletisi.
    • Çeşitli düzeltmeler.
  • 28 Şubat 2023, Saat 2023
    • Kullanıcılar artık Databricks Runtime 9.1 LTS veya üzerini kullanarak Okuyucu sürüm 3 ve Yazıcı sürüm 7 gerektiren belirli Delta tablolarını okuyabilir ve yazabilir. Başarılı olmak için tabloların protokolünde listelenen tablo özellikleri Databricks Runtime'ın geçerli sürümü tarafından desteklenmelidir.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 16 Şubat 2023, Saat 2023, Şubat 2023, Şubat 2023, Şubat 20
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00
    • JDBC tablolarının tablo türleri artık varsayılan olarak EXTERNAL'tir.
  • 18 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20
    • Tüm sütunlar dize olarak bırakıldığında (cloudFiles.inferColumnTypes ayarlanmamış veya ayarlanmamış false) ve JSON iç içe nesneler içerdiğinde Otomatik Yükleyici'de JSON ayrıştırma ile ilgili bir sorun düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20
    • Apache commons-text 1.10.0 sürümüne yükseltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Çeşitli düzeltmeler.
  • 1 Kasım 2022, İstanbul
    • Delta tablosunda adlı _change_typekullanıcı tanımlı bir sütun varsa ancak Bu tabloda Veri akışını değiştir seçeneği kapalıysa, bu sütundaki verilerin çalıştırırken MERGEhatalı bir şekilde NULL değerleriyle doldurulması sorunu düzeltildi.
    • Otomatik Yükleyici'de bir dosyanın etkinleştirildiğinde allowOverwrites aynı mikro toplu işlemde çoğaltılabilmesine neden olan bir sorun düzeltildi
    • [SPARK-40596] ExecutorDecommissionInfo içindeki iletilerle ExecutorDecommission'i doldurma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Ekim 2022, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Ekim 2022, Cumartesi
    • Çeşitli düzeltmeler.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Eylül 2022, Cumartesi
    • Kullanıcılar, ADLS 2. Nesil'de Otomatik Yükleyici için yerleşik listeyi yeniden etkinleştirmek için spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") ayarlayabilir. Yerleşik liste daha önce performans sorunları nedeniyle kapatılmıştı ancak müşteriler için depolama maliyetlerinin artmasına neden olabilir.
    • [SPARK-40315] ArrayBasedMapData Değişmez Değeri için hashCode() ekleme
    • [SPARK-40089] Bazı Ondalık türleri için sıralamayı düzeltme
    • [SPARK-39887] RemoveRedundantAliases, projeksiyon düğümlerinin çıkışını benzersiz hale getiren diğer adları tutmalıdır
  • 6 Eylül 2022, Cumartesi
    • [SPARK-40235] Executor.updateDependencies() içinde eşitlenmiş yerine kesilebilir kilit kullanın
    • [SPARK-35542] Düzeltme: SplitsArray, inputCols ve outputCols parametreleriyle birden çok sütun için oluşturulan demet oluşturucu kaydedildikten sonra yüklenemiyor
    • [SPARK-40079] Boş giriş olayı için Imputer inputCols doğrulaması ekleme
  • 24 Ağustos 2022, Saat 2022, Ağustos 2022, Ağustos 2022, Ağustos
    • [SPARK-39666] ExpressionEncoder'da dikkate spark.sql.codegen.factoryMode almak için UnsafeProjection.create kullanın
    • [SPARK-39962] Grup öznitelikleri boş olduğunda projeksiyonu uygulama
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Ağustos 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Temmuz 2022, Saat 20:00
    • Kaynak belirleyici olmadığında Delta MERGE işleminin sonuçlarını tutarlı hale getirin.
    • [SPARK-39689] CSV veri kaynağında 2 karakter lineSep desteği
    • [SPARK-39575] içinde sonra ByteBuffer#getAvroDeserializereklendiByteBuffer#rewind.
    • [SPARK-37392] Katalizör iyileştiricisinin performans hatası düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Temmuz 2022, Saat 2022, Temmuz 2022, Saat 20:00
    • [SPARK-39419]ArraySort karşılaştırıcı null döndürdüğünde bir özel durum oluşturur.
    • Azure'da dizin listesi için Otomatik Yükleyici'nin yerleşik bulut API'lerini kullanma özelliği kapatıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Temmuz 2022, Ağustos 2022, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Çeşitli düzeltmeler.
  • 15 Haziran 2022, Saat 2022, Temmuz 2022, Saat 20:00
    • [SPARK-39283] ve UnsafeExternalSorter.SpillableIteratorarasındaki TaskMemoryManager kilitlenme düzeltildi.
  • 2 Haziran 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
    • [SPARK-34554]copy() yöntemini içinde ColumnarMapuygulayın.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Mayıs 2022, Saat 2022, Mayıs 2022, Saat 20:00
    • Otomatik Yükleyici'de olası yerleşik bellek sızıntısı düzeltildi.
    • AWS SDK sürümünü 1.11.655 sürümünden 1.11.678 sürümüne yükseltin.
    • [SPARK-38918] İç içe sütun ayıklama, geçerli ilişkiye ait olmayan öznitelikleri filtrelemelidir
    • [SPARK-39084] Görev tamamlandığında yineleyiciyi durdurmak için kullanarak TaskContext düzeltme df.rdd.isEmpty()
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 19 Nisan 2022, Saat 2022, Temmuz 2022, Temmuz 2022, Saat
    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Çeşitli düzeltmeler.
  • 6 Nisan 2022, İstanbul
    • [SPARK-38631] Utils.unpack'te tarring'i açmak için Java tabanlı uygulamayı kullanır
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Mart 2022, Saat 20:00
    • Yüksek Eşzamanlılık kümelerindeki not defterlerinin geçerli çalışma dizini, kullanıcının giriş dizininde tablo erişim denetimi veya kimlik bilgisi geçişi etkinleştirilerek değiştirildi. Daha önce active directory'ydi /databricks/driver.
    • [SPARK-38437] Veri kaynağından datetime'ın geçici seri hale getirilmesi
    • [SPARK-38180] Bağıntılı eşitlik koşullarında güvenli yukarı atama ifadelerine izin ver
    • [SPARK-38155] Desteklenmeyen koşullarla yanal alt sorgularda ayrı toplamaya izin verme
    • [SPARK-27442] Bir parkedeki verileri okurken veya yazarken bir onay alanı kaldırıldı.
  • 14 Mart 2022, Saat 2022, Şubat 2022, Saat 20:00
    • [SPARK-38236] Create/alter tablosunda belirtilen mutlak dosya yolları göreli olarak değerlendirilir
    • [SPARK-34069] Yerel özellik SPARK_JOB_INTERRUPT_ON_CANCEL true olarak ayarlandıysa görev iş parçacığını kesme.
  • 23 Şubat 2022, Saat 2022, Şubat 2022, Saat 20:00
    • [SPARK-37859] Spark 3.1 ile JDBC ile oluşturulan SQL tabloları Spark 3.2 ile okunamaz.
  • 8 Şubat 2022, İstanbul
    • [SPARK-27442] Bir parkedeki verileri okurken veya yazarken bir onay alanı kaldırıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Şubat 2022, İstanbul
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 26 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00
    • Delta tablolarındaki eşzamanlı işlemlerin bazı nadir koşullarda seri hale getirilemez bir sırada işlemesi sorunu düzeltildi.
    • ANSI SQL diyalekt etkinleştirildiğinde komutun başarısız olmasına neden olan bir sorun OPTIMIZE düzeltildi.
  • 19 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00
    • Küçük düzeltmeler ve güvenlik geliştirmeleri.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 4 Kasım 2021, Kasım 2021, Saat 20:00
    • Yapılandırılmış Akış akışlarının ile başarısız olmasına neden olabilen bir ArrayIndexOutOfBoundsExceptionsorun düzeltildi.
    • IoException gibi java.io.IOException: No FileSystem for scheme bir sorgu hatasına veya değişikliklerin sorgularda etkili olmamasına sparkContext.hadoopConfiguration neden olabilen bir yarış durumu düzeltildi.
    • Delta Sharing için Apache Spark Bağlayıcısı 0.2.0 sürümüne yükseltildi.
  • 20 Ekim 2021, Cumartesi
    • BigQuery bağlayıcısı 0.18.1'den 0.22.2'ye yükseltildi. Bu, BigNumeric türü için destek ekler.

Databricks Runtime 13.0 (desteklenmiyor)

Bkz . Databricks Runtime 13.0 (desteklenmeyen).

  • 13 Ekim 2023

    • Snowflake-jdbc bağımlılığı 3.13.29'dan 3.13.33'e yükseltildi.
    • [SPARK-42553][SQL] Aralık sonrasında en az bir zaman birimi olduğundan emin olun.
    • [SPARK-45178] Sarmalayıcı kullanmak yerine desteklenmeyen kaynaklarla için Trigger.AvailableNow tek bir toplu iş çalıştırmaya geri dönüş.
    • [SPARK-44658][CORE] ShuffleStatus.getMapStatusSome(null)yerine döndürürNone.
    • [SPARK-42205][CORE] içindeki Görev/Aşama başlangıç olaylarında Biriktirilebilirlerin günlüğe kaydedilmesini JsonProtocolkaldırın.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 12 Eylül 2023, Cumartesi

    • [SPARK-44485][SQL] en iyi duruma getir TreeNode.generateTreeString.
    • [SPARK-44718][SQL] Bellek modu yapılandırması varsayılan olarak yapılandırma değeriyle OffHeapMemoryMode eşleşColumnVector.
    • Çeşitli hata düzeltmeleri.

  • 30 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos

    • [SPARK-44818][Backport] Başlatılmadan önce taskThread verilen bekleyen görev kesintisi için yarış düzeltildi.
    • [SPARK-44714] Sorgular ile ilgili LCA çözümlemesi kısıtlamasını kolaylaştırma.
    • [SPARK-44245][PYTHON] pyspark.sql.dataframe sample() doctests artık yalnızca açıklayıcıdır.
    • [11.3-13.0] [[SPARK-44871]]https://issues.apache.org/jira/browse/SPARK-44871) [SQL] Sabit percentile_disc davranış.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos

    • [SPARK-44643][SQL] [PYTHON] Satır boş olduğunda düzeltme Row.__repr__ .
    • [SPARK-44504][Backport] Bakım görevi, durdurma hatasında yüklenen sağlayıcıları temizler.
    • [SPARK-44479][BAĞLAN] [PYTHON] Boş bir yapı türünden dönüştürme düzeltildi protobuf .
    • [SPARK-44464][SS] İlk sütun değeri olan Null çıkış satırlarına düzeltildiapplyInPandasWithStatePythonRunner.
    • Çeşitli hata düzeltmeleri.

  • 29 Temmuz 2023, Saat 2023, Temmuz 2023, Ağustos 2023, Ağustos

    • Diğer dış veya yönetilen depolama konumuyla çakıştırılan bir depolama konumu yolu için çağrıldığında döndürülen INVALID_PARAMETER_VALUE.LOCATION_OVERLAP bir hata dbutils.fs.ls() düzeltildi.
    • [SPARK-44199]CacheManager artık gereksiz yere yenilenmez fileIndex .
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 24 Temmuz 2023

    • [SPARK-44337][PROTOBUF] Herhangi bir alanın ayrıştırma hatalarına neden olduğu Any.getDefaultInstance bir sorun düzeltildi.
    • [SPARK-44136] [SS] içindeki sürücü FlatMapGroupsWithStateExecyerine yürütücüde gerçekleştirilmesine neden olan StateManager bir sorun düzeltildi.
    • Geri Döndür [SPARK-42323][SQL] Adı öğesine atayın _LEGACY_ERROR_TEMP_2332.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 23 Haziran 2023

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Haziran 2023, Saat 2023, Temmuz 2023, Saat 20:00

    • Fotoğraflandı approx_count_distinct.
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • [SPARK-43156][SPARK-43098][SQL] DecorrelateInnerQuery devre dışı bırakılmış olarak skaler alt sorgu sayısı hata testini genişletme
    • [SPARK-43779][SQL] ParseToDate şimdi ana iş parçacığına yüklenir EvalMode .
    • [SPARK-42937][SQL] PlanSubqueries true olarak ayarlanmalıdır InSubqueryExec#shouldBroadcast
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 2 Haziran 2023

    • Modda JSON ayrıştırıcısı failOnUnknownFields bir kaydı DROPMALFORMED modda bırakır ve doğrudan modda FAILFAST başarısız olur.
    • Iceberg ve Parquet ile SHALLOW CLONE artımlı güncelleştirme performansını geliştirin.
    • Otomatik Yükleyici'de sağlanan şemada çıkarım yapılan bölümler olmadığında farklı kaynak dosya biçimlerinin tutarsız olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
    • [SPARK-43404][Backport] Kimlik uyuşmazlığı hatasını önlemek için aynı RocksDB durum deposu sürümü için sst dosyasını yeniden kullanma işlemini atlayın.
    • [SPARK-43340][CORE] Olay günlüklerinde eksik yığın izleme alanı düzeltildi.
    • [SPARK-43300][CORE] NonFateSharingCache Guava Cache için sarmalayıcı.
    • [SPARK-43378][CORE] içindeki deserializeFromChunkedBufferakış nesnelerini düzgün bir şekilde kapatın.
    • [SPARK-16484][SQL] DataSketches'i temsil etmek için 8 bit yazmaçlar kullanın.
    • [SPARK-43522][SQL] Dizi diziniyle yapı sütun adı oluşturma düzeltildi.
    • [SPARK-43413][11.3-13.0] [SQL] Alt sorgu ListQuery null atanabilirliği düzeltildiIN.
    • [SPARK-43043][CORE] Geliştirilmiş MapOutputTracker.updateMapOutput performans.
    • [SPARK-16484][SQL] DataSketches HllSketch desteği eklendi.
    • [SPARK-43123][SQL] İç alan meta verileri artık kataloglara sızmaz.
    • [SPARK-42851][SQL] ile supportedExpression()korumaEquivalentExpressions.addExpr().
    • [SPARK-43336][SQL] ile TimestampNTZ arasında Timestamp atama yapılması için saat dilimi gerekir.
    • [SPARK-43286][SQL] Rastgele IV'ler oluşturmak için CBC modu güncelleştirildi aes_encrypt .
    • [SPARK-42852][SQL] uygulamasından ilgili değişiklikler EquivalentExpressionsgeri döndürülürNamedLambdaVariable.
    • [SPARK-43541][SQL] İfadeleri ve eksik sütunları çözümlemek için tüm Project etiketleri yay..
    • [SPARK-43527][PYTHON] PySpark'ta düzeltildi catalog.listCatalogs .
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 31 Mayıs 2023, Mayıs 2023, Mayıs 2023, Mayıs 2023, Mayıs

  • 17 Mayıs 2023, Saat 2023, Mayıs 2023, Saat 20:00

    • ve _metadata.file_name öğesinin yanlış biçimlendirilmiş dizeler döndürdüğü bir regresyon _metadata.file_path düzeltildi. Örneğin, artık boşluklu bir yol yerine s3://test-bucket/some directory/some data.csvolarak s3://test-bucket/some%20directory/some%20data.csv temsil edilir.
    • Parquet taramaları artık toplu iş boyutunu dinamik olarak ayarlayarak olağanüstü yapılandırılmış dosyaları tararken OOM'lere karşı sağlamdır. Dosya meta verileri, toplu iş boyutunu önceden düşürecek şekilde analiz edilir ve son güvenlik ağı olarak görev yeniden denemelerinde yeniden indirilir.
      • Bir Avro dosyası yalnızca failOnUnknownFields\ seçeneğiyle veya şema evrim modunda Otomatik Yükleyici failOnNewColumns\ ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata atmak yerine okunur null\ . Bu okumalar artık başarısız olur ve kullanıcılara bu seçeneği kullanmalarını rescuedDataColumn\ önerir.
    • Otomatik Yükleyici şimdi aşağıdakileri yapar.
      • Bu veri türlerinden biri sağlanmışsa , , Byte türlerini doğru okur ve artık kurtarmazIntegerShort, ancak Avro dosyası diğer iki türden birini önerir.
      • Bozuk tarihlerin oluşmasını önlemek için okuma aralığı türlerini tarih veya zaman damgası türleri olarak önler.
      • Okuma Decimal türlerini daha düşük duyarlıkla önler.
    • [SPARK-43172] [BAĞLAN] Spark connect istemcisinden konağı ve belirteci kullanıma sunar.
    • [SPARK-43293][SQL] __qualified_access_only normal sütunlarda yoksayılır.
    • [SPARK-43098][SQL] Skaler alt sorgu yan tümcesine göre gruplandırıldığında düzeltilen doğruluk COUNT hatası.
    • [SPARK-43085][SQL] Çok parçalı tablo adları için sütun DEFAULT atama desteği.
    • [SPARK-43190][SQL] ListQuery.childOutput artık ikincil çıkışla tutarlıdır.
    • [SPARK-43192] [BAĞLAN] Kullanıcı aracısı karakter kümesi doğrulaması kaldırıldı.

  • 25 Nisan 2023, Saat 2023, Temmuz 2023, Temmuz 2023, Temmuz

    • Kullanarak DeltaTable.addFeatureSupport(feature_name)delta tablosu özelliği için destek eklemek üzere Delta tablosunu değiştirebilirsiniz.
    • Komutu SYNC artık eski veri kaynağı biçimlerini destekliyor.
    • Python not defterinde başka komut çalıştırmadan önce Python biçimlendiricisini kullanmanın not defteri yolunun eksik olmasına neden olabileceği bir hata düzeltildi sys.path.
    • Azure Databricks artık Delta tablolarının sütunları için varsayılan değerleri belirtmeyi destekliyor. INSERT, UPDATE, DELETEve MERGE komutları, açık DEFAULT anahtar sözcüğünü kullanarak bir sütunun varsayılan değerine başvurabilir. INSERT Hedef tablodan daha az sütun içeren açık bir listeye sahip komutlar için, karşılık gelen sütun varsayılan değerleri kalan sütunlar (veya NULL varsayılan belirtilmemişse) ile değiştirilir.

  • Bazı kullanıcıların dosyalarına /Workspace erişmek için web terminalinin kullanılamadığı bir hatayı düzeltir.

    • Parquet dosyası yalnızca failOnUnknownFields seçeneğiyle veya şema evrim modunda Otomatik Yükleyici failOnNewColumns ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata oluşturmak yerine okunur null . Bu okumalar artık başarısız olur ve kullanıcılara bu seçeneği kullanmalarını rescuedDataColumn önerir.
    • Otomatik Yükleyici artık bu veri türlerinden biri sağlanmışsa , ShortByte türlerini doğru okur ve artık kurtarmazInteger. Parquet dosyası diğer iki türden birini önerir. Kurtarılan veri sütunu daha önce etkinleştirildiğinde, veri türü uyuşmazlığı okunabilir olsalar bile sütunların kurtarılmalarına neden olurdu.
    • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir hata düzeltildi.
    • [SPARK-42794][SS] Yapı Akışı'nda RocksDB durum depounu almak için lockAcquireTimeoutMs değerini 2 dakikaya yükseltin.
    • [SPARK-39221][SQL] Thrift sunucu işi/aşama sekmesi için hassas bilgilerin doğru şekilde düzeltilmesi.
    • [SPARK-42971][CORE] Çalışan işleyicisi WorkDirCleanup olayı olduğunda null olduğunda appDirs yazdırılacak workdir şekilde değiştirin.
    • [SPARK-42936][SQL] Having yan tümcesi doğrudan alt toplam tarafından çözümlenebildiğinde LCA hatasını düzeltin.
    • [SPARK-43018][SQL] Zaman damgası değişmez değerlerine sahip komutlar için INSERT hata düzeltildi.
    • Geri döndür [SPARK-42754][SQL][UI] İç içe GEÇMIŞ SQL çalıştırmasında geriye dönük uyumluluk sorununu düzeltin.
    • Revert [SPARK-41498] Union aracılığıyla meta verileri yayma.
    • [SPARK-43038][SQL] tarafından CBC modunu destekler aes_encrypt()/aes_decrypt().
    • [SPARK-42928][SQL] Eşitlenmiş yap resolvePersistentFunction .
    • [SPARK-42521][SQL] Hedef tablodan daha az sütuna sahip kullanıcı tarafından belirtilen listelerle değerlerini INSERT ekleyinNULL.
    • [SPARK-41391][SQL] çıkış sütun adı groupBy.agg(count_distinct) yanlıştı.
    • [SPARK-42548][SQL] Öznitelikleri yeniden yazmayı atlamak için ekleyin ReferenceAllColumns .
    • [SPARK-42423][SQL] Meta veri sütun dosyası bloğu başlangıç ve uzunluğu ekleyin.
    • [SPARK-42796][SQL] içindeki CachedBatchsütunlara erişme desteğiTimestampNTZ.
    • [SPARK-42266][PYTHON] IPython kullanıldığında shell.py çalıştırmada üst dizini kaldırın.
    • [SPARK-43011][SQL] array_insert 0 diziniyle başarısız olmalıdır.
    • [SPARK-41874][BAĞLAN] [PYTHON] SameSemantics Spark Connect desteği.
    • [SPARK-42702][SPARK-42623][SQL] Alt sorgu ve CTE'de parametreli sorguyu destekleyin.
    • [SPARK-42967][CORE] Aşama iptal edildikten sonra bir görev başlatıldığında düzeltildi SparkListenerTaskStart.stageAttemptId .
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 12.1 (desteklenmiyor)

Bkz . Databricks Runtime 12.1 (desteklenmiyor).

  • 23 Haziran 2023

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Haziran 2023, Saat 2023, Temmuz 2023, Saat 20:00

    • Fotoğraflandı approx_count_distinct.
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • [SPARK-43779][SQL] ParseToDate şimdi ana iş parçacığına yüklenir EvalMode .
    • [SPARK-43156][SPARK-43098][SQL] DecorrelateInnerQuery devre dışı bırakılmış olarak skaler alt sorgu sayısı hata testini genişletme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 2 Haziran 2023

    • Modda JSON ayrıştırıcısı failOnUnknownFields bir kaydı DROPMALFORMED modda bırakır ve doğrudan modda FAILFAST başarısız olur.
    • Iceberg ve Parquet ile SHALLOW CLONE artımlı güncelleştirme performansını geliştirin.
    • Otomatik Yükleyici'de sağlanan şemada çıkarım yapılan bölümler olmadığında farklı kaynak dosya biçimlerinin tutarsız olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
    • [SPARK-43404][Backport] Kimlik uyuşmazlığı hatasını önlemek için aynı RocksDB durum deposu sürümü için sst dosyasını yeniden kullanma işlemini atlayın.
    • [SPARK-43413][11.3-13.0] [SQL] Alt sorgu ListQuery null atanabilirliği düzeltildiIN.
    • [SPARK-43522][SQL] Dizi diziniyle yapı sütun adı oluşturma düzeltildi.
    • [SPARK-42444][PYTHON] DataFrame.drop artık yinelenen sütunları düzgün bir şekilde işler.
    • [SPARK-43541][SQL] İfadeleri ve eksik sütunları çözümlemek için tüm Project etiketleri yay..
    • [SPARK-43340][CORE] Olay günlüklerinde eksik yığın izleme alanı düzeltildi.
    • [SPARK-42937][SQL] PlanSubqueries şimdi true olarak ayarlanır InSubqueryExec#shouldBroadcast .
    • [SPARK-43527][PYTHON] PySpark'ta düzeltildi catalog.listCatalogs .
    • [SPARK-43378][CORE] içindeki deserializeFromChunkedBufferakış nesnelerini düzgün bir şekilde kapatın.

  • 17 Mayıs 2023, Saat 2023, Mayıs 2023, Saat 20:00

    • Parquet taramaları artık toplu iş boyutunu dinamik olarak ayarlayarak olağanüstü yapılandırılmış dosyaları tararken OOM'lere karşı sağlamdır. Dosya meta verileri, toplu iş boyutunu önceden düşürecek şekilde analiz edilir ve son güvenlik ağı olarak görev yeniden denemelerinde yeniden indirilir.
    • Bir Avro dosyası yalnızca failOnUnknownFields\ seçeneğiyle veya şema evrim modunda Otomatik Yükleyici failOnNewColumns\ ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata atmak yerine okunur null\ . Bu okumalar artık başarısız olur ve kullanıcılara bu seçeneği kullanmalarını rescuedDataColumn\ önerir.
    • Otomatik Yükleyici şimdi aşağıdakileri yapar.
      • Bu veri türlerinden biri sağlanmışsa , , Byte türlerini doğru okur ve artık kurtarmazIntegerShort, ancak Avro dosyası diğer iki türden birini önerir.
      • Bozuk tarihlerin oluşmasını önlemek için okuma aralığı türlerini tarih veya zaman damgası türleri olarak önler.
      • Okuma Decimal türlerini daha düşük duyarlıkla önler.
    • [SPARK-43098][SQL] Skaler alt sorgu yan tümcesine göre gruplandırıldığında düzeltilen doğruluk COUNT hatası.
    • [SPARK-43190][SQL] ListQuery.childOutput artık ikincil çıkışla tutarlıdır.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 25 Nisan 2023, Saat 2023, Temmuz 2023, Temmuz 2023, Temmuz

    • Parquet dosyası yalnızca failOnUnknownFields seçeneğiyle veya şema evrim modunda Otomatik Yükleyici failOnNewColumns ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata oluşturmak yerine okunur null . Bu okumalar artık başarısız olur ve kullanıcılara bu seçeneği kullanmalarını rescuedDataColumn önerir.
    • Otomatik Yükleyici artık bu veri türlerinden biri sağlanmışsa , ShortByte türlerini doğru okur ve artık kurtarmazInteger. Parquet dosyası diğer iki türden birini önerir. Kurtarılan veri sütunu daha önce etkinleştirildiğinde, veri türü uyuşmazlığı okunabilir olsalar bile sütunların kurtarılmalarına neden olurdu.
    • [SPARK-43009][SQL] Sabitlerle Any parametrelisql().
    • [SPARK-42971][CORE] Çalışan işleyicisi WorkDirCleanup olayı olduğunda null olduğunda appDirs yazdırılacak workdir şekilde değiştirin.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 11 Nisan 2023 Salı

    • SYNC komutunda eski veri kaynağı biçimlerini destekleyin.
    • Depo dışındaki not defterlerinde %autoreload davranışındaki bir hatayı düzeltir.
    • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir hata düzeltildi.
    • [SPARK-42928][SQL] Eşitlenmiş yapar resolvePersistentFunction .
    • [SPARK-42967][CORE] Aşama iptal edildikten sonra bir görev başlatıldığında düzeltilir SparkListenerTaskStart.stageAttemptId .
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Saat

    • Otomatik Yükleyici artık denetim noktasının hızlı çalışan Otomatik Yükleyici akışları için düzenli olarak temizlenebilmesini sağlamak üzere akışlar için Trigger.AvailableNow en az bir zaman uyumlu RocksDB günlüğü temizleme işlemini tetikliyor. Bu, bazı akışların kapanmadan önce daha uzun sürmesine neden olabilir, ancak gelecekteki çalıştırmalarda depolama maliyetlerinden tasarruf etmenizi ve Otomatik Yükleyici deneyimini geliştirmenizi sağlar.
    • Artık kullanarak bir Delta tablosunu tablo özelliklerine DeltaTable.addFeatureSupport(feature_name)destek eklemek için değiştirebilirsiniz.
    • [SPARK-42702][SPARK-42623][SQL] Alt sorgu ve CTE'de parametreli sorguyu destekleme
    • [SPARK-41162][SQL] Toplamalarla kendi kendine birleşim için anti-ve yarı birleştirmeyi düzeltme
    • [SPARK-42403][CORE] JsonProtocol null JSON dizelerini işlemelidir
    • [SPARK-42668][SS] HDFSStateStoreProvider iptalinde sıkıştırılmış akışı kapatmaya çalışırken özel durum yakalama
    • [SPARK-42794][SS] Yapı Akışı'nda RocksDB durum depounu almak için lockAcquireTimeoutMs değerini 2 dakikaya yükseltin

  • 14 Mart 2023

    • Tablo özelliğini kullanarak Delta tablosuna özellik eklemek için bir terminoloji değişikliği vardır. Tercih edilen söz dizimi artık 'delta.feature.featureName'='supported' yerine 'delta.feature.featureName'='enabled'kullanılır. Geriye dönük uyumluluk için kullanmaya 'delta.feature.featureName'='enabled' devam eder ve çalışmaya devam eder.
    • [SPARK-42622][CORE] Değerlerde değiştirme özelliğini devre dışı bırakma
    • [SPARK-42534][SQL] DB2Dialect Limit yan tümcesini düzeltme
    • [SPARK-42635][SQL] TimestampAdd ifadesini düzeltin.
    • [SPARK-42516][SQL] Görünüm oluştururken her zaman oturum saat dilimi yapılandırmasını yakalayın
    • [SPARK-42484] [SQL] UnsafeRowUtils better hata iletisi
    • [SPARK-41793][SQL] Büyük ondalıklarda aralık yan tümcesi tarafından tanımlanan pencere çerçeveleri için yanlış sonuç
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 24 Şubat 2023

    • Artık Sorgu Federasyonu'nda (PostgreSQL, MySQL, passworduserdatabaseportSynapse, Snowflake, Redshift, SQL Server) desteklenen veri kaynaklarına bağlanmak için birleşik bir seçenek kümesi (host, ) kullanabilirsiniz. İsteğe bağlı olduğunu port ve sağlanmadıysa her veri kaynağı için varsayılan bağlantı noktası numarasını kullandığını unutmayın.

    PostgreSQL bağlantı yapılandırması örneği

    CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

    Snowflake bağlantı yapılandırması örneği

    CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);
    • [SPARK-41989][PYTHON] pyspark.pandas dosyasından hataya neden olan günlük yapılandırmasından kaçının
    • [SPARK-42346][SQL] Alt sorgu birleştirme işleminden sonra ayrı toplamaları yeniden yazma
    • [SPARK-41990][SQL] V1 ile apply V2 arasında filtre dönüştürme yerine kullanın FieldReference.column
    • Geri Döndürme [SPARK-41848][CORE] TaskResourceProfile ile fazla zamanlanmış görevi düzeltme
    • [SPARK-42162] Büyük commutative ifade ağaçlarını kurallı hale getirme için bellek iyileştirmesi olarak MultiCommutativeOp ifadesini tanıtın
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 16 Şubat 2023, Saat 2023, Şubat 2023, Şubat 2023, Şubat 20

    • SYNC komutu, yeniden oluşturulmuş Hive Meta Veri Deposu tablolarının eşitlenmesini destekler. HMS tablosu daha önce Unity Kataloğu'na synced edildiyse ancak sonra bırakılıp yeniden oluşturulduysa, TABLE_ALREADY_EXISTS durum kodu oluşturmak yerine sonraki bir yeniden eşitleme çalışır.
    • [SPARK-41219][SQL] IntegralDivide, 0'ı göstermek için ondalık (1, 0) kullanır
    • [SPARK-36173][CORE] TaskContext'te CPU numarası alma desteği
    • [SPARK-41848][CORE] TaskResourceProfile ile fazla zamanlanmış görevi düzeltme
    • [SPARK-42286][SQL] CAST ile karmaşık ifade için önceki codegen kod yoluna geri dönüş

  • 31 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00

    • Tanımlı bir konuma sahip bir şema oluşturmak için artık kullanıcının HERHANGİ Bİr DOSYADA SELECT ve MODIFY ayrıcalıklarına sahip olması gerekir.
    • [SPARK-41581][SQL] _LEGACY_ERROR_TEMP_1230'a ad atama
    • [SPARK-41996][SQL] [SS] Kafka sınamasını düzelterek kayıp bölümlerin yavaş Kafka işlemlerini hesaba eklemesini doğrulama
    • [SPARK-41580][SQL] _LEGACY_ERROR_TEMP_2137'a ad atama
    • [SPARK-41666][PYTHON] Parametreli SQL desteği: sql()
    • [SPARK-41579][SQL] _LEGACY_ERROR_TEMP_1249'a ad atama
    • [SPARK-41573][SQL] _LEGACY_ERROR_TEMP_2136'a ad atama
    • [SPARK-41574][SQL] _LEGACY_ERROR_TEMP_2009'a ad atama
    • [SPARK-41049][İzleme] ConvertToLocalRelation için kod eşitleme regresyonu düzeltilir
    • [SPARK-41576][SQL] _LEGACY_ERROR_TEMP_2051'a ad atama
    • [SPARK-41572][SQL] _LEGACY_ERROR_TEMP_2149'a ad atama
    • [SPARK-41575][SQL] _LEGACY_ERROR_TEMP_2054'a ad atama
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 12.0 (desteklenmiyor)

Bkz . Databricks Runtime 12.0 (desteklenmeyen).

  • 15 Haziran 2023, Saat 2023, Temmuz 2023, Saat 20:00

    • Fotoğraflandı approx_count_distinct.
    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • [SPARK-43156][SPARK-43098][SQL] DecorrelateInnerQuery devre dışı bırakılmış olarak skaler alt sorgu sayısı hata testini genişletme
    • [SPARK-43779][SQL] ParseToDate şimdi ana iş parçacığına yüklenir EvalMode .
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 2 Haziran 2023

    • Modda JSON ayrıştırıcısı failOnUnknownFields bir kaydı DROPMALFORMED modda bırakır ve doğrudan modda FAILFAST başarısız olur.
    • Iceberg ve Parquet ile SHALLOW CLONE artımlı güncelleştirme performansını geliştirin.
    • Otomatik Yükleyici'de sağlanan şemada çıkarım yapılan bölümler olmadığında farklı kaynak dosya biçimlerinin tutarsız olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.
    • [SPARK-42444][PYTHON] DataFrame.drop artık yinelenen sütunları düzgün bir şekilde işler.
    • [SPARK-43404][Backport] Kimlik uyuşmazlığı hatasını önlemek için aynı RocksDB durum deposu sürümü için sst dosyasını yeniden kullanma işlemini atlayın.
    • [11.3-13.0] [[SPARK-43413]]https://issues.apache.org/jira/browse/SPARK-43413) [SQL] Alt sorgu ListQuery null atanabilirliği düzeltildiIN.
    • [SPARK-43527][PYTHON] PySpark'ta düzeltildi catalog.listCatalogs .
    • [SPARK-43522][SQL] Dizi diziniyle yapı sütun adı oluşturma düzeltildi.
    • [SPARK-43541][SQL] İfadeleri ve eksik sütunları çözümlemek için tüm Project etiketleri yay..
    • [SPARK-43340][CORE] Olay günlüklerinde eksik yığın izleme alanı düzeltildi.
    • [SPARK-42937][SQL] PlanSubqueries true olarak ayarlanır InSubqueryExec#shouldBroadcast .

  • 17 Mayıs 2023, Saat 2023, Mayıs 2023, Saat 20:00

    • Parquet taramaları artık toplu iş boyutunu dinamik olarak ayarlayarak olağanüstü yapılandırılmış dosyaları tararken OOM'lere karşı sağlamdır. Dosya meta verileri, toplu iş boyutunu önceden düşürecek şekilde analiz edilir ve son güvenlik ağı olarak görev yeniden denemelerinde yeniden indirilir.
    • Bir Avro dosyası yalnızca failOnUnknownFields\ seçeneğiyle veya şema evrim modunda Otomatik Yükleyici failOnNewColumns\ ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata atmak yerine okunur null\ . Bu okumalar artık başarısız olur ve kullanıcılara bu seçeneği kullanmalarını rescuedDataColumn\ önerir.
    • Otomatik Yükleyici şimdi aşağıdakileri yapar.
      • Bu veri türlerinden biri sağlanmışsa , , Byte türlerini doğru okur ve artık kurtarmazIntegerShort, ancak Avro dosyası diğer iki türden birini önerir.
      • Bozuk tarihlerin oluşmasını önlemek için okuma aralığı türlerini tarih veya zaman damgası türleri olarak önler.
      • Okuma Decimal türlerini daha düşük duyarlıkla önler.
    • [SPARK-43172] [BAĞLAN] Spark connect istemcisinden konağı ve belirteci kullanıma sunar.
    • [SPARK-41520][SQL] ve öğesini ayırmak ANDORiçin ağaç deseni bölünAND_OR.
    • [SPARK-43098][SQL] Skaler alt sorgu yan tümcesine göre gruplandırıldığında düzeltilen doğruluk COUNT hatası.
    • [SPARK-43190][SQL] ListQuery.childOutput artık ikincil çıkışla tutarlıdır.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 25 Nisan 2023, Saat 2023, Temmuz 2023, Temmuz 2023, Temmuz

    • Parquet dosyası yalnızca failOnUnknownFields seçeneğiyle veya şema evrim modunda Otomatik Yükleyici failOnNewColumns ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata oluşturmak yerine okunur null . Bu okumalar artık başarısız olur ve kullanıcılara bu seçeneği kullanmalarını rescuedDataColumn önerir.
    • Otomatik Yükleyici artık bu veri türlerinden biri sağlanmışsa , ShortByte türlerini doğru okur ve artık kurtarmazInteger. Parquet dosyası diğer iki türden birini önerir. Kurtarılan veri sütunu daha önce etkinleştirildiğinde, veri türü uyuşmazlığı okunabilir olsalar bile sütunların kurtarılmalarına neden olurdu.
    • [SPARK-42971][CORE] Çalışan işleyicisi WorkDirCleanup olayı olduğunda null olduğunda appDirs yazdırılacak workdir şekilde değiştirin
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 11 Nisan 2023 Salı

    • Komutunda SYNC eski veri kaynağı biçimlerini destekleyin.
    • Depo dışındaki not defterlerinde %autoreload davranışındaki bir hatayı düzeltir.
    • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir hata düzeltildi.
    • [SPARK-42928][SQL] Eşitlenmiş yapar resolvePersistentFunction .
    • [SPARK-42967][CORE] Aşama iptal edildikten sonra bir görev başlatıldığında düzeltilir SparkListenerTaskStart.stageAttemptId .
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Saat

    • [SPARK-42794][SS] Yapı Akışı'nda RocksDB durum depounu almak için lockAcquireTimeoutMs değerini 2 dakikaya yükseltin
    • [SPARK-41162][SQL] Toplamalarla kendi kendine birleşim için anti-ve yarı birleştirmeyi düzeltme
    • [SPARK-42403][CORE] JsonProtocol null JSON dizelerini işlemelidir
    • [SPARK-42668][SS] HDFSStateStoreProvider iptalinde sıkıştırılmış akışı kapatmaya çalışırken özel durum yakalama
    • Çeşitli hata düzeltmeleri.

  • 14 Mart 2023

    • [SPARK-42534][SQL] DB2Dialect Limit yan tümcesini düzeltme
    • [SPARK-42622][CORE] Değerlerde değiştirme özelliğini devre dışı bırakma
    • [SPARK-41793][SQL] Büyük ondalıklarda aralık yan tümcesi tarafından tanımlanan pencere çerçeveleri için yanlış sonuç
    • [SPARK-42484] [SQL] UnsafeRowUtils better hata iletisi
    • [SPARK-42635][SQL] TimestampAdd ifadesini düzeltin.
    • [SPARK-42516][SQL] Görünüm oluştururken her zaman oturum saat dilimi yapılandırmasını yakalayın
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 24 Şubat 2023

    • Sorgu Federasyonu için StandartLaştırılmış Bağlantı Seçenekleri

      Artık Sorgu Federasyonu'nda (PostgreSQL, MySQL, passworduserdatabaseportSynapse, Snowflake, Redshift, SQL Server) desteklenen veri kaynaklarına bağlanmak için birleşik bir seçenek kümesi (host, ) kullanabilirsiniz. port İsteğe bağlı olduğunu ve sağlanmazsa her veri kaynağı için varsayılan bağlantı noktası numarasını kullanacağını unutmayın.

      PostgreSQL bağlantı yapılandırması örneği

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Snowflake bağlantı yapılandırması örneği

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • Geri Döndürme [SPARK-41848][CORE] TaskResourceProfile ile fazla zamanlanmış görevi düzeltme

    • [SPARK-42162] Büyük commutative ifade ağaçlarını kurallı hale getirme için bellek iyileştirmesi olarak MultiCommutativeOp ifadesini tanıtın

    • [SPARK-41990][SQL] V1 ile apply V2 arasında filtre dönüştürme yerine kullanın FieldReference.column

    • [SPARK-42346][SQL] Alt sorgu birleştirme işleminden sonra ayrı toplamaları yeniden yazma

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 16 Şubat 2023, Saat 2023, Şubat 2023, Şubat 2023, Şubat 20

    • Kullanıcılar artık Databricks Runtime 9.1 veya sonraki bir sürümünü kullanarak Okuyucu sürüm 3 ve Yazıcı sürüm 7 gerektiren bazı Delta tablolarını okuyabilir ve yazabilir. Başarılı olmak için tabloların protokolünde listelenen tablo özellikleri Databricks Runtime'ın geçerli sürümü tarafından desteklenmelidir.
    • SYNC komutu, yeniden oluşturulmuş Hive Meta Veri Deposu tablolarının eşitlenmesini destekler. HMS tablosu daha önce Unity Kataloğu'na synced edildiyse ancak sonra bırakılıp yeniden oluşturulduysa, TABLE_ALREADY_EXISTS durum kodu oluşturmak yerine sonraki bir yeniden eşitleme çalışır.
    • [SPARK-36173][CORE] TaskContext'te CPU numarası alma desteği
    • [SPARK-42286][SQL] CAST ile karmaşık ifade için önceki codegen kod yoluna geri dönüş
    • [SPARK-41848][CORE] TaskResourceProfile ile fazla zamanlanmış görevi düzeltme
    • [SPARK-41219][SQL] IntegralDivide, 0'ı göstermek için ondalık (1, 0) kullanır

  • 25 Ocak 2023

    • [SPARK-41660][SQL] Meta veri sütunlarını yalnızca kullanıldıklarında yayma
    • [SPARK-41379][SS] [PYTHON] PySpark'ta foreachBatch havuzu için kullanıcı işlevinde DataFrame'de kopyalanmış spark oturumu sağlama
    • [SPARK-41669][SQL] canCollapseExpressions'da erken budama
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 18 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00

    • REFRESH FUNCTION SQL komutu artık SQL işlevlerini ve SQL Tablo işlevlerini destekliyor. Örneğin, komutu başka bir SQL oturumunda güncelleştirilen kalıcı bir SQL işlevini yenilemek için kullanılabilir.
    • Java Veritabanı Bağlantısı (JDBC) veri kaynağı v1 artık sorgulardaki performansı artırmak için LIMIT yan tümcesi göndermeyi destekliyor. Bu özellik varsayılan olarak etkindir ve olarak ayarlanmış falseolarak spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled devre dışı bırakılabilir.
    • Eski Tablo ACL'leri kümelerinde, JVM sınıflarına başvuran işlevler oluşturmak artık ayrıcalık gerektirir MODIFY_CLASSPATH .
    • Java Veritabanı Bağlantısı (JDBC) veri kaynağı v1 artık sorgulardaki performansı artırmak için LIMIT yan tümcesi göndermeyi destekliyor. Bu özellik varsayılan olarak etkindir ve spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled değeri false olarak ayarlandığında devre dışı bırakılabilir.
    • Azure Synapse bağlayıcısı artık sütun adında boşluklar veya noktalı virgüller gibi geçersiz karakterler bulunduğunda daha açıklayıcı bir hata iletisi döndürülüyor. Böyle durumlarda aşağıdaki ileti döndürülür: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • Spark yapılandırılmış akışı artık kaynak olarak bir delta sharing tablosunda format("deltasharing") ile çalışıyor.
    • [SPARK-38277][SS] RocksDB durum deposu işleme işleminden sonra yazma toplu işlemini temizleme
    • [SPARK-41733][SQL] [SS] ResolveWindowTime kuralı için ağaç deseni tabanlı ayıklama uygulama
    • [SPARK-39591][SS] Zaman Uyumsuz İlerleme İzleme
    • [SPARK-41339][SQL] Yalnızca temizlemek yerine RocksDB yazma toplu işlemini kapatın ve yeniden oluşturun
    • [SPARK-41198][SS] CTE ve DSv1 akış kaynağına sahip akış sorgusundaki ölçümleri düzeltme
    • [SPARK-41539][SQL] MantıksalRDD için mantıksal plandaki çıkışla istatistikleri ve kısıtlamaları yeniden eşleme
    • [SPARK-41732][SQL] [SS] SessionWindowing kuralı için ağaç deseni tabanlı ayıklama uygulama
    • [SPARK-41862][SQL] Ork okuyucuda DEFAULT değerleriyle ilgili doğruluk hatasını düzeltme
    • [SPARK-41199][SS] DSv1 akış kaynağı ve DSv2 akış kaynağı birlikte kullanıldığında oluşan ölçümler sorunu düzeltildi
    • [SPARK-41261][PYTHON] [SS] Gruplandırma anahtarlarının sütunları en erkenden sıralanmadığında applyInPandasWithState ile ilgili sorun düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 17 Mayıs 2023, Saat 2023, Mayıs 2023, Saat 20:00

    • Parquet taramaları artık toplu iş boyutunu dinamik olarak ayarlayarak olağanüstü yapılandırılmış dosyaları tararken OOM'lere karşı sağlamdır. Dosya meta verileri, toplu iş boyutunu önceden düşürecek şekilde analiz edilir ve son güvenlik ağı olarak görev yeniden denemelerinde yeniden indirilir.
    • Küme başlatma sırasında meta veri deposuna bağlanamadığında Azure Databricks işlerinin kalıcı olmasına neden olan bir regresyon düzeltildi.
    • [SPARK-41520][SQL] ve öğesini ayırmak ANDORiçin ağaç deseni bölünAND_OR.
    • [SPARK-43190][SQL] ListQuery.childOutput artık ikincil çıkışla tutarlıdır.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 25 Nisan 2023, Saat 2023, Temmuz 2023, Temmuz 2023, Temmuz

    • Parquet dosyası yalnızca failOnUnknownFields seçeneğiyle veya şema evrim modunda Otomatik Yükleyici failOnNewColumns ile okunduysa, farklı veri türlerine sahip sütunlar, dosyanın okunamadığını belirten bir hata oluşturmak yerine okunur null . Bu okumalar artık başarısız olur ve kullanıcılara bu seçeneği kullanmalarını rescuedDataColumn önerir.
    • Otomatik Yükleyici artık bu veri türlerinden biri sağlanmışsa , ShortByte türlerini doğru okur ve artık kurtarmazInteger. Parquet dosyası diğer iki türden birini önerir. Kurtarılan veri sütunu daha önce etkinleştirildiğinde, veri türü uyuşmazlığı okunabilir olsalar bile sütunların kurtarılmalarına neden olurdu.
    • [SPARK-42937][SQL] PlanSubqueries şimdi true olarak ayarlanır InSubqueryExec#shouldBroadcast .
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 11 Nisan 2023 Salı

    • SYNC komutunda eski veri kaynağı biçimlerini destekleyin.
    • Depo dışındaki not defterlerinde %autoreload davranışındaki bir hatayı düzeltir.
    • İç içe JSON nesnesinin şemasında yeni bir sütun algılandığında Otomatik Yükleyici şemasının evriminin sonsuz bir hata döngüsüne girebildiği bir hata düzeltildi.
    • [SPARK-42928][SQL] resolvePersistentFunction'ın eşitlenmesini sağlayın.
    • [SPARK-42967][CORE] Aşama iptal edildikten sonra bir görev başlatıldığında SparkListenerTaskStart.stageAttemptId dosyasını düzeltin.

  • 29 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Saat

    • [SPARK-42794][SS] Yapı Akışı'nda RocksDB durum depounu almak için lockAcquireTimeoutMs değerini 2 dakikaya yükseltin
    • [SPARK-42403][CORE] JsonProtocol null JSON dizelerini işlemelidir
    • [SPARK-42668][SS] HDFSStateStoreProvider iptalinde sıkıştırılmış akışı kapatmaya çalışırken özel durum yakalama
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 14 Mart 2023

    • [SPARK-42635][SQL] TimestampAdd ifadesini düzeltin.
    • [SPARK-41793][SQL] Büyük ondalıklarda aralık yan tümcesi tarafından tanımlanan pencere çerçeveleri için yanlış sonuç
    • [SPARK-42484] [SQL] UnsafeRowUtils better hata iletisi
    • [SPARK-42534][SQL] DB2Dialect Limit yan tümcesini düzeltme
    • [SPARK-41162][SQL] Toplamalarla kendi kendine birleşim için anti-ve yarı birleştirmeyi düzeltme
    • [SPARK-42516][SQL] Görünüm oluştururken her zaman oturum saat dilimi yapılandırmasını yakalayın
    • Çeşitli hata düzeltmeleri.

  • 28 Şubat 2023, Saat 2023

    • Sorgu Federasyonu için StandartLaştırılmış Bağlantı Seçenekleri

      Artık Sorgu Federasyonu'nda (PostgreSQL, MySQL, passworduserdatabaseportSynapse, Snowflake, Redshift, SQL Server) desteklenen veri kaynaklarına bağlanmak için birleşik bir seçenek kümesi (host, ) kullanabilirsiniz. İsteğe bağlı olduğunu port ve sağlanmadıysa her veri kaynağı için varsayılan bağlantı noktası numarasını kullandığını unutmayın.

      PostgreSQL bağlantı yapılandırması örneği

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Snowflake bağlantı yapılandırması örneği

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • [SPARK-42286][SQL] CAST ile karmaşık ifade için önceki codegen kod yoluna geri dönüş

    • [SPARK-41989][PYTHON] pyspark.pandas dosyasından hataya neden olan günlük yapılandırmasından kaçının

    • [SPARK-42346][SQL] Alt sorgu birleştirme işleminden sonra ayrı toplamaları yeniden yazma

    • [SPARK-41360][CORE] Yürütücü kaybolduysa BlockManager yeniden kaydından kaçının

    • [SPARK-42162] Büyük commutative ifade ağaçlarını kurallı hale getirme için bellek iyileştirmesi olarak MultiCommutativeOp ifadesini tanıtın

    • [SPARK-41990][SQL] V1 ile apply V2 arasında filtre dönüştürme yerine kullanın FieldReference.column

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 16 Şubat 2023, Saat 2023, Şubat 2023, Şubat 2023, Şubat 20

    • Kullanıcılar artık Databricks Runtime 9.1 veya sonraki bir sürümünü kullanarak Okuyucu sürüm 3 ve Yazıcı sürüm 7 gerektiren bazı Delta tablolarını okuyabilir ve yazabilir. Başarılı olmak için tabloların protokolünde listelenen tablo özellikleri Databricks Runtime'ın geçerli sürümü tarafından desteklenmelidir.
    • SYNC komutu, yeniden oluşturulmuş Hive Meta Veri Deposu tablolarının eşitlenmesini destekler. HMS tablosu daha önce Unity Kataloğu'na synced edildiyse ancak sonra bırakılıp yeniden oluşturulduysa, TABLE_ALREADY_EXISTS durum kodu oluşturmak yerine sonraki bir yeniden eşitleme çalışır.
    • [SPARK-41219][SQL] IntegralDivide, 0'ı göstermek için ondalık (1, 0) kullanır
    • [SPARK-40382][SQL] 'da ayrı toplama ifadelerini eşkener olarak eşdeğer alt öğelere göre gruplandırma RewriteDistinctAggregates
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 25 Ocak 2023

    • [SPARK-41379][SS] [PYTHON] PySpark'ta foreachBatch havuzu için kullanıcı işlevinde DataFrame'de kopyalanmış spark oturumu sağlama
    • [SPARK-41660][SQL] Meta veri sütunlarını yalnızca kullanıldıklarında yayma
    • [SPARK-41669][SQL] canCollapseExpressions'da erken budama
    • Çeşitli hata düzeltmeleri.

  • 18 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00

    • REFRESH FUNCTION SQL komutu artık SQL işlevlerini ve SQL Tablo işlevlerini destekliyor. Örneğin, komutu başka bir SQL oturumunda güncelleştirilen kalıcı bir SQL işlevini yenilemek için kullanılabilir.
    • Java Veritabanı Bağlantısı (JDBC) veri kaynağı v1 artık sorgulardaki performansı artırmak için LIMIT yan tümcesi göndermeyi destekliyor. Bu özellik varsayılan olarak etkindir ve olarak ayarlanmış falseolarak spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled devre dışı bırakılabilir.
    • Java Veritabanı Bağlantısı (JDBC) veri kaynağı v1 artık sorgulardaki performansı artırmak için LIMIT yan tümcesi göndermeyi destekliyor. Bu özellik varsayılan olarak etkindir ve spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled değeri false olarak ayarlandığında devre dışı bırakılabilir.
    • Azure Synapse bağlayıcısı artık sütun adında boşluklar veya noktalı virgüller gibi geçersiz karakterler bulunduğunda daha açıklayıcı bir hata iletisi döndürülüyor. Böyle durumlarda aşağıdaki ileti döndürülür: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] CTE ve DSv1 akış kaynağına sahip akış sorgusundaki ölçümleri düzeltme
    • [SPARK-41862][SQL] Ork okuyucuda DEFAULT değerleriyle ilgili doğruluk hatasını düzeltme
    • [SPARK-41539][SQL] MantıksalRDD için mantıksal plandaki çıkışla istatistikleri ve kısıtlamaları yeniden eşleme
    • [SPARK-39591][SS] Zaman Uyumsuz İlerleme İzleme
    • [SPARK-41199][SS] DSv1 akış kaynağı ve DSv2 akış kaynağı birlikte kullanıldığında oluşan ölçümler sorunu düzeltildi
    • [SPARK-41261][PYTHON] [SS] Gruplandırma anahtarlarının sütunları en erkenden sıralanmadığında applyInPandasWithState ile ilgili sorun düzeltildi
    • [SPARK-41339][SQL] Yalnızca temizlemek yerine RocksDB yazma toplu işlemini kapatın ve yeniden oluşturun
    • [SPARK-41732][SQL] [SS] SessionWindowing kuralı için ağaç deseni tabanlı ayıklama uygulama
    • [SPARK-38277][SS] RocksDB durum deposu işleme işleminden sonra yazma toplu işlemini temizleme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20

    • Kullanıcılar, Redshift bağlayıcısını kullanarak veri yazarken baştaki ve sondaki boşlukların davranışını yapılandırabilir. Boşluk işlemeyi denetlemek için aşağıdaki seçenekler eklenmiştir:
      • csvignoreleadingwhitespaceolarak ayarlandığında, veya CSV GZIPolarak ayarlandığında trueCSV yazma tempformat işlemleri sırasında değerlerden baştaki boşluğu kaldırır. Yapılandırma olarak ayarlandığında falseboşluklar korunur. Varsayılan değer true şeklindedir.
      • csvignoretrailingwhitespaceolarak ayarlandığında, veya CSV GZIPolarak ayarlandığında trueCSV yazma tempformat işlemleri sırasında değerlerden sondaki boşluğu kaldırır. Yapılandırma olarak ayarlandığında falseboşluklar korunur. Varsayılan değer true şeklindedir.
    • Tüm sütunlar dize olarak bırakıldığında (cloudFiles.inferColumnTypes ayarlanmamış veya ayarlanmamış false) ve JSON iç içe nesneler içerdiğinde Otomatik Yükleyici'de JSON ayrıştırma ile ilgili bir hata düzeltildi.
    • Bağımlılığı 3.13.22 sürümüne yükseltin snowflake-jdbc .
    • JDBC tablolarının tablo türleri artık varsayılan olarak EXTERNAL'tir.
    • [SPARK-40906][SQL] Mode Harita'ya eklemeden önce anahtarları kopyalamalı
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20

    • Tablo ACL'leri ve UC Paylaşılan kümeleri artık python'dan Dataset.toJSON yöntemine izin verir.
    • [SPARK-40646] Yapılar, haritalar ve diziler için JSON ayrıştırma düzeltildi, bu nedenle kaydın bir bölümü şemayla eşleşmediğinde, kaydın geri kalanı null döndürmek yerine doğru şekilde ayrıştırılabilir. geliştirilmiş davranış kümesine spark.sql.json.enablePartialResults katılmayı kabul etmek için true. Özgün davranışı korumak için bayrak varsayılan olarak devre dışıdır
    • [SPARK-40903][SQL] Veri türü değiştirilirse ondalık ekle kurallı hale getirme için yeniden sıralamaktan kaçının
    • [SPARK-40618][SQL] Başvuru izleme kullanarak iç içe alt sorgular içeren MergeScalarSubqueries kuralındaki hata düzeltildi
    • [SPARK-40697][SQL] Dış veri dosyalarını kapsayacak şekilde okuma tarafı karakter doldurma ekleme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Kasım 2022, İstanbul

    • Unity Kataloğu'nda Yapılandırılmış Akış artık geçici erişim belirteçlerinin yenilenmesini destekliyor. Unity Kataloğu ile çalışan akış iş yükleri tüm amaçlı veya iş kümeleri artık ilk belirtecin süresi dolduktan sonra başarısız olmaz.
    • Delta tablosunda adlı _change_typekullanıcı tanımlı bir sütun varsa ancak Bu tabloda Veri akışını değiştir devre dışı bırakıldıysa, bu sütundaki verilerin çalıştırırken MERGEhatalı bir şekilde NULL değerleriyle doldurulması sorunu düzeltildi.
    • koşulda kaynaktan tam olarak 99 sütunun çalıştırılmasının MERGE ve kullanılmasının ile sonuçlandığı java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRowbir sorun düzeltildi.
    • Otomatik Yükleyici'de bir dosyanın etkinleştirildiğinde allowOverwrites aynı mikro toplu işlemde çoğaltılabilmesine neden olan bir sorun düzeltildi.
    • Apache commons-text 1.10.0 sürümüne yükseltildi.
    • [SPARK-38881][DSTREAMS] [KINESIS] [PYSPARK] CloudWatch MetricsLevel Yapılandırması desteği eklendi
    • [SPARK-40596][CORE] ExecutorDecommissionInfo içindeki iletilerle ExecutorDecommission'i doldurma
    • [SPARK-40670][SS] [PYTHON] Giriş şemasında "null atanamaz" sütun olduğunda applyInPandasWithState içindeki NPE düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 11.2 (desteklenmiyor)

Bkz . Databricks Runtime 11.2 (desteklenmiyor).

  • 28 Şubat 2023, Saat 2023
    • [SPARK-42286][SQL] CAST ile karmaşık ifade için önceki codegen kod yoluna geri dönüş
    • [SPARK-42346][SQL] Alt sorgu birleştirme işleminden sonra ayrı toplamaları yeniden yazma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 16 Şubat 2023, Saat 2023, Şubat 2023, Şubat 2023, Şubat 20
    • Kullanıcılar artık Databricks Runtime 9.1 veya sonraki bir sürümünü kullanarak Okuyucu sürüm 3 ve Yazıcı sürüm 7 gerektiren bazı Delta tablolarını okuyabilir ve yazabilir. Başarılı olmak için tabloların protokolünde listelenen tablo özellikleri Databricks Runtime'ın geçerli sürümü tarafından desteklenmelidir.
    • SYNC komutu, yeniden oluşturulmuş Hive Meta Veri Deposu tablolarının eşitlenmesini destekler. HMS tablosu daha önce Unity Kataloğu'na synced edildiyse ancak sonra bırakılıp yeniden oluşturulduysa, TABLE_ALREADY_EXISTS durum kodu oluşturmak yerine sonraki bir yeniden eşitleme çalışır.
    • [SPARK-41219][SQL] IntegralDivide, 0'ı göstermek için ondalık (1, 0) kullanır
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 31 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00
    • JDBC tablolarının tablo türleri artık varsayılan olarak EXTERNAL'tir.
    • [SPARK-41379][SS] [PYTHON] PySpark'ta foreachBatch havuzu için kullanıcı işlevinde DataFrame'de kopyalanmış spark oturumu sağlama
  • 18 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00
    • Azure Synapse bağlayıcısı artık sütun adında boşluklar veya noktalı virgüller gibi geçersiz karakterler bulunduğunda daha açıklayıcı bir hata iletisi döndürülüyor. Böyle durumlarda aşağıdaki ileti döndürülür: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] CTE ve DSv1 akış kaynağına sahip akış sorgusundaki ölçümleri düzeltme
    • [SPARK-41862][SQL] Ork okuyucuda DEFAULT değerleriyle ilgili doğruluk hatasını düzeltme
    • [SPARK-41539][SQL] MantıksalRDD için mantıksal plandaki çıkışla istatistikleri ve kısıtlamaları yeniden eşleme
    • [SPARK-41199][SS] DSv1 akış kaynağı ve DSv2 akış kaynağı birlikte kullanıldığında oluşan ölçümler sorunu düzeltildi
    • [SPARK-41339][SQL] Yalnızca temizlemek yerine RocksDB yazma toplu işlemini kapatın ve yeniden oluşturun
    • [SPARK-41732][SQL] [SS] SessionWindowing kuralı için ağaç deseni tabanlı ayıklama uygulama
    • [SPARK-38277][SS] RocksDB durum deposu işleme işleminden sonra yazma toplu işlemini temizleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 29 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20
    • Kullanıcılar, Redshift bağlayıcısını kullanarak veri yazarken baştaki ve sondaki boşlukların davranışını yapılandırabilir. Boşluk işlemeyi denetlemek için aşağıdaki seçenekler eklenmiştir:
      • csvignoreleadingwhitespaceolarak ayarlandığında, veya CSV GZIPolarak ayarlandığında trueCSV yazma tempformat işlemleri sırasında değerlerden baştaki boşluğu kaldırır. Yapılandırma olarak ayarlandığında falseboşluklar korunur. Varsayılan değer true şeklindedir.
      • csvignoretrailingwhitespaceolarak ayarlandığında, veya CSV GZIPolarak ayarlandığında trueCSV yazma tempformat işlemleri sırasında değerlerden sondaki boşluğu kaldırır. Yapılandırma olarak ayarlandığında falseboşluklar korunur. Varsayılan değer true şeklindedir.
    • Tüm sütunlar dize olarak bırakıldığında (cloudFiles.inferColumnTypes ayarlanmamış veya ayarlanmamış false) ve JSON iç içe nesneler içerdiğinde Otomatik Yükleyici'de JSON ayrıştırma ile ilgili bir hata düzeltildi.
    • [SPARK-40906][SQL] Mode Harita'ya eklemeden önce anahtarları kopyalamalı
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20
    • [SPARK-40646] Yapılar, haritalar ve diziler için JSON ayrıştırma düzeltildi, bu nedenle kaydın bir bölümü şemayla eşleşmediğinde, kaydın geri kalanı null döndürmek yerine doğru şekilde ayrıştırılabilir. Geliştirilmiş davranışı kabul etmek için olarak ayarlayın spark.sql.json.enablePartialResultstrue. Özgün davranışı korumak için bayrak varsayılan olarak devre dışıdır
    • [SPARK-40618][SQL] Başvuru izleme kullanarak iç içe alt sorgular içeren MergeScalarSubqueries kuralındaki hata düzeltildi
    • [SPARK-40697][SQL] Dış veri dosyalarını kapsayacak şekilde okuma tarafı karakter doldurma ekleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Kasım 2022, İstanbul
    • Apache commons-text 1.10.0 sürümüne yükseltildi.
    • Delta tablosunda adlı _change_typekullanıcı tanımlı bir sütun varsa ancak Bu tabloda Veri akışını değiştir devre dışı bırakıldıysa, bu sütundaki verilerin çalıştırırken MERGEhatalı bir şekilde NULL değerleriyle doldurulması sorunu düzeltildi.
    • koşulda kaynaktan tam olarak 99 sütunun çalıştırılmasının MERGE ve kullanılmasının ile sonuçlandığı java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRowbir sorun düzeltildi.
    • Otomatik Yükleyici'de bir dosyanın etkinleştirildiğinde allowOverwrites aynı mikro toplu işlemde çoğaltılabilmesine neden olan bir sorun düzeltildi
    • [SPARK-40596][CORE] ExecutorDecommissionInfo içindeki iletilerle ExecutorDecommission'i doldurma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 19 Ekim 2022, Cumartesi
    • Unity Kataloğu etkin kümelerde/ambarlarda geçici kimlik bilgileriyle COPY INTO kullanımıyla ilgili bir sorun düzeltildi.
    • [SPARK-40213][SQL] Latin-1 karakterleri için ASCII değer dönüştürme desteği
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Ekim 2022, Cumartesi
    • Kullanıcılar spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") öğesini ADLS 2. Nesil'de Otomatik Yükleyici için yerel listeyi yeniden etkinleştirmek üzere ayarlayabilir. Yerel listeleme daha önce performans sorunları nedeniyle kapatılmıştı, ancak müşteriler için depolama maliyetlerinin artmasına neden olmuş olabilir. Bu değişiklik önceki bakım güncelleştirmesinde DBR 10.4 ve 9.1'e dağıtıldı.
    • [SPARK-40315][SQL] Yerleşik işlev olarak url kodlama/kodunu çözme desteği ve url ile ilgili işlevleri düzenleme
    • [SPARK-40156][SQL]url_decode() hata sınıfı döndürmelidir
    • [SPARK-40169] Veri şemasına başvurmadan Parquet filtrelerini göndermeyin
    • [SPARK-40460][SS] Seçim yaparken akış ölçümlerini düzeltme _metadata
    • [SPARK-40468][SQL] _corrupt_record seçildiğinde CSV'de sütun ayıklamayı düzeltme
    • [SPARK-40055][SQL] listCatalogs, spark_catalog uygulaması defaultSessionCatalog olsa bile spark_catalog döndürmelidir
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Eylül 2022, Cumartesi
    • [SPARK-40315][SQL] ArrayBasedMapData Değişmez Değeri için hashCode() ekleme
    • [SPARK-40389][SQL] Atama taşabiliyorsa ondalıklar tam sayı türleri olarak yukarı yayın yapamaz
    • [SPARK-40380][SQL] Plana serileştirilebilir olmayan sabit değer katıştırılmasını önlemek için InvokeLike'in sürekli katlanması düzeltilir
    • [SPARK-40066][SQL] [TAKİP] DataType'ı almadan önce ElementAt'in çözümlenip çözümlenmediğini denetleyin
    • [SPARK-40109][SQL] Yeni SQL işlevi: get()
    • [SPARK-40066][SQL] ANSI modu: Eşleme sütununa geçersiz erişimde her zaman null döndür
    • [SPARK-40089][SQL] Bazı Ondalık türleri için sıralamayı düzeltme
    • [SPARK-39887][SQL] RemoveRedundantAliases, projeksiyon düğümlerinin çıkışını benzersiz hale getiren diğer adları tutmalıdır
    • [SPARK-40152][SQL] split_part codegen derleme sorunu düzeltildi
    • [SPARK-40235][CORE] Executor.updateDependencies() içinde eşitlenmiş yerine kesilebilir kilit kullanın
    • [SPARK-40212][SQL] SparkSQL castPartValue bayt, kısa veya kayan değeri düzgün şekilde işlemez
    • [SPARK-40218][SQL] GRUPLANDıRMA KÜMESİ, gruplandırma sütunlarını korumalıdır
    • [SPARK-35542][ML] Düzeltme: Parametrelerle birden çok sütun için demet oluşturucu oluşturuldu
    • [SPARK-40079] Boş giriş olayı için Imputer inputCols doğrulaması ekleme
    • [SPARK-39912]SPARK-39828[SQL] Kataloğu İyileştirmeImpl

Databricks Runtime 11.1 (desteklenmiyor)

Bkz . Databricks Runtime 11.1 (desteklenmiyor).

  • 31 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00

    • [SPARK-41379][SS] [PYTHON] PySpark'ta foreachBatch havuzu için kullanıcı işlevinde DataFrame'de kopyalanmış spark oturumu sağlama
    • Çeşitli hata düzeltmeleri.

  • 18 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00

    • Azure Synapse bağlayıcısı artık sütun adında boşluklar veya noktalı virgüller gibi geçersiz karakterler bulunduğunda daha açıklayıcı bir hata iletisi döndürülüyor. Böyle durumlarda aşağıdaki ileti döndürülür: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] CTE ve DSv1 akış kaynağına sahip akış sorgusundaki ölçümleri düzeltme
    • [SPARK-41862][SQL] Ork okuyucuda DEFAULT değerleriyle ilgili doğruluk hatasını düzeltme
    • [SPARK-41199][SS] DSv1 akış kaynağı ve DSv2 akış kaynağı birlikte kullanıldığında oluşan ölçümler sorunu düzeltildi
    • [SPARK-41339][SQL] Yalnızca temizlemek yerine RocksDB yazma toplu işlemini kapatın ve yeniden oluşturun
    • [SPARK-41732][SQL] [SS] SessionWindowing kuralı için ağaç deseni tabanlı ayıklama uygulama
    • [SPARK-38277][SS] RocksDB durum deposu işleme işleminden sonra yazma toplu işlemini temizleme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20

    • Kullanıcılar, Redshift bağlayıcısını kullanarak veri yazarken baştaki ve sondaki boşlukların davranışını yapılandırabilir. Boşluk işlemeyi denetlemek için aşağıdaki seçenekler eklenmiştir:
      • csvignoreleadingwhitespaceolarak ayarlandığında, veya CSV GZIPolarak ayarlandığında trueCSV yazma tempformat işlemleri sırasında değerlerden baştaki boşluğu kaldırır. Yapılandırma olarak ayarlandığında falseboşluklar korunur. Varsayılan değer true şeklindedir.
      • csvignoretrailingwhitespaceolarak ayarlandığında, veya CSV GZIPolarak ayarlandığında trueCSV yazma tempformat işlemleri sırasında değerlerden sondaki boşluğu kaldırır. Yapılandırma olarak ayarlandığında falseboşluklar korunur. Varsayılan değer true şeklindedir.
    • Tüm sütunlar dize olarak bırakıldığında (cloudFiles.inferColumnTypes ayarlanmamış veya ayarlanmamış false) ve JSON iç içe nesneler içerdiğinde Otomatik Yükleyici'de JSON ayrıştırma ile ilgili bir hata düzeltildi.
    • [SPARK-39650][SS] Geriye dönük uyumlulukla yinelenenleri kaldırma akışındaki yanlış değer şeması düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20

    • [SPARK-40646] Yapılar, haritalar ve diziler için JSON ayrıştırma düzeltildi, bu nedenle kaydın bir bölümü şemayla eşleşmediğinde, kaydın geri kalanı null döndürmek yerine doğru şekilde ayrıştırılabilir. Geliştirilmiş davranışı kabul etmek için olarak ayarlayın spark.sql.json.enablePartialResultstrue. Özgün davranışı korumak için bayrak varsayılan olarak devre dışıdır
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Kasım 2022, İstanbul

    • Apache commons-text 1.10.0 sürümüne yükseltildi.
    • Delta tablosunda adlı _change_typekullanıcı tanımlı bir sütun varsa ancak Bu tabloda Veri akışını değiştir devre dışı bırakıldıysa, bu sütundaki verilerin çalıştırırken MERGEhatalı bir şekilde NULL değerleriyle doldurulması sorunu düzeltildi.
    • koşulda kaynaktan tam olarak 99 sütunun çalıştırılmasının MERGE ve kullanılmasının ile sonuçlandığı java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRowbir sorun düzeltildi.
    • Otomatik Yükleyici'de bir dosyanın etkinleştirildiğinde allowOverwrites aynı mikro toplu işlemde çoğaltılabilmesine neden olan bir sorun düzeltildi
    • [SPARK-40697][SQL] Dış veri dosyalarını kapsayacak şekilde okuma tarafı karakter doldurma ekleme
    • [SPARK-40596][CORE] ExecutorDecommissionInfo içindeki iletilerle ExecutorDecommission'i doldurma
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 18 Ekim 2022, Cumartesi

    • Unity Kataloğu etkin kümelerde/ambarlarda geçici kimlik bilgileriyle COPY INTO kullanımıyla ilgili bir sorun düzeltildi.
    • [SPARK-40213][SQL] Latin-1 karakterleri için ASCII değer dönüştürme desteği
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 5 Ekim 2022 Çarşamba

    • Kullanıcılar spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") öğesini ADLS 2. Nesil'de Otomatik Yükleyici için yerel listeyi yeniden etkinleştirmek üzere ayarlayabilir. Yerel listeleme daha önce performans sorunları nedeniyle kapatılmıştı, ancak müşteriler için depolama maliyetlerinin artmasına neden olmuş olabilir. Bu değişiklik önceki bakım güncelleştirmesinde DBR 10.4 ve 9.1'e dağıtıldı.
    • [SPARK-40169] Veri şemasına başvurmadan Parquet filtrelerini göndermeyin
    • [SPARK-40460][SS] Seçim yaparken akış ölçümlerini düzeltme _metadata
    • [SPARK-40468][SQL] _corrupt_record seçildiğinde CSV'de sütun ayıklamayı düzeltme
    • [SPARK-40055][SQL] listCatalogs, spark_catalog uygulaması defaultSessionCatalog olsa bile spark_catalog döndürmelidir
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 22 Eylül 2022, Cumartesi

    • [SPARK-40315][SQL] ArrayBasedMapData Değişmez Değeri için hashCode() ekleme
    • [SPARK-40380][SQL] Plana serileştirilebilir olmayan sabit değer katıştırılmasını önlemek için InvokeLike'in sürekli katlanması düzeltilir
    • [SPARK-40089][SQL] Bazı Ondalık türleri için sıralamayı düzeltme
    • [SPARK-39887][SQL] RemoveRedundantAliases, projeksiyon düğümlerinin çıkışını benzersiz hale getiren diğer adları tutmalıdır
    • [SPARK-40152][SQL] split_part codegen derleme sorunu düzeltildi

  • 6 Eylül 2022, Cumartesi

    • Tablo Erişim Denetimleri'ndeki (Tablo ACL'leri) izin modelini, ALTER TABLE ile tablonun şemasını veya tablo özelliklerini değiştirmek için yalnızca DEĞİşTİr izinlerinin gerekli olması için güncelleştirdik. Daha önce, bu işlemler bir kullanıcının tabloya sahip olmasını gerekiyordu. Bir tablo üzerinde izin vermek, sahibini değiştirmek, konumunu değiştirmek veya yeniden adlandırmak için sahiplik hala gereklidir. Bu değişiklik, Tablo ACL'leri için izin modelini Unity Kataloğu ile daha tutarlı hale getirir.
    • [SPARK-40235][CORE] Executor.updateDependencies() içinde eşitlenmiş yerine kesilebilir kilit kullanın
    • [SPARK-40212][SQL] SparkSQL castPartValue bayt, kısa veya kayan değeri düzgün şekilde işlemez
    • [SPARK-40218][SQL] GRUPLANDıRMA KÜMESİ, gruplandırma sütunlarını korumalıdır
    • [SPARK-39976][SQL] ArrayIntersect sol ifadede null değerini doğru işlemelidir
    • [SPARK-40053][CORE] [SQL] [TESTLER] Python çalışma zamanı ortamı gerektiren dinamik iptal durumlarına ekleme assume
    • [SPARK-35542][CORE] [ML] Düzeltme: SplitsArray, inputCols ve outputCols parametreleriyle birden çok sütun için oluşturulan demet oluşturucu kaydedildikten sonra yüklenemiyor
    • [SPARK-40079][CORE] Boş giriş olayı için Imputer inputCols doğrulaması ekleme

  • 24 Ağustos 2022, Saat 2022, Ağustos 2022, Ağustos 2022, Ağustos

    • Paylaşımlar, sağlayıcılar ve alıcılar artık sahiplerini değiştirmek, açıklama yapmak, yeniden adlandırmak için SQL komutlarını destekliyor
    • [SPARK-39983][CORE] [SQL] Seri durumdan çıkarılmamış yayın ilişkilerini sürücüde önbelleğe alma
    • [SPARK-39912][SPARK-39828][SQL] Kataloğu İyileştirImpl
    • [SPARK-39775][CORE] [AVRO] Avro şemalarını ayrıştırırken varsayılan değerleri doğrulamayı devre dışı bırakma
    • [SPARK-39806] Bölümlenmiş tablolarda METADATA yapısına erişen sorgularda kilitlenme sorunu düzeltildi
    • [SPARK-39867][SQL] Genel sınır OrderPreservingUnaryNode'yi devralmamalıdır
    • [SPARK-39962][PYTHON] [SQL] Grup öznitelikleri boş olduğunda projeksiyonu uygulama
    • [SPARK-39839][SQL] UnsafeRow yapısal bütünlük denetiminde sıfır olmayan offsetAndSize ile null değişken uzunluklu Ondalık özel durumunu işleme
    • [SPARK-39713][SQL] ANSI modu: INVALID_ARRAY_INDEX hatası için try_element_at kullanma önerisi ekleme
    • [SPARK-39847][SS] Çağıran iş parçacığı kesintiye uğrarsa RocksDBLoader.loadLibrary() içindeki yarış durumu düzeltildi
    • [SPARK-39731][SQL] TARIHLERI DÜZELTilmiş zaman ayrıştırıcı ilkesiyle "yyMdd" biçiminde ayrıştırırken CSV ve JSON veri kaynaklarında oluşan sorun düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 10 Ağustos 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022, Ağustos

    • Tablo erişim denetimine sahip MODIFY Delta tabloları için ve MERGE gibi INSERT DML deyimleri aracılığıyla otomatik şema evrimi artık bu tür tablolarda izinleri olan tüm kullanıcılar tarafından kullanılabilir. Buna ek olarak, ile COPY INTO şema evrimi gerçekleştirmek için gereken izinler artık diğer komutlarla tutarlılık için 'den'e OWNERMODIFY indirilir. Bu değişiklikler, tablo ACL güvenlik modelini Unity Kataloğu güvenlik modeliyle ve bir tabloyu değiştirme gibi diğer işlemlerle daha tutarlı hale getirir.
    • [SPARK-39889] Bölme hata iletisini 0'a kadar geliştirme
    • [SPARK-39795] [SQL] Yeni SQL işlevi: try_to_timestamp
    • [SPARK-39749] ANSI modunda dize olarak ondalık atamada her zaman düz dize gösterimi kullanın
    • [SPARK-39625] df.as df.to olarak yeniden adlandırma
    • [SPARK-39787] [SQL] hata sınıfını işlev to_timestamp ayrıştırma hatasında kullanma
    • [SPARK-39625] [SQL] Dataset.as(StructType) ekleme
    • [SPARK-39689] CSV veri kaynağında 2 karakterli destek lineSep
    • [SPARK-39579] [SQL] [PYTHON] [R] ListFunctions/getFunction/functionExists öğesini 3 katmanlı ad alanıyla uyumlu hale getirme
    • [SPARK-39702] [CORE] Paylaşılan byteRawChannel kullanarak TransportCipher$EncryptedMessage'ın bellek yükünü azaltın
    • [SPARK-39575] [AVRO] add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer
    • [SPARK-39265] [SQL] SPARK_ANSI_SQL_MODE etkinleştirildiğinde test hatasını düzeltme
    • [SPARK-39441] [SQL] DeduplicateRelations'i hızlandırma
    • [SPARK-39497] [SQL] Eksik eşleme anahtarı sütununun analiz özel durumunu iyileştirme
    • [SPARK-39476] [SQL] Uzun'dan Kayan/Çift'e veya Tamsayıdan Float'a dönüştürme sırasında Unwrap dönüştürme iyileştirmesini devre dışı bırakma
    • [SPARK-39434] [SQL] Dizi dizini sınırlayıcı olmadığında çalışma zamanı hatası sorgu bağlamı sağlama

Databricks Runtime 11.0 (desteklenmiyor)

Bkz . Databricks Runtime 11.0 (desteklenmiyor).

  • 29 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20
    • Kullanıcılar, Redshift bağlayıcısını kullanarak veri yazarken baştaki ve sondaki boşlukların davranışını yapılandırabilir. Boşluk işlemeyi denetlemek için aşağıdaki seçenekler eklenmiştir:
      • csvignoreleadingwhitespaceolarak ayarlandığında, veya CSV GZIPolarak ayarlandığında trueCSV yazma tempformat işlemleri sırasında değerlerden baştaki boşluğu kaldırır. Yapılandırma olarak ayarlandığında falseboşluklar korunur. Varsayılan değer true şeklindedir.
      • csvignoretrailingwhitespaceolarak ayarlandığında, veya CSV GZIPolarak ayarlandığında trueCSV yazma tempformat işlemleri sırasında değerlerden sondaki boşluğu kaldırır. Yapılandırma olarak ayarlandığında falseboşluklar korunur. Varsayılan değer true şeklindedir.
    • Tüm sütunlar dize olarak bırakıldığında (cloudFiles.inferColumnTypes ayarlanmamış veya ayarlanmamış false) ve JSON iç içe nesneler içerdiğinde Otomatik Yükleyici'de JSON ayrıştırma ile ilgili bir hata düzeltildi.
    • [SPARK-39650][SS] Geriye dönük uyumlulukla yinelenenleri kaldırma akışındaki yanlış değer şeması düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20
    • [SPARK-40646] Yapılar, haritalar ve diziler için JSON ayrıştırma düzeltildi, bu nedenle kaydın bir bölümü şemayla eşleşmediğinde, kaydın geri kalanı null döndürmek yerine doğru şekilde ayrıştırılabilir. Geliştirilmiş davranışı kabul etmek için olarak ayarlayın spark.sql.json.enablePartialResultstrue. Özgün davranışı korumak için bayrak varsayılan olarak devre dışı bırakılır.
  • 1 Kasım 2022, İstanbul
    • Apache commons-text 1.10.0 sürümüne yükseltildi.
    • Delta tablosunda adlı _change_typekullanıcı tanımlı bir sütun varsa ancak Bu tabloda Veri akışını değiştir devre dışı bırakıldıysa, bu sütundaki verilerin çalıştırırken MERGEhatalı bir şekilde NULL değerleriyle doldurulması sorunu düzeltildi.
    • Otomatik Yükleyici'de bir dosyanın etkinleştirildiğinde allowOverwrites aynı mikro toplu işlemde çoğaltılabilmesine neden olan bir sorun düzeltildi
    • [SPARK-40697][SQL] Dış veri dosyalarını kapsayacak şekilde okuma tarafı karakter doldurma ekleme
    • [SPARK-40596][CORE] ExecutorDecommissionInfo içindeki iletilerle ExecutorDecommission'i doldurma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Ekim 2022, Cumartesi
    • [SPARK-40213][SQL] Latin-1 karakterleri için ASCII değer dönüştürme desteği
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Ekim 2022, Cumartesi
    • Kullanıcılar spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") öğesini ADLS 2. Nesil'de Otomatik Yükleyici için yerel listeyi yeniden etkinleştirmek üzere ayarlayabilir. Yerel listeleme daha önce performans sorunları nedeniyle kapatılmıştı, ancak müşteriler için depolama maliyetlerinin artmasına neden olmuş olabilir. Bu değişiklik önceki bakım güncelleştirmesinde DBR 10.4 ve 9.1'e dağıtıldı.
    • [SPARK-40169] Veri şemasına başvurmadan Parquet filtrelerini göndermeyin
    • [SPARK-40460][SS] Seçim yaparken akış ölçümlerini düzeltme _metadata
    • [SPARK-40468][SQL] _corrupt_record seçildiğinde CSV'de sütun ayıklamayı düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Eylül 2022, Cumartesi
    • [SPARK-40315][SQL] ArrayBasedMapData Değişmez Değeri için hashCode() ekleme
    • [SPARK-40380][SQL] Plana serileştirilebilir olmayan sabit değer katıştırılmasını önlemek için InvokeLike'in sürekli katlanması düzeltilir
    • [SPARK-40089][SQL] Bazı Ondalık türleri için sıralamayı düzeltme
    • [SPARK-39887][SQL] RemoveRedundantAliases, projeksiyon düğümlerinin çıkışını benzersiz hale getiren diğer adları tutmalıdır
    • [SPARK-40152][SQL] split_part codegen derleme sorunu düzeltildi
  • 6 Eylül 2022, Cumartesi
    • [SPARK-40235][CORE] Executor.updateDependencies() içinde eşitlenmiş yerine kesilebilir kilit kullanın
    • [SPARK-40212][SQL] SparkSQL castPartValue bayt, kısa veya kayan değeri düzgün şekilde işlemez
    • [SPARK-40218][SQL] GRUPLANDıRMA KÜMESİ, gruplandırma sütunlarını korumalıdır
    • [SPARK-39976][SQL] ArrayIntersect sol ifadede null değerini doğru işlemelidir
    • [SPARK-40053][CORE] [SQL] [TESTLER] Python çalışma zamanı ortamı gerektiren dinamik iptal durumlarına ekleme assume
    • [SPARK-35542][CORE] [ML] Düzeltme: SplitsArray, inputCols ve outputCols parametreleriyle birden çok sütun için oluşturulan demet oluşturucu kaydedildikten sonra yüklenemiyor
    • [SPARK-40079][CORE] Boş giriş olayı için Imputer inputCols doğrulaması ekleme
  • 24 Ağustos 2022, Saat 2022, Ağustos 2022, Ağustos 2022, Ağustos
    • [SPARK-39983][CORE] [SQL] Seri durumdan çıkarılmamış yayın ilişkilerini sürücüde önbelleğe alma
    • [SPARK-39775][CORE] [AVRO] Avro şemalarını ayrıştırırken varsayılan değerleri doğrulamayı devre dışı bırakma
    • [SPARK-39806] Bölümlenmiş tablolarda METADATA yapısına erişen sorgularda kilitlenme sorunu düzeltildi
    • [SPARK-39867][SQL] Genel sınır OrderPreservingUnaryNode'yi devralmamalıdır
    • [SPARK-39962][PYTHON] [SQL] Grup öznitelikleri boş olduğunda projeksiyonu uygulama
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Ağustos 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
    • [SPARK-39713][SQL] ANSI modu: INVALID_ARRAY_INDEX hatası için try_element_at kullanma önerisi ekleme
    • [SPARK-39847] Çağıran iş parçacığı kesintiye uğrarsa RocksDBLoader.loadLibrary() içindeki yarış durumu düzeltildi
    • [SPARK-39731][SQL] TARIHLERI DÜZELTilmiş zaman ayrıştırıcı ilkesiyle "yyMdd" biçiminde ayrıştırırken CSV ve JSON veri kaynaklarında oluşan sorun düzeltildi
    • [SPARK-39889] Bölme hata iletisini 0'a kadar geliştirme
    • [SPARK-39795][SQL] Yeni SQL işlevi: try_to_timestamp
    • [SPARK-39749] ANSI modunda dize olarak ondalık atamada her zaman düz dize gösterimi kullanın
    • [SPARK-39625][SQL] Dataset.to(StructType) ekleme
    • [SPARK-39787][SQL] hata sınıfını işlev to_timestamp ayrıştırma hatasında kullanma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Temmuz 2022, Saat 20:00
    • [SPARK-39689]CSV veri kaynağında 2 karakterli destek lineSep
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded iş parçacığı güvenli olmalıdır
    • [SPARK-39702][CORE] Paylaşılan byteRawChannel kullanarak TransportCipher$EncryptedMessage'ın bellek yükünü azaltın
    • [SPARK-39575][AVRO] add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer
    • [SPARK-39497][SQL] Eksik eşleme anahtarı sütununun analiz özel durumunu iyileştirme
    • [SPARK-39441][SQL] DeduplicateRelations'i hızlandırma
    • [SPARK-39476][SQL] Uzun'dan Kayan/Çift'e veya Tamsayıdan Float'a dönüştürme sırasında Unwrap dönüştürme iyileştirmesini devre dışı bırakma
    • [SPARK-39434][SQL] Dizi dizini sınırlayıcı olmadığında çalışma zamanı hatası sorgu bağlamı sağlama
    • [SPARK-39570][SQL] Satır içi tablo diğer adla ifadelere izin vermelidir
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Temmuz 2022, Saat 2022, Temmuz 2022, Saat 20:00
    • Kaynak belirleyici olmadığında Delta MERGE işleminin sonuçlarını tutarlı hale getirin.
    • DBFS olmayan yollarda çalışırken cloud_files_state TVF'ye yönelik bir sorun düzeltildi.
    • Otomatik Yükleyici'nin Azure'da dizin listesi için yerel bulut API'lerini kullanması devre dışı bırakıldı.
    • [SPARK-38796][SQL] pozitif sayılarla çekme isteğine izin vermek için to_number ve try_to_number işlevlerini güncelleştirin
    • [SPARK-39272][SQL] Sorgu bağlamının başlangıç konumunu 1 artırma
    • [SPARK-39419][SQL] Karşılaştırıcı null döndürdüğünde özel durum oluşturacak ArraySort düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Temmuz 2022, Ağustos 2022, Saat 20:00
    • Bir dizi hata sınıfı için hata iletilerinde iyileştirme.
    • [SPARK-39451][SQL] ANSI modunda integrallere dönüştürme aralıklarını destekleme
    • [SPARK-39361] Varsayılan günlük yapılandırmalarında Log4J2'nin genişletilmiş atılabilir dönüştürme düzenini kullanmayın
    • [SPARK-39354][SQL] aynı anda ilişkili Filter olsa dataTypeMismatchError bile gösterildiğinden Table or view not found emin olun
    • [SPARK-38675][CORE] BlockInfoManager'da kilit açma sırasında yarış düzeltme
    • [SPARK-39392][SQL] try_* işlev ipuçları için ANSI hata iletilerini iyileştirme
    • [SPARK-39214][SQL] [3.3] CAST ile ilgili hataları iyileştirme
    • [SPARK-37939][SQL] Özellikleri ayrıştırma hatalarında hata sınıflarını kullanma
    • [SPARK-39085][SQL] hata iletisini INCONSISTENT_BEHAVIOR_CROSS_VERSION error-classes.json taşıma
    • [SPARK-39376][SQL] Doğal/USING JOIN alt sorgu diğer adının yıldız genişletmesinde yinelenen sütunları gizleme
    • [SPARK-39283][CORE] TaskMemoryManager ile UnsafeExternalSorter.SpillableIterator arasındaki kilitlenme düzeltildi
    • [SPARK-39285][SQL] Spark, dosyaları okurken alan adlarını denetlememelidir
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 10.5 (desteklenmiyor)

Bkz . Databricks Runtime 10.5 (desteklenmeyen).

  • 1 Kasım 2022, İstanbul
    • Delta tablosunda adlı _change_typekullanıcı tanımlı bir sütun varsa ancak Bu tabloda Veri akışını değiştir devre dışı bırakıldıysa, bu sütundaki verilerin çalıştırırken MERGEhatalı bir şekilde NULL değerleriyle doldurulması sorunu düzeltildi.
    • [SPARK-40697][SQL] Dış veri dosyalarını kapsayacak şekilde okuma tarafı karakter doldurma ekleme
    • [SPARK-40596][CORE] ExecutorDecommissionInfo içindeki iletilerle ExecutorDecommission'i doldurma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Ekim 2022, Cumartesi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Ekim 2022, Cumartesi
    • Kullanıcılar spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") öğesini ADLS 2. Nesil'de Otomatik Yükleyici için yerel listeyi yeniden etkinleştirmek üzere ayarlayabilir. Yerel listeleme daha önce performans sorunları nedeniyle kapatılmıştı, ancak müşteriler için depolama maliyetlerinin artmasına neden olmuş olabilir. Bu değişiklik önceki bakım güncelleştirmesinde DBR 10.4 ve 9.1'e dağıtıldı.
    • reload4j, güvenlik açıklarını düzeltmek için 1.2.19 sürümüne yükseltildi.
    • [SPARK-40460][SS] Seçim yaparken akış ölçümlerini düzeltme _metadata
    • [SPARK-40468][SQL] _corrupt_record seçildiğinde CSV'de sütun ayıklamayı düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Eylül 2022, Cumartesi
    • [SPARK-40315][SQL] ArrayBasedMapData Değişmez Değeri için hashCode() ekleme
    • [SPARK-40213][SQL] Latin-1 karakterleri için ASCII değer dönüştürme desteği
    • [SPARK-40380][SQL] Plana serileştirilebilir olmayan sabit değer katıştırılmasını önlemek için InvokeLike'in sürekli katlanması düzeltilir
    • [SPARK-38404][SQL] İç içe bir CTE dış CTE'ye başvurduğunda CTE çözünürlüğünü geliştirme
    • [SPARK-40089][SQL] Bazı Ondalık türleri için sıralamayı düzeltme
    • [SPARK-39887][SQL] RemoveRedundantAliases, projeksiyon düğümlerinin çıkışını benzersiz hale getiren diğer adları tutmalıdır
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 6 Eylül 2022, Cumartesi
    • [SPARK-40235][CORE] Executor.updateDependencies() içinde eşitlenmiş yerine kesilebilir kilit kullanın
    • [SPARK-39976][SQL] ArrayIntersect sol ifadede null değerini doğru işlemelidir
    • [SPARK-40053][CORE] [SQL] [TESTLER] Python çalışma zamanı ortamı gerektiren dinamik iptal durumlarına ekleme assume
    • [SPARK-35542][CORE] [ML] Düzeltme: SplitsArray, inputCols ve outputCols parametreleriyle birden çok sütun için oluşturulan demet oluşturucu kaydedildikten sonra yüklenemiyor
    • [SPARK-40079][CORE] Boş giriş olayı için Imputer inputCols doğrulaması ekleme
  • 24 Ağustos 2022, Saat 2022, Ağustos 2022, Ağustos 2022, Ağustos
    • [SPARK-39983][CORE] [SQL] Seri durumdan çıkarılmamış yayın ilişkilerini sürücüde önbelleğe alma
    • [SPARK-39775][CORE] [AVRO] Avro şemalarını ayrıştırırken varsayılan değerleri doğrulamayı devre dışı bırakma
    • [SPARK-39806] Bölümlenmiş tablolarda METADATA yapısına erişen sorgularda kilitlenme sorunu düzeltildi
    • [SPARK-39962][PYTHON] [SQL] Grup öznitelikleri boş olduğunda projeksiyonu uygulama
    • [SPARK-37643][SQL] charVarcharAsString true olduğunda, char veri türü koşul sorgusu rpadding kuralını atlamalıdır
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 9 Ağustos 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
    • [SPARK-39847] Çağıran iş parçacığı kesintiye uğrarsa RocksDBLoader.loadLibrary() içindeki yarış durumu düzeltildi
    • [SPARK-39731][SQL] TARIHLERI DÜZELTilmiş zaman ayrıştırıcı ilkesiyle "yyMdd" biçiminde ayrıştırırken CSV ve JSON veri kaynaklarında oluşan sorun düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 27 Temmuz 2022, Saat 20:00
    • [SPARK-39625][SQL] Dataset.as(StructType) ekleme
    • [SPARK-39689]CSV veri kaynağında 2 karakterli destek lineSep
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded iş parçacığı güvenli olmalıdır
    • [SPARK-39570][SQL] Satır içi tablo diğer adla ifadelere izin vermelidir
    • [SPARK-39702][CORE] Paylaşılan byteRawChannel kullanarak TransportCipher$EncryptedMessage'ın bellek yükünü azaltın
    • [SPARK-39575][AVRO] add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer
    • [SPARK-39476][SQL] Uzun'dan Kayan/Çift'e veya Tamsayıdan Float'a dönüştürme sırasında Unwrap dönüştürme iyileştirmesini devre dışı bırakma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 13 Temmuz 2022, Saat 2022, Temmuz 2022, Saat 20:00
    • Kaynak belirleyici olmadığında Delta MERGE işleminin sonuçlarını tutarlı hale getirin.
    • [SPARK-39355][SQL] Tek sütun UnresolvedAttribute oluşturmak için quoted kullanır
    • [SPARK-39548][SQL] Window yan tümcesi sorgusuyla CreateView Komutu yanlış bir pencere tanımı bulunamadı sorununa çarptı
    • [SPARK-39419][SQL] Karşılaştırıcı null döndürdüğünde özel durum oluşturacak ArraySort düzeltildi
    • Otomatik Yükleyici'nin Azure'da dizin listesi için yerel bulut API'lerini kullanması devre dışı bırakıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Temmuz 2022, Ağustos 2022, Saat 20:00
    • [SPARK-39376][SQL] Doğal/USING JOIN alt sorgu diğer adının yıldız genişletmesinde yinelenen sütunları gizleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Haziran 2022, Saat 2022, Temmuz 2022, Saat 20:00
    • [SPARK-39283][CORE] TaskMemoryManager ile UnsafeExternalSorter.SpillableIterator arasındaki kilitlenme düzeltildi
    • [SPARK-39285][SQL] Spark, dosyaları okurken alan adlarını denetlememelidir
    • [SPARK-34096][SQL] Uzaklık penceresi üzerinde null değerleri yoksaymak nth_value için performansı geliştirme
    • [SPARK-36718][SQL] [TAKİP] CollapseProject iadesini isExtractOnly düzeltme
  • 2 Haziran 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
    • [SPARK-39166][SQL] WSCG kapalıyken ikili aritmetik için çalışma zamanı hata sorgusu bağlamı sağlama
    • [SPARK-39093][SQL] Yıl-ay aralıklarını veya gün/saat aralıklarını bir integrale bölerken kod oluşturma hatasından kaçının
    • [SPARK-38990][SQL] date_trunc/trunc biçimini ilişkili başvuru olarak değerlendirirken NullPointerException'den kaçının
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Mayıs 2022, Saat 2022, Mayıs 2022, Saat 20:00
    • Otomatik Yükleyici'deki olası yerel bellek sızıntısını düzeltir.
    • [SPARK-38868][SQL] Dış birleşimleri iyileştirirken özel durumları filtre koşulundan yayma
    • [SPARK-38796][SQL] sql işlevlerini yeni belirtimlere göre to_number ve try_to_number uygulama
    • [SPARK-38918][SQL] İç içe sütun ayıklama, geçerli ilişkiye ait olmayan öznitelikleri filtrelemelidir
    • [SPARK-38929][SQL] ANSI'de atama hataları için hata iletilerini iyileştirme
    • [SPARK-38926][SQL] SQL stilindeki hata iletilerinde çıkış türleri
    • [SPARK-39084][PYSPARK] Görev tamamlandığında yineleyiciyi durdurmak için TaskContext kullanarak df.rdd.isEmpty() düzeltmesi
    • [SPARK-32268][SQL] add ColumnPruning in injectBloomFilter
    • [SPARK-38908][SQL] Dizeden Sayı/Tarih/Zaman Damgası/Boole'ye Atama hatasının çalışma zamanında sorgu bağlamı sağlama
    • [SPARK-39046][SQL] TreeNode.origin yanlış ayarlanmışsa boş bir bağlam dizesi döndür
    • [SPARK-38974][SQL] Liste işlevlerinde belirli bir veritabanı adıyla kayıtlı işlevleri filtreleme
    • [SPARK-38762][SQL] Ondalık taşma hatalarında sorgu bağlamı sağlama
    • [SPARK-38931][SS] 1. denetim noktasında bilinmeyen sayıda anahtarla RocksDBFileManager için kök dfs dizini oluşturma
    • [SPARK-38992][CORE] ShellBasedGroupsMappingProvider'da bash -c kullanmaktan kaçının
    • [SPARK-38716][SQL] Eşleme anahtarında sorgu bağlamı sağla yok hatası
    • [SPARK-38889][SQL] MSSQL veri kaynağı için bit türünü kullanmak üzere boole sütun filtrelerini derleme
    • [SPARK-38698][SQL] Bölme/Böl/Anımsatıcı/Pmod çalışma zamanında sorgu bağlamı sağlama hatası
    • [SPARK-38823][SQL] Toplama arabelleğinde bozulma sorununu düzeltmek için katlanabilir olmayan yap NewInstance
    • [SPARK-38809][SS] Stream-stream birleşimlerinin simetrik karma uygulamasında null değerleri atlama seçeneğini uygulama
    • [SPARK-38676][SQL] Ekle/Çıkar/Çarp hata iletisinde çalışma zamanında SQL sorgu bağlamı sağlayın
    • [SPARK-38677][PYSPARK] Python MonitorThread, G/Ç'yi engelleme nedeniyle kilitlenme algılamalıdır
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 10.3 (Desteklenmiyor)

Bkz . Databricks Runtime 10.3 (desteklenmeyen).

  • 27 Temmuz 2022, Saat 20:00
    • [SPARK-39689]CSV veri kaynağında 2 karakterli destek lineSep
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded iş parçacığı güvenli olmalıdır
    • [SPARK-39702][CORE] Paylaşılan byteRawChannel kullanarak TransportCipher$EncryptedMessage'ın bellek yükünü azaltın
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 20 Temmuz 2022, Saat 20:00
    • Kaynak belirleyici olmadığında Delta MERGE işleminin sonuçlarını tutarlı hale getirin.
    • [SPARK-39476][SQL] Uzun'dan Kayan/Çift'e veya Tamsayıdan Float'a dönüştürme sırasında Unwrap dönüştürme iyileştirmesini devre dışı bırakma
    • [SPARK-39548][SQL] Window yan tümcesi sorgusuyla CreateView Komutu yanlış bir pencere tanımı bulunamadı sorununa çarptı
    • [SPARK-39419][SQL] Karşılaştırıcı null döndürdüğünde özel durum oluşturacak ArraySort düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 5 Temmuz 2022, Ağustos 2022, Saat 20:00
    • [SPARK-39376][SQL] Doğal/USING JOIN alt sorgu diğer adının yıldız genişletmesinde yinelenen sütunları gizleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 15 Haziran 2022, Saat 2022, Temmuz 2022, Saat 20:00
    • [SPARK-39283][CORE] TaskMemoryManager ile UnsafeExternalSorter.SpillableIterator arasındaki kilitlenme düzeltildi
    • [SPARK-39285][SQL] Spark, dosyaları okurken alan adlarını denetlememelidir
    • [SPARK-34096][SQL] Uzaklık penceresi üzerinde null değerleri yoksaymak nth_value için performansı geliştirme
    • [SPARK-36718][SQL] [TAKİP] CollapseProject iadesini isExtractOnly düzeltme
  • 2 Haziran 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
    • [SPARK-38990][SQL] date_trunc/trunc biçimini ilişkili başvuru olarak değerlendirirken NullPointerException'den kaçının
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Mayıs 2022, Saat 2022, Mayıs 2022, Saat 20:00
    • Otomatik Yükleyici'deki olası yerel bellek sızıntısını düzeltir.
    • [SPARK-38918][SQL] İç içe sütun ayıklama, geçerli ilişkiye ait olmayan öznitelikleri filtrelemelidir
    • [SPARK-37593][CORE] G1GC ve ON_HEAP kullanılıyorsa varsayılan sayfa boyutunu LONG_ARRAY_OFFSET küçültme
    • [SPARK-39084][PYSPARK] Görev tamamlandığında yineleyiciyi durdurmak için TaskContext kullanarak df.rdd.isEmpty() düzeltmesi
    • [SPARK-32268][SQL] add ColumnPruning in injectBloomFilter
    • [SPARK-38974][SQL] Liste işlevlerinde belirli bir veritabanı adıyla kayıtlı işlevleri filtreleme
    • [SPARK-38889][SQL] MSSQL veri kaynağı için bit türünü kullanmak üzere boole sütun filtrelerini derleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 4 Mayıs 2022, Mayıs 2022, Saat 20:00
    • Java AWS SDK'sı 1.11.655 sürümünden 1.12.1899 sürümüne yükseltildi.
  • 19 Nisan 2022, Saat 2022, Temmuz 2022, Temmuz 2022, Saat
    • [SPARK-38616][SQL] Catalyst TreeNode'da SQL sorgu metnini izleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 6 Nisan 2022, İstanbul
    • [SPARK-38631][CORE] Utils.unpack'te tarring'i açmak için Java tabanlı uygulamayı kullanır
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Mart 2022, Saat 20:00
    • Yüksek Eşzamanlılık kümelerindeki not defterlerinin geçerli çalışma dizini, kullanıcının giriş dizininde tablo erişim denetimi veya kimlik bilgisi geçişi etkinleştirilerek değiştirildi. Daha önce çalışma dizini şeklindeydi /databricks/driver.
    • [SPARK-38437][SQL] Veri kaynağından datetime'ın geçici seri hale getirilmesi
    • [SPARK-38180][SQL] Bağıntılı eşitlik koşullarında güvenli yukarı atama ifadelerine izin ver
    • [SPARK-38155][SQL] Desteklenmeyen koşullarla yanal alt sorgularda ayrı toplamaya izin verme
    • [SPARK-38325][SQL] ANSI modu: HashJoin.extractKeyExprAt() içinde olası çalışma zamanı hatasından kaçının
  • 14 Mart 2022, Saat 2022, Şubat 2022, Saat 20:00
    • Delta Lake'teki boş işlemler için geliştirilmiş işlem çakışması algılama.
    • [SPARK-38185][SQL] Toplama işlevi boşsa verileri yanlış düzeltme
    • [SPARK-38318][SQL] veri kümesi görünümünü değiştirirken regresyon
    • [SPARK-38236][SQL] Create/alter tablosunda belirtilen mutlak dosya yolları göreli olarak değerlendirilir
    • [SPARK-35937][SQL] Zaman damgasından tarih alanı ayıklama ANSI modunda çalışmalıdır
    • [SPARK-34069][SQL] Sonlandırma engeli görevlerine uyulmalıdır SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] TimestampNTZ ile Tarih/Zaman Damgası arasında mağaza atamasına izin ver
  • 23 Şubat 2022, Saat 2022, Şubat 2022, Saat 20:00
    • [SPARK-27442][SQL] Parquet'de veri okurken/yazarken onay alanı adını kaldırma

Databricks Runtime 10.2 (desteklenmiyor)

Bkz . Databricks Runtime 10.2 (desteklenmiyor).

  • 15 Haziran 2022, Saat 2022, Temmuz 2022, Saat 20:00
    • [SPARK-39283][CORE] TaskMemoryManager ile UnsafeExternalSorter.SpillableIterator arasındaki kilitlenme düzeltildi
    • [SPARK-39285][SQL] Spark, dosyaları okurken alan adlarını denetlememelidir
    • [SPARK-34096][SQL] Uzaklık penceresi üzerinde null değerleri yoksaymak nth_value için performansı geliştirme
  • 2 Haziran 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
    • [SPARK-38918][SQL] İç içe sütun ayıklama, geçerli ilişkiye ait olmayan öznitelikleri filtrelemelidir
    • [SPARK-38990][SQL] date_trunc/trunc biçimini ilişkili başvuru olarak değerlendirirken NullPointerException'den kaçının
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Mayıs 2022, Saat 2022, Mayıs 2022, Saat 20:00
    • Otomatik Yükleyici'deki olası yerel bellek sızıntısını düzeltir.
    • [SPARK-39084][PYSPARK] Görev tamamlandığında yineleyiciyi durdurmak için TaskContext kullanarak df.rdd.isEmpty() düzeltmesi
    • [SPARK-38889][SQL] MSSQL veri kaynağı için bit türünü kullanmak üzere boole sütun filtrelerini derleme
    • [SPARK-38931][SS] 1. denetim noktasında bilinmeyen sayıda anahtarla RocksDBFileManager için kök dfs dizini oluşturma
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 4 Mayıs 2022, Mayıs 2022, Saat 20:00
    • Java AWS SDK'sı 1.11.655 sürümünden 1.12.1899 sürümüne yükseltildi.
  • 19 Nisan 2022, Saat 2022, Temmuz 2022, Temmuz 2022, Saat
    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Çeşitli hata düzeltmeleri.
  • 6 Nisan 2022, İstanbul
    • [SPARK-38631][CORE] Utils.unpack'te tarring'i açmak için Java tabanlı uygulamayı kullanır
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Mart 2022, Saat 20:00
    • Yüksek Eşzamanlılık kümelerindeki not defterlerinin geçerli çalışma dizini, kullanıcının giriş dizininde tablo erişim denetimi veya kimlik bilgisi geçişi etkinleştirilerek değiştirildi. Daha önce çalışma dizini şeklindeydi /databricks/driver.
    • [SPARK-38437][SQL] Veri kaynağından datetime'ın geçici seri hale getirilmesi
    • [SPARK-38180][SQL] Bağıntılı eşitlik koşullarında güvenli yukarı atama ifadelerine izin ver
    • [SPARK-38155][SQL] Desteklenmeyen koşullarla yanal alt sorgularda ayrı toplamaya izin verme
    • [SPARK-38325][SQL] ANSI modu: HashJoin.extractKeyExprAt() içinde olası çalışma zamanı hatasından kaçının
  • 14 Mart 2022, Saat 2022, Şubat 2022, Saat 20:00
    • Delta Lake'teki boş işlemler için geliştirilmiş işlem çakışması algılama.
    • [SPARK-38185][SQL] Toplama işlevi boşsa verileri yanlış düzeltme
    • [SPARK-38318][SQL] veri kümesi görünümünü değiştirirken regresyon
    • [SPARK-38236][SQL] Create/alter tablosunda belirtilen mutlak dosya yolları göreli olarak değerlendirilir
    • [SPARK-35937][SQL] Zaman damgasından tarih alanı ayıklama ANSI modunda çalışmalıdır
    • [SPARK-34069][SQL] Sonlandırma engeli görevlerine uyulmalıdır SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] TimestampNTZ ile Tarih/Zaman Damgası arasında mağaza atamasına izin ver
  • 23 Şubat 2022, Saat 2022, Şubat 2022, Saat 20:00
    • [SPARK-37577][SQL] ClassCastException Düzeltilme: ArrayType, Oluşturma Ayıklama için StructType'a aktarılamıyor
  • 8 Şubat 2022, İstanbul
    • [SPARK-27442][SQL] Parquet'de veri okurken/yazarken onay alanı adını kaldırın.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Şubat 2022, İstanbul
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 26 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00
    • Delta tablolarındaki eşzamanlı işlemlerin bazı nadir koşullarda seri hale getirilemez bir sırayla işlenebilmesine neden olan bir hata düzeltildi.
    • ANSI SQL diyalekt etkinleştirildiğinde OPTIMIZE komutunun başarısız olmasına neden olan bir hata düzeltildi.
  • 19 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00
    • SQL ANY_FILE izinlerine gerek kalmadan kaynak verileri yüklemek için COPY INTO'ya geçici kimlik bilgileri ekleme desteği eklendi
    • Hata düzeltmeleri ve güvenlik geliştirmeleri.
  • 20 Aralık 2021, Cumartesi
    • Parquet sütun dizini tabanlı filtreleme ile ilgili nadir bir hata düzeltildi.

Databricks Runtime 10.1 (desteklenmiyor)

Bkz . Databricks Runtime 10.1 (desteklenmeyen).

  • 15 Haziran 2022, Saat 2022, Temmuz 2022, Saat 20:00
    • [SPARK-39283][CORE] TaskMemoryManager ile UnsafeExternalSorter.SpillableIterator arasındaki kilitlenme düzeltildi
    • [SPARK-39285][SQL] Spark, dosyaları okurken alan adlarını denetlememelidir
    • [SPARK-34096][SQL] Uzaklık penceresi üzerinde null değerleri yoksaymak nth_value için performansı geliştirme
  • 2 Haziran 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 18 Mayıs 2022, Saat 2022, Mayıs 2022, Saat 20:00
    • Otomatik Yükleyici'deki olası yerel bellek sızıntısını düzeltir.
    • [SPARK-39084][PYSPARK] Görev tamamlandığında yineleyiciyi durdurmak için TaskContext kullanarak df.rdd.isEmpty() düzeltmesi
    • [SPARK-38889][SQL] MSSQL veri kaynağı için bit türünü kullanmak üzere boole sütun filtrelerini derleme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 19 Nisan 2022, Saat 2022, Temmuz 2022, Temmuz 2022, Saat
    • [SPARK-37270][SQL] CaseWhen dalları elseValue boşsa içine iterek katlanabilir göndermeyi düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 6 Nisan 2022, İstanbul
    • [SPARK-38631][CORE] Utils.unpack'te tarring'i açmak için Java tabanlı uygulamayı kullanır
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Mart 2022, Saat 20:00
    • [SPARK-38437][SQL] Veri kaynağından datetime'ın geçici seri hale getirilmesi
    • [SPARK-38180][SQL] Bağıntılı eşitlik koşullarında güvenli yukarı atama ifadelerine izin ver
    • [SPARK-38155][SQL] Desteklenmeyen koşullarla yanal alt sorgularda ayrı toplamaya izin verme
    • [SPARK-38325][SQL] ANSI modu: HashJoin.extractKeyExprAt() içinde olası çalışma zamanı hatasından kaçının
  • 14 Mart 2022, Saat 2022, Şubat 2022, Saat 20:00
    • Delta Lake'teki boş işlemler için geliştirilmiş işlem çakışması algılama.
    • [SPARK-38185][SQL] Toplama işlevi boşsa verileri yanlış düzeltme
    • [SPARK-38318][SQL] veri kümesi görünümünü değiştirirken regresyon
    • [SPARK-38236][SQL] Create/alter tablosunda belirtilen mutlak dosya yolları göreli olarak değerlendirilir
    • [SPARK-35937][SQL] Zaman damgasından tarih alanı ayıklama ANSI modunda çalışmalıdır
    • [SPARK-34069][SQL] Sonlandırma engeli görevlerine uyulmalıdır SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] TimestampNTZ ile Tarih/Zaman Damgası arasında mağaza atamasına izin ver
  • 23 Şubat 2022, Saat 2022, Şubat 2022, Saat 20:00
    • [SPARK-37577][SQL] ClassCastException Düzeltilme: ArrayType, Oluşturma Ayıklama için StructType'a aktarılamıyor
  • 8 Şubat 2022, İstanbul
    • [SPARK-27442][SQL] Parquet'de veri okurken/yazarken onay alanı adını kaldırın.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Şubat 2022, İstanbul
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 26 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00
    • Delta tablolarındaki eşzamanlı işlemlerin bazı nadir koşullarda seri hale getirilemez bir sırayla işlenebilmesine neden olan bir hata düzeltildi.
    • ANSI SQL diyalekt etkinleştirildiğinde OPTIMIZE komutunun başarısız olmasına neden olan bir hata düzeltildi.
  • 19 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00
    • SQL ANY_FILE izinlerine gerek kalmadan kaynak verileri yüklemek için COPY INTO'ya geçici kimlik bilgileri ekleme desteği eklendi
    • Belirli koşullar altında sorgu sonucunu önbelleğe alma ile ilgili yetersiz bellek sorunu düzeltildi.
    • Kullanıcının geçerli kataloğu varsayılan olmayan bir kataloğa değiştirmesiyle ilgili bir sorun USE DATABASE düzeltildi.
    • Hata düzeltmeleri ve güvenlik geliştirmeleri.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 20 Aralık 2021, Cumartesi
    • Parquet sütun dizini tabanlı filtreleme ile ilgili nadir bir hata düzeltildi.

Databricks Runtime 10.0 (desteklenmiyor)

Bkz . Databricks Runtime 10.0 (desteklenmiyor).

  • 19 Nisan 2022, Saat 2022, Temmuz 2022, Temmuz 2022, Saat
    • [SPARK-37270][SQL] CaseWhen dalları elseValue boşsa içine iterek katlanabilir göndermeyi düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 6 Nisan 2022, İstanbul
    • [SPARK-38631][CORE] Utils.unpack'te tarring'i açmak için Java tabanlı uygulamayı kullanır
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 22 Mart 2022, Saat 20:00
    • [SPARK-38437][SQL] Veri kaynağından datetime'ın geçici seri hale getirilmesi
    • [SPARK-38180][SQL] Bağıntılı eşitlik koşullarında güvenli yukarı atama ifadelerine izin ver
    • [SPARK-38155][SQL] Desteklenmeyen koşullarla yanal alt sorgularda ayrı toplamaya izin verme
    • [SPARK-38325][SQL] ANSI modu: HashJoin.extractKeyExprAt() içinde olası çalışma zamanı hatasından kaçının
  • 14 Mart 2022, Saat 2022, Şubat 2022, Saat 20:00
    • Delta Lake'teki boş işlemler için geliştirilmiş işlem çakışması algılama.
    • [SPARK-38185][SQL] Toplama işlevi boşsa verileri yanlış düzeltme
    • [SPARK-38318][SQL] veri kümesi görünümünü değiştirirken regresyon
    • [SPARK-38236][SQL] Create/alter tablosunda belirtilen mutlak dosya yolları göreli olarak değerlendirilir
    • [SPARK-35937][SQL] Zaman damgasından tarih alanı ayıklama ANSI modunda çalışmalıdır
    • [SPARK-34069][SQL] Sonlandırma engeli görevlerine uyulmalıdır SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] TimestampNTZ ile Tarih/Zaman Damgası arasında mağaza atamasına izin ver
  • 23 Şubat 2022, Saat 2022, Şubat 2022, Saat 20:00
    • [SPARK-37577][SQL] ClassCastException Düzeltilme: ArrayType, Oluşturma Ayıklama için StructType'a aktarılamıyor
  • 8 Şubat 2022, İstanbul
    • [SPARK-27442][SQL] Parquet'de veri okurken/yazarken onay alanı adını kaldırın.
    • [SPARK-36905][SQL] Açık sütun adları olmadan hive görünümlerini okuma düzeltme
    • [SPARK-37859][SQL] Spark 3.1 ile JDBC ile oluşturulan SQL tablolarının 3.2 ile okunabilir olmaması sorunu düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Şubat 2022, İstanbul
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 26 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00
    • Delta tablolarındaki eşzamanlı işlemlerin bazı nadir koşullarda seri hale getirilemez bir sırayla işlenebilmesine neden olan bir hata düzeltildi.
    • ANSI SQL diyalekt etkinleştirildiğinde OPTIMIZE komutunun başarısız olmasına neden olan bir hata düzeltildi.
  • 19 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00
    • Hata düzeltmeleri ve güvenlik geliştirmeleri.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 20 Aralık 2021, Cumartesi
    • Parquet sütun dizini tabanlı filtreleme ile ilgili nadir bir hata düzeltildi.
  • 9 Kasım 2021, Kasım 2021, Saat 20:00
    • ANSI davranışlarına ayrıntılı denetim sağlamak için ek yapılandırma bayrakları eklendi.
  • 4 Kasım 2021, Kasım 2021, Saat 20:00
    • Yapılandırılmış Akış akışlarının ArrayIndexOutOfBoundsException ile başarısız olmasına neden olabilen bir hata düzeltildi
    • IoException gibi java.io.IOException: No FileSystem for scheme bir sorgu hatasına veya değişikliklerin sorgularda etkili olmamasına sparkContext.hadoopConfiguration neden olabilen bir yarış durumu düzeltildi.
    • Delta Sharing için Apache Spark Bağlayıcısı 0.2.0 sürümüne yükseltildi.
  • 30 Kasım 2021, Saat 2021, Kasım 2021, Kasım 2021, Kasım 20
    • İki nokta üst üste olmadan bir saat dilimi dizesinin geçersiz olarak kabul edildiği zaman damgası ayrıştırma sorunu düzeltildi.
    • Belirli koşullar altında sorgu sonucunu önbelleğe alma ile ilgili yetersiz bellek sorunu düzeltildi.
    • Kullanıcının geçerli kataloğu varsayılan olmayan bir kataloğa değiştirmesiyle ilgili bir sorun USE DATABASE düzeltildi.

Databricks Runtime 9.0 (desteklenmiyor)

Bkz . Databricks Runtime 9.0 (desteklenmiyor).

  • 8 Şubat 2022, İstanbul
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 1 Şubat 2022, İstanbul
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 26 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00
    • ANSI SQL diyalekt etkinleştirildiğinde OPTIMIZE komutunun başarısız olmasına neden olan bir hata düzeltildi.
  • 19 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00
    • Hata düzeltmeleri ve güvenlik geliştirmeleri.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 4 Kasım 2021, Kasım 2021, Saat 20:00
    • Yapılandırılmış Akış akışlarının ArrayIndexOutOfBoundsException ile başarısız olmasına neden olabilen bir hata düzeltildi
    • IoException gibi java.io.IOException: No FileSystem for scheme bir sorgu hatasına veya değişikliklerin sorgularda etkili olmamasına sparkContext.hadoopConfiguration neden olabilen bir yarış durumu düzeltildi.
    • Delta Sharing için Apache Spark Bağlayıcısı 0.2.0 sürümüne yükseltildi.
  • 22 Eylül 2021, Cumartesi
    • Spark dizisini dizeye null olarak atama hatası düzeltildi
  • 15 Eylül 2021, Cumartesi
    • gibi java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_xbir IOException ile sorgu hatasına neden olabilecek bir yarış durumu düzeltildi.
  • 8 Eylül 2021, Cumartesi
    • Azure Synapse Bağlayıcısı için hedef tablo adı olarak şema adı (databaseName.schemaName.tableName biçim) desteği eklendi.
    • Spark SQL için geometri ve coğrafya JDBC türleri desteği eklendi.
    • [SPARK-33527][SQL] Kod çözme işlevini temel veritabanlarıyla tutarlı olacak şekilde genişletti.
    • [SPARK-36532][CORE] [3.1] Yürütücü kapatmanın CoarseGrainedExecutorBackend.onDisconnected kilitlenmesini önlemek executorsconnected için kilitlenme düzeltildi.
  • 25 Ağustos 2021, Saat 2021, Ağustos 2021, Ağustos 2021, Saat
    • SQL Server sürücü kitaplığı 9.2.1.jre8 sürümüne yükseltildi.
    • Snowflake bağlayıcısı 2.9.0 sürümüne yükseltildi.
    • AutoML deneme sayfasındaki en iyi deneme not defterinin bozuk bağlantısı düzeltildi.

Databricks Runtime 8.4 (desteklenmiyor)

Bkz . Databricks Runtime 8.4 (desteklenmiyor).

  • 19 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 4 Kasım 2021, Kasım 2021, Saat 20:00
    • Yapılandırılmış Akış akışlarının ArrayIndexOutOfBoundsException ile başarısız olmasına neden olabilen bir hata düzeltildi
    • IoException gibi java.io.IOException: No FileSystem for scheme bir sorgu hatasına veya değişikliklerin sorgularda etkili olmamasına sparkContext.hadoopConfiguration neden olabilen bir yarış durumu düzeltildi.
    • Delta Sharing için Apache Spark Bağlayıcısı 0.2.0 sürümüne yükseltildi.
  • 22 Eylül 2021, Cumartesi
    • Spark JDBC sürücüsü 2.6.19.1030 sürümüne yükseltildi
    • [SPARK-36734][SQL] ORC'yi 1.5.1 sürümüne yükseltme
  • 15 Eylül 2021, Cumartesi
    • gibi java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_xbir IOException ile sorgu hatasına neden olabilecek bir yarış durumu düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 8 Eylül 2021, Cumartesi
    • [SPARK-36532][CORE] [3.1] Yürütücü kapatmanın CoarseGrainedExecutorBackend.onDisconnected kilitlenmesini önlemek executorsconnected için kilitlenme düzeltildi.
  • 25 Ağustos 2021, Saat 2021, Ağustos 2021, Ağustos 2021, Saat
    • SQL Server sürücü kitaplığı 9.2.1.jre8 sürümüne yükseltildi.
    • Snowflake bağlayıcısı 2.9.0 sürümüne yükseltildi.
    • Yeni Parquet ön iyileştirmesinin neden olduğu ve dosya erişimi sırasında kullanıcının geçiş kimlik bilgilerinin bulunamadığında kimlik bilgisi geçişindeki bir hatayı düzeltir.
  • 11 Ağustos 2021, Saat 2021, Ağustos 2021, Ağustos 2021, Ağustos
    • Eski Databricks Runtime 8.4'i engelleyen RocksDB uyumsuzluk sorununu düzeltir. Bu, Otomatik Yükleyici, COPY INTOve durum bilgisi olan akış uygulamaları için ileriye dönük uyumluluğu düzeltir.
    • Üst bilgi dosyalarıyla eşleşmeyen CSV dosyalarını okumak için Otomatik Yükleyici kullanılırken oluşan bir hatayı düzeltir. Sütun adları eşleşmiyorsa, sütun null değerlerle doldurulur. Şimdi, bir şema sağlanırsa şemanın aynı olduğunu varsayar ve yalnızca kurtarılan veri sütunları etkinleştirilirse sütun uyuşmazlıklarını kaydeder.
    • PolyBase okuma için veritabanındaki izin gereksinimini kaldırmak CONTROL için Azure Synapse bağlayıcısına adlı externalDataSource yeni bir seçenek ekler.
  • 29 Temmuz 2021, Saat 20:00
    • [SPARK-36034][DERLE] Parquet'e gönderilen filtrelerde datetime değerini yeniden temelle
    • [SPARK-36163][DERLE] JDBC bağlayıcı sağlayıcısında doğru JDBC özelliklerini yayma ve seçenek ekleme connectionProvider

Databricks Runtime 8.3 (desteklenmiyor)

Bkz . Databricks Runtime 8.3 (desteklenmiyor).

  • 19 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 4 Kasım 2021, Kasım 2021, Saat 20:00
    • Yapılandırılmış Akış akışlarının ArrayIndexOutOfBoundsException ile başarısız olmasına neden olabilen bir hata düzeltildi
    • IoException gibi java.io.IOException: No FileSystem for scheme bir sorgu hatasına veya değişikliklerin sorgularda etkili olmamasına sparkContext.hadoopConfiguration neden olabilen bir yarış durumu düzeltildi.
  • 22 Eylül 2021, Cumartesi
    • Spark JDBC sürücüsü 2.6.19.1030 sürümüne yükseltildi
  • 15 Eylül 2021, Cumartesi
    • gibi java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_xbir IOException ile sorgu hatasına neden olabilecek bir yarış durumu düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 8 Eylül 2021, Cumartesi
    • [SPARK-35700][SQL] [WARMFIX] Dış sistemler tarafından oluşturulduğunda ve yazıldığında char/varchar orc tablosunu okuyun.
    • [SPARK-36532][CORE] [3.1] Yürütücü kapatmanın CoarseGrainedExecutorBackend.onDisconnected kilitlenmesini önlemek executorsconnected için kilitlenme düzeltildi.
  • 25 Ağustos 2021, Saat 2021, Ağustos 2021, Ağustos 2021, Saat
    • SQL Server sürücü kitaplığı 9.2.1.jre8 sürümüne yükseltildi.
    • Snowflake bağlayıcısı 2.9.0 sürümüne yükseltildi.
    • Yeni Parquet ön iyileştirmesinin neden olduğu ve dosya erişimi sırasında kullanıcının geçiş kimlik bilgilerinin bulunamadığında kimlik bilgisi geçişindeki bir hatayı düzeltir.
  • 11 Ağustos 2021, Saat 2021, Ağustos 2021, Ağustos 2021, Ağustos
    • Üst bilgi dosyalarıyla eşleşmeyen CSV dosyalarını okumak için Otomatik Yükleyici kullanılırken oluşan bir hatayı düzeltir. Sütun adları eşleşmiyorsa, sütun null değerlerle doldurulur. Şimdi, bir şema sağlanırsa şemanın aynı olduğunu varsayar ve yalnızca kurtarılan veri sütunları etkinleştirilirse sütun uyuşmazlıklarını kaydeder.
  • 29 Temmuz 2021, Saat 20:00
    • Databricks Snowflake Spark bağlayıcısını 2.9.0-spark-3.1 sürümüne yükseltme
    • [SPARK-36034][DERLE] Parquet'e gönderilen filtrelerde datetime değerini yeniden temelle
    • [SPARK-36163][DERLE] JDBC bağlayıcı sağlayıcısında doğru JDBC özelliklerini yayma ve seçenek ekleme connectionProvider
  • 14 Temmuz 2021, Saat 2021, Temmuz 2021, Saat 20:00
    • Azure Synapse bağlayıcısında noktalı sütun adları kullanılırken bir sorun düzeltildi.
    • Synapse Bağlayıcısı için tanıtılan database.schema.table biçim.
    • Yalnızca schemaName.tableName veya tableNameyerine hedef tablo olarak biçim sağlama databaseName.schemaName.tableName desteği eklendi.
  • 15 Haziran 2021, Saat 2021, Ağustos 2021, Saat 20:00
    • Delta Lake için iyileştirilmiş yazma işlemlerinde büyük miktarda veri yazarken ve yürütücü kayıplarıyla karşılaşıldığında ortaya çıkabilecek bir NoSuchElementException hata düzeltildi
    • SQL CREATE GROUP, , DROP GROUP, ALTER GROUP, SHOW GROUPSve SHOW USERS komutlarını ekler. Ayrıntılar için bkz . Güvenlik deyimleri ve Show deyimleri.

Databricks Runtime 8.2 (desteklenmiyor)

Bkz . Databricks Runtime 8.2 (desteklenmiyor).

  • 22 Eylül 2021, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Eylül 2021, Cumartesi

    • gibi java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_xbir IOException ile sorgu hatasına neden olabilecek bir yarış durumu düzeltildi.

  • 8 Eylül 2021, Cumartesi

    • [SPARK-35700][SQL] [WARMFIX] Dış sistemler tarafından oluşturulduğunda ve yazıldığında char/varchar orc tablosunu okuyun.
    • [SPARK-36532][CORE] [3.1] Yürütücü kapatmanın CoarseGrainedExecutorBackend.onDisconnected kilitlenmesini önlemek executorsconnected için kilitlenme düzeltildi.

  • 25 Ağustos 2021, Saat 2021, Ağustos 2021, Ağustos 2021, Saat

    • Snowflake bağlayıcısı 2.9.0 sürümüne yükseltildi.

  • 11 Ağustos 2021, Saat 2021, Ağustos 2021, Ağustos 2021, Ağustos

    • [SPARK-36034][SQL] Parquet'e gönderilen filtrelerde datetime değerini yeniden temel alır.

  • 29 Temmuz 2021, Saat 20:00

    • Databricks Snowflake Spark bağlayıcısını 2.9.0-spark-3.1 sürümüne yükseltme
    • [SPARK-36163][DERLE] JDBC bağlayıcı sağlayıcısında doğru JDBC özelliklerini yayma ve seçenek ekleme connectionProvider

  • 14 Temmuz 2021, Saat 2021, Temmuz 2021, Saat 20:00

    • Azure Synapse bağlayıcısında noktalı sütun adları kullanılırken bir sorun düzeltildi.
    • Synapse Bağlayıcısı için tanıtılan database.schema.table biçim.
    • Yalnızca schemaName.tableName veya tableNameyerine hedef tablo olarak biçim sağlama databaseName.schemaName.tableName desteği eklendi.
    • Kullanıcıların Delta tablolarıyla eski kullanılabilir sürümlere zaman yolculuğu yapmasını engelleyen bir hata düzeltildi.

  • 15 Haziran 2021, Saat 2021, Ağustos 2021, Saat 20:00

    • Delta Lake için iyileştirilmiş yazma işlemlerinde büyük miktarda veri yazarken ve yürütücü kayıplarıyla karşılaşıldığında ortaya çıkabilecek bir NoSuchElementException hatayı düzeltir

  • 26 Mayıs 2021, Saat 2021, Saat 20:00

    • Python güvenlik açığını (CVE-2021-3177) düzeltmek için Python güvenlik düzeltme eki ile güncelleştirildi.

  • 30 Nisan 2021, Saat 2021, Temmuz 2021, Saat 20:00

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-35227][DERLE] SparkSubmit'te spark paketleri için çözümleyiciyi güncelleştirme
    • [SPARK-34245][CORE] Master'ın tamamlanmış durumu gönderemeyen yürütücüleri kaldırdığından emin olun
    • Otomatik Yükleyici Yapılandırılmış Akış ilerleme durumu ölçümlerini bildirdiğinde oluşan OOM sorunu düzeltildi.

Databricks Runtime 8.1 (desteklenmiyor)

Bkz . Databricks Runtime 8.1 (desteklenmiyor).

  • 22 Eylül 2021, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Eylül 2021, Cumartesi

    • gibi java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_xbir IOException ile sorgu hatasına neden olabilecek bir yarış durumu düzeltildi.

  • 8 Eylül 2021, Cumartesi

    • [SPARK-35700][SQL] [WARMFIX] Dış sistemler tarafından oluşturulduğunda ve yazıldığında char/varchar orc tablosunu okuyun.
    • [SPARK-36532][CORE] [3.1] Yürütücü kapatmanın CoarseGrainedExecutorBackend.onDisconnected kilitlenmesini önlemek executorsconnected için kilitlenme düzeltildi.

  • 25 Ağustos 2021, Saat 2021, Ağustos 2021, Ağustos 2021, Saat

    • Snowflake bağlayıcısı 2.9.0 sürümüne yükseltildi.

  • 11 Ağustos 2021, Saat 2021, Ağustos 2021, Ağustos 2021, Ağustos

    • [SPARK-36034][SQL] Parquet'e gönderilen filtrelerde datetime değerini yeniden temel alır.

  • 29 Temmuz 2021, Saat 20:00

    • Databricks Snowflake Spark bağlayıcısını 2.9.0-spark-3.1 sürümüne yükseltme
    • [SPARK-36163][DERLE] JDBC bağlayıcı sağlayıcısında doğru JDBC özelliklerini yayma ve seçenek ekleme connectionProvider

  • 14 Temmuz 2021, Saat 2021, Temmuz 2021, Saat 20:00

    • Azure Synapse bağlayıcısında noktalı sütun adları kullanılırken bir sorun düzeltildi.
    • Kullanıcıların Delta tablolarıyla eski kullanılabilir sürümlere zaman yolculuğu yapmasını engelleyen bir hata düzeltildi.

  • 15 Haziran 2021, Saat 2021, Ağustos 2021, Saat 20:00

    • Delta Lake için iyileştirilmiş yazma işlemlerinde büyük miktarda veri yazarken ve yürütücü kayıplarıyla karşılaşıldığında ortaya çıkabilecek bir NoSuchElementException hatayı düzeltir

  • 26 Mayıs 2021, Saat 2021, Saat 20:00

    • Python güvenlik açığını (CVE-2021-3177) düzeltmek için Python güvenlik düzeltme eki ile güncelleştirildi.

  • 30 Nisan 2021, Saat 2021, Temmuz 2021, Saat 20:00

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-35227][DERLE] SparkSubmit'te spark paketleri için çözümleyiciyi güncelleştirme
    • Otomatik Yükleyici Yapılandırılmış Akış ilerleme durumu ölçümlerini bildirdiğinde oluşan OOM sorunu düzeltildi.

  • 27 Nisan 2021, Saat 2021, Temmuz 2021, Saat 20:00

    • [SPARK-34245][CORE] Master'ın tamamlanmış durumu gönderemeyen yürütücüleri kaldırdığından emin olun
    • [SPARK-34856][SQL] ANSI modu: Karmaşık türleri dize türü olarak atamaya izin ver
    • [SPARK-35014] Katlanabilir ifadeleri yeniden yazmamak için PhysicalAggregation desenini düzeltme
    • [SPARK-34769][SQL] AnsiTypeCoercion: TypeCollection arasında en dar dönüştürülebilir türü döndürür
    • [SPARK-34614][SQL] ANSI modu: Dizeyi Boole'a atama ayrıştırma hatasında özel durum oluşturur
    • [SPARK-33794][SQL] ANSI modu: Altında geçersiz giriş alırken Runtime IllegalArgumentException oluşturacak NextDay ifadesini düzeltin

Databricks Runtime 8.0 (desteklenmiyor)

Bkz . Databricks Runtime 8.0 (desteklenmiyor).

  • 15 Eylül 2021, Cumartesi

    • gibi java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_xbir IOException ile sorgu hatasına neden olabilecek bir yarış durumu düzeltildi.

  • 25 Ağustos 2021, Saat 2021, Ağustos 2021, Ağustos 2021, Saat

    • Snowflake bağlayıcısı 2.9.0 sürümüne yükseltildi.

  • 11 Ağustos 2021, Saat 2021, Ağustos 2021, Ağustos 2021, Ağustos

    • [SPARK-36034][SQL] Parquet'e gönderilen filtrelerde datetime değerini yeniden temel alır.

  • 29 Temmuz 2021, Saat 20:00

    • [SPARK-36163][DERLE] JDBC bağlayıcı sağlayıcısında doğru JDBC özelliklerini yayma ve seçenek ekleme connectionProvider

  • 14 Temmuz 2021, Saat 2021, Temmuz 2021, Saat 20:00

    • Azure Synapse bağlayıcısında noktalı sütun adları kullanılırken bir sorun düzeltildi.
    • Kullanıcıların Delta tablolarıyla eski kullanılabilir sürümlere zaman yolculuğu yapmasını engelleyen bir hata düzeltildi.

  • 26 Mayıs 2021, Saat 2021, Saat 20:00

    • Python güvenlik açığını (CVE-2021-3177) düzeltmek için Python güvenlik düzeltme eki ile güncelleştirildi.

  • 30 Nisan 2021, Saat 2021, Temmuz 2021, Saat 20:00

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-35227][DERLE] SparkSubmit'te spark paketleri için çözümleyiciyi güncelleştirme
    • [SPARK-34245][CORE] Master'ın tamamlanmış durumu gönderemeyen yürütücüleri kaldırdığından emin olun

  • 24 Mart 2021, Saat 2021, Şubat 2021, Saat 20:00

    • [SPARK-34681][SQL] Eşit olmayan koşulla sol tarafı oluştururken tam dış karışık karma birleştirme için hata düzeltildi
    • [SPARK-34534] Blokları getirmek için FetchShuffleBlocks kullanıldığında blockIds sırasını düzeltme
    • [SPARK-34613][SQL] Düzeltme görünümü, ipucu yapılandırmasını devre dışı bırakma yakalamaz

  • 9 Mart 2021 Salı

    • [SPARK-34543][SQL] v1'de spark.sql.caseSensitive bölüm belirtimini çözerken yapılandırmaya saygı gösterin SET LOCATION
    • [SPARK-34392][SQL] DateTimeUtils içinde ZoneOffset +h:mm desteği. getZoneId
    • [UI] Spark DAG Görselleştirmesi'nin href bağlantısını düzeltme
    • [SPARK-34436][SQL] DPP, LIKE ANY/ALL ifadesini destekler

Databricks Runtime 7.6 (desteklenmiyor)

Bkz . Databricks Runtime 7.6 (desteklenmiyor).

  • 11 Ağustos 2021, Saat 2021, Ağustos 2021, Ağustos 2021, Ağustos
    • [SPARK-36034][SQL] Parquet'e gönderilen filtrelerde datetime değerini yeniden temel alır.
  • 29 Temmuz 2021, Saat 20:00
    • [SPARK-32998][DERLE] Varsayılan uzak depoları yalnızca iç depolarla geçersiz kılma özelliği ekleme
  • 14 Temmuz 2021, Saat 2021, Temmuz 2021, Saat 20:00
    • Kullanıcıların Delta tablolarıyla eski kullanılabilir sürümlere zaman yolculuğu yapmasını engelleyen bir hata düzeltildi.
  • 26 Mayıs 2021, Saat 2021, Saat 20:00
    • Python güvenlik açığını (CVE-2021-3177) düzeltmek için Python güvenlik düzeltme eki ile güncelleştirildi.
  • 30 Nisan 2021, Saat 2021, Temmuz 2021, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-35227][DERLE] SparkSubmit'te spark paketleri için çözümleyiciyi güncelleştirme
    • [SPARK-34245][CORE] Master'ın tamamlanmış durumu gönderemeyen yürütücüleri kaldırdığından emin olun
  • 24 Mart 2021, Saat 2021, Şubat 2021, Saat 20:00
    • [SPARK-34768][SQL] Univocity'de varsayılan giriş arabelleği boyutuna saygı gösterin
    • [SPARK-34534] Blokları getirmek için FetchShuffleBlocks kullanıldığında blockIds sırasını düzeltme
  • 9 Mart 2021, İstanbul
    • (Yalnızca Azure) Databricks Runtime 7.2'de oluşturulan eski bir Otomatik Yükleyici akışını çalıştırmak için Databricks Runtime 7.6 kullanırken NullPointerException'a neden olabilen otomatik yükleyici hatası düzeltildi
    • [UI] Spark DAG Görselleştirmesi'nin href bağlantısını düzeltme
    • Bilinmeyen yaprak düğüm SparkPlan, SizeInBytesOnlyStatsSparkPlanVisitor içinde doğru işlenmiyor
    • Çıkış şemasını geri yükleme SHOW DATABASES
    • [Delta] [8.0, 7.6] Dosya boyutu otomatik ayarlama mantığındaki hesaplama hatası düzeltildi
    • Disk önbelleğinde Delta tablo dosyaları için eskime denetimini devre dışı bırakma
    • [SQL] Aralık birleştirme ipucu mevcut olduğunda doğru dinamik ayıklama derleme anahtarını kullanın
    • SQL olmayan kod yolunda karakter türü desteğini devre dışı bırakma
    • DataFrameReader.schema'da NPE'lerden kaçının
    • EventGridClient yanıtının varlığı olmadığında NPE düzeltilir
    • Azure Otomatik Yükleyici'de okuma kapalı akış hatasını düzeltme
    • [SQL] AOS etkinleştirildiğinde karışık bölüm numarası önerisi oluşturmayın
  • 24 Şubat 2021, Saat 2021, Şubat 2021, Saat 20:00
    • Çeşitli hata düzeltmeleri ve Ok ve Avro yineleyicileri desteği sunan Spark BigQuery bağlayıcısı v0.18'e yükseltildi.
    • Parquet dosyasının ondalık duyarlığı ve ölçeği Spark şemasından farklı olduğunda Spark'ın yanlış sonuçlar döndürmesine neden olan bir doğruluk sorunu düzeltildi.
    • Spark SQL için geometri ve coğrafya JDBC türleri desteği ekleyerek uzamsal veri türleri içeren Microsoft SQL Server tablolarında okuma hatası sorunu düzeltildi.
    • Yeni bir yapılandırma spark.databricks.hive.metastore.init.reloadFunctions.enabledkullanıma sunulmuştur. Bu yapılandırma yerleşik Hive başlatmasını denetler. True olarak ayarlandığında Azure Databricks, kullanıcıların sahip olduğu tüm veritabanlarındaki tüm işlevleri içine FunctionRegistryyeniden yükler. Bu, Hive Meta Veri Deposu'ndaki varsayılan davranıştır. False olarak ayarlandığında, Azure Databricks iyileştirme için bu işlemi devre dışı bırakır.
    • [SPARK-34212] Parquet dosyalarından ondalık verileri okumayla ilgili sorunlar düzeltildi.
    • [SPARK-34260][SQL] Geçici görünüm oluştururken unresolvedException'ı iki kez düzeltin.

Databricks Runtime 7.5 (desteklenmiyor)

Bkz . Databricks Runtime 7.5 (desteklenmiyor).

  • 26 Mayıs 2021, Saat 2021, Saat 20:00
    • Python güvenlik açığını (CVE-2021-3177) düzeltmek için Python güvenlik düzeltme eki ile güncelleştirildi.
  • 30 Nisan 2021, Saat 2021, Temmuz 2021, Saat 20:00
    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-35227][DERLE] SparkSubmit'te spark paketleri için çözümleyiciyi güncelleştirme
    • [SPARK-34245][CORE] Master'ın tamamlanmış durumu gönderemeyen yürütücüleri kaldırdığından emin olun
  • 24 Mart 2021, Saat 2021, Şubat 2021, Saat 20:00
    • [SPARK-34768][SQL] Univocity'de varsayılan giriş arabelleği boyutuna saygı gösterin
    • [SPARK-34534] Blokları getirmek için FetchShuffleBlocks kullanıldığında blockIds sırasını düzeltme
  • 9 Mart 2021, İstanbul
    • (Yalnızca Azure) Databricks Runtime 7.2'de oluşturulan eski bir Otomatik Yükleyici akışını çalıştırmak için Databricks Runtime 7.5 kullanırken NullPointerException'a neden olabilen bir Otomatik Yükleyici hatası düzeltildi.
    • [UI] Spark DAG Görselleştirmesi'nin href bağlantısını düzeltme
    • Bilinmeyen yaprak düğüm SparkPlan, SizeInBytesOnlyStatsSparkPlanVisitor içinde doğru işlenmiyor
    • Çıkış şemasını geri yükleme SHOW DATABASES
    • Disk önbelleğinde Delta tablo dosyaları için eskime denetimini devre dışı bırakma
    • [SQL] Aralık birleştirme ipucu mevcut olduğunda doğru dinamik ayıklama derleme anahtarını kullanın
    • SQL olmayan kod yolunda karakter türü desteğini devre dışı bırakma
    • DataFrameReader.schema'da NPE'lerden kaçının
    • EventGridClient yanıtının varlığı olmadığında NPE düzeltilir
    • Azure Otomatik Yükleyici'de okuma kapalı akış hatasını düzeltme
  • 24 Şubat 2021, Saat 2021, Şubat 2021, Saat 20:00
    • Çeşitli hata düzeltmeleri ve Ok ve Avro yineleyicileri desteği sunan Spark BigQuery bağlayıcısı v0.18'e yükseltildi.
    • Parquet dosyasının ondalık duyarlığı ve ölçeği Spark şemasından farklı olduğunda Spark'ın yanlış sonuçlar döndürmesine neden olan bir doğruluk sorunu düzeltildi.
    • Spark SQL için geometri ve coğrafya JDBC türleri desteği ekleyerek uzamsal veri türleri içeren Microsoft SQL Server tablolarında okuma hatası sorunu düzeltildi.
    • Yeni bir yapılandırma spark.databricks.hive.metastore.init.reloadFunctions.enabledkullanıma sunulmuştur. Bu yapılandırma yerleşik Hive başlatmasını denetler. True olarak ayarlandığında Azure Databricks, kullanıcıların sahip olduğu tüm veritabanlarındaki tüm işlevleri içine FunctionRegistryyeniden yükler. Bu, Hive Meta Veri Deposu'ndaki varsayılan davranıştır. False olarak ayarlandığında, Azure Databricks iyileştirme için bu işlemi devre dışı bırakır.
    • [SPARK-34212] Parquet dosyalarından ondalık verileri okumayla ilgili sorunlar düzeltildi.
    • [SPARK-34260][SQL] Geçici görünüm oluştururken unresolvedException'ı iki kez düzeltin.
  • 4 Şubat 2021, Saat 2021
    • gibi SELECT * FROM table LIMIT nrowsgenel bir sınır ayarlayan bir sorgunun artımlı yürütülmesini engelleyen bir regresyon düzeltildi. Regresyon, ODBC/JDBC aracılığıyla sorgu çalıştıran kullanıcılar tarafından Ok serileştirmesi etkinleştirildi.
    • Delta tabloları için Hive meta veri deposunda meta verilerin bozulmasını önlemek için Hive istemcisine yazma süresi denetimleri eklendi.
    • Küme ortamı değişken yapılandırmaları geçersiz bash söz dizimi içerdiğinde DBFS FUSE'ın başlatılamamasına neden olan bir regresyon düzeltildi.
  • 20 Ocak 2021, Saat 20:00
    • 12 Ocak 2021 bakım sürümünde yanlış AnalysisException'a neden olabilen ve sütunun kendi kendine birleştirmede belirsiz olduğunu belirten bir regresyon düzeltildi. Bu regresyon, kullanıcı bir DataFrame'i türetilmiş DataFrame'i (kendi kendine birleştirme olarak adlandırılır) aşağıdaki koşullarla birleştirdiğinde gerçekleşir:
      • Bu iki DataFrame'in ortak sütunları vardır, ancak kendi kendine birleştirmenin çıktısı ortak sütunlara sahip değildir. Örneğin df.join(df.select($"col" as "new_col"), cond)
      • Türetilmiş DataFrame, select, groupBy veya pencere aracılığıyla bazı sütunları dışlar.
      • Birleştirme koşulu veya birleştirilmiş Dataframe'in ardından gelen aşağıdaki dönüştürme ortak olmayan sütunlara başvurur. Örneğin df.join(df.drop("a"), df("a") === 1)
  • 12 Ocak 2021, Saat 2021, Saat 20:00
    • Azure Depolama SDK'sını 2.3.8'den 2.3.9'a yükseltin.
    • [SPARK-33593][SQL] Vektör okuyucu ikili bölüm değeriyle yanlış veri aldı
    • [SPARK-33480][SQL] char/varchar tablo ekleme uzunluğu denetiminin hata iletisini güncelleştirir

Databricks Runtime 7.3 LTS (desteklenmiyor)

Bkz . Databricks Runtime 7.3 LTS (desteklenmiyor).

  • 10 Eylül 2023, Cumartesi

    • Çeşitli hata düzeltmeleri.

  • 30 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos 2023, Ağustos

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 23 Haziran 2023

    • Snowflake-jdbc kitaplığı, bir güvenlik sorununu gidermek için 3.13.29 sürümüne yükseltilir.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Haziran 2023, Saat 2023, Temmuz 2023, Saat 20:00

    • [SPARK-43413][SQL] Alt sorgu ListQuery null atanabilirliği düzeltildiIN.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 2 Haziran 2023

    • Otomatik Yükleyici'de sağlanan şemada çıkarım yapılan bölümler olmadığında farklı kaynak dosya biçimlerinin tutarsız olduğu bir sorun düzeltildi. Bu sorun, çıkarsanan bölüm şemasında eksik sütunlara sahip dosyalar okunurken beklenmeyen hatalara neden olabilir.

  • 17 Mayıs 2023, Saat 2023, Mayıs 2023, Saat 20:00

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 25 Nisan 2023, Saat 2023, Temmuz 2023, Temmuz 2023, Temmuz

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 11 Nisan 2023 Salı

    • [SPARK-42967][CORE] Aşama iptal edildikten sonra bir görev başlatıldığında SparkListenerTaskStart.stageAttemptId dosyasını düzeltin.
    • Çeşitli hata düzeltmeleri.

  • 29 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Saat

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 14 Mart 2023

    • Çeşitli hata düzeltmeleri.

  • 28 Şubat 2023, Saat 2023

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 16 Şubat 2023, Saat 2023, Şubat 2023, Şubat 2023, Şubat 20

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 31 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00

    • JDBC tablolarının tablo türleri artık varsayılan olarak EXTERNAL'tir.

  • 18 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20

    • Çeşitli hata düzeltmeleri.

  • 15 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20

    • Apache commons-text 1.10.0 sürümüne yükseltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Çeşitli hata düzeltmeleri.

  • 1 Kasım 2022, İstanbul

    • [SPARK-38542][SQL] UnsafeHashedRelation, sayı Tuşlarını seri hale getirmelidir

  • 18 Ekim 2022, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 5 Ekim 2022 Çarşamba

    • Çeşitli hata düzeltmeleri.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 22 Eylül 2022, Cumartesi

    • [SPARK-40089][SQL] Bazı Ondalık türleri için sıralamayı düzeltme

  • 6 Eylül 2022, Cumartesi

    • [SPARK-35542][CORE] [ML] Düzeltme: SplitsArray, inputCols ve outputCols parametreleriyle birden çok sütun için oluşturulan demet oluşturucu kaydedildikten sonra yüklenemiyor
    • [SPARK-40079][CORE] Boş giriş olayı için Imputer inputCols doğrulaması ekleme

  • 24 Ağustos 2022, Saat 2022, Ağustos 2022, Ağustos 2022, Ağustos

    • [SPARK-39962][PYTHON] [SQL] Grup öznitelikleri boş olduğunda projeksiyonu uygulama
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 9 Ağustos 2022 Salı

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 27 Temmuz 2022, Saat 20:00

    • Kaynak belirleyici olmadığında Delta MERGE işleminin sonuçlarını tutarlı hale getirin.
    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Çeşitli hata düzeltmeleri.

  • 13 Temmuz 2022, Saat 2022, Temmuz 2022, Saat 20:00

    • [SPARK-32680][SQL] Çözümlenmemiş Sorgu ile V2 CTAS'ı Ön İşleme
    • Otomatik Yükleyici'nin Azure'da dizin listesi için yerel bulut API'lerini kullanması devre dışı bırakıldı.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 5 Temmuz 2022, Ağustos 2022, Saat 20:00

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Çeşitli hata düzeltmeleri.

  • 2 Haziran 2022

    • [SPARK-38918][SQL] İç içe sütun ayıklama, geçerli ilişkiye ait olmayan öznitelikleri filtrelemelidir
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 18 Mayıs 2022, Saat 2022, Mayıs 2022, Saat 20:00

    • AWS SDK sürümünü 1.11.655 sürümünden 1.11.678 sürümüne yükseltin.
    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Çeşitli hata düzeltmeleri.

  • 19 Nisan 2022, Saat 2022, Temmuz 2022, Temmuz 2022, Saat

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Çeşitli hata düzeltmeleri.

  • 6 Nisan 2022, İstanbul

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Çeşitli hata düzeltmeleri.

  • 14 Mart 2022, Saat 2022, Şubat 2022, Saat 20:00

    • Güvenlik açığı olan sınıfları log4j 1.2.17 jar dosyasından kaldırma
    • Çeşitli hata düzeltmeleri.

  • 23 Şubat 2022, Saat 2022, Şubat 2022, Saat 20:00

    • [SPARK-37859][SQL] Şema karşılaştırması sırasında meta verileri denetleme

  • 8 Şubat 2022, İstanbul

    • Ubuntu JDK'yi 1.8.0.312 sürümüne yükseltin.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Şubat 2022 Salı

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 26 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00

    • ANSI SQL diyalekt etkinleştirildiğinde OPTIMIZE komutunun başarısız olmasına neden olan bir hata düzeltildi.

  • 19 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00

    • Conda varsayılanları kanalı 7.3 ML LTS'den kaldırıldı
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 7 Aralık 2021, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 4 Kasım 2021, Kasım 2021, Saat 20:00

    • Yapılandırılmış Akış akışlarının ArrayIndexOutOfBoundsException ile başarısız olmasına neden olabilen bir hata düzeltildi
    • IoException gibi java.io.IOException: No FileSystem for scheme bir sorgu hatasına veya değişikliklerin sorgularda etkili olmamasına sparkContext.hadoopConfiguration neden olabilen bir yarış durumu düzeltildi.

  • 15 Eylül 2021, Cumartesi

    • gibi java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_xbir IOException ile sorgu hatasına neden olabilecek bir yarış durumu düzeltildi.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 8 Eylül 2021, Cumartesi

    • [SPARK-35700][SQL] [WARMFIX] Dış sistemler tarafından oluşturulduğunda ve yazıldığında char/varchar orc tablosunu okuyun.
    • [SPARK-36532][CORE] [3.1] Yürütücü kapatmanın CoarseGrainedExecutorBackend.onDisconnected kilitlenmesini önlemek executorsconnected için kilitlenme düzeltildi.

  • 25 Ağustos 2021, Saat 2021, Ağustos 2021, Ağustos 2021, Saat

    • Snowflake bağlayıcısı 2.9.0 sürümüne yükseltildi.

  • 29 Temmuz 2021, Saat 20:00

    • [SPARK-36034][DERLE] Parquet'e gönderilen filtrelerde datetime değerini yeniden temelle
    • [SPARK-34508][DERLE] Ağ çalışmıyorsa atla HiveExternalCatalogVersionsSuite

  • 14 Temmuz 2021, Saat 2021, Temmuz 2021, Saat 20:00

    • Azure Synapse bağlayıcısı için tanıtılan database.schema.table biçim.
    • Yalnızca schemaName.tableName veya tableNameyerine hedef tablo olarak biçim sağlama databaseName.schemaName.tableName desteği eklendi.
    • Kullanıcıların Delta tablolarıyla eski kullanılabilir sürümlere zaman yolculuğu yapmasını engelleyen bir hata düzeltildi.

  • 15 Haziran 2021, Saat 2021, Ağustos 2021, Saat 20:00

    • Delta Lake için iyileştirilmiş yazma işlemlerinde büyük miktarda veri yazarken ve yürütücü kayıplarıyla karşılaşıldığında ortaya çıkabilecek bir NoSuchElementException hatayı düzeltir
    • Python güvenlik açığını (CVE-2021-3177) düzeltmek için Python güvenlik düzeltme eki ile güncelleştirildi.

  • 30 Nisan 2021, Saat 2021, Temmuz 2021, Saat 20:00

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-35227][DERLE] SparkSubmit'te spark paketleri için çözümleyiciyi güncelleştirme
    • [SPARK-34245][CORE] Master'ın tamamlanmış durumu gönderemeyen yürütücüleri kaldırdığından emin olun
    • [SPARK-35045][SQL] Giriş arabelleğinin tekil olarak denetleneceği bir iç seçenek ekleme

  • 24 Mart 2021, Saat 2021, Şubat 2021, Saat 20:00

    • [SPARK-34768][SQL] Univocity'de varsayılan giriş arabelleği boyutuna saygı gösterin
    • [SPARK-34534] Blokları getirmek için FetchShuffleBlocks kullanıldığında blockIds sırasını düzeltme
    • [SPARK-33118][SQL] CREATE TEMPORARY TABLE konumuyla başarısız oluyor

  • 9 Mart 2021 Salı

    • Azure Data Lake Storage 2. Nesil için güncelleştirilmiş Azure Blob Dosya Sistemi sürücüsü artık varsayılan olarak etkindir. Birden çok kararlılık geliştirmesi getirir.
    • Için Windows'ta yol ayırıcısını düzeltme databricks-connect get-jar-dir
    • [UI] Spark DAG Görselleştirmesi'nin href bağlantısını düzeltme
    • [DBCONNECT] Databricks Connect 7.3'te FlatMapCoGroupsInPandas desteği eklendi
    • Çıkış şemasını geri yükleme SHOW DATABASES
    • [SQL] Aralık birleştirme ipucu mevcut olduğunda doğru dinamik ayıklama derleme anahtarını kullanın
    • Disk önbelleğinde Delta tablo dosyaları için eskime denetimini devre dışı bırakma
    • [SQL] AOS etkinleştirildiğinde karıştırma bölüm numarası önerisi oluşturmayın

  • 24 Şubat 2021, Saat 2021, Şubat 2021, Saat 20:00

    • Çeşitli hata düzeltmeleri ve Ok ve Avro yineleyicileri desteği sunan Spark BigQuery bağlayıcısı v0.18'e yükseltildi.
    • Parquet dosyasının ondalık duyarlığı ve ölçeği Spark şemasından farklı olduğunda Spark'ın yanlış sonuçlar döndürmesine neden olan bir doğruluk sorunu düzeltildi.
    • Spark SQL için geometri ve coğrafya JDBC türleri desteği ekleyerek uzamsal veri türleri içeren Microsoft SQL Server tablolarında okuma hatası sorunu düzeltildi.
    • Yeni bir yapılandırma spark.databricks.hive.metastore.init.reloadFunctions.enabledkullanıma sunulmuştur. Bu yapılandırma yerleşik Hive başlatmasını denetler. True olarak ayarlandığında Azure Databricks, kullanıcıların sahip olduğu tüm veritabanlarındaki tüm işlevleri içine FunctionRegistryyeniden yükler. Bu, Hive Meta Veri Deposu'ndaki varsayılan davranıştır. False olarak ayarlandığında, Azure Databricks iyileştirme için bu işlemi devre dışı bırakır.
    • [SPARK-34212] Parquet dosyalarından ondalık verileri okumayla ilgili sorunlar düzeltildi.
    • [SPARK-33579][UI] Yürütücü ara sunucusunun arkasındaki boş sayfa düzeltildi.
    • [SPARK-20044][UI] Yol ön ekini kullanarak ön uç ters ara sunucusunun arkasındaki Spark kullanıcı arabirimini destekleyin.
    • [SPARK-33277][PYSPARK] [SQL] Görev sona erdikten sonra kullanmayı durdurmak için ContextAwareIterator'ı kullanın.

  • 4 Şubat 2021, Saat 2021

    • gibi SELECT * FROM table LIMIT nrowsgenel bir sınır ayarlayan bir sorgunun artımlı yürütülmesini engelleyen bir regresyon düzeltildi. Regresyon, ODBC/JDBC aracılığıyla sorgu çalıştıran kullanıcılar tarafından Ok serileştirmesi etkinleştirildi.
    • Küme ortamı değişken yapılandırmaları geçersiz bash söz dizimi içerdiğinde DBFS FUSE'ın başlatılamamasına neden olan bir regresyon düzeltildi.

  • 20 Ocak 2021

    • 12 Ocak 2021 bakım sürümünde yanlış AnalysisException'a neden olabilen ve sütunun kendi kendine birleştirmede belirsiz olduğunu belirten bir regresyon düzeltildi. Bu regresyon, kullanıcı bir DataFrame'i türetilmiş DataFrame'i (kendi kendine birleştirme olarak adlandırılır) aşağıdaki koşullarla birleştirdiğinde gerçekleşir:
      • Bu iki DataFrame'in ortak sütunları vardır, ancak kendi kendine birleştirmenin çıktısı ortak sütunlara sahip değildir. Örneğin df.join(df.select($"col" as "new_col"), cond)
      • Türetilmiş DataFrame, select, groupBy veya pencere aracılığıyla bazı sütunları dışlar.
      • Birleştirme koşulu veya birleştirilmiş Dataframe'in ardından gelen aşağıdaki dönüştürme ortak olmayan sütunlara başvurur. Örneğin df.join(df.drop("a"), df("a") === 1)

  • 12 Ocak 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-33593][SQL] Vektör okuyucu ikili bölüm değeriyle yanlış veri aldı
    • [SPARK-33677][SQL] Desende escapeChar varsa LikeSimplification kuralını atlayın
    • [SPARK-33592][ML] [PYTHON] EstimatorParamMaps içindeki Pyspark ML Doğrulayıcı parametreleri kaydedilip yeniden yüklendikten sonra kaybolabilir
    • [SPARK-33071][SPARK-33536] [SQL] DetectAmbiguousSelfJoin'ı kesmemek için join() içindeki LogicalPlan'ın dataset_id değiştirmekten kaçının

  • 8 Aralık 2020 Salı

    • [SPARK-33587][CORE] İç içe önemli hatalarda yürütücüsü sonlandırma
    • [SPARK-27421][SQL] Bölüm sütunu ayıklama sırasında int sütunu ve değer sınıfı java.lang.String için filtre düzeltildi
    • [SPARK-33316][SQL] Destek kullanıcısı Avro yazmada null atanamaz katalizör şeması için null atanabilir Avro şeması sağladı
    • Databricks Connect kullanılarak başlatılan Spark İşleri yürütücü yığını izlemesinde süresiz olarak Executor$TaskRunner.$anonfun$copySessionState kilitlenebilir
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Aralık 2020 Salı

    • [SPARK-33404][SQL] [3.0] İfadedeki yanlış sonuçlar düzeltildi date_trunc
    • [SPARK-33339][PYTHON] Pyspark uygulaması Özel Durum dışı hata nedeniyle kilitleniyor
    • [SPARK-33183][SQL] [DÜZELTME] İyileştirici kuralını düzeltmeOrtları Ortadan Kaldırma ve yedekli sıralamaları kaldırmak için fiziksel bir kural ekleme
    • [SPARK-33371][PYTHON] [3.0] Python 3.9 için setup.py ve testleri güncelleştirme
    • [SPARK-33391][SQL] CreateArray ile element_at tek bir tabanlı dizine uymaz.
    • [SPARK-33306][SQL] Tarih dizeye türerken saat dilimi gereklidir
    • [SPARK-33260][SQL] sortOrder Stream olduğunda SortExec'ten gelen yanlış sonuçları düzeltme

  • 5 Kasım 2020

    • ile ilgili OLARAK ABFS ve WASB kilitlemesi UserGroupInformation.getCurrentUser()düzeltildi.
    • Avro okuyucu MAGIC baytlarını okuduğunda sonsuz döngü hatasını düzeltin.
    • KULLANIM ayrıcalığı için destek ekleyin.
    • Tablo erişim denetiminde ayrıcalık denetimi için performans geliştirmeleri.

  • 13 Ekim 2020

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Yüksek eşzamanlılık kimlik bilgisi geçişi etkinleştirilmiş bir kümedeyken /dbfs/ konumunda fuse bağlamasını kullanarak DBFS'den okuyup yazabilirsiniz. Normal bağlamalar desteklenir, ancak geçiş kimlik bilgilerine ihtiyaç duyan bağlamalar henüz desteklenmemektedir.
    • [SPARK-32999][SQL] TreeNode'da Hatalı Biçimlendirilmiş sınıf adına çarpmamak için Utils.getSimpleName kullanın
    • [SPARK-32585][SQL] ScalaReflection'da scala numaralandırması desteği
    • FUSE bağlamasında geçersiz XML karakterlerine sahip dosya adları içeren dizinlerin listelenmesi düzeltildi
    • FUSE bağlaması artık ListMultipartUploads kullanmıyor

  • 29 Eylül 2020

    • [SPARK-32718][SQL] Aralık birimleri için gereksiz anahtar sözcükleri kaldırma
    • [SPARK-32635][SQL] Katlanabilir yayma düzeltmesi
    • Yeni bir yapılandırma spark.shuffle.io.decoder.consolidateThresholdekleyin. Köşe durumlarını önleyen java.lang.IndexOutOfBoundsException netty FrameBuffers birleştirmesini atlamak için Long.MAX_VALUE yapılandırma değerini olarak ayarlayın.

  • 25 Nisan 2023, Saat 2023, Temmuz 2023, Temmuz 2023, Temmuz

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 11 Nisan 2023 Salı

    • Çeşitli hata düzeltmeleri.

  • 29 Mart 2023, Saat 2023, Şubat 2023, Mart 2023, Saat

    • Çeşitli hata düzeltmeleri.

  • 14 Mart 2023

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 28 Şubat 2023, Saat 2023

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 16 Şubat 2023, Saat 2023, Şubat 2023, Şubat 2023, Şubat 20

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 31 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00

    • Çeşitli hata düzeltmeleri.

  • 18 Ocak 2023, Saat 2023, Şubat 2023, Saat 20:00

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 29 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Kasım 2022, Saat 2022, Kasım 2022, Kasım 2022, Kasım 20

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Çeşitli hata düzeltmeleri.

  • 1 Kasım 2022, İstanbul

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 18 Ekim 2022, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • 5 Ekim 2022, Cumartesi
      • İşletim sistemi güvenlik güncelleştirmeleri.
    • 24 Ağustos 2022, Saat 2022, Ağustos 2022, Ağustos 2022, Ağustos
      • İşletim sistemi güvenlik güncelleştirmeleri.
    • 9 Ağustos 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
      • İşletim sistemi güvenlik güncelleştirmeleri.
    • 27 Temmuz 2022, Saat 20:00
      • İşletim sistemi güvenlik güncelleştirmeleri.
    • 5 Temmuz 2022, Ağustos 2022, Saat 20:00
      • İşletim sistemi güvenlik güncelleştirmeleri.
    • 2 Haziran 2022, Ağustos 2022, Ağustos 2022, Ağustos 2022
      • İşletim sistemi güvenlik güncelleştirmeleri.
    • 18 Mayıs 2022, Saat 2022, Mayıs 2022, Saat 20:00
      • İşletim sistemi güvenlik güncelleştirmeleri.
    • 19 Nisan 2022, Saat 2022, Temmuz 2022, Temmuz 2022, Saat
      • İşletim sistemi güvenlik güncelleştirmeleri.
      • Çeşitli hata düzeltmeleri.
    • 6 Nisan 2022, İstanbul
      • İşletim sistemi güvenlik güncelleştirmeleri.
      • Çeşitli hata düzeltmeleri.
    • 14 Mart 2022, Saat 2022, Şubat 2022, Saat 20:00
      • Çeşitli hata düzeltmeleri.
    • 23 Şubat 2022, Saat 2022, Şubat 2022, Saat 20:00
      • Çeşitli hata düzeltmeleri.
    • 8 Şubat 2022, İstanbul
      • Ubuntu JDK'yi 1.8.0.312 sürümüne yükseltin.
      • İşletim sistemi güvenlik güncelleştirmeleri.
    • 1 Şubat 2022, İstanbul
      • İşletim sistemi güvenlik güncelleştirmeleri.
    • 19 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00
      • İşletim sistemi güvenlik güncelleştirmeleri.
    • 22 Eylül 2021, Cumartesi
      • İşletim sistemi güvenlik güncelleştirmeleri.
    • 30 Nisan 2021, Saat 2021, Temmuz 2021, Saat 20:00
      • İşletim sistemi güvenlik güncelleştirmeleri.
      • [SPARK-35227][DERLE] SparkSubmit'te spark paketleri için çözümleyiciyi güncelleştirme
    • 12 Ocak 2021, Saat 2021, Saat 20:00
      • İşletim sistemi güvenlik güncelleştirmeleri.
    • 8 Aralık 2020, Cumartesi
      • [SPARK-27421][SQL] Bölüm sütunu ayıklama sırasında int sütunu ve değer sınıfı java.lang.String için filtre düzeltildi
      • İşletim sistemi güvenlik güncelleştirmeleri.
    • 1 Aralık 2020 Salı
    • [SPARK-33260][SQL] sortOrder Stream olduğunda SortExec'ten gelen yanlış sonuçları düzeltme
    • 3 Kasım 2020, Saat 20:00
      • Java sürümü 1.8.0_252 sürümünden 1.8.0_265 sürümüne yükseltildi.
      • USERGroupInformation.getCurrentUser() ile ilgili OLARAK ABFS ve WASB kilitlemesi düzeltildi
    • 13 Ekim 2020, Cumartesi
      • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 6.4 Genişletilmiş Desteği (desteklenmiyor)

Bkz . Databricks Runtime 6.4 (desteklenmiyor) ve Databricks Runtime 6.4 Genişletilmiş Desteği (desteklenmiyor).

  • 5 Temmuz 2022, Ağustos 2022, Saat 20:00

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Çeşitli hata düzeltmeleri.

  • 2 Haziran 2022

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 18 Mayıs 2022, Saat 2022, Mayıs 2022, Saat 20:00

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 19 Nisan 2022, Saat 2022, Temmuz 2022, Temmuz 2022, Saat

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Çeşitli hata düzeltmeleri.

  • 6 Nisan 2022, İstanbul

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • Çeşitli hata düzeltmeleri.

  • 14 Mart 2022, Saat 2022, Şubat 2022, Saat 20:00

    • Güvenlik açığı olan sınıfları log4j 1.2.17 jar dosyasından kaldırma
    • Çeşitli hata düzeltmeleri.

  • 23 Şubat 2022, Saat 2022, Şubat 2022, Saat 20:00

    • Çeşitli hata düzeltmeleri.

  • 8 Şubat 2022, İstanbul

    • Ubuntu JDK'yi 1.8.0.312 sürümüne yükseltin.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Şubat 2022 Salı

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 26 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00

    • ANSI SQL diyalekt etkinleştirildiğinde OPTIMIZE komutunun başarısız olmasına neden olan bir hata düzeltildi.

  • 19 Ocak 2022, Saat 2022, Şubat 2022, Saat 20:00

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 8 Aralık 2021, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 22 Eylül 2021, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 15 Haziran 2021, Saat 2021, Ağustos 2021, Saat 20:00

    • [SPARK-35576][SQL] Ayarla komutunun sonucunda hassas bilgileri yeniden işlem

  • 7 Haziran 2021, Ağustos 2021, Saat 20:00

    • adlı, isteğe bağlı ek uzak maven yansıtmasının virgülle ayrılmış dize yapılandırması adlı spark.sql.maven.additionalRemoteRepositoriesyeni bir yapılandırma ekleyin. Değer varsayılan olarak olarak gösterilir https://maven-central.storage-download.googleapis.com/maven2/.

  • 30 Nisan 2021, Saat 2021, Temmuz 2021, Saat 20:00

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-35227][DERLE] SparkSubmit'te spark paketleri için çözümleyiciyi güncelleştirme

  • 9 Mart 2021 Salı

    • HADOOP-17215 numaralı bağlantı noktasını Azure Blob Dosya Sistemi sürücüsüne (koşullu üzerine yazma desteği).
    • Için Windows'ta yol ayırıcısını düzeltme databricks-connect get-jar-dir
    • Hive meta veri deposu 2.3.5, 2.3.6 ve 2.3.7 sürümleri için destek eklendi
    • Taşma sonrasında "totalResultsCollected" oku yanlış bildirildi

  • 24 Şubat 2021, Saat 2021, Şubat 2021, Saat 20:00

    • Yeni bir yapılandırma spark.databricks.hive.metastore.init.reloadFunctions.enabledkullanıma sunulmuştur. Bu yapılandırma yerleşik Hive başlatmasını denetler. True olarak ayarlandığında Azure Databricks, kullanıcıların sahip olduğu tüm veritabanlarındaki tüm işlevleri içine FunctionRegistryyeniden yükler. Bu, Hive Meta Veri Deposu'ndaki varsayılan davranıştır. False olarak ayarlandığında, Azure Databricks iyileştirme için bu işlemi devre dışı bırakır.

  • 4 Şubat 2021, Saat 2021

    • gibi SELECT * FROM table LIMIT nrowsgenel bir sınır ayarlayan bir sorgunun artımlı yürütülmesini engelleyen bir regresyon düzeltildi. Regresyon, ODBC/JDBC aracılığıyla sorgu çalıştıran kullanıcılar tarafından Ok serileştirmesi etkinleştirildi.
    • Küme ortamı değişken yapılandırmaları geçersiz bash söz dizimi içerdiğinde DBFS FUSE'ın başlatılamamasına neden olan bir regresyon düzeltildi.

  • 12 Ocak 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 8 Aralık 2020 Salı

    • [SPARK-27421][SQL] Bölüm sütunu ayıklama sırasında int sütunu ve değer sınıfı java.lang.String için filtre düzeltildi
    • [SPARK-33183][SQL] İyileştirici kuralını düzeltmeOrtları Ortadan Kaldırma ve yedekli sıralamaları kaldırmak için fiziksel bir kural ekleme
    • [Çalışma Zamanı 6.4 ML GPU] Daha önce NCCL'nin yanlış bir sürümünü (2.7.8-1+cuda11.1) yüklemiştik. Bu sürüm, CUDA 10.0 ile uyumlu 2.4.8-1+cuda10.0 ile düzeltilir.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Aralık 2020 Salı

    • [SPARK-33260][SQL] sortOrder Stream olduğunda SortExec'ten gelen yanlış sonuçları düzeltme
    • [SPARK-32635][SQL] Katlanabilir yayma düzeltmesi

  • 3 Kasım 2020

    • Java sürümü 1.8.0_252 sürümünden 1.8.0_265 sürümüne yükseltildi.
    • USERGroupInformation.getCurrentUser() ile ilgili OLARAK ABFS ve WASB kilitlemesi düzeltildi
    • MAGIC baytlarını okurken Avro okuyucusunun sonsuz döngü hatasını düzeltin.

  • 13 Ekim 2020

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-32999][SQL] [2.4] TreeNode'da Hatalı Biçimlendirilmiş sınıf adına çarpmamak için Utils.getSimpleName kullanın
    • FUSE bağlamasında geçersiz XML karakterlerine sahip dosya adları içeren dizinlerin listelenmesi düzeltildi
    • FUSE bağlaması artık ListMultipartUploads kullanmıyor

  • 24 Eylül 2020, Cumartesi

    • Standart kümede geçiş işleminin, kullanıcının kullandığı dosya sistemi uygulamasını kısıtlamaya devam ettiği önceki bir sınırlama düzeltildi. Artık kullanıcılar kısıtlama olmadan yerel dosya sistemlerine erişebilir.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 8 Eylül 2020 Salı

    • Azure Synapse Analytics için yeni bir parametre oluşturuldu. maxbinlength Bu parametre BinaryType sütunlarının sütun uzunluğunu denetlemek için kullanılır ve olarak VARBINARY(maxbinlength)çevrilir. kullanılarak .option("maxbinlength", n)ayarlanabilir; burada 0 < n <= 8000 olur.
    • Azure Depolama SDK'sını 8.6.4'e güncelleştirin ve WASB sürücüsü tarafından yapılan bağlantılarda TCP'nin etkin kalmasını etkinleştirin

  • 25 Ağustos 2020, Ağustos 2020, Ağustos 2020, Ağustos 2020, Ağustos

    • Kendi kendine birleştirmede belirsiz öznitelik çözümlemesi düzeltildi

  • 18 Ağustos 2020

    • [SPARK-32431][SQL] Yerleşik veri kaynaklarından okunan yinelenen iç içe sütunları denetleme
    • Trigger.Once kullanılırken AQS bağlayıcısında bir yarış durumu düzeltildi.

  • 11 Ağustos 2020

    • [SPARK-28676][CORE] ContextCleaner'dan aşırı günlük kaydı yapmaktan kaçının

  • 3 Ağustos 2020, Ağustos 2020, Ağustos 2020, Ağustos 2020

    • Artık geçiş özellikli bir kümede LDA dönüştürme işlevini kullanabilirsiniz.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 7 Temmuz 2020, Saat 20:00

    • Java sürümü 1.8.0_232 sürümünden 1.8.0_252 sürümüne yükseltildi.

  • 21 Nisan 2020, Saat 2020, Ekim 2020, Saat 20:00

    • [SPARK-31312][SQL] HiveFunctionWrapper'da UDF örneği için Önbellek Sınıfı örneği

  • 7 Nisan 2020

    • Pandas udf'nin PyArrow 0.15.0 ve üzeri sürümlerle çalışmaması sorununu çözmek için, PyArrow'un bu sürümleri için destek sağlamak üzere bir ortam değişkeni (ARROW_PRE_0_15_IPC_FORMAT=1) ekledik. [SPARK-29367] içindeki yönergelere bakın.

  • 10 Mart 2020

    • İyileştirilmiş otomatik ölçeklendirme artık Güvenlik planındaki etkileşimli kümelerde varsayılan olarak kullanılır.
    • Databricks Runtime'da bulunan Snowflake bağlayıcısı (spark-snowflake_2.11) 2.5.9 sürümüne güncelleştirildi. snowflake-jdbc 3.12.0 sürümüne güncelleştirildi.

Databricks Runtime 5.5 LTS (desteklenmiyor)

Bkz . Databricks Runtime 5.5 LTS (desteklenmiyor) ve Databricks Runtime 5.5 Genişletilmiş Desteği (desteklenmeyen).

  • 8 Aralık 2021, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 22 Eylül 2021, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 25 Ağustos 2021, Saat 2021, Ağustos 2021, Ağustos 2021, Saat

    • 5,5 ML LTS ile daha iyi eşlik sağlamak için 5,5 ML Genişletilmiş Destek Sürümü'nde daha önce yükseltilen bazı python paketleri düşürülür (artık kullanım dışıdır). İki sürüm arasındaki güncelleştirilmiş farklar için bkz. [_]/release-notes/runtime/5.5xml.md).

  • 15 Haziran 2021, Saat 2021, Ağustos 2021, Saat 20:00

    • [SPARK-35576][SQL] Ayarla komutunun sonucunda hassas bilgileri yeniden işlem

  • 7 Haziran 2021, Ağustos 2021, Saat 20:00

    • adlı, isteğe bağlı ek uzak maven yansıtmasının virgülle ayrılmış dize yapılandırması adlı spark.sql.maven.additionalRemoteRepositoriesyeni bir yapılandırma ekleyin. Değer varsayılan olarak olarak gösterilir https://maven-central.storage-download.googleapis.com/maven2/.

  • 30 Nisan 2021, Saat 2021, Temmuz 2021, Saat 20:00

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-35227][DERLE] SparkSubmit'te spark paketleri için çözümleyiciyi güncelleştirme

  • 9 Mart 2021 Salı

    • HADOOP-17215 numaralı bağlantı noktasını Azure Blob Dosya Sistemi sürücüsüne (koşullu üzerine yazma desteği).

  • 24 Şubat 2021, Saat 2021, Şubat 2021, Saat 20:00

    • Yeni bir yapılandırma spark.databricks.hive.metastore.init.reloadFunctions.enabledkullanıma sunulmuştur. Bu yapılandırma yerleşik Hive başlatmasını denetler. True olarak ayarlandığında Azure Databricks, kullanıcıların sahip olduğu tüm veritabanlarındaki tüm işlevleri içine FunctionRegistryyeniden yükler. Bu, Hive Meta Veri Deposu'ndaki varsayılan davranıştır. False olarak ayarlandığında, Azure Databricks iyileştirme için bu işlemi devre dışı bırakır.

  • 12 Ocak 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [HADOOP-17130] düzeltmesi.

  • 8 Aralık 2020 Salı

    • [SPARK-27421][SQL] Bölüm sütunu ayıklama sırasında int sütunu ve değer sınıfı java.lang.String için filtre düzeltildi
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Aralık 2020 Salı

    • [SPARK-33260][SQL] sortOrder Stream olduğunda SortExec'ten gelen yanlış sonuçları düzeltme
    • [SPARK-32635][SQL] Katlanabilir yayma düzeltmesi

  • 29 Ekim 2020, Cumartesi

    • Java sürümü 1.8.0_252 sürümünden 1.8.0_265 sürümüne yükseltildi.
    • USERGroupInformation.getCurrentUser() ile ilgili OLARAK ABFS ve WASB kilitlemesi düzeltildi
    • MAGIC baytlarını okurken Avro okuyucusunun sonsuz döngü hatasını düzeltin.

  • 13 Ekim 2020

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-32999][SQL] [2.4] TreeNode'da Hatalı Biçimlendirilmiş sınıf adına çarpmamak için Utils.getSimpleName kullanın

  • 24 Eylül 2020, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 8 Eylül 2020 Salı

    • Azure Synapse Analytics için yeni bir parametre oluşturuldu. maxbinlength Bu parametre BinaryType sütunlarının sütun uzunluğunu denetlemek için kullanılır ve olarak VARBINARY(maxbinlength)çevrilir. kullanılarak .option("maxbinlength", n)ayarlanabilir; burada 0 < n <= 8000 olur.

  • 18 Ağustos 2020

    • [SPARK-32431][SQL] Yerleşik veri kaynaklarından okunan yinelenen iç içe sütunları denetleme
    • Trigger.Once kullanılırken AQS bağlayıcısında bir yarış durumu düzeltildi.

  • 11 Ağustos 2020

    • [SPARK-28676][CORE] ContextCleaner'dan aşırı günlük kaydı yapmaktan kaçının

  • 3 Ağustos 2020, Ağustos 2020, Ağustos 2020, Ağustos 2020

    • İşletim sistemi güvenlik güncelleştirmeleri

  • 7 Temmuz 2020, Saat 20:00

    • Java sürümü 1.8.0_232 sürümünden 1.8.0_252 sürümüne yükseltildi.

  • 21 Nisan 2020, Saat 2020, Ekim 2020, Saat 20:00

    • [SPARK-31312][SQL] HiveFunctionWrapper'da UDF örneği için Önbellek Sınıfı örneği

  • 7 Nisan 2020

    • Pandas udf'nin PyArrow 0.15.0 ve üzeri sürümlerle çalışmaması sorununu çözmek için, PyArrow'un bu sürümleri için destek sağlamak üzere bir ortam değişkeni (ARROW_PRE_0_15_IPC_FORMAT=1) ekledik. [SPARK-29367] içindeki yönergelere bakın.

  • 25 Mart 2020, Saat 20:00

    • Databricks Runtime'da bulunan Snowflake bağlayıcısı (spark-snowflake_2.11) 2.5.9 sürümüne güncelleştirildi. snowflake-jdbc 3.12.0 sürümüne güncelleştirildi.

  • 10 Mart 2020

    • stdout'a yayılan günlük çıkışı gibi iş çıktısı 20 MB boyut sınırına tabidir. Toplam çıkışın boyutu daha büyükse, çalıştırma iptal edilir ve başarısız olarak işaretlenir. Bu sınırla karşılaşmamak için, Spark yapılandırmasını trueolarak ayarlayarak spark.databricks.driver.disableScalaOutput stdout'un sürücüden 'a döndürülmesini engelleyebilirsiniz. Varsayılan olarak bayrak değeri şeklindedir false. Bayrak, Scala JAR işleri ve Scala not defterleri için hücre çıkışını denetler. Bayrak etkinleştirilirse Spark, istemciye iş yürütme sonuçları döndürmez. Bayrağı, kümenin günlük dosyalarına yazılan verileri etkilemez. Not defteri sonuçlarını devre dışı bırakacağından, bu bayrağın ayarlanması yalnızca JAR işleri için otomatik kümeler için önerilir.

  • 18 Şubat 2020, Saat 2020, Şubat 2020, Saat 20:00

    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 özel durum oluşturmalıdır
    • ADLS 2. Nesil ile kimlik bilgisi geçişi, ADLS istemcisi ön oluşturma etkinleştirildiğinde yanlış iş parçacığı yerel işlemesi nedeniyle performans düşüşü yaşar. Bu sürüm, düzgün bir düzeltme elde edene kadar kimlik bilgisi geçişi etkinleştirildiğinde ADLS 2. Nesil ön yüklemesini devre dışı bırakır.

  • 28 Ocak 2020, Saat 2020, Saat 20:00

  • 14 Ocak 2020

    • Java sürümü 1.8.0_222 sürümünden 1.8.0_232 sürümüne yükseltildi.

  • 19 Kasım 2019, Saat 2019, Kasım 2019, Kasım 2019, Kasım 20

    • [SPARK-29743] [SQL] örneği, çocuğunun needCopyResult değeri true ise needCopyResult değerini true olarak ayarlamalıdır
    • R sürümü istemeden 3.6.0 sürümünden 3.6.1 sürümüne yükseltildi. 3.6.0'a geri indirdik.

  • 5 Kasım 2019

    • Java sürümü 1.8.0_212 sürümünden 1.8.0_222 sürümüne yükseltildi.

  • 23 Ekim 2019, Cumartesi

    • [SPARK-29244][CORE] BytesToBytesMap'te boş sayfayı yeniden engelleme

  • 8 Ekim 2019 Salı

    • Simba Apache Spark ODBC sürücüsünün sonuçları getirme sırasında bir bağlantı hatasından sonra yeniden bağlanmasına ve devam etmesi için sunucu tarafı değişiklikleri (Simba Apache Spark ODBC sürücü sürümü 2.6.10 gerektirir).
    • Tablo ACL özellikli kümelerle komutun kullanılmasını Optimize etkileyen bir sorun düzeltildi.
    • Tablo ACL'sinde Scala UDF yasak hatası ve kimlik bilgisi geçişi etkin kümeler nedeniyle kitaplıkların başarısız olması sorunu pyspark.ml düzeltildi.
    • Kimlik bilgisi geçişi için izin verilenler listesine alınan SerDe ve SerDeUtil yöntemleri.
    • WASB istemcisinde hata kodu denetlenirken NullPointerException düzeltildi.

  • 24 Eylül 2019, Cumartesi

    • Parquet yazarının kararlılığı geliştirildi.
    • Yürütülmeye başlamadan önce Thrift sorgusunun iptal ettiği sorunun STARTED durumunda takılması sorunu düzeltildi.

  • 10 Eylül 2019

    • BytesToBytesMap'e iş parçacığı güvenli yineleyici ekleme
    • [SPARK-27992][SPARK-28881]Python'ın hataları yaymak için bağlantı iş parçacığına katılmasına izin verme
    • Belirli genel toplama sorgularını etkileyen bir hata düzeltildi.
    • Geliştirilmiş kimlik bilgisi yeniden eylem.
    • [SPARK-27330][SS] foreach yazıcısında destek görevi durdurma
    • [SPARK-28642]SHOW CREATE TABLE'da kimlik bilgilerini gizleme
    • [SPARK-28699][SQL] Yeniden bölümleme durumunda ShuffleExchangeExec için radix sıralamasını kullanmayı devre dışı bırakma

  • 27 Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos

    • [SPARK-20906][SQL] Şema kayıt defteriyle API to_avro kullanıcı tarafından belirtilen şemaya izin ver
    • [SPARK-27838][SQL] Destek kullanıcısı null kayıt olmadan null atanabilir katalizör şeması için null atanamaz avro şeması sağladı
    • Delta Lake zaman yolculuğunda iyileştirme
    • Belirli transform ifadeyi etkileyen bir sorun düzeltildi
    • İşlem Yalıtımı etkinleştirildiğinde yayın değişkenlerini destekler

  • 13 Ağustos 2019

    • Delta akış kaynağı bir tablonun en son protokolünün denetlenmesi gerekir
    • [SPARK-28260]ExecutionState'e CLOSED durumu ekleme
    • [SPARK-28489][SS] KafkaOffsetRangeCalculator.getRanges'in uzaklıkları bırakabileceği hata düzeltildi

  • 30 Temmuz 2019, Saat 2019, Temmuz 2019, Ağustos 2019, Ağustos

    • [SPARK-28015][SQL] stringToDate() öğesinin y ve yy-[m]m biçimleri için tüm girişi tükettiğinden emin olun
    • [SPARK-28308][CORE] Ayrıştırmadan önce CalendarInterval alt saniye bölümü doldurulmalıdır
    • [SPARK-27485]EnsureRequirements.reorder yinelenen ifadeleri düzgün bir şekilde işlemelidir
    • [SPARK-28355][CORE] [PYTHON] UDF'nin yayın tarafından sıkıştırıldığı eşik için Spark konfını kullanma

Databricks Light 2.4 Genişletilmiş Desteği

Bkz . Databricks Light 2.4 (desteklenmiyor) ve Databricks Light 2.4 Genişletilmiş Desteği (desteklenmeyen).

Databricks Runtime 7.4 (desteklenmiyor)

Bkz . Databricks Runtime 7.4 (desteklenmiyor).

  • 30 Nisan 2021, Saat 2021, Temmuz 2021, Saat 20:00

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-35227][DERLE] SparkSubmit'te spark paketleri için çözümleyiciyi güncelleştirme
    • [SPARK-34245][CORE] Master'ın tamamlanmış durumu gönderemeyen yürütücüleri kaldırdığından emin olun
    • [SPARK-35045][SQL] Giriş arabelleği tek başına denetlemek için bir iç seçenek ve CSV giriş arabelleği boyutu için yapılandırma ekleme

  • 24 Mart 2021, Saat 2021, Şubat 2021, Saat 20:00

    • [SPARK-34768][SQL] Univocity'de varsayılan giriş arabelleği boyutuna saygı gösterin
    • [SPARK-34534] Blokları getirmek için FetchShuffleBlocks kullanıldığında blockIds sırasını düzeltme

  • 9 Mart 2021 Salı

    • Azure Data Lake Storage 2. Nesil için güncelleştirilmiş Azure Blob Dosya Sistemi sürücüsü artık varsayılan olarak etkindir. Birden çok kararlılık geliştirmesi getirir.
    • [ES-67926] [UI] Spark DAG Görselleştirmesi'nin href bağlantısını düzeltme
    • [ES-65064] Çıkış şemasını geri yükleme SHOW DATABASES
    • [SC-70522] [SQL] Aralık birleştirme ipucu mevcut olduğunda doğru dinamik ayıklama derleme anahtarını kullanın
    • [SC-35081] Disk önbelleğinde Delta tablo dosyaları için eskime denetimini devre dışı bırakma
    • [SC-70640] EventGridClient yanıtının varlığı olmadığında NPE düzeltilir
    • [SC-70220] [SQL] AOS etkinleştirildiğinde karışık bölüm numarası önerisi oluşturmayın

  • 24 Şubat 2021, Saat 2021, Şubat 2021, Saat 20:00

    • Çeşitli hata düzeltmeleri ve Ok ve Avro yineleyicileri desteği sunan Spark BigQuery bağlayıcısı v0.18'e yükseltildi.
    • Parquet dosyasının ondalık duyarlığı ve ölçeği Spark şemasından farklı olduğunda Spark'ın yanlış sonuçlar döndürmesine neden olan bir doğruluk sorunu düzeltildi.
    • Spark SQL için geometri ve coğrafya JDBC türleri desteği ekleyerek uzamsal veri türleri içeren Microsoft SQL Server tablolarında okuma hatası sorunu düzeltildi.
    • Yeni bir yapılandırma spark.databricks.hive.metastore.init.reloadFunctions.enabledkullanıma sunulmuştur. Bu yapılandırma yerleşik Hive başlatmasını denetler. True olarak ayarlandığında Azure Databricks, kullanıcıların sahip olduğu tüm veritabanlarındaki tüm işlevleri içine FunctionRegistryyeniden yükler. Bu, Hive Meta Veri Deposu'ndaki varsayılan davranıştır. False olarak ayarlandığında, Azure Databricks iyileştirme için bu işlemi devre dışı bırakır.
    • [SPARK-34212] Parquet dosyalarından ondalık verileri okumayla ilgili sorunlar düzeltildi.
    • [SPARK-33579][UI] Yürütücü ara sunucusunun arkasındaki boş sayfa düzeltildi.
    • [SPARK-20044][UI] Yol ön ekini kullanarak ön uç ters ara sunucusunun arkasındaki Spark kullanıcı arabirimini destekleyin.
    • [SPARK-33277][PYSPARK] [SQL] Görev sona erdikten sonra kullanmayı durdurmak için ContextAwareIterator'ı kullanın.

  • 4 Şubat 2021, Saat 2021

    • gibi SELECT * FROM table LIMIT nrowsgenel bir sınır ayarlayan bir sorgunun artımlı yürütülmesini engelleyen bir regresyon düzeltildi. Regresyon, ODBC/JDBC aracılığıyla sorgu çalıştıran kullanıcılar tarafından Ok serileştirmesi etkinleştirildi.
    • Küme ortamı değişken yapılandırmaları geçersiz bash söz dizimi içerdiğinde DBFS FUSE'ın başlatılamamasına neden olan bir regresyon düzeltildi.

  • 20 Ocak 2021

    • 12 Ocak 2021 bakım sürümünde yanlış AnalysisException'a neden olabilen ve sütunun kendi kendine birleştirmede belirsiz olduğunu belirten bir regresyon düzeltildi. Bu regresyon, kullanıcı bir DataFrame'i türetilmiş DataFrame'i (kendi kendine birleştirme olarak adlandırılır) aşağıdaki koşullarla birleştirdiğinde gerçekleşir:
      • Bu iki DataFrame'in ortak sütunları vardır, ancak kendi kendine birleştirmenin çıktısı ortak sütunlara sahip değildir. Örneğin df.join(df.select($"col" as "new_col"), cond)
      • Türetilmiş DataFrame, select, groupBy veya pencere aracılığıyla bazı sütunları dışlar.
      • Birleştirme koşulu veya birleştirilmiş Dataframe'in ardından gelen aşağıdaki dönüştürme ortak olmayan sütunlara başvurur. Örneğin df.join(df.drop("a"), df("a") === 1)

  • 12 Ocak 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-33593][SQL] Vektör okuyucu ikili bölüm değeriyle yanlış veri aldı
    • [SPARK-33677][SQL] Desende escapeChar varsa LikeSimplification kuralını atlayın
    • [SPARK-33071][SPARK-33536] [SQL] DetectAmbiguousSelfJoin'ı kesmemek için join() içindeki LogicalPlan'ın dataset_id değiştirmekten kaçının

  • 8 Aralık 2020 Salı

    • [SPARK-33587][CORE] İç içe önemli hatalarda yürütücüsü sonlandırma
    • [SPARK-27421][SQL] Bölüm sütunu ayıklama sırasında int sütunu ve değer sınıfı java.lang.String için filtre düzeltildi
    • [SPARK-33316][SQL] Destek kullanıcısı Avro yazmada null atanamaz katalizör şeması için null atanabilir Avro şeması sağladı
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Aralık 2020 Salı

    • [SPARK-33404][SQL] [3.0] İfadedeki yanlış sonuçlar düzeltildi date_trunc
    • [SPARK-33339][PYTHON] Pyspark uygulaması Özel Durum dışı hata nedeniyle kilitleniyor
    • [SPARK-33183][SQL] [DÜZELTME] İyileştirici kuralını düzeltmeOrtları Ortadan Kaldırma ve yedekli sıralamaları kaldırmak için fiziksel bir kural ekleme
    • [SPARK-33371][PYTHON] [3.0] Python 3.9 için setup.py ve testleri güncelleştirme
    • [SPARK-33391][SQL] CreateArray ile element_at tek bir tabanlı dizine uymaz.
    • [SPARK-33306][SQL] Tarih dizeye türerken saat dilimi gereklidir
    • [SPARK-33260][SQL] sortOrder Stream olduğunda SortExec'ten gelen yanlış sonuçları düzeltme
    • [SPARK-33272][SQL] QueryPlan.transformUpWithNewOutput'ta öznitelik eşlemesini ayıklama

Databricks Runtime 7.2 (desteklenmiyor)

Bkz . Databricks Runtime 7.2 (desteklenmiyor).

  • 4 Şubat 2021, Saat 2021

    • gibi SELECT * FROM table LIMIT nrowsgenel bir sınır ayarlayan bir sorgunun artımlı yürütülmesini engelleyen bir regresyon düzeltildi. Regresyon, ODBC/JDBC aracılığıyla sorgu çalıştıran kullanıcılar tarafından Ok serileştirmesi etkinleştirildi.
    • Küme ortamı değişken yapılandırmaları geçersiz bash söz dizimi içerdiğinde DBFS FUSE'ın başlatılamamasına neden olan bir regresyon düzeltildi.

  • 20 Ocak 2021

    • 12 Ocak 2021 bakım sürümünde yanlış AnalysisException'a neden olabilen ve sütunun kendi kendine birleştirmede belirsiz olduğunu belirten bir regresyon düzeltildi. Bu regresyon, kullanıcı bir DataFrame'i türetilmiş DataFrame'i (kendi kendine birleştirme olarak adlandırılır) aşağıdaki koşullarla birleştirdiğinde gerçekleşir:
      • Bu iki DataFrame'in ortak sütunları vardır, ancak kendi kendine birleştirmenin çıktısı ortak sütunlara sahip değildir. Örneğin df.join(df.select($"col" as "new_col"), cond)
      • Türetilmiş DataFrame, select, groupBy veya pencere aracılığıyla bazı sütunları dışlar.
      • Birleştirme koşulu veya birleştirilmiş Dataframe'in ardından gelen aşağıdaki dönüştürme ortak olmayan sütunlara başvurur. Örneğin df.join(df.drop("a"), df("a") === 1)

  • 12 Ocak 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-33593][SQL] Vektör okuyucu ikili bölüm değeriyle yanlış veri aldı
    • [SPARK-33677][SQL] Desende escapeChar varsa LikeSimplification kuralını atlayın
    • [SPARK-33071][SPARK-33536] [SQL] DetectAmbiguousSelfJoin'ı kesmemek için join() içindeki LogicalPlan'ın dataset_id değiştirmekten kaçının

  • 8 Aralık 2020 Salı

    • [SPARK-27421][SQL] Bölüm sütunu ayıklama sırasında int sütunu ve değer sınıfı java.lang.String için filtre düzeltildi
    • [SPARK-33404][SQL] İfadedeki date_trunc yanlış sonuçları düzeltme
    • [SPARK-33339][PYTHON] Pyspark uygulaması Özel Durum dışı hata nedeniyle kilitleniyor
    • [SPARK-33183][SQL] İyileştirici kuralını düzeltmeOrtları Ortadan Kaldırma ve yedekli sıralamaları kaldırmak için fiziksel bir kural ekleme
    • [SPARK-33391][SQL] CreateArray ile element_at tek bir tabanlı dizine uymaz.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Aralık 2020 Salı

    • [SPARK-33306][SQL] Tarih dizeye türerken saat dilimi gereklidir
    • [SPARK-33260][SQL] sortOrder Stream olduğunda SortExec'ten gelen yanlış sonuçları düzeltme

  • 3 Kasım 2020

    • Java sürümü 1.8.0_252 sürümünden 1.8.0_265 sürümüne yükseltildi.
    • USERGroupInformation.getCurrentUser() ile ilgili OLARAK ABFS ve WASB kilitlemesi düzeltildi
    • MAGIC baytlarını okurken Avro okuyucusunun sonsuz döngü hatasını düzeltin.

  • 13 Ekim 2020

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-32999][SQL] TreeNode'da Hatalı Biçimlendirilmiş sınıf adına çarpmamak için Utils.getSimpleName kullanın
    • FUSE bağlamasında geçersiz XML karakterlerine sahip dosya adları içeren dizinlerin listelenmesi düzeltildi
    • FUSE bağlaması artık ListMultipartUploads kullanmıyor

  • 29 Eylül 2020

    • [SPARK-28863][SQL] [WARMFIX] V1FallbackWriters'ın yeniden analiz edilmesini önlemek için AlreadyOptimized'ı tanıtın
    • [SPARK-32635][SQL] Katlanabilir yayma düzeltmesi
    • Yeni bir yapılandırma spark.shuffle.io.decoder.consolidateThresholdekleyin. Köşe durumlarını önleyen java.lang.IndexOutOfBoundsException netty FrameBuffers birleştirmesini atlamak için Long.MAX_VALUE yapılandırma değerini olarak ayarlayın.

  • 24 Eylül 2020, Cumartesi

    • [SPARK-32764][SQL] -0,0, 0,0'a eşit olmalıdır
    • [SPARK-32753][SQL] Planları dönüştürürken etiketleri yalnızca etiketsiz düğüme kopyalama
    • [SPARK-32659][SQL] Atomik olmayan türde eklenen Dinamik Bölüm Ayıklama veri sorununu düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 8 Eylül 2020 Salı

    • Azure Synapse Analytics için yeni bir parametre oluşturuldu. maxbinlength Bu parametre BinaryType sütunlarının sütun uzunluğunu denetlemek için kullanılır ve olarak VARBINARY(maxbinlength)çevrilir. kullanılarak .option("maxbinlength", n)ayarlanabilir; burada 0 < n <= 8000 olur.

Databricks Runtime 7.1 (desteklenmiyor)

Bkz . Databricks Runtime 7.1 (desteklenmiyor).

  • 4 Şubat 2021, Saat 2021

    • Küme ortamı değişken yapılandırmaları geçersiz bash söz dizimi içerdiğinde DBFS FUSE'ın başlatılamamasına neden olan bir regresyon düzeltildi.

  • 20 Ocak 2021

    • 12 Ocak 2021 bakım sürümünde yanlış AnalysisException'a neden olabilen ve sütunun kendi kendine birleştirmede belirsiz olduğunu belirten bir regresyon düzeltildi. Bu regresyon, kullanıcı bir DataFrame'i türetilmiş DataFrame'i (kendi kendine birleştirme olarak adlandırılır) aşağıdaki koşullarla birleştirdiğinde gerçekleşir:
      • Bu iki DataFrame'in ortak sütunları vardır, ancak kendi kendine birleştirmenin çıktısı ortak sütunlara sahip değildir. Örneğin df.join(df.select($"col" as "new_col"), cond)
      • Türetilmiş DataFrame, select, groupBy veya pencere aracılığıyla bazı sütunları dışlar.
      • Birleştirme koşulu veya birleştirilmiş Dataframe'in ardından gelen aşağıdaki dönüştürme ortak olmayan sütunlara başvurur. Örneğin df.join(df.drop("a"), df("a") === 1)

  • 12 Ocak 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-33593][SQL] Vektör okuyucu ikili bölüm değeriyle yanlış veri aldı
    • [SPARK-33677][SQL] Desende escapeChar varsa LikeSimplification kuralını atlayın
    • [SPARK-33071][SPARK-33536] [SQL] DetectAmbiguousSelfJoin'ı kesmemek için join() içindeki LogicalPlan'ın dataset_id değiştirmekten kaçının

  • 8 Aralık 2020 Salı

    • [SPARK-27421][SQL] Bölüm sütunu ayıklama sırasında int sütunu ve değer sınıfı java.lang.String için filtre düzeltildi
    • Databricks Connect kullanılarak başlatılan Spark İşleri yürütücü yığını izlemesinde süresiz olarak Executor$TaskRunner.$anonfun$copySessionState kilitlenebilir
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Aralık 2020 Salı

    • [SPARK-33404][SQL] [3.0] İfadedeki yanlış sonuçlar düzeltildi date_trunc
    • [SPARK-33339][PYTHON] Pyspark uygulaması Özel Durum dışı hata nedeniyle kilitleniyor
    • [SPARK-33183][SQL] [DÜZELTME] İyileştirici kuralını düzeltmeOrtları Ortadan Kaldırma ve yedekli sıralamaları kaldırmak için fiziksel bir kural ekleme
    • [SPARK-33371][PYTHON] [3.0] Python 3.9 için setup.py ve testleri güncelleştirme
    • [SPARK-33391][SQL] CreateArray ile element_at tek bir tabanlı dizine uymaz.
    • [SPARK-33306][SQL] Tarih dizeye türerken saat dilimi gereklidir

  • 3 Kasım 2020

    • Java sürümü 1.8.0_252 sürümünden 1.8.0_265 sürümüne yükseltildi.
    • USERGroupInformation.getCurrentUser() ile ilgili OLARAK ABFS ve WASB kilitlemesi düzeltildi
    • MAGIC baytlarını okurken Avro okuyucusunun sonsuz döngü hatasını düzeltin.

  • 13 Ekim 2020

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-32999][SQL] TreeNode'da Hatalı Biçimlendirilmiş sınıf adına çarpmamak için Utils.getSimpleName kullanın
    • FUSE bağlamasında geçersiz XML karakterlerine sahip dosya adları içeren dizinlerin listelenmesi düzeltildi
    • FUSE bağlaması artık ListMultipartUploads kullanmıyor

  • 29 Eylül 2020

    • [SPARK-28863][SQL] [WARMFIX] V1FallbackWriters'ın yeniden analiz edilmesini önlemek için AlreadyOptimized'ı tanıtın
    • [SPARK-32635][SQL] Katlanabilir yayma düzeltmesi
    • Yeni bir yapılandırma spark.shuffle.io.decoder.consolidateThresholdekleyin. Köşe durumlarını önleyen java.lang.IndexOutOfBoundsException netty FrameBuffers birleştirmesini atlamak için Long.MAX_VALUE yapılandırma değerini olarak ayarlayın.

  • 24 Eylül 2020, Cumartesi

    • [SPARK-32764][SQL] -0,0, 0,0'a eşit olmalıdır
    • [SPARK-32753][SQL] Planları dönüştürürken etiketleri yalnızca etiketsiz düğüme kopyalama
    • [SPARK-32659][SQL] Atomik olmayan türde eklenen Dinamik Bölüm Ayıklama veri sorununu düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 8 Eylül 2020 Salı

    • Azure Synapse Analytics için yeni bir parametre oluşturuldu. maxbinlength Bu parametre BinaryType sütunlarının sütun uzunluğunu denetlemek için kullanılır ve olarak VARBINARY(maxbinlength)çevrilir. kullanılarak .option("maxbinlength", n)ayarlanabilir; burada 0 < n <= 8000 olur.

  • 25 Ağustos 2020, Ağustos 2020, Ağustos 2020, Ağustos 2020, Ağustos

    • [SPARK-32159][SQL] ve arasındaki Aggregator[Array[_], _, _] tümleştirmeyi düzeltme UnresolvedMapObjects
    • [SPARK-32559][SQL] 'de UTF8String.toInt/toLongASCII olmayan karakterleri doğru işlemeyen kırpma mantığını düzeltin
    • [SPARK-32543][R] SparkR'da kullanımı kaldırma arrow::as_tibble
    • [SPARK-32091][CORE] Kayıp yürütücüdeki blokları kaldırırken zaman aşımı hatasını yoksay
    • MSI kimlik bilgileriyle Azure Synapse bağlayıcısını etkileyen bir sorun düzeltildi
    • Kendi kendine birleştirmede belirsiz öznitelik çözümlemesi düzeltildi

  • 18 Ağustos 2020

    • [SPARK-32594][SQL] Hive tablolarına eklenen tarihlerin seri hale getirilmesi düzeltildi
    • [SPARK-32237][SQL] CTE'de ipucunu çözme
    • [SPARK-32431][SQL] Yerleşik veri kaynaklarından okunan yinelenen iç içe sütunları denetleme
    • [SPARK-32467][UI] HTTPS yeniden yönlendirmesinde URL'yi iki kez kodlamaktan kaçının
    • Trigger.Once kullanılırken AQS bağlayıcısında bir yarış durumu düzeltildi.

  • 11 Ağustos 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight yalnızca çakışma planının ata düğümleri için öznitelikleri yeniden yazmalıdır
    • [SPARK-32234][SQL] Spark SQL komutları ORC tablolarını seçmede başarısız oluyor

  • 3 Ağustos 2020, Ağustos 2020, Ağustos 2020, Ağustos 2020

    • Artık geçiş özellikli bir kümede LDA dönüştürme işlevini kullanabilirsiniz.

Databricks Runtime 7.0 (desteklenmiyor)

Bkz . Databricks Runtime 7.0 (desteklenmiyor).

  • 4 Şubat 2021, Saat 2021

    • Küme ortamı değişken yapılandırmaları geçersiz bash söz dizimi içerdiğinde DBFS FUSE'ın başlatılamamasına neden olan bir regresyon düzeltildi.

  • 20 Ocak 2021

    • 12 Ocak 2021 bakım sürümünde yanlış AnalysisException'a neden olabilen ve sütunun kendi kendine birleştirmede belirsiz olduğunu belirten bir regresyon düzeltildi. Bu regresyon, kullanıcı bir DataFrame'i türetilmiş DataFrame'i (kendi kendine birleştirme olarak adlandırılır) aşağıdaki koşullarla birleştirdiğinde gerçekleşir:
      • Bu iki DataFrame'in ortak sütunları vardır, ancak kendi kendine birleştirmenin çıktısı ortak sütunlara sahip değildir. Örneğin df.join(df.select($"col" as "new_col"), cond)
      • Türetilmiş DataFrame, select, groupBy veya pencere aracılığıyla bazı sütunları dışlar.
      • Birleştirme koşulu veya birleştirilmiş Dataframe'in ardından gelen aşağıdaki dönüştürme ortak olmayan sütunlara başvurur. Örneğin df.join(df.drop("a"), df("a") === 1)

  • 12 Ocak 2021

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-33593][SQL] Vektör okuyucu ikili bölüm değeriyle yanlış veri aldı
    • [SPARK-33677][SQL] Desende escapeChar varsa LikeSimplification kuralını atlayın
    • [SPARK-33071][SPARK-33536] [SQL] DetectAmbiguousSelfJoin'ı kesmemek için join() içindeki LogicalPlan'ın dataset_id değiştirmekten kaçının

  • 8 Aralık 2020 Salı

    • [SPARK-27421][SQL] Bölüm sütunu ayıklama sırasında int sütunu ve değer sınıfı java.lang.String için filtre düzeltildi
    • [SPARK-33404][SQL] İfadedeki date_trunc yanlış sonuçları düzeltme
    • [SPARK-33339][PYTHON] Pyspark uygulaması Özel Durum dışı hata nedeniyle kilitleniyor
    • [SPARK-33183][SQL] İyileştirici kuralını düzeltmeOrtları Ortadan Kaldırma ve yedekli sıralamaları kaldırmak için fiziksel bir kural ekleme
    • [SPARK-33391][SQL] CreateArray ile element_at tek bir tabanlı dizine uymaz.
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 1 Aralık 2020 Salı

    • [SPARK-33306][SQL] Tarih dizeye türerken saat dilimi gereklidir

  • 3 Kasım 2020

    • Java sürümü 1.8.0_252 sürümünden 1.8.0_265 sürümüne yükseltildi.
    • USERGroupInformation.getCurrentUser() ile ilgili OLARAK ABFS ve WASB kilitlemesi düzeltildi
    • MAGIC baytlarını okurken Avro okuyucusunun sonsuz döngü hatasını düzeltin.

  • 13 Ekim 2020

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-32999][SQL] TreeNode'da Hatalı Biçimlendirilmiş sınıf adına çarpmamak için Utils.getSimpleName kullanın
    • FUSE bağlamasında geçersiz XML karakterlerine sahip dosya adları içeren dizinlerin listelenmesi düzeltildi
    • FUSE bağlaması artık ListMultipartUploads kullanmıyor

  • 29 Eylül 2020

    • [SPARK-28863][SQL] [WARMFIX] V1FallbackWriters'ın yeniden analiz edilmesini önlemek için AlreadyOptimized'ı tanıtın
    • [SPARK-32635][SQL] Katlanabilir yayma düzeltmesi
    • Yeni bir yapılandırma spark.shuffle.io.decoder.consolidateThresholdekleyin. Köşe durumlarını önleyen java.lang.IndexOutOfBoundsException netty FrameBuffers birleştirmesini atlamak için Long.MAX_VALUE yapılandırma değerini olarak ayarlayın.

  • 24 Eylül 2020, Cumartesi

    • [SPARK-32764][SQL] -0,0, 0,0'a eşit olmalıdır
    • [SPARK-32753][SQL] Planları dönüştürürken etiketleri yalnızca etiketsiz düğüme kopyalama
    • [SPARK-32659][SQL] Atomik olmayan türde eklenen Dinamik Bölüm Ayıklama veri sorununu düzeltme
    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 8 Eylül 2020 Salı

    • Azure Synapse Analytics için yeni bir parametre oluşturuldu. maxbinlength Bu parametre BinaryType sütunlarının sütun uzunluğunu denetlemek için kullanılır ve olarak VARBINARY(maxbinlength)çevrilir. kullanılarak .option("maxbinlength", n)ayarlanabilir; burada 0 < n <= 8000 olur.

  • 25 Ağustos 2020, Ağustos 2020, Ağustos 2020, Ağustos 2020, Ağustos

    • [SPARK-32159][SQL] ve arasındaki Aggregator[Array[_], _, _] tümleştirmeyi düzeltme UnresolvedMapObjects
    • [SPARK-32559][SQL] 'de UTF8String.toInt/toLongASCII olmayan karakterleri doğru işlemeyen kırpma mantığını düzeltin
    • [SPARK-32543][R] SparkR'da kullanımı kaldırma arrow::as_tibble
    • [SPARK-32091][CORE] Kayıp yürütücüdeki blokları kaldırırken zaman aşımı hatasını yoksay
    • MSI kimlik bilgileriyle Azure Synapse bağlayıcısını etkileyen bir sorun düzeltildi
    • Kendi kendine birleştirmede belirsiz öznitelik çözümlemesi düzeltildi

  • 18 Ağustos 2020

    • [SPARK-32594][SQL] Hive tablolarına eklenen tarihlerin seri hale getirilmesi düzeltildi
    • [SPARK-32237][SQL] CTE'de ipucunu çözme
    • [SPARK-32431][SQL] Yerleşik veri kaynaklarından okunan yinelenen iç içe sütunları denetleme
    • [SPARK-32467][UI] HTTPS yeniden yönlendirmesinde URL'yi iki kez kodlamaktan kaçının
    • Trigger.Once kullanılırken AQS bağlayıcısında bir yarış durumu düzeltildi.

  • 11 Ağustos 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight yalnızca çakışma planının ata düğümleri için öznitelikleri yeniden yazmalıdır
    • [SPARK-32234][SQL] Spark SQL komutları ORC tablolarını seçmede başarısız oluyor
    • Artık geçiş özellikli bir kümede LDA dönüştürme işlevini kullanabilirsiniz.

Databricks Runtime 6.6 (desteklenmiyor)

Bkz . Databricks Runtime 6.6 (desteklenmiyor).

  • 1 Aralık 2020 Salı

    • [SPARK-33260][SQL] sortOrder Stream olduğunda SortExec'ten gelen yanlış sonuçları düzeltme
    • [SPARK-32635][SQL] Katlanabilir yayma düzeltmesi

  • 3 Kasım 2020

    • Java sürümü 1.8.0_252 sürümünden 1.8.0_265 sürümüne yükseltildi.
    • USERGroupInformation.getCurrentUser() ile ilgili OLARAK ABFS ve WASB kilitlemesi düzeltildi
    • MAGIC baytlarını okurken Avro okuyucusunun sonsuz döngü hatasını düzeltin.

  • 13 Ekim 2020

    • İşletim sistemi güvenlik güncelleştirmeleri.
    • [SPARK-32999][SQL] [2.4] TreeNode'da Hatalı Biçimlendirilmiş sınıf adına çarpmamak için Utils.getSimpleName kullanın
    • FUSE bağlamasında geçersiz XML karakterlerine sahip dosya adları içeren dizinlerin listelenmesi düzeltildi
    • FUSE bağlaması artık ListMultipartUploads kullanmıyor

  • 24 Eylül 2020, Cumartesi

    • İşletim sistemi güvenlik güncelleştirmeleri.

  • 8 Eylül 2020 Salı

    • Azure Synapse Analytics için yeni bir parametre oluşturuldu. maxbinlength Bu parametre BinaryType sütunlarının sütun uzunluğunu denetlemek için kullanılır ve olarak VARBINARY(maxbinlength)çevrilir. kullanılarak .option("maxbinlength", n)ayarlanabilir; burada 0 < n <= 8000 olur.
    • Azure Depolama SDK'sını 8.6.4'e güncelleştirin ve WASB sürücüsü tarafından yapılan bağlantılarda TCP'nin etkin kalmasını etkinleştirin

  • 25 Ağustos 2020, Ağustos 2020, Ağustos 2020, Ağustos 2020, Ağustos

    • Kendi kendine birleştirmede belirsiz öznitelik çözümlemesi düzeltildi

  • 18 Ağustos 2020

    • [SPARK-32431][SQL] Yerleşik veri kaynaklarından okunan yinelenen iç içe sütunları denetleme
    • Trigger.Once kullanılırken AQS bağlayıcısında bir yarış durumu düzeltildi.

  • 11 Ağustos 2020

    • [SPARK-28676][CORE] ContextCleaner'dan aşırı günlük kaydı yapmaktan kaçının
    • [SPARK-31967][UI] İşler kullanıcı arabirimi yükleme süresi regresyonunu düzeltmek için vis.js 4.21.0'a düşürme

  • 3 Ağustos 2020, Ağustos 2020, Ağustos 2020, Ağustos 2020

    • Artık geçiş özellikli bir kümede LDA dönüştürme işlevini kullanabilirsiniz.
    • İşletim sistemi güvenlik güncelleştirmeleri.

Databricks Runtime 6.5 (desteklenmiyor)

Bkz . Databricks Runtime 6.5 (desteklenmiyor).

  • 24 Eylül 2020, Cumartesi
    • Standart kümede geçiş işleminin, kullanıcının kullandığı dosya sistemi uygulamasını kısıtlamaya devam ettiği önceki bir sınırlama düzeltildi. Artık kullanıcılar kısıtlama olmadan yerel dosya sistemlerine erişebilir.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 8 Eylül 2020, Cumartesi
    • Azure Synapse Analytics için yeni bir parametre oluşturuldu. maxbinlength Bu parametre BinaryType sütunlarının sütun uzunluğunu denetlemek için kullanılır ve olarak VARBINARY(maxbinlength)çevrilir. kullanılarak .option("maxbinlength", n)ayarlanabilir; burada 0 < n <= 8000 olur.
    • Azure Depolama SDK'sını 8.6.4'e güncelleştirin ve WASB sürücüsü tarafından yapılan bağlantılarda TCP'nin etkin kalmasını etkinleştirin
  • 25 Ağustos 2020, Ağustos 2020, Ağustos 2020, Ağustos 2020, Ağustos
    • Kendi kendine birleştirmede belirsiz öznitelik çözümlemesi düzeltildi
  • 18 Ağustos 2020, Saat 2020, Ağustos 2020, Ağustos 2020, Saat
    • [SPARK-32431][SQL] Yerleşik veri kaynaklarından okunan yinelenen iç içe sütunları denetleme
    • Trigger.Once kullanılırken AQS bağlayıcısında bir yarış durumu düzeltildi.
  • 11 Ağustos 2020, Saat 2020, Ağustos 2020, Saat 20:00
    • [SPARK-28676][CORE] ContextCleaner'dan aşırı günlük kaydı yapmaktan kaçının
  • 3 Ağustos 2020, Ağustos 2020, Ağustos 2020, Ağustos 2020
    • Artık geçiş özellikli bir kümede LDA dönüştürme işlevini kullanabilirsiniz.
    • İşletim sistemi güvenlik güncelleştirmeleri.
  • 7 Temmuz 2020, Saat 20:00
    • Java sürümü 1.8.0_242 sürümünden 1.8.0_252 sürümüne yükseltildi.
  • 21 Nisan 2020, Saat 2020, Ekim 2020, Saat 20:00
    • [SPARK-31312][SQL] HiveFunctionWrapper'da UDF örneği için Önbellek Sınıfı örneği

Databricks Runtime 6.3 (desteklenmiyor)

Bkz . Databricks Runtime 6.3 (desteklenmiyor).

  • 7 Temmuz 2020, Saat 20:00
    • Java sürümü 1.8.0_232 sürümünden 1.8.0_252 sürümüne yükseltildi.
  • 21 Nisan 2020, Saat 2020, Ekim 2020, Saat 20:00
    • [SPARK-31312][SQL] HiveFunctionWrapper'da UDF örneği için Önbellek Sınıfı örneği
  • 7 Nisan 2020, Saat 20:00
    • Pandas udf'nin PyArrow 0.15.0 ve üzeri sürümlerle çalışmaması sorununu çözmek için, PyArrow'un bu sürümleri için destek sağlamak üzere bir ortam değişkeni (ARROW_PRE_0_15_IPC_FORMAT=1) ekledik. [SPARK-29367] içindeki yönergelere bakın.
  • 10 Mart 2020, Saat 20:00
    • Databricks Runtime'da bulunan Snowflake bağlayıcısı (spark-snowflake_2.11) 2.5.9 sürümüne güncelleştirildi. snowflake-jdbc 3.12.0 sürümüne güncelleştirildi.
  • 18 Şubat 2020, Saat 2020, Şubat 2020, Saat 20:00
    • ADLS 2. Nesil ile kimlik bilgisi geçişi, ADLS istemcisi ön oluşturma etkinleştirildiğinde yanlış iş parçacığı yerel işlemesi nedeniyle performans düşüşü yaşar. Bu sürüm, düzgün bir düzeltme elde edene kadar kimlik bilgisi geçişi etkinleştirildiğinde ADLS 2. Nesil ön yüklemesini devre dışı bırakır.
  • 11 Şubat 2020, Saat 2020, Şubat 2020, Saat 20:00
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 özel durum oluşturmalıdır
    • [SPARK-30447][SQL] Sabit yayma null atanabilirlik sorunu
    • [SPARK-28152][SQL] Eski MsSqlServerDialect sayısal eşlemesi için eski bir konfederasyon ekleme
    • MLModel'lerin MLWriter'ı genişleterek işlevi çağırabilmesi için üzerine yazma işlevine izin verilenler listesi.

Databricks Runtime 6.2 (desteklenmiyor)

Bkz . Databricks Runtime 6.2 (desteklenmiyor).

  • 21 Nisan 2020, Saat 2020, Ekim 2020, Saat 20:00
    • [SPARK-31312][SQL] HiveFunctionWrapper'da UDF örneği için Önbellek Sınıfı örneği
  • 7 Nisan 2020, Saat 20:00
    • Pandas udf'nin PyArrow 0.15.0 ve üzeri sürümlerle çalışmaması sorununu çözmek için, PyArrow'un bu sürümleri için destek sağlamak üzere bir ortam değişkeni (ARROW_PRE_0_15_IPC_FORMAT=1) ekledik. [SPARK-29367] içindeki yönergelere bakın.
  • 25 Mart 2020, Saat 20:00
    • stdout'a yayılan günlük çıkışı gibi iş çıktısı 20 MB boyut sınırına tabidir. Toplam çıkışın boyutu daha büyükse, çalıştırma iptal edilir ve başarısız olarak işaretlenir. Bu sınırla karşılaşmamak için, Spark yapılandırmasını trueolarak ayarlayarak spark.databricks.driver.disableScalaOutput stdout'un sürücüden 'a döndürülmesini engelleyebilirsiniz. Varsayılan olarak bayrak değeri şeklindedir false. Bayrak, Scala JAR işleri ve Scala not defterleri için hücre çıkışını denetler. Bayrak etkinleştirilirse Spark, istemciye iş yürütme sonuçları döndürmez. Bayrağı, kümenin günlük dosyalarına yazılan verileri etkilemez. Not defteri sonuçlarını devre dışı bırakacağından, bu bayrağın ayarlanması yalnızca JAR işleri için otomatik kümeler için önerilir.
  • 10 Mart 2020, Saat 20:00
    • Databricks Runtime'da bulunan Snowflake bağlayıcısı (spark-snowflake_2.11) 2.5.9 sürümüne güncelleştirildi. snowflake-jdbc 3.12.0 sürümüne güncelleştirildi.
  • 18 Şubat 2020, Saat 2020, Şubat 2020, Saat 20:00
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 özel durum oluşturmalıdır
    • ADLS 2. Nesil ile kimlik bilgisi geçişi, ADLS istemcisi ön oluşturma etkinleştirildiğinde yanlış iş parçacığı yerel işlemesi nedeniyle performans düşüşü yaşar. Bu sürüm, düzgün bir düzeltme elde edene kadar kimlik bilgisi geçişi etkinleştirildiğinde ADLS 2. Nesil ön yüklemesini devre dışı bırakır.
  • 28 Ocak 2020, Saat 2020, Saat 20:00
    • İzin verilen ML Model Yazıcılarının kimlik bilgisi geçişi için etkinleştirilen kümeler için üzerine yazma işlevi, model kaydetmenin kimlik bilgisi geçiş kümelerinde üzerine yazma modunu kullanabilmesini sağlar.
    • [SPARK-30447][SQL] Sabit yayma null atanabilirlik sorunu.
    • [SPARK-28152][SQL] Eski MsSqlServerDialect sayısal eşlemesi için eski bir konfederasyon ekleyin.
  • 14 Ocak 2020, Saat 2020, Saat 20:00
    • Java sürümü 1.8.0_222 sürümünden 1.8.0_232 sürümüne yükseltildi.
  • 10 Aralık 2019, Cumartesi
    • [SPARK-29904][SQL] Zaman damgalarını JSON/CSV veri kaynaklarına göre mikrosaniye duyarlığında ayrıştırma.

Databricks Runtime 6.1 (desteklenmiyor)

Bkz . Databricks Runtime 6.1 (desteklenmiyor).

  • 7 Nisan 2020, Saat 20:00
    • Pandas udf'nin PyArrow 0.15.0 ve üzeri sürümlerle çalışmaması sorununu çözmek için, PyArrow'un bu sürümleri için destek sağlamak üzere bir ortam değişkeni (ARROW_PRE_0_15_IPC_FORMAT=1) ekledik. [SPARK-29367] içindeki yönergelere bakın.
  • 25 Mart 2020, Saat 20:00
    • stdout'a yayılan günlük çıkışı gibi iş çıktısı 20 MB boyut sınırına tabidir. Toplam çıkışın boyutu daha büyükse, çalıştırma iptal edilir ve başarısız olarak işaretlenir. Bu sınırla karşılaşmamak için, Spark yapılandırmasını trueolarak ayarlayarak spark.databricks.driver.disableScalaOutput stdout'un sürücüden 'a döndürülmesini engelleyebilirsiniz. Varsayılan olarak bayrak değeri şeklindedir false. Bayrak, Scala JAR işleri ve Scala not defterleri için hücre çıkışını denetler. Bayrak etkinleştirilirse Spark, istemciye iş yürütme sonuçları döndürmez. Bayrağı, kümenin günlük dosyalarına yazılan verileri etkilemez. Not defteri sonuçlarını devre dışı bırakacağından, bu bayrağın ayarlanması yalnızca JAR işleri için otomatik kümeler için önerilir.
  • 10 Mart 2020, Saat 20:00
    • Databricks Runtime'da bulunan Snowflake bağlayıcısı (spark-snowflake_2.11) 2.5.9 sürümüne güncelleştirildi. snowflake-jdbc 3.12.0 sürümüne güncelleştirildi.
  • 18 Şubat 2020, Saat 2020, Şubat 2020, Saat 20:00
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 özel durum oluşturmalıdır
    • ADLS 2. Nesil ile kimlik bilgisi geçişi, ADLS istemcisi ön oluşturma etkinleştirildiğinde yanlış iş parçacığı yerel işlemesi nedeniyle performans düşüşü yaşar. Bu sürüm, düzgün bir düzeltme elde edene kadar kimlik bilgisi geçişi etkinleştirildiğinde ADLS 2. Nesil ön yüklemesini devre dışı bırakır.
  • 28 Ocak 2020, Saat 2020, Saat 20:00
    • [SPARK-30447][SQL] Sabit yayma null atanabilirlik sorunu.
    • [SPARK-28152][SQL] Eski MsSqlServerDialect sayısal eşlemesi için eski bir konfederasyon ekleyin.
  • 14 Ocak 2020, Saat 2020, Saat 20:00
    • Java sürümü 1.8.0_222 sürümünden 1.8.0_232 sürümüne yükseltildi.
  • 7 Kasım 2019, Saat 2019, Kasım 2019, Kasım 2019, Kasım
  • 5 Kasım 2019, Kasım 2019, Kasım 2019, Kasım 2019, Kasım
    • YOLUNDAki bağlama noktalarını // işlemek için DBFS FUSE'daki bir hata düzeltildi.
    • [SPARK-29081] Özelliklerde SerializationUtils.clone çağrılarını daha hızlı bir uygulamayla değiştirin
    • [SPARK-29244][CORE] BytesToBytesMap'te boş sayfayı yeniden engelleme
    • (6,1 ML) Library mkl sürüm 2019.4 istemeden yüklendi. Anaconda Distribution 2019.03 ile eşleşecek şekilde mkl sürüm 2019.3'e indirdik.

Databricks Runtime 6.0 (desteklenmiyor)

Bkz . Databricks Runtime 6.0 (desteklenmiyor).

  • 25 Mart 2020, Saat 20:00
    • stdout'a yayılan günlük çıkışı gibi iş çıktısı 20 MB boyut sınırına tabidir. Toplam çıkışın boyutu daha büyükse, çalıştırma iptal edilir ve başarısız olarak işaretlenir. Bu sınırla karşılaşmamak için, Spark yapılandırmasını trueolarak ayarlayarak spark.databricks.driver.disableScalaOutput stdout'un sürücüden 'a döndürülmesini engelleyebilirsiniz. Varsayılan olarak bayrak değeri şeklindedir false. Bayrak, Scala JAR işleri ve Scala not defterleri için hücre çıkışını denetler. Bayrak etkinleştirilirse Spark, istemciye iş yürütme sonuçları döndürmez. Bayrağı, kümenin günlük dosyalarına yazılan verileri etkilemez. Not defteri sonuçlarını devre dışı bırakacağından, bu bayrağın ayarlanması yalnızca JAR işleri için otomatik kümeler için önerilir.
  • 18 Şubat 2020, Saat 2020, Şubat 2020, Saat 20:00
    • ADLS 2. Nesil ile kimlik bilgisi geçişi, ADLS istemcisi ön oluşturma etkinleştirildiğinde yanlış iş parçacığı yerel işlemesi nedeniyle performans düşüşü yaşar. Bu sürüm, düzgün bir düzeltme elde edene kadar kimlik bilgisi geçişi etkinleştirildiğinde ADLS 2. Nesil ön yüklemesini devre dışı bırakır.
  • 11 Şubat 2020, Saat 2020, Şubat 2020, Saat 20:00
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 özel durum oluşturmalıdır
  • 28 Ocak 2020, Saat 2020, Saat 20:00
    • [SPARK-30447][SQL] Sabit yayma null atanabilirlik sorunu.
    • [SPARK-28152][SQL] Eski MsSqlServerDialect sayısal eşlemesi için eski bir konfederasyon ekleyin.
  • 14 Ocak 2020, Saat 2020, Saat 20:00
    • Java sürümü 1.8.0_222 sürümünden 1.8.0_232 sürümüne yükseltildi.
  • 19 Kasım 2019, Saat 2019, Kasım 2019, Kasım 2019, Kasım 20
    • [SPARK-29743] [SQL] örneği, çocuğunun needCopyResult değeri true ise needCopyResult değerini true olarak ayarlamalıdır
  • 5 Kasım 2019, Kasım 2019, Kasım 2019, Kasım 2019, Kasım
    • dbutils.tensorboard.start() artık TensorBoard 2.0'ı destekliyor (el ile yüklüyse).
    • YOLUNDAki bağlama noktalarını // işlemek için DBFS FUSE'daki bir hata düzeltildi.
    • [SPARK-29081]Özelliklerde SerializationUtils.clone çağrılarını daha hızlı bir uygulamayla değiştirin
  • 23 Ekim 2019, Cumartesi
    • [SPARK-29244][CORE] BytesToBytesMap'te boş sayfayı yeniden engelleme
  • 8 Ekim 2019, Cumartesi
    • Simba Apache Spark ODBC sürücüsünün sonuçları getirme sırasında bir bağlantı hatasından sonra yeniden bağlanmasına ve devam etmesi için sunucu tarafı değişiklikleri (Simba Apache Spark ODBC sürücü sürümü 2.6.10 gerektirir).
    • Tablo ACL özellikli kümelerle komutun kullanılmasını Optimize etkileyen bir sorun düzeltildi.
    • Tablo ACL'sinde Scala UDF yasak hatası ve kimlik bilgisi geçişi etkin kümeler nedeniyle kitaplıkların başarısız olması sorunu pyspark.ml düzeltildi.
    • Kimlik bilgisi geçişi için İzin Verilenler Listesi SerDe/SerDeUtil yöntemleri.
    • WASB istemcisinde hata kodu denetlenirken NullPointerException düzeltildi.
    • Kullanıcı kimlik bilgilerinin tarafından dbutils.notebook.run()oluşturulan işlere iletilmemesi sorunu düzeltildi.

Databricks Runtime 5.4 ML (desteklenmiyor)

Bkz. ML için Databricks Runtime 5.4 (desteklenmeyen).

  • 18 Haziran 2019, Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos
    • Hyperopt tümleştirmesinde MLflow etkin çalıştırmalarının işlenmesi geliştirildi
    • Hyperopt'ta geliştirilmiş iletiler
    • Paket Marchkdown 3.1'den 3.1.1'e güncelleştirildi

Databricks Runtime 5.4 (desteklenmiyor)

Bkz . Databricks Runtime 5.4 (desteklenmiyor).

  • 19 Kasım 2019, Saat 2019, Kasım 2019, Kasım 2019, Kasım 20
    • [SPARK-29743] [SQL] örneği, çocuğunun needCopyResult değeri true ise needCopyResult değerini true olarak ayarlamalıdır
  • 8 Ekim 2019, Cumartesi
    • Simba Apache Spark ODBC sürücüsünün sonuçları getirirken bir bağlantı hatasından sonra yeniden bağlanmasına ve devam etmesi için sunucu tarafı değişiklikleri (Simba Apache Spark ODBC sürücüsünün sürüm 2.6.10'a güncelleştirilmesini gerektirir).
    • WASB istemcisinde hata kodu denetlenirken NullPointerException düzeltildi.
  • 10 Eylül 2019, Cumartesi
    • BytesToBytesMap'e iş parçacığı güvenli yineleyici ekleme
    • Belirli genel toplama sorgularını etkileyen bir hata düzeltildi.
    • [SPARK-27330][SS] foreach yazıcısında destek görevi durdurma
    • [SPARK-28642]SHOW CREATE TABLE'da kimlik bilgilerini gizleme
    • [SPARK-28699][SQL] Yeniden bölümleme durumunda ShuffleExchangeExec için radix sıralamasını kullanmayı devre dışı bırakma
    • [SPARK-28699][CORE] Belirsiz aşamayı durdurmak için köşedeki bir servis talebini düzeltme
  • 27 Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos
    • Belirli transform ifadeleri etkileyen bir sorun düzeltildi
  • 13 Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos
    • Delta akış kaynağı bir tablonun en son protokolünün denetlenmesi gerekir
    • [SPARK-28489][SS] KafkaOffsetRangeCalculator.getRanges'in uzaklıkları bırakabileceği hata düzeltildi
  • 30 Temmuz 2019, Saat 2019, Temmuz 2019, Ağustos 2019, Ağustos
    • [SPARK-28015][SQL] stringToDate() öğesinin y ve yy-[m]m biçimleri için tüm girişi tükettiğinden emin olun
    • [SPARK-28308][CORE] Ayrıştırmadan önce CalendarInterval alt saniye bölümü doldurulmalıdır
    • [SPARK-27485]EnsureRequirements.reorder yinelenen ifadeleri düzgün bir şekilde işlemelidir
  • 2 Temmuz 2019, Ağustos 2019, Ağustos 2019, Ağustos 2019
    • Snappy-java 1.1.7.1'den 1.1.7.3 sürümüne yükseltildi.
  • 18 Haziran 2019, Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos
    • MLlib tümleştirmesinde MLflow etkin çalıştırmalarının işlenmesi geliştirildi
    • Disk önbelleğini kullanmayla ilgili geliştirilmiş Databricks Danışmanı iletisi
    • Daha yüksek sıralı işlevlerin kullanılmasını etkileyen bir hata düzeltildi
    • Delta meta veri sorgularını etkileyen bir hata düzeltildi

Databricks Runtime 5.3 (desteklenmiyor)

Bkz . Databricks Runtime 5.3 (desteklenmiyor).

  • 7 Kasım 2019, Saat 2019, Kasım 2019, Kasım 2019, Kasım
    • [SPARK-29743][SQL] örneği, çocuğunun needCopyResult değeri true ise needCopyResult değerini true olarak ayarlamalıdır
  • 8 Ekim 2019, Cumartesi
    • Simba Apache Spark ODBC sürücüsünün sonuçları getirirken bir bağlantı hatasından sonra yeniden bağlanmasına ve devam etmesi için sunucu tarafı değişiklikleri (Simba Apache Spark ODBC sürücüsünün sürüm 2.6.10'a güncelleştirilmesini gerektirir).
    • WASB istemcisinde hata kodu denetlenirken NullPointerException düzeltildi.
  • 10 Eylül 2019, Cumartesi
    • BytesToBytesMap'e iş parçacığı güvenli yineleyici ekleme
    • Belirli genel toplama sorgularını etkileyen bir hata düzeltildi.
    • [SPARK-27330][SS] foreach yazıcısında destek görevi durdurma
    • [SPARK-28642]SHOW CREATE TABLE'da kimlik bilgilerini gizleme
    • [SPARK-28699][SQL] Yeniden bölümleme durumunda ShuffleExchangeExec için radix sıralamasını kullanmayı devre dışı bırakma
    • [SPARK-28699][CORE] Belirsiz aşamayı durdurmak için köşedeki bir servis talebini düzeltme
  • 27 Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos
    • Belirli transform ifadeleri etkileyen bir sorun düzeltildi
  • 13 Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos
    • Delta akış kaynağı bir tablonun en son protokolünün denetlenmesi gerekir
    • [SPARK-28489][SS] KafkaOffsetRangeCalculator.getRanges'in uzaklıkları bırakabileceği hata düzeltildi
  • 30 Temmuz 2019, Saat 2019, Temmuz 2019, Ağustos 2019, Ağustos
    • [SPARK-28015][SQL] stringToDate() öğesinin y ve yy-[m]m biçimleri için tüm girişi tükettiğinden emin olun
    • [SPARK-28308][CORE] Ayrıştırmadan önce CalendarInterval alt saniye bölümü doldurulmalıdır
    • [SPARK-27485]EnsureRequirements.reorder yinelenen ifadeleri düzgün bir şekilde işlemelidir
  • 18 Haziran 2019, Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos
    • Disk önbelleğini kullanmayla ilgili geliştirilmiş Databricks Danışmanı iletisi
    • Daha yüksek sıralı işlevlerin kullanılmasını etkileyen bir hata düzeltildi
    • Delta meta veri sorgularını etkileyen bir hata düzeltildi
  • 28 Mayıs 2019, Saat 2019, Mayıs 2019, Saat 20:00
    • Delta kararlılığı iyileştirildi
    • Delta LAST_CHECKPOINT dosyasını okurken IOExceptions'a tolerans gösterme
      • Başarısız kitaplık yüklemesine kurtarma eklendi
  • 7 Mayıs 2019, Mayıs 2019, Mayıs 2019
    • HADOOP-15778 bağlantı noktası (ABFS: Okuma için istemci tarafı azaltmasını düzeltme) Azure Data Lake Storage 2. Nesil bağlayıcısı
    • HADOOP-16040 bağlantı noktası (ABFS: tolereoobAppends yapılandırması için hata düzeltmesi) Azure Data Lake Storage 2. Nesil bağlayıcı
    • Tablo ACL'lerini etkileyen bir hata düzeltildi
    • Delta günlük sağlama toplamı dosyası yüklenirken yarış durumu düzeltildi
    • "insert + overwrite" öğesini saf "append" işlemi olarak tanımlamayan Delta çakışma algılama mantığı düzeltildi
    • Tablo ACL'leri etkinleştirildiğinde disk önbelleğinin devre dışı bırakılmadığından emin olun
    • [SPARK-27494] [SS] Kafka kaynak v2'de null anahtarlar/değerler çalışmıyor
    • [SPARK-27446] [R] Varsa mevcut spark konfını kullanın.
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] Spark görüntüsü veri kaynağı bazı geçersiz görüntülerle karşılaştığında başarısız olur
    • [SPARK-27160] [SQL] Ork filtreleri oluştururken DecimalType'ın düzeltilmesi
    • [SPARK-27338] [CORE] UnsafeExternalSorter ile TaskMemoryManager arasındaki kilitlenme düzeltilir

Databricks Runtime 5.2 (desteklenmiyor)

Bkz . Databricks Runtime 5.2 (desteklenmiyor).

  • 10 Eylül 2019, Cumartesi
    • BytesToBytesMap'e iş parçacığı güvenli yineleyici ekleme
    • Belirli genel toplama sorgularını etkileyen bir hata düzeltildi.
    • [SPARK-27330][SS] foreach yazıcısında destek görevi durdurma
    • [SPARK-28642]SHOW CREATE TABLE'da kimlik bilgilerini gizleme
    • [SPARK-28699][SQL] Yeniden bölümleme durumunda ShuffleExchangeExec için radix sıralamasını kullanmayı devre dışı bırakma
    • [SPARK-28699][CORE] Belirsiz aşamayı durdurmak için köşedeki bir servis talebini düzeltme
  • 27 Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos
    • Belirli transform ifadeleri etkileyen bir sorun düzeltildi
  • 13 Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos
    • Delta akış kaynağı bir tablonun en son protokolünün denetlenmesi gerekir
    • [SPARK-28489][SS] KafkaOffsetRangeCalculator.getRanges'in uzaklıkları bırakabileceği hata düzeltildi
  • 30 Temmuz 2019, Saat 2019, Temmuz 2019, Ağustos 2019, Ağustos
    • [SPARK-28015][SQL] stringToDate() öğesinin y ve yy-[m]m biçimleri için tüm girişi tükettiğinden emin olun
    • [SPARK-28308][CORE] Ayrıştırmadan önce CalendarInterval alt saniye bölümü doldurulmalıdır
    • [SPARK-27485]EnsureRequirements.reorder yinelenen ifadeleri düzgün bir şekilde işlemelidir
  • 2 Temmuz 2019, Ağustos 2019, Ağustos 2019, Ağustos 2019
    • Delta LAST_CHECKPOINT dosyasını okurken IOExceptions'a tolerans gösterme
  • 18 Haziran 2019, Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos
    • Disk önbelleğini kullanmayla ilgili geliştirilmiş Databricks Danışmanı iletisi
    • Daha yüksek sıralı işlevlerin kullanılmasını etkileyen bir hata düzeltildi
    • Delta meta veri sorgularını etkileyen bir hata düzeltildi
  • 28 Mayıs 2019, Saat 2019, Mayıs 2019, Saat 20:00
    • Başarısız kitaplık yüklemesine kurtarma eklendi
  • 7 Mayıs 2019, Mayıs 2019, Mayıs 2019
    • HADOOP-15778 bağlantı noktası (ABFS: Okuma için istemci tarafı azaltmasını düzeltme) Azure Data Lake Storage 2. Nesil bağlayıcısı
    • HADOOP-16040 bağlantı noktası (ABFS: tolereoobAppends yapılandırması için hata düzeltmesi) Azure Data Lake Storage 2. Nesil bağlayıcı
    • Delta günlük sağlama toplamı dosyası yüklenirken yarış durumu düzeltildi
    • "insert + overwrite" öğesini saf "append" işlemi olarak tanımlamayan Delta çakışma algılama mantığı düzeltildi
    • Tablo ACL'leri etkinleştirildiğinde disk önbelleğinin devre dışı bırakılmadığından emin olun
    • [SPARK-27494] [SS] Kafka kaynak v2'de null anahtarlar/değerler çalışmıyor
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] Spark görüntüsü veri kaynağı bazı geçersiz görüntülerle karşılaştığında başarısız olur
    • [SPARK-27160] [SQL] Ork filtreleri oluştururken DecimalType'ın düzeltilmesi
    • [SPARK-27338] [CORE] UnsafeExternalSorter ile TaskMemoryManager arasındaki kilitlenme düzeltilir
  • 26 Mart 2019, Saat 2019, Mart 2019, Saat 20:00
    • Platforma bağımlı uzaklıkları tam aşamalı olarak oluşturulan koda eklemekten kaçının
    • [SPARK-26665][CORE] BlockTransferService.fetchBlockSync dosyasının sonsuza kadar askıda kalma sorununu düzeltin.
    • [SPARK-27134][SQL] array_distinct işlevi dizi dizisi içeren sütunlarda düzgün çalışmıyor.
    • [SPARK-24669][SQL] DROP DATABASE CASCADE durumunda tabloları geçersiz kılın.
    • [SPARK-26572][SQL] toplu kod oluşturma sonucu değerlendirmesi düzeltildi.
    • Belirli Python UDF'lerini etkileyen bir hata düzeltildi.
  • 26 Şubat 2019, Saat 2019, Şubat 2019, Saat 2019, Şubat 20
    • [SPARK-26864][SQL] Python udf sol yarı birleştirme koşulu olarak kullanıldığında sorgu yanlış sonuç döndürebilir.
    • [SPARK-26887][PYTHON] Ara veri olarak datetime64 oluşturmak yerine doğrudan datetime.date oluşturun.
    • JDBC/ODBC sunucusunu etkileyen bir hata düzeltildi.
    • PySpark'i etkileyen bir hata düzeltildi.
    • HadoopRDD oluştururken gizli dosyaları hariç tutun.
    • Delta'da serileştirme sorunlarına neden olan bir hata düzeltildi.
  • 12 Şubat 2019, Saat 2019, Şubat 2019, Saat 20:00
    • Delta'nın Azure ADLS 2. Nesil bağlama noktalarıyla kullanılmasını etkileyen bir sorun düzeltildi.
    • Şifreleme etkinleştirilmiş spark.network.crypto.enabled büyük RPC hata iletileri gönderirken (true olarak ayarlandığında) Spark düşük düzey ağ protokollerinin bozulmasına neden olan bir sorun düzeltildi.
  • 30 Ocak 2019, Saat 2019, Şubat 2019, Şubat 2019, Mart 20
    • Önbelleğe alınan ilişkide eğme birleştirme ipucu yerleştirildiğinde StackOverflowError düzeltildi.
    • SQL önbelleğinin önbelleğe alınmış RDD'siyle fiziksel planı arasındaki tutarsızlık düzeltildi ve bu da yanlış sonucu neden oluyor.
    • [SPARK-26706][SQL] ByteType için düzeltme illegalNumericPrecedence .
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery boş kayıtları doğru işlemez.
    • CSV/JSON veri kaynakları, şema çıkarıldığında yolların ötmesi önlenmelidir.
    • Window işlecinde kısıtlama çıkarımı düzeltildi.
    • Tablo ACL'sini etkinleştirmiş kümelerle yumurta kitaplıklarının yüklenmesini etkileyen bir sorun düzeltildi.

Databricks Runtime 5.1 (desteklenmiyor)

Bkz . Databricks Runtime 5.1 (desteklenmiyor).

  • 13 Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos
    • Delta akış kaynağı bir tablonun en son protokolünün denetlenmesi gerekir
    • [SPARK-28489][SS] KafkaOffsetRangeCalculator.getRanges'in uzaklıkları bırakabileceği hata düzeltildi
  • 30 Temmuz 2019, Saat 2019, Temmuz 2019, Ağustos 2019, Ağustos
    • [SPARK-28015][SQL] stringToDate() öğesinin y ve yy-[m]m biçimleri için tüm girişi tükettiğinden emin olun
    • [SPARK-28308][CORE] Ayrıştırmadan önce CalendarInterval alt saniye bölümü doldurulmalıdır
    • [SPARK-27485]EnsureRequirements.reorder yinelenen ifadeleri düzgün bir şekilde işlemelidir
  • 2 Temmuz 2019, Ağustos 2019, Ağustos 2019, Ağustos 2019
    • Delta LAST_CHECKPOINT dosyasını okurken IOExceptions'a tolerans gösterme
  • 18 Haziran 2019, Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos
    • Daha yüksek sıralı işlevlerin kullanılmasını etkileyen bir hata düzeltildi
    • Delta meta veri sorgularını etkileyen bir hata düzeltildi
  • 28 Mayıs 2019, Saat 2019, Mayıs 2019, Saat 20:00
    • Başarısız kitaplık yüklemesine kurtarma eklendi
  • 7 Mayıs 2019, Mayıs 2019, Mayıs 2019
    • HADOOP-15778 bağlantı noktası (ABFS: Okuma için istemci tarafı azaltmasını düzeltme) Azure Data Lake Storage 2. Nesil bağlayıcısı
    • HADOOP-16040 bağlantı noktası (ABFS: tolereoobAppends yapılandırması için hata düzeltmesi) Azure Data Lake Storage 2. Nesil bağlayıcı
    • Delta günlük sağlama toplamı dosyası yüklenirken yarış durumu düzeltildi
    • "insert + overwrite" öğesini saf "append" işlemi olarak tanımlamayan Delta çakışma algılama mantığı düzeltildi
    • [SPARK-27494] [SS] Kafka kaynak v2'de null anahtarlar/değerler çalışmıyor
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] Spark görüntüsü veri kaynağı bazı geçersiz görüntülerle karşılaştığında başarısız olur
    • [SPARK-27160] [SQL] Ork filtreleri oluştururken DecimalType'ın düzeltilmesi
    • [SPARK-27338] [CORE] UnsafeExternalSorter ile TaskMemoryManager arasındaki kilitlenme düzeltilir
  • 26 Mart 2019, Saat 2019, Mart 2019, Saat 20:00
    • Platforma bağımlı uzaklıkları tam aşamalı olarak oluşturulan koda eklemekten kaçının
    • Belirli Python UDF'lerini etkileyen bir hata düzeltildi.
  • 26 Şubat 2019, Saat 2019, Şubat 2019, Saat 2019, Şubat 20
    • [SPARK-26864][SQL] Python udf sol yarı birleştirme koşulu olarak kullanıldığında sorgu yanlış sonuç döndürebilir.
    • JDBC/ODBC sunucusunu etkileyen bir hata düzeltildi.
    • HadoopRDD oluştururken gizli dosyaları hariç tutun.
  • 12 Şubat 2019, Saat 2019, Şubat 2019, Saat 20:00
    • Tablo ACL'sini etkinleştirmiş kümelerle yumurta kitaplıklarının yüklenmesini etkileyen bir sorun düzeltildi.
    • SQL önbelleğinin önbelleğe alınmış RDD'siyle fiziksel planı arasındaki tutarsızlık düzeltildi ve bu da yanlış sonucu neden oluyor.
    • [SPARK-26706][SQL] ByteType için düzeltme illegalNumericPrecedence .
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery boş kayıtları doğru işlemez.
    • Window işlecinde kısıtlama çıkarımı düzeltildi.
    • Şifreleme etkinleştirilmiş spark.network.crypto.enabled büyük RPC hata iletileri gönderirken (true olarak ayarlandığında) Spark düşük düzey ağ protokollerinin bozulmasına neden olan bir sorun düzeltildi.
  • 30 Ocak 2019, Saat 2019, Şubat 2019, Şubat 2019, Mart 20
    • UDT'nin belirli durumlar için yanlış yanıt döndürmesine neden df.rdd.count() olabilen bir sorun düzeltildi.
    • Wheelhouse'ların yüklenmesini etkileyen bir sorun düzeltildi.
    • [SPARK-26267]Kafka'dan yanlış uzaklıklar algılarken yeniden deneyin.
    • Bir akış sorgusundaki birden çok dosya akışı kaynağını etkileyen bir hata düzeltildi.
    • Önbelleğe alınan ilişkide eğme birleştirme ipucu yerleştirildiğinde StackOverflowError düzeltildi.
    • SQL önbelleğinin önbelleğe alınmış RDD'siyle fiziksel planı arasındaki tutarsızlık düzeltildi ve bu da yanlış sonucu neden oluyor.
  • 8 Ocak 2019, İstanbul
    • hatasına org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelistedneden olan sorun düzeltildi.
    • [SPARK-26352]birleştirme yeniden sıralama, çıkış özniteliklerinin sırasını değiştirmemelidir.
    • [SPARK-26366]ReplaceExceptWithFilter NULL değerini False olarak düşünmelidir.
    • Delta Lake için kararlılık iyileştirmesi.
    • Delta Lake etkin.
    • Azure Data Lake Storage 1. Nesil için Microsoft Entra ID Kimlik Bilgisi Geçişi etkinleştirildiğinde Azure Data Lake Storage 2. Nesil erişimin başarısız olması sorunu düzeltildi.
    • Databricks GÇ Önbelleği artık tüm fiyatlandırma katmanları için Ls serisi çalışan örneği türleri için etkinleştirilmiştir.

Databricks Runtime 5.0 (desteklenmiyor)

Bkz . Databricks Runtime 5.0 (desteklenmiyor).

  • 18 Haziran 2019, Ağustos 2019, Ağustos 2019, Ağustos 2019, Ağustos
    • Daha yüksek sıralı işlevlerin kullanılmasını etkileyen bir hata düzeltildi
  • 7 Mayıs 2019, Mayıs 2019, Mayıs 2019
    • Delta günlük sağlama toplamı dosyası yüklenirken yarış durumu düzeltildi
    • "insert + overwrite" öğesini saf "append" işlemi olarak tanımlamayan Delta çakışma algılama mantığı düzeltildi
    • [SPARK-27494] [SS] Kafka kaynak v2'de null anahtarlar/değerler çalışmıyor
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] Spark görüntüsü veri kaynağı bazı geçersiz görüntülerle karşılaştığında başarısız olur
    • [SPARK-27160] [SQL] Ork filtreleri oluştururken DecimalType'ın düzeltilmesi
      • [SPARK-27338] [CORE] UnsafeExternalSorter ile TaskMemoryManager arasındaki kilitlenme düzeltilir
  • 26 Mart 2019, Saat 2019, Mart 2019, Saat 20:00
    • Platforma bağımlı uzaklıkları tam aşamalı olarak oluşturulan koda eklemekten kaçının
    • Belirli Python UDF'lerini etkileyen bir hata düzeltildi.
  • 12 Mart 2019, Saat 2019, Mart 2019, Saat 20:00
    • [SPARK-26864][SQL] Python udf sol yarı birleştirme koşulu olarak kullanıldığında sorgu yanlış sonuç döndürebilir.
  • 26 Şubat 2019, Saat 2019, Şubat 2019, Saat 2019, Şubat 20
    • JDBC/ODBC sunucusunu etkileyen bir hata düzeltildi.
    • HadoopRDD oluştururken gizli dosyaları hariç tutun.
  • 12 Şubat 2019, Saat 2019, Şubat 2019, Saat 20:00
    • SQL önbelleğinin önbelleğe alınmış RDD'siyle fiziksel planı arasındaki tutarsızlık düzeltildi ve bu da yanlış sonucu neden oluyor.
    • [SPARK-26706][SQL] ByteType için düzeltme illegalNumericPrecedence .
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery boş kayıtları doğru işlemez.
    • Window işlecinde kısıtlama çıkarımı düzeltildi.
    • Şifreleme etkinleştirilmiş spark.network.crypto.enabled büyük RPC hata iletileri gönderirken (true olarak ayarlandığında) Spark düşük düzey ağ protokollerinin bozulmasına neden olan bir sorun düzeltildi.
  • 30 Ocak 2019, Saat 2019, Şubat 2019, Şubat 2019, Mart 20
    • UDT'nin belirli durumlar için yanlış yanıt döndürmesine neden df.rdd.count() olabilen bir sorun düzeltildi.
    • [SPARK-26267]Kafka'dan yanlış uzaklıklar algılarken yeniden deneyin.
    • Bir akış sorgusundaki birden çok dosya akışı kaynağını etkileyen bir hata düzeltildi.
    • Önbelleğe alınan ilişkide eğme birleştirme ipucu yerleştirildiğinde StackOverflowError düzeltildi.
    • SQL önbelleğinin önbelleğe alınmış RDD'siyle fiziksel planı arasındaki tutarsızlık düzeltildi ve bu da yanlış sonucu neden oluyor.
  • 8 Ocak 2019, İstanbul
    • hatasına org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelistedneden olan sorun düzeltildi.
    • [SPARK-26352]birleştirme yeniden sıralama, çıkış özniteliklerinin sırasını değiştirmemelidir.
    • [SPARK-26366]ReplaceExceptWithFilter NULL değerini False olarak düşünmelidir.
    • Delta Lake için kararlılık iyileştirmesi.
    • Delta Lake etkin.
    • Databricks GÇ Önbelleği artık tüm fiyatlandırma katmanları için Ls serisi çalışan örneği türleri için etkinleştirilmiştir.
  • 18 Aralık 2018, Cumartesi
    • [SPARK-26293]Alt sorguda Python UDF olduğunda atama özel durumu
    • Katıl ve Sınır kullanarak belirli sorguları etkileyen bir sorun düzeltildi.
    • Spark kullanıcı arabirimindeki RDD adlarından kimlik bilgileri yeniden işlendi
  • 6 Aralık 2018, Cumartesi
    • sıralama ölçütü anahtarının başında group-by anahtarı olan orderBy ve hemen ardından groupBy kullanılırken yanlış sorgu sonucuna neden olan bir sorun düzeltildi.
    • Spark için Snowflake Bağlayıcısı 2.4.9.2-spark_2.4_pre_release sürümünden 2.4.10 sürümüne yükseltildi.
    • Bozuk dosyaları yalnızca veya bayrağı etkinleştirildiğinde spark.sql.files.ignoreCorruptFilesspark.sql.files.ignoreMissingFiles bir veya daha fazla yeniden denemeden sonra yoksayabilirsiniz.
    • Belirli kendi kendine birleşim sorgularını etkileyen bir sorun düzeltildi.
    • İptal edildiğinde oturumların bazen sızdırıldığı başarılı sunucuyla ilgili bir hata düzeltildi.
    • [SPARK-26307]Hive SerDe kullanarak bölümlenmiş tablo EKLEndiğinde CTAS düzeltildi.
    • [SPARK-26147]Birleştirme koşulundaki Python UDF'leri, birleştirmenin yalnızca bir tarafındaki sütunlar kullanılırken bile başarısız olur
    • [SPARK-26211]İkili için InSet ve null ile yapı ve dizi düzeltildi.
    • [SPARK-26181]hasMinMaxStats yöntemi ColumnStatsMap doğru değil.
    • python tekerleklerinin İnternet erişimi olmayan ortamlarda yüklenmesini etkileyen bir sorun düzeltildi.
  • 20 Kasım 2018, Kasım 2018, Kasım 2018, Kasım 2018, Kasım 20
    • Akış sorgusu iptal edildikten sonra not defterinin kullanılamamasına neden olan bir sorun düzeltildi.
    • Pencere işlevlerini kullanan bazı sorguları etkileyen bir sorun düzeltildi.
    • Delta'dan gelen bir akışı birden çok şema değişikliğiyle etkileyen bir sorun düzeltildi.
    • Sol Yarı/Anti birleşimleriyle belirli toplama sorgularını etkileyen bir sorun düzeltildi.

Databricks Runtime 4.3 (desteklenmiyor)

Bkz . Databricks Runtime 4.3 (desteklenmiyor).

  • 9 Nisan 2019 Salı

    • [SPARK-26665][CORE] BlockTransferService.fetchBlockSync dosyasının sonsuza kadar askıda kalmalarına neden olabilecek bir hatayı düzeltin.
    • [SPARK-24669][SQL] DROP DATABASE CASCADE durumunda tabloları geçersiz kılın.

  • 12 Mart 2019

    • Kod oluşturmayı etkileyen bir hata düzeltildi.
    • Delta'yi etkileyen bir hata düzeltildi.

  • 26 Şubat 2019, Saat 2019, Şubat 2019, Saat 2019, Şubat 20

    • JDBC/ODBC sunucusunu etkileyen bir hata düzeltildi.

  • 12 Şubat 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery boş kayıtları doğru işlemez.
    • HadoopRDD oluştururken gizli dosyaları dışlama.
    • Değeri boş olduğunda IN koşulu için Parquet Filtre Dönüştürmesi düzeltildi.
    • Şifreleme etkinleştirilmiş spark.network.crypto.enabled büyük RPC hata iletileri gönderirken (true olarak ayarlandığında) Spark düşük düzey ağ protokollerinin bozulmasına neden olan bir sorun düzeltildi.

  • 30 Ocak 2019

    • UDT'nin belirli durumlar için yanlış yanıt döndürmesine neden df.rdd.count() olabilen bir sorun düzeltildi.
    • SQL önbelleğinin önbelleğe alınmış RDD'siyle fiziksel planı arasındaki tutarsızlık düzeltildi ve bu da yanlış sonucu neden oluyor.

  • 8 Ocak 2019 Salı

    • hatasına org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelistedneden olan sorun düzeltildi.
    • Spark kullanıcı arabirimindeki RDD adlarından kimlik bilgileri yeniden işlendi
    • [SPARK-26352]birleştirme yeniden sıralama, çıkış özniteliklerinin sırasını değiştirmemelidir.
    • [SPARK-26366]ReplaceExceptWithFilter NULL değerini False olarak düşünmelidir.
    • Delta Lake etkin.
    • Databricks GÇ Önbelleği artık tüm fiyatlandırma katmanları için Ls serisi çalışan örneği türleri için etkinleştirilmiştir.

  • 18 Aralık 2018, Cumartesi

    • [SPARK-25002]Avro: Çıkış kaydı ad alanını düzeltin.
    • Katıl ve Sınır kullanarak belirli sorguları etkileyen bir sorun düzeltildi.
    • [SPARK-26307]Hive SerDe kullanarak bölümlenmiş tablo EKLEndiğinde CTAS düzeltildi.
    • Bozuk dosyaları yalnızca veya bayrağı etkinleştirildiğinde spark.sql.files.ignoreCorruptFilesspark.sql.files.ignoreMissingFiles bir veya daha fazla yeniden denemeden sonra yoksayabilirsiniz.
    • [SPARK-26181]hasMinMaxStats yöntemi ColumnStatsMap doğru değil.
    • python tekerleklerinin İnternet erişimi olmayan ortamlarda yüklenmesini etkileyen bir sorun düzeltildi.
    • Sorgu çözümleyicisindeki bir performans sorunu düzeltildi.
    • PySpark'ta DataFrame eylemlerinin "bağlantı reddedildi" hatasıyla başarısız olması sorunu düzeltildi.
    • Belirli kendi kendine birleşim sorgularını etkileyen bir sorun düzeltildi.

  • 20 Kasım 2018

    • [SPARK-17916][SPARK-25241]nullValue ayarlandığında boş dizenin null olarak ayrıştırılması düzeltildi.
    • [SPARK-25387]Hatalı CSV girişinin neden olduğu NPE için düzeltme.
    • Sol Yarı/Anti birleşimleriyle belirli toplama sorgularını etkileyen bir sorun düzeltildi.

  • 6 Kasım 2018, İstanbul

    • [SPARK-25741]Uzun URL'ler web kullanıcı arabiriminde düzgün işlenmez.
    • [SPARK-25714]İyileştirici kuralı BooleanSimplification içindeki Null İşleme düzeltildi.
    • Synapse Analytics bağlayıcısında geçici nesneleri temizlemeyi etkileyen bir sorun düzeltildi.
    • [SPARK-25816]İç içe ayıklayıcılarda öznitelik çözümlemesi düzeltildi.

  • 16 Ekim 2018

    • Delta tablolarında çalıştırmanın SHOW CREATE TABLE çıkışını etkileyen bir hata düzeltildi.
    • İşlemi etkileyen Union bir hata düzeltildi.

  • 25 Eylül 2018, Cumartesi

    • [SPARK-25368][SQL] Yanlış kısıtlama çıkarımı yanlış sonuç verir.
    • [SPARK-25402][SQL] BooleanSimplification içinde null işleme.
    • Avro veri kaynağında düzeltildi NotSerializableException .

  • 11 Eylül 2018, Cumartesi

    • [SPARK-25214][SS] Kafka v2 kaynağının olduğunda yinelenen kayıtlar döndürebileceği sorunu düzeltildi failOnDataLoss=false.
    • [SPARK-24987][SS] articlePartition için yeni uzaklık olmadığında Kafka tüketici sızıntısını düzeltin.
    • Filtre azaltma null değeri doğru işlemelidir.
    • Yürütme altyapısının kararlılığı geliştirildi.

  • 28 Ağustos 2018

    • Delta Lake Delete komutunda koşulun null olarak değerlendirildiği satırları yanlışlıkla silecek bir hata düzeltildi.
    • [SPARK-25142]Python çalışanı içinde yuvayı açamadığında _load_from_sockethata iletileri ekleyin.

  • 23 Ağustos 2018, Ağustos 2018, Ağustos 2018, Ağustos 2018, Ağustos

    • [SPARK-23935]mapEntry oluşturur org.codehaus.commons.compiler.CompileException.
    • Parquet okuyucuda null atanabilir harita sorunu düzeltildi.
    • [SPARK-25051][SQL] AnalysisBarrier'da FixNullability durmamalıdır.
    • [SPARK-25081]Taşma nedeniyle bellek ayrılamadığında ShuffleExternalSorter'ın serbest bırakılmış bir bellek sayfasına erişmesine neden olan bir hata düzeltildi.
    • Databricks Delta ile Pyspark arasında geçici okuma hatalarına neden olabilecek bir etkileşim düzeltildi.
    • [SPARK-25084]" distribute by" birden çok sütunda (köşeli ayraç içinde kaydır) kod oluşturma sorununa yol açabilir.
    • [SPARK-25096]Atama zorla null atanabilirse null atanabilirliği gevşetin.
    • Delta Lake Optimize komutu tarafından kullanılan varsayılan iş parçacığı sayısı azaltılarak bellek ek yükü azaltıldı ve veriler daha hızlı işlendi.
    • [SPARK-25114]İki sözcük arasındaki çıkarma Integer.MAX_VALUE tarafından bölünebiliyorsa RecordBinaryComparator'ı düzeltin.
    • Komut kısmen başarılı olduğunda gizli dizi yöneticisi redaction düzeltildi.

Databricks Runtime 4.2 (desteklenmiyor)

Bkz . Databricks Runtime 4.2 (desteklenmiyor).

  • 26 Şubat 2019, Saat 2019, Şubat 2019, Saat 2019, Şubat 20

    • JDBC/ODBC sunucusunu etkileyen bir hata düzeltildi.

  • 12 Şubat 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery boş kayıtları doğru işlemez.
    • HadoopRDD oluştururken gizli dosyaları dışlama.
    • Değeri boş olduğunda IN koşulu için Parquet Filtre Dönüştürmesi düzeltildi.
    • Şifreleme etkinleştirilmiş spark.network.crypto.enabled büyük RPC hata iletileri gönderirken (true olarak ayarlandığında) Spark düşük düzey ağ protokollerinin bozulmasına neden olan bir sorun düzeltildi.

  • 30 Ocak 2019

    • UDT'nin belirli durumlar için yanlış yanıt döndürmesine neden df.rdd.count() olabilen bir sorun düzeltildi.

  • 8 Ocak 2019 Salı

    • hatasına org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelistedneden olan sorun düzeltildi.
    • Spark kullanıcı arabirimindeki RDD adlarından kimlik bilgileri yeniden işlendi
    • [SPARK-26352]birleştirme yeniden sıralama, çıkış özniteliklerinin sırasını değiştirmemelidir.
    • [SPARK-26366]ReplaceExceptWithFilter NULL değerini False olarak düşünmelidir.
    • Delta Lake etkin.
    • Databricks GÇ Önbelleği artık tüm fiyatlandırma katmanları için Ls serisi çalışan örneği türleri için etkinleştirilmiştir.

  • 18 Aralık 2018, Cumartesi

    • [SPARK-25002]Avro: Çıkış kaydı ad alanını düzeltin.
    • Katıl ve Sınır kullanarak belirli sorguları etkileyen bir sorun düzeltildi.
    • [SPARK-26307]Hive SerDe kullanarak bölümlenmiş tablo EKLEndiğinde CTAS düzeltildi.
    • Bozuk dosyaları yalnızca veya bayrağı etkinleştirildiğinde spark.sql.files.ignoreCorruptFilesspark.sql.files.ignoreMissingFiles bir veya daha fazla yeniden denemeden sonra yoksayabilirsiniz.
    • [SPARK-26181]hasMinMaxStats yöntemi ColumnStatsMap doğru değil.
    • python tekerleklerinin İnternet erişimi olmayan ortamlarda yüklenmesini etkileyen bir sorun düzeltildi.
    • Sorgu çözümleyicisindeki bir performans sorunu düzeltildi.
    • PySpark'ta DataFrame eylemlerinin "bağlantı reddedildi" hatasıyla başarısız olması sorunu düzeltildi.
    • Belirli kendi kendine birleşim sorgularını etkileyen bir sorun düzeltildi.

  • 20 Kasım 2018

    • [SPARK-17916][SPARK-25241]nullValue ayarlandığında boş dizenin null olarak ayrıştırılması düzeltildi.
    • Sol Yarı/Anti birleşimleriyle belirli toplama sorgularını etkileyen bir sorun düzeltildi.

  • 6 Kasım 2018, İstanbul

    • [SPARK-25741]Uzun URL'ler web kullanıcı arabiriminde düzgün işlenmez.
    • [SPARK-25714]İyileştirici kuralı BooleanSimplification içindeki Null İşleme düzeltildi.

  • 16 Ekim 2018

    • Delta tablolarında çalıştırmanın SHOW CREATE TABLE çıkışını etkileyen bir hata düzeltildi.
    • İşlemi etkileyen Union bir hata düzeltildi.

  • 25 Eylül 2018, Cumartesi

    • [SPARK-25368][SQL] Yanlış kısıtlama çıkarımı yanlış sonuç verir.
    • [SPARK-25402][SQL] BooleanSimplification içinde null işleme.
    • Avro veri kaynağında düzeltildi NotSerializableException .

  • 11 Eylül 2018, Cumartesi

    • [SPARK-25214][SS] Kafka v2 kaynağının olduğunda yinelenen kayıtlar döndürebileceği sorunu düzeltildi failOnDataLoss=false.
    • [SPARK-24987][SS] articlePartition için yeni uzaklık olmadığında Kafka tüketici sızıntısını düzeltin.
    • Filtre azaltma null değeri doğru işlemelidir.

  • 28 Ağustos 2018

    • Delta Lake Delete komutunda koşulun null olarak değerlendirildiği satırları yanlışlıkla silecek bir hata düzeltildi.

  • 23 Ağustos 2018, Ağustos 2018, Ağustos 2018, Ağustos 2018, Ağustos

    • Delta Anlık Görüntüsü için NoClassDefError düzeltildi
    • [SPARK-23935]mapEntry oluşturur org.codehaus.commons.compiler.CompileException.
    • [SPARK-24957][SQL] Ondalık ve ardından toplama içeren ortalama yanlış sonuç verir. ORTALAMA'nın yanlış sonuçları döndürülebilir. Average işlecine eklenen CAST, Divide sonucunun dökümünün oluşturulduğu türle aynı olması durumunda atlanır.
    • [SPARK-25081]Taşma nedeniyle bellek ayrılamadığında ShuffleExternalSorter'ın serbest bırakılmış bir bellek sayfasına erişmesine neden olan bir hata düzeltildi.
    • Databricks Delta ile Pyspark arasında geçici okuma hatalarına neden olabilecek bir etkileşim düzeltildi.
    • [SPARK-25114]İki sözcük arasındaki çıkarma Integer.MAX_VALUE tarafından bölünebiliyorsa RecordBinaryComparator'ı düzeltin.
    • [SPARK-25084]" distribute by" birden çok sütunda (köşeli ayraç içinde kaydır) kod oluşturma sorununa yol açabilir.
    • [SPARK-24934][SQL] Bellek içi bölüm ayıklama için üst/alt sınırlarda desteklenen türler açıkça izin verilenler listesi. Sorgu filtrelerinde önbelleğe alınan verilere karşı karmaşık veri türleri kullanıldığında Spark her zaman boş bir sonuç kümesi döndürür. Karmaşık türler için üst/alt sınırlar için null ayarlandığından bellek içi istatistik tabanlı ayıklama yanlış sonuçlar oluşturur. Düzeltme, karmaşık türler için bellek içi istatistik tabanlı ayıklama kullanmamaktır.
    • Komut kısmen başarılı olduğunda gizli dizi yöneticisi redaction düzeltildi.
    • Parquet okuyucuda null atanabilir harita sorunu düzeltildi.

  • 2 Ağustos 2018, Ağustos 2018

    • Python'da writeStream.table API'si eklendi.
    • Delta denetim noktası oluşturmayı etkileyen bir sorun düzeltildi.
    • [SPARK-24867][SQL] DataFrameWriter'a AnalysisBarrier ekleyin. SQL önbelleği, UDF ile DataFrame yazmak için DataFrameWriter kullanılırken kullanılmaz. Bu, AnalysisBarrier'da yaptığımız değişikliklerin neden olduğu bir regresyondur çünkü çözümleyici kurallarının tümü bir kez etkili değildir.
    • Komutun yanlış sonuçlar üretmesine neden mergeInto olabilen bir sorun düzeltildi.
    • Azure Data Lake Storage 1. Nesil erişiminde geliştirilmiş kararlılık.
    • [SPARK-24809]Yürütücüde LongHashedRelation seri hale getirildiğinde veri hatası oluşabilir.
    • [SPARK-24878][SQL] Null içeren ilkel türün dizi türü için ters işlevi düzeltildi.

  • 11 Temmuz 2018

    • Sorgu yürütmede, bazı durumlarda farklı duyarlıklara sahip ondalık sütunlarda toplamaların yanlış sonuçlar döndürmesine neden olan bir hata düzeltildi.
    • Gruplandırma kümeleri gibi gelişmiş toplama işlemleri sırasında oluşan bir NullPointerException hata düzeltildi.

Databricks Runtime 4.1 ML (desteklenmiyor)

Bkz . Databricks Runtime 4.1 ML (desteklenmeyen).

  • 31 Temmuz 2018, Ağustos 2018, Ağustos 2018, Ağustos 2018, Ağustos
    • ML Runtime 4.1'e Azure Synapse Analytics eklendi
    • Bir koşulda kullanılan bölüm sütununun adı, tablonun şemasındaki söz konusu sütunun durumundan farklı olduğunda yanlış sorgu sonuçlarına neden olabilen bir hata düzeltildi.
    • Spark SQL yürütme altyapısını etkileyen bir hata düzeltildi.
    • Kod oluşturmayı etkileyen bir hata düzeltildi.
    • Delta Lake'i etkileyen bir hata (java.lang.NoClassDefFoundError) düzeltildi.
    • Delta Lake'te geliştirilmiş hata işleme.
    • 32 karakter veya daha büyük dize sütunları için yanlış veri atlama istatistiklerinin toplanmasına neden olan bir hata düzeltildi.

Databricks Runtime 4.1 (desteklenmiyor)

Bkz . Databricks Runtime 4.1 (desteklenmiyor).

  • 8 Ocak 2019 Salı

    • [SPARK-26366]ReplaceExceptWithFilter NULL değerini False olarak düşünmelidir.
    • Delta Lake etkin.

  • 18 Aralık 2018, Cumartesi

    • [SPARK-25002]Avro: Çıkış kaydı ad alanını düzeltin.
    • Katıl ve Sınır kullanarak belirli sorguları etkileyen bir sorun düzeltildi.
    • [SPARK-26307]Hive SerDe kullanarak bölümlenmiş tablo EKLEndiğinde CTAS düzeltildi.
    • Bozuk dosyaları yalnızca veya bayrağı etkinleştirildiğinde spark.sql.files.ignoreCorruptFilesspark.sql.files.ignoreMissingFiles bir veya daha fazla yeniden denemeden sonra yoksayabilirsiniz.
    • python tekerleklerinin İnternet erişimi olmayan ortamlarda yüklenmesini etkileyen bir sorun düzeltildi.
    • PySpark'ta DataFrame eylemlerinin "bağlantı reddedildi" hatasıyla başarısız olması sorunu düzeltildi.
    • Belirli kendi kendine birleşim sorgularını etkileyen bir sorun düzeltildi.

  • 20 Kasım 2018

    • [SPARK-17916][SPARK-25241]nullValue ayarlandığında boş dizenin null olarak ayrıştırılması düzeltildi.
    • Sol Yarı/Anti birleşimleriyle belirli toplama sorgularını etkileyen bir sorun düzeltildi.

  • 6 Kasım 2018, İstanbul

    • [SPARK-25741]Uzun URL'ler web kullanıcı arabiriminde düzgün işlenmez.
    • [SPARK-25714]İyileştirici kuralı BooleanSimplification içindeki Null İşleme düzeltildi.

  • 16 Ekim 2018

    • Delta tablolarında çalıştırmanın SHOW CREATE TABLE çıkışını etkileyen bir hata düzeltildi.
    • İşlemi etkileyen Union bir hata düzeltildi.

  • 25 Eylül 2018, Cumartesi

    • [SPARK-25368][SQL] Yanlış kısıtlama çıkarımı yanlış sonuç verir.
    • [SPARK-25402][SQL] BooleanSimplification içinde null işleme.
    • Avro veri kaynağında düzeltildi NotSerializableException .

  • 11 Eylül 2018, Cumartesi

    • [SPARK-25214][SS] Kafka v2 kaynağının olduğunda yinelenen kayıtlar döndürebileceği sorunu düzeltildi failOnDataLoss=false.
    • [SPARK-24987][SS] articlePartition için yeni uzaklık olmadığında Kafka tüketici sızıntısını düzeltin.
    • Filtre azaltma null değeri doğru işlemelidir.

  • 28 Ağustos 2018

    • Delta Lake Delete komutunda koşulun null olarak değerlendirildiği satırları yanlışlıkla silecek bir hata düzeltildi.
    • [SPARK-25084]" distribute by" birden çok sütunda (köşeli ayraç içinde kaydır) kod oluşturma sorununa yol açabilir.
    • [SPARK-25114]İki sözcük arasındaki çıkarma Integer.MAX_VALUE tarafından bölünebiliyorsa RecordBinaryComparator'ı düzeltin.

  • 23 Ağustos 2018, Ağustos 2018, Ağustos 2018, Ağustos 2018, Ağustos

    • Delta Anlık Görüntüsü için NoClassDefError düzeltildi.
    • [SPARK-24957][SQL] Ondalık ve ardından toplama içeren ortalama yanlış sonuç verir. ORTALAMA'nın yanlış sonuçları döndürülebilir. Average işlecine eklenen CAST, Divide sonucunun dökümünün oluşturulduğu türle aynı olması durumunda atlanır.
    • Parquet okuyucuda null atanabilir harita sorunu düzeltildi.
    • [SPARK-24934][SQL] Bellek içi bölüm ayıklama için üst/alt sınırlarda desteklenen türler açıkça izin verilenler listesi. Sorgu filtrelerinde önbelleğe alınan verilere karşı karmaşık veri türleri kullanıldığında Spark her zaman boş bir sonuç kümesi döndürür. Karmaşık türler için üst/alt sınırlar için null ayarlandığından bellek içi istatistik tabanlı ayıklama yanlış sonuçlar oluşturur. Düzeltme, karmaşık türler için bellek içi istatistik tabanlı ayıklama kullanmamaktır.
    • [SPARK-25081]Taşma nedeniyle bellek ayrılamadığında ShuffleExternalSorter'ın serbest bırakılmış bir bellek sayfasına erişmesine neden olan bir hata düzeltildi.
    • Databricks Delta ile Pyspark arasında geçici okuma hatalarına neden olabilecek bir etkileşim düzeltildi.
    • Komut kısmen başarılı olduğunda gizli dizi yöneticisi redaksiyonu düzeltildi

  • 2 Ağustos 2018, Ağustos 2018

    • [SPARK-24613][SQL] UDF ile önbellek, sonraki bağımlı önbelleklerle eşleştirilemedi. Planın yeniden çözümlenmesini önlemek için CacheManager'da yürütme planı derlemesi için mantıksal planı AnalysisBarrier ile sarmalar. Bu aynı zamanda Spark 2.3'ün bir regresyonudur.
    • DateType verilerini yazmak için saat dilimi dönüştürmeyi etkileyen Synapse Analytics bağlayıcısı sorunu düzeltildi.
    • Delta denetim noktası oluşturmayı etkileyen bir sorun düzeltildi.
    • Komutun yanlış sonuçlar üretmesine neden mergeInto olabilen bir sorun düzeltildi.
    • [SPARK-24867][SQL] DataFrameWriter'a AnalysisBarrier ekleyin. SQL önbelleği, UDF ile DataFrame yazmak için DataFrameWriter kullanılırken kullanılmaz. Bu, AnalysisBarrier'da yaptığımız değişikliklerin neden olduğu bir regresyondur çünkü çözümleyici kurallarının tümü bir kez etkili değildir.
    • [SPARK-24809]Yürütücüde LongHashedRelation seri hale getirildiğinde veri hatası oluşabilir.

  • 11 Temmuz 2018

    • Sorgu yürütmede, bazı durumlarda farklı duyarlıklara sahip ondalık sütunlarda toplamaların yanlış sonuçlar döndürmesine neden olan bir hata düzeltildi.
    • Gruplandırma kümeleri gibi gelişmiş toplama işlemleri sırasında oluşan bir NullPointerException hata düzeltildi.

  • 28 Haziran 2018

    • Bir koşulda kullanılan bölüm sütununun adı, tablonun şemasındaki söz konusu sütunun durumundan farklı olduğunda yanlış sorgu sonuçlarına neden olabilen bir hata düzeltildi.

  • 7 Haziran 2018, Ağustos 2018

    • Spark SQL yürütme altyapısını etkileyen bir hata düzeltildi.
    • Kod oluşturmayı etkileyen bir hata düzeltildi.
    • Delta Lake'i etkileyen bir hata (java.lang.NoClassDefFoundError) düzeltildi.
    • Delta Lake'te geliştirilmiş hata işleme.

  • 17 Mayıs 2018

    • 32 karakter veya daha büyük dize sütunları için yanlış veri atlama istatistiklerinin toplanmasına neden olan bir hata düzeltildi.

Databricks Runtime 4.0 (desteklenmiyor)

Bkz . Databricks Runtime 4.0 (desteklenmiyor).

  • 6 Kasım 2018, İstanbul

    • [SPARK-25714]İyileştirici kuralı BooleanSimplification içindeki Null İşleme düzeltildi.

  • 16 Ekim 2018

    • İşlemi etkileyen Union bir hata düzeltildi.

  • 25 Eylül 2018, Cumartesi

    • [SPARK-25368][SQL] Yanlış kısıtlama çıkarımı yanlış sonuç verir.
    • [SPARK-25402][SQL] BooleanSimplification içinde null işleme.
    • Avro veri kaynağında düzeltildi NotSerializableException .

  • 11 Eylül 2018, Cumartesi

    • Filtre azaltma null değeri doğru işlemelidir.

  • 28 Ağustos 2018

    • Delta Lake Delete komutunda koşulun null olarak değerlendirildiği satırları yanlışlıkla silecek bir hata düzeltildi.

  • 23 Ağustos 2018, Ağustos 2018, Ağustos 2018, Ağustos 2018, Ağustos

    • Parquet okuyucuda null atanabilir harita sorunu düzeltildi.
    • Komut kısmen başarılı olduğunda gizli dizi yöneticisi redaksiyonu düzeltildi
    • Databricks Delta ile Pyspark arasında geçici okuma hatalarına neden olabilecek bir etkileşim düzeltildi.
    • [SPARK-25081]Taşma nedeniyle bellek ayrılamadığında ShuffleExternalSorter'ın serbest bırakılmış bir bellek sayfasına erişmesine neden olan bir hata düzeltildi.
    • [SPARK-25114]İki sözcük arasındaki çıkarma Integer.MAX_VALUE tarafından bölünebiliyorsa RecordBinaryComparator'ı düzeltin.

  • 2 Ağustos 2018, Ağustos 2018

    • [SPARK-24452]Int add veya multiple içinde olası taşmalardan kaçının.
    • [SPARK-24588]Akışa katılma için alt öğelerden HashClusteredPartitioning gerekir.
    • Komutun yanlış sonuçlar üretmesine neden mergeInto olabilen bir sorun düzeltildi.
    • [SPARK-24867][SQL] DataFrameWriter'a AnalysisBarrier ekleyin. SQL önbelleği, UDF ile DataFrame yazmak için DataFrameWriter kullanılırken kullanılmaz. Bu, AnalysisBarrier'da yaptığımız değişikliklerin neden olduğu bir regresyondur çünkü çözümleyici kurallarının tümü bir kez etkili değildir.
    • [SPARK-24809]Yürütücüde LongHashedRelation seri hale getirildiğinde veri hatası oluşabilir.

  • 28 Haziran 2018

    • Bir koşulda kullanılan bölüm sütununun adı, tablonun şemasındaki söz konusu sütunun durumundan farklı olduğunda yanlış sorgu sonuçlarına neden olabilen bir hata düzeltildi.

  • 7 Haziran 2018, Ağustos 2018

    • Spark SQL yürütme altyapısını etkileyen bir hata düzeltildi.
    • Delta Lake'te geliştirilmiş hata işleme.

  • 17 Mayıs 2018

    • Databricks gizli dizi yönetimi için hata düzeltmeleri.
    • Azure Data Lake Store'da depolanan verileri okuma konusunda geliştirilmiş kararlılık.
    • RDD önbelleğini etkileyen bir hata düzeltildi.
    • Spark SQL'de Null güvenli Eşittir özelliğini etkileyen bir hata düzeltildi.

  • 24 Nisan 2018

    • Azure Data Lake Store'a erişimin kararlılığını artırmak için Azure Data Lake Store SDK'sı 2.0.11'den 2.2.8'e yükseltildi.
    • olduğunda spark.databricks.io.hive.fastwriter.enabled bölümlenmiş Hive tablolarına üzerine yazmaların eklenmesini etkileyen bir hata düzeltildi false.
    • Görev serileştirmenin başarısız olması sorunu düzeltildi.
    • Delta Lake kararlılığı geliştirildi.

  • 14 Mart 2018

    • Delta Lake'e yazarken gereksiz meta veri güncelleştirmelerini önleyin.
    • Nadir durumlarda bazı çıkış dosyalarının kaybolmasına neden olabilen bir yarış durumunun neden olduğu bir sorun düzeltildi.

Databricks Runtime 3.5 LTS (desteklenmiyor)

Bkz . Databricks Runtime 3.5 LTS (desteklenmiyor).

  • 7 Kasım 2019, Saat 2019, Kasım 2019, Kasım 2019, Kasım

    • [SPARK-29743][SQL] örneği, çocuğunun needCopyResult değeri true ise needCopyResult değerini true olarak ayarlamalıdır

  • 8 Ekim 2019 Salı

    • Simba Apache Spark ODBC sürücüsünün sonuçları getirirken bir bağlantı hatasından sonra yeniden bağlanmasına ve devam etmesi için sunucu tarafı değişiklikleri (Simba Apache Spark ODBC sürücüsünün sürüm 2.6.10'a güncelleştirilmesini gerektirir).

  • 10 Eylül 2019

    • [SPARK-28699][SQL] Yeniden bölümleme durumunda ShuffleExchangeExec için radix sıralamasını kullanmayı devre dışı bırakma

  • 9 Nisan 2019 Salı

    • [SPARK-26665][CORE] BlockTransferService.fetchBlockSync dosyasının sonsuza kadar askıda kalmalarına neden olabilecek bir hatayı düzeltin.

  • 12 Şubat 2019

    • Şifreleme etkinleştirilmiş spark.network.crypto.enabled büyük RPC hata iletileri gönderirken (true olarak ayarlandığında) Spark düşük düzey ağ protokollerinin bozulmasına neden olan bir sorun düzeltildi.

  • 30 Ocak 2019

    • UDT'nin belirli durumlar için yanlış yanıt döndürmesine neden df.rdd.count() olabilen bir sorun düzeltildi.

  • 18 Aralık 2018, Cumartesi

    • Bozuk dosyaları yalnızca veya bayrağı etkinleştirildiğinde spark.sql.files.ignoreCorruptFilesspark.sql.files.ignoreMissingFiles bir veya daha fazla yeniden denemeden sonra yoksayabilirsiniz.
    • Belirli kendi kendine birleşim sorgularını etkileyen bir sorun düzeltildi.

  • 20 Kasım 2018

    • [SPARK-25816]İç içe ayıklayıcılarda öznitelik çözümlemesi düzeltildi.

  • 6 Kasım 2018, İstanbul

    • [SPARK-25714]İyileştirici kuralı BooleanSimplification içindeki Null İşleme düzeltildi.

  • 16 Ekim 2018

    • İşlemi etkileyen Union bir hata düzeltildi.

  • 25 Eylül 2018, Cumartesi

    • [SPARK-25402][SQL] BooleanSimplification içinde null işleme.
    • Avro veri kaynağında düzeltildi NotSerializableException .

  • 11 Eylül 2018, Cumartesi

    • Filtre azaltma null değeri doğru işlemelidir.

  • 28 Ağustos 2018

    • Delta Lake Delete komutunda koşulun null olarak değerlendirildiği satırları yanlışlıkla silecek bir hata düzeltildi.
    • [SPARK-25114]İki sözcük arasındaki çıkarma Integer.MAX_VALUE tarafından bölünebiliyorsa RecordBinaryComparator'ı düzeltin.

  • 23 Ağustos 2018, Ağustos 2018, Ağustos 2018, Ağustos 2018, Ağustos

    • [SPARK-24809]Yürütücüde LongHashedRelation seri hale getirildiğinde veri hatası oluşabilir.
    • Parquet okuyucuda null atanabilir harita sorunu düzeltildi.
    • [SPARK-25081]Taşma nedeniyle bellek ayrılamadığında ShuffleExternalSorter'ın serbest bırakılmış bir bellek sayfasına erişmesine neden olan bir hata düzeltildi.
    • Databricks Delta ile Pyspark arasında geçici okuma hatalarına neden olabilecek bir etkileşim düzeltildi.

  • 28 Haziran 2018

    • Bir koşulda kullanılan bölüm sütununun adı, tablonun şemasındaki söz konusu sütunun durumundan farklı olduğunda yanlış sorgu sonuçlarına neden olabilen bir hata düzeltildi.

  • 28 Haziran 2018

    • Bir koşulda kullanılan bölüm sütununun adı, tablonun şemasındaki söz konusu sütunun durumundan farklı olduğunda yanlış sorgu sonuçlarına neden olabilen bir hata düzeltildi.

  • 7 Haziran 2018, Ağustos 2018

    • Spark SQL yürütme altyapısını etkileyen bir hata düzeltildi.
    • Delta Lake'te geliştirilmiş hata işleme.

  • 17 Mayıs 2018

    • Azure Data Lake Store'da depolanan verileri okuma konusunda geliştirilmiş kararlılık.
    • RDD önbelleğini etkileyen bir hata düzeltildi.
    • Spark SQL'de Null güvenli Eşittir özelliğini etkileyen bir hata düzeltildi.
    • Akış sorgularındaki belirli toplamaları etkileyen bir hata düzeltildi.

  • 24 Nisan 2018

    • Azure Data Lake Store'a erişimin kararlılığını artırmak için Azure Data Lake Store SDK'sı 2.0.11'den 2.2.8'e yükseltildi.
    • olduğunda spark.databricks.io.hive.fastwriter.enabled bölümlenmiş Hive tablolarına üzerine yazmaların eklenmesini etkileyen bir hata düzeltildi false.
    • Görev serileştirmenin başarısız olması sorunu düzeltildi.

  • 9 Mart 2018, İstanbul

    • Nadir durumlarda bazı çıkış dosyalarının kaybolmasına neden olabilen bir yarış durumunun neden olduğu bir sorun düzeltildi.

  • 1 Mart 2018, Saat 2018

    • Durması uzun sürebilecek akışları işleme verimliliği geliştirildi.
    • Python otomatik tamamlamasını etkileyen bir sorun düzeltildi.
    • Uygulanan Ubuntu güvenlik düzeltme ekleri.
    • Python UDF'leri ve pencere işlevlerini kullanan belirli sorguları etkileyen bir sorun düzeltildi.
    • Tablo erişim denetimi etkin bir kümede UDF kullanımını etkileyen bir sorun düzeltildi.

  • 29 Ocak 2018, Saat 2018, Şubat 2018, Saat 2018, Şubat 20

    • Azure Blob depolamada depolanan tabloların değiştirilmesini etkileyen bir sorun düzeltildi.
    • Boş DataFrame'de dropDuplicates sonrasında toplama düzeltildi.

Databricks Runtime 3.4 (desteklenmiyor)

Bkz . Databricks Runtime 3.4 (desteklenmiyor).

  • 7 Haziran 2018, Ağustos 2018

    • Spark SQL yürütme altyapısını etkileyen bir hata düzeltildi.
    • Delta Lake'te geliştirilmiş hata işleme.

  • 17 Mayıs 2018

    • Azure Data Lake Store'da depolanan verileri okuma konusunda geliştirilmiş kararlılık.
    • RDD önbelleğini etkileyen bir hata düzeltildi.
    • Spark SQL'de Null güvenli Eşittir özelliğini etkileyen bir hata düzeltildi.

  • 24 Nisan 2018

    • olduğunda spark.databricks.io.hive.fastwriter.enabled bölümlenmiş Hive tablolarına üzerine yazmaların eklenmesini etkileyen bir hata düzeltildi false.

  • 9 Mart 2018, İstanbul

    • Nadir durumlarda bazı çıkış dosyalarının kaybolmasına neden olabilen bir yarış durumunun neden olduğu bir sorun düzeltildi.

  • 13 Aralık 2017

    • Scala'daki UDF'leri etkileyen bir sorun düzeltildi.
    • DBFS olmayan yollarda depolanan veri kaynağı tablolarında Veri Atlama Dizini kullanımını etkileyen bir sorun düzeltildi.

  • 7 Aralık 2017, Cumartesi

    • Geliştirilmiş karıştırma kararlılığı.

Desteklenmeyen Databricks Runtime sürümleri

Özgün sürüm notları için alt başlığın altındaki bağlantıyı izleyin.