Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Bu makalede, not defterleri ve işler için sunucusuz işlemde kullanılabilen ve yakında sunulacak özellikler ve davranışlar açıklanmaktadır.
Sunucusuz işlem hakkında daha fazla bilgi için bkz Sunucusuz işlemle bağlantı kurma.
Azure Databricks düzenli aralıklarla sunucusuz işlem güncelleştirmeleri yayınlar ve platforma yapılan iyileştirmeleri ve yükseltmeleri desteklemek için sunucusuz işlem çalışma zamanını otomatik olarak yükselter. Tüm kullanıcılar kısa bir süre içinde dağıtılan aynı güncelleştirmeleri alır.
Sunucusuz ortam sürümleri
Not defterleri ve işler için sunucusuz hesaplama, uygulama uyumluluğunu sağlamak için Spark Connect'e dayalı kararlı bir istemci API'sı sunan ortam sürümlerini kullanır. Bu, Databricks'in sunucuyu bağımsız olarak yükseltmesine olanak tanır; performans iyileştirmeleri, güvenlik geliştirmeleri ve hata düzeltmeleri sağlayarak iş yüklerinde kod değişiklikleri gerektirmez.
Her ortam sürümü, belirli bir Python sürümünü ve belirli sürümlere sahip Python paketlerinden oluşan bir seti içerir. Databricks, en son çevre sürümünde yeni özellikler ve düzeltmeler sunarken, desteklenen tüm çevre sürümlerine güvenlik güncellemeleri uygular.
Sunucusuz ortam sürümü sürüm notları için bkz. Sunucusuz ortam sürümleri.
Sürüm notları
Bu bölüm sunucusuz işlem için sürüm notlarını içerir. Yayın notları, yıla ve yılın haftasına göre düzenlenmiştir. Sunucusuz işlem her zaman burada listelenen en son yayınlanan sürümü kullanarak çalışır.
- Sürüm 17.3
- Sürüm 17.2
- Sürüm 17.1
- Sunucusuz ortam sürüm 4
- Sürüm 17.0
- Sunucusuz performans hedefleri GA'dır
- Sürüm 16.4
- Performans modu artık sunucusuz işlerde yapılandırılabilir
- Sürüm 16.3
- Sürüm 16.2
- Sunucusuz not defterlerinde yüksek bellek ayarı (Genel Önizleme)
- Sürüm 16.1
- Sürüm 15.4
- JDK, JDK 8'den JDK 17'ye yükseltilir
- Sürüm 15.1
- Sürüm 14.3
Sürüm 17.3
28 Ekim 2025, Cumartesi
Bu sunucusuz işlem sürümü kabaca Databricks Runtime 17.3 LTS'ye karşılık gelir.
Yeni özellikler
LIMIT Özyinelemeli CTE'ler için TÜM destek: Artık yan tümcesini
LIMIT ALLözyinelemeli ortak tablo ifadeleriyle (rCTEs) kullanarak sorgu sonuçlarına satır sınırı uygulanmaması gerektiğini açıkça belirtebilirsiniz. Bkz. Ortak tablo ifadesi (CTE).Unity Kataloğu birimlerindeki dosyalara ekleme işlemleri doğru hata mesajlarını döndürüyor: Artık Unity Kataloğu birimlerindeki mevcut dosyalara ekleme girişimleri, sorunu anlamanızı ve çözmenizi kolaylaştırmak için daha açıklayıcı bir hata iletisi döndürüyor.
st_dumpişlev desteği: Artık bir geometri nesnesini bileşen parçalarına ayırmak ve daha basit geometriler döndürmek için işlevini kullanabilirsinizst_dump. bkz.st_dumpişlevi.Çokgen iç halka işlevleri artık destekleniyor: Artık çokgen iç halkalarla çalışmak için aşağıdaki işlevleri kullanabilirsiniz:
-
st_numinteriorrings: Bir çokgenin iç sınırlarının sayısını belirler. bkz.st_numinteriorringsişlevi. -
st_interiorringn: Çokgenin n. iç sınırını ayıklayın ve bir çizgi dizesi olarak döndürin. bkz.st_interiorringnişlevi.
-
EXECUTE IMMEDIATE sabit ifadeler kullanarak: deyimi
EXECUTE IMMEDIATEartık sorgu dizesinde sabit ifadelerin kullanılmasını destekleyerek daha esnek dinamik SQL yürütmesi sağlar. Bkz. EXECUTE IMMEDIATE.Sunucusuz işleme izin ver
spark.sql.files.maxPartitionBytes: Sunucusuz işlemde artık, dosyaları okurken tek bir parçaya sığdırılacak maksimum bayt sayısını denetlemek amacıylaspark.sql.files.maxPartitionBytesSpark yapılandırma parametresini ayarlayabilirsiniz. Bkz . Sunucusuz not defterleri ve işler için Spark özelliklerini yapılandırma.
Davranış değişiklikleri
DESCRIBE EXTENDED AS JSON'da MV/ST yenileme bilgilerini destekleyin:
DESCRIBE EXTENDED AS JSONKomut artık gerçekleştirilmiş görünümler ve akış tabloları için yenileme bilgilerini içerir ve son yenileme zamanına ve durumuna görünürlük sağlar.ve DESCRIBE QUERYöğesine DESCRIBE TABLE meta veri sütunu ekleme:
DESCRIBE QUERYveDESCRIBE TABLEkomutları artık çıktılarına bir meta veri sütunu ekleyerek her sütunun özellikleri ve özellikleri hakkında ek bilgi sağlar.NullType sütunları bırakıldığında null yapıların doğru işlenmesi: Azure Databricks artık
NullTypesütunlarını bırakırken null yapı değerlerini doğru şekilde işleyerek olası veri bozulmalarını veya beklenmeyen davranışları önlüyor.Parquet'te null yapıların işlenmesi geliştirildi: Bu sürüm, parquet dosyalarından okurken ve parquet dosyalarına yazarken null yapı değerlerinin nasıl işleneceğini gösteren iyileştirmeler içerir ve daha tutarlı ve doğru davranış sağlar.
Kafka için aws-msk-iam-auth kitaplığını yükseltin:
aws-msk-iam-authAmazon MSK IAM kimlik doğrulaması için kullanılan kitaplık, gelişmiş güvenlik ve uyumluluk sağlayan en son sürüme yükseltildi.
Sürüm 17.2
25 Eylül 2025, Cumartesi
Bu sunucusuz işlem sürümü kabaca Databricks Runtime 17.2'ye karşılık gelir.
Yeni özellikler
ST_ExteriorRingişlevi artık destekleniyor: Artık işlevini kullanarakST_ExteriorRingçokgenin dış sınırını ayıklayabilir ve bunu bir çizgi dizesi olarak döndürebilirsiniz. bkz.st_exteriorringişlevi.Ölçüm görünümü oluşturma için
TEMPORARYanahtar sözcüğüne destek: Artık ölçüm görünümü oluştururkenTEMPORARYanahtar sözcüğünü kullanabilirsiniz. Geçici ölçüm görünümleri yalnızca bunları oluşturan oturumda görünür ve oturum sona erdiğinde bırakılır. Bkz. CREATE VIEW.S3 üzerinde
LokiFileSystem.getFileStatusiçin yerel G/Ç kullan:LokiFileSystem.getFileStatusartık Amazon S3 trafiği için yerel G/Ç yığınını kullanıyor veorg.apache.hadoop.fs.FileStatusnesneleri yerine döndürüyorshaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.Otomatik Yükleyici
singleVariantColumnmodunda bölüm sütunlarını tümler: Otomatik Yükleyici,singleVariantColumnseçeneği kullanılırken, veriler yarı yapılandırılmış bir değişken türü olarak alındığında, dosya yollarından bölüm sütunlarını tümler. Daha önce bölüm sütunları otomatik olarak algılanmıyordu. Bkz. Otomatik Yükleyici seçenekleri.
Davranış değişiklikleri
DESCRIBE CONNECTIONJDBC bağlantıları için ortam ayarlarını gösterir: Azure Databricks artık özel sürücüleri destekleyen ve yalıtılmış olarak çalışan JDBC bağlantılarının çıktısında kullanıcı tanımlı ortam ayarlarınıDESCRIBE CONNECTIONiçerir. Diğer bağlantı türleri değişmeden kalır.Yönetilen tablo geçişi sırasında tekdüzen geçmişi kesme seçeneği: Artık
ALTER TABLE...SET MANAGEDkullanarak Tekdüzen/Buzdağı etkin tabloları taşırken tekdüzen geçmişini kesebilirsiniz. Bu, geçişleri basitleştirir ve Tekdüzen'i el ile devre dışı bırakma ve yeniden etkinleştirmeye kıyasla kapalı kalma süresini azaltır.Boş regex ve pozitif sınır ile
splitiçin doğru sonuçlar: Azure Databricks artık boş bir regex ve pozitif bir sınır ile kullanıldığındasplit functiondoğru sonuçlar döndürüyor. Daha önce işlev, son öğeye dahil olmak yerine kalan dizeyi yanlış kesmişti.Photon'da
url_decodevetry_url_decodehata işleme düzeltildi: Photon'datry_url_decode()veurl_decode(), geçersiz URL kodlanmış dizelere rastladığındafailOnError = falsesorguyu başarısız kılmak yerine artıkNULLdöndürüyor.Unity Kataloğu Python UDF'leri için paylaşılan yürütme ortamı: Azure Databricks artık aynı sahipten ve Spark oturumundan Python kullanıcı tanımlı tablo işlevleri (UDF) için yürütme ortamını paylaşıyor. Ortam değişkenlerini değiştirme veya rastgele kod yürütme gibi yan etkileri olan UDF'ler için paylaşımı devre dışı bırakmak için isteğe bağlı
STRICT ISOLATIONbir yan tümce kullanılabilir.
Sürüm 17.1
19 Ağustos 2025
Bu sunucusuz işlem sürümü kabaca Databricks Runtime 17.1'e karşılık gelir.
Yeni özellikler
- Photon yazıcısında geniş şemalar için bellek kullanımı azaltıldı: Daha önce yetersiz bellek hatalarına neden olan senaryoları ele alan, geniş şemalar için bellek kullanımını önemli ölçüde azaltan Foton altyapısında geliştirmeler yapıldı.
Davranış değişiklikleri
Geçersiz
CHECKkısıtlamalar için hata oluştu: Azure Databricks artık kısıtlama doğrulaması sırasında bir kısıtlama ifadesi çözümlenemiyorsa birAnalysisExceptionCHECKoluşturur.Pulsar bağlayıcısı artık Bouncy Castle'ı kullanıma sunmaz: Bouncy Castle kitaplığı artık sınıf yolu çakışmalarını önlemek için Pulsar bağlayıcısında gölgelendirilmiştir. Sonuç olarak, Spark görevleri artık bağlayıcıdan
org.bouncycastle.*sınıflarına erişemez. Kodunuz Bouncy Castle'a bağlıysa kitaplığı sunucusuz ortama el ile yükleyin.Otomatik Yükleyici, varsa varsayılan olarak dosya olaylarını kullanır: Otomatik Yükleyici, yükleme yolu dosya olaylarının etkinleştirildiği bir dış konum olduğunda dizin listesi yerine dosya olaylarını kullanır. için
useManagedFileEventsvarsayılan değer şimdidirif_available(oldufalse). Bu, veri alımı performansını iyileştirebilir ve dosya olayları henüz etkinleştirilmediyse bir uyarı kaydeder.Teradata bağlayıcısı büyük/küçük harfe duyarlı dize karşılaştırmasını düzeltir: Teradata bağlayıcısı artık varsayılan olarak
TMODE=ANSIdeğerini alır ve dize karşılaştırma davranışını Büyük/küçük harfe duyarlı hale getirerek Azure Databricks ile uyumlu hale getirir. Bu değişiklik yapılandırılabilir ve kabul etmediği sürece mevcut kullanıcıları etkilemez.
Sunucusuz ortam sürüm 4
13 Ağustos 2025, Ağustos 2025, Ağustos 2025, Ağustos 2025, Ağustos
Ortam sürüm 4 artık sunucusuz not defterlerinizde ve işlerinizde kullanılabilir. Bu ortam sürümü kitaplık yükseltmelerini ve API güncelleştirmelerini içerir. Bkz . Sunucusuz ortam sürüm 4.
Sürüm 17.0
24 Temmuz 2025
Bu sunucusuz işlem sürümü kabaca Databricks Runtime 17.0'a karşılık gelir.
Yeni özellikler
SQL yordam desteği: SQL betikleri artık Unity Kataloğu'nda yeniden kullanılabilir bir varlık olarak depolanan bir yordamda kapsüllenebilir. CREATE PROCEDURE komutunu kullanarak bir yordam oluşturabilir ve ardından CALL komutunu kullanarak çağırabilirsiniz.
SQL İşlevleri için varsayılan sıralama ayarlama:
DEFAULT COLLATIONkomutundaki yeni CREATE FUNCTION yan tümcesini kullanmak, işlev gövdesindeki parametreler, geri dönüş türü veSTRINGdeğişmez değerler için kullanılan varsayılan sıralamayı tanımlar.Özyinelemeli ortak tablo ifadeleri (rCTE) desteği: Azure Databricks artık özyinelemeli ortak tablo ifadelerini (rCTEs) kullanarak hiyerarşik verilerin gezintisini destekliyor. Özyineleyici ilişkiyi izlemek için
UNION ALLkendi referansını veren bir CTE kullanın.PySpark ve Spark Connect artık DataFrame'leri
df.mergeIntodestekliyor API: PySpark ve Spark Connect artık API'yidf.mergeIntodestekliyor.ALL CATALOGSdesteğiSHOWSCHEMAS:SHOW SCHEMASdizimi,ALL CATALOGSkabul edilecek şekilde güncellenmiştir ve ad alanlarını destekleyen tüm etkin katalogları yinelemenizi sağlar. Çıkış öznitelikleri artık ilgili ad alanının kataloğunu gösteren bircatalogsütun içerir.Sıvı kümeleme artık silme vektörlerini daha verimli bir şekilde sıkıştırıyor: Sıvı kümelemeli delta tabloları artık çalışırken silme vektörlerinden fiziksel değişiklikleri daha verimli bir şekilde
OPTIMIZEuyguluyor. Diğer ayrıntılar için bkz. Parquet veri dosyalarına değişiklik uygulama.UPDATE/INSERTsütun değerlerinde belirleyici olmayan ifadelere izin ver işlemler içinMERGE: Azure Databricks artık işlemlerin güncellenmiş ve eklenmiş sütun değerlerinde belirleyici olmayan ifadelerin kullanılmasınaMERGEizin veriyor. Örneğin, artık gibirand()ifadeleri kullanarak sütunlar için dinamik veya rastgele değerler oluşturabilirsiniz.Delta MERGE Python API'lerini Unit yerine DataFrame döndürecek şekilde değiştirin: Python
MERGEAPI'leri (gibiDeltaMergeBuilder) artık SQL API'sinin yaptığı gibi aynı sonuçlara sahip bir DataFrame döndürür.
Davranış değişiklikleri
Otomatik Yükleyici artımlı dizin listeleme seçeneği için davranış değişikliği: Kullanım dışı bırakılan Otomatik Yükleyici
cloudFiles.useIncrementalListingseçeneğinin değeri artık varsayılan değerinefalseayarlanmıştır. Sonuç olarak, bu değişiklik Otomatik Yükleyici'nin her çalıştırıldığında tam dizin listesi gerçekleştirmesine neden olur. Databricks bu seçeneğin kullanılmamasını önerir. Bunun yerine, dosya olaylarıyla dosya bildirim modunu kullanın.CREATE VIEWsütun düzeyi yan tümceleri artık yan tümcesi yalnızca gerçekleştirilmiş görünümler için geçerli olduğunda hatalar oluşturur:CREATE VIEWyalnızca s içinMATERIALIZED VIEWgeçerli olan bir sütun düzeyi yan tümcesi belirten komutlar artık bir hata oluşturur. Etkilenen yan tümceler, belirtilen veri türlerini,NOT NULLveDEFAULT'yi içerirCOLUMN MASK.
Sunucusuz performans hedefleri GA'dır
10 Haziran 2025
İşler ve işlem hatları için sunucusuz performans ayarının seçilmesi artık genel kullanıma sunulmuştur.
Performans için iyileştirilmiş ayar etkinleştirildiğinde, iş yükünüz daha hızlı başlatma ve yürütme süresi için iyileştirilir. Devre dışı bırakıldığında sunucusuz iş yükü, maliyet için iyileştirilmiş ve başlatma gecikme süresi biraz daha yüksek olan standart performans modunda çalışır.
Daha fazla bilgi için bkz. Performans modu seçme ve Performans modu seçme.
Sürüm 16.4
28 Mayıs 2025
Bu sunucusuz işlem sürümü kabaca Databricks Runtime 16.4 LTS'ye karşılık gelir.
Davranış değişiklikleri
Veri kaynağı önbelleğe alınmış planlara yönelik seçeneklere saygı duymaya yönelik düzeltme: Bu güncelleştirme, yalnızca önbelleğe alınan ilk tablo okunduğunda değil, önbelleğe alınan tüm veri kaynağı planları için ayarlanan tablo okumalarına saygı seçeneklerinin ayarlanmasını sağlar. Daha önce veri kaynağı tablosu ilk planı önbelleğe aldı ancak sonraki sorgulardaki farklı seçenekleri hesaba ekleyemedi.
MERGE işlemleri için kaynak gerçekleştirmeyi zorunlu kılacak bayrağı etkinleştir: Daha önce, kullanıcılar
merge.materializeSourceolarak ayarlayarak MERGE'de kaynak gerçekleştirmeyinonekapatabiliyorlardı. Yeni bayrak etkinleştirildiğinde, kaynak gerçekleştirme her zaman gerekli olur ve devre dışı bırakma girişimleri hataya neden olur. Databricks bu bayrağı yalnızca daha önce bu yapılandırmayı değiştirmemiş olan müşteriler için etkinleştirmeyi planlıyor, bu nedenle kullanıcıların çoğu davranışta herhangi bir değişiklik yaşamamalıdır.
Yeni özellikler
Otomatik Yükleyici artık kaynak dizindeki işlenmiş dosyaları temizleyebilir: Artık Otomatik Yükleyici'ye işlenen dosyaları otomatik olarak taşımasını veya silmesini sağlayabilirsiniz. Otomatik Yükleyici seçeneğini kullanarak bu özelliği etkinleştirin
cloudFiles.cleanSource. AltındakicloudFiles.cleanSourcebakın.Delta tablolarından akış için tür genişletme desteği eklendi: Bu sürüm, tür genişletme sütun verilerine sahip bir Delta tablosundan akış ve Databricks-to-Databricks Delta Sharing kullanılarak tür genişletme etkinleştirilmiş bir Delta tablosunu paylaşma desteği ekler. Tür genişletme özelliği şu anda Genel Önizleme'dedir. Bkz. Tür genişletme.
IDENTIFIER desteği artık katalog işlemleri için DBSQL'de kullanılabilir: Artık aşağıdaki katalog işlemlerini gerçekleştirirken yan tümcesini
IDENTIFIERkullanabilirsiniz:CREATE CATALOGDROP CATALOGCOMMENT ON CATALOGALTER CATALOG
Bu yeni söz dizimi, bu işlemler için tanımlanan parametreleri kullanarak katalog adlarını dinamik olarak belirtmenize olanak tanıyarak daha esnek ve yeniden kullanılabilir SQL iş akışları sağlar. Söz dizimine örnek olarak, katalog adı belirtmek için
CREATE CATALOG IDENTIFIER(:param)parametresi sağlanan yeriparamgöz önünde bulundurun. Bkz: IDENTIFIER yan tümcesi.Harmanlanmış ifadeler artık otomatik olarak oluşturulan geçici diğer adlar sağlar: Harmanlanmış ifadeler için otomatik olarak oluşturulan diğer adlar artık bilgileri belirleyici bir şekilde birleştirir
COLLATE. Otomatik oluşturulan diğer adlar geçicidir (kararsızdır) ve bu adlara güvenilmemelidir. Bunun yerine, en iyi uygulama olarak tutarlı ve açık bir şekilde kullanınexpression AS alias.Python veri kaynaklarına filtre gönderme API'si desteği ekleme: Sunucusuz işlem artık arabirime benzer bir API olarak okunan Python veri kaynağı toplu işlemine filtre göndermeyi
SupportsPushDownFiltersdestekliyor. Bkz. 16.4 LTS sürüm notları.Python UDF geri izleme iyileştirmesi: Python UDF izlemesi artık istemci çerçeveleriyle birlikte hem sürücü hem de yürütücüden çerçeveler içerir ve bu da daha fazla ve daha ilgili ayrıntıları (UDF içindeki çerçevelerin satır içeriği gibi) gösteren daha iyi hata iletilerine neden olur.
EXECUTE IMMEDIATE En üst düzeyde ve diğer ad verilmemiş sütunlara sahip geçici ve kalıcı görünüm tanımları için yapılan sorgular, önceden anahtar kelimelerin diğer ad olarak kabul edilmesi nedeniyle yanlış sonuçlar veriyordu. Artık bu sorgular küme işleminin tamamını doğru bir şekilde gerçekleştirecektir.
Veri kaynağı önbelleğe alınmış plan ayar ve geçiş kılavuzu: Dosya kaynağı tablosundan veri okunması, sorgu seçeneklerine (örneğin sınırlayıcılar) doğru şekilde riayet edecektir. Daha önce ilk sorgu planı önbelleğe alınmış ve sonraki seçenek değişiklikleri yoksayılmıştı. Önceki davranışı geri yüklemek için
spark.sql.legacy.readFileSourceTableCacheIgnoreOptionsöğesinitrueolarak ayarlayın.Yeni
listaggvestring_aggişlevler: Bu sürümden itibarenlistaggveyastring_aggişlevlerini kullanarakSTRINGveBINARYdeğerlerini bir grup içinde toplayabilirsiniz. Bkz. string_agg.
Performans modu artık sunucusuz işlerde yapılandırılabilir
14 Nisan 2025
Artık iş ayrıntıları sayfasındaki Performans için iyileştirilmiş ayarını kullanarak sunucusuz işin performans modunu seçebilirsiniz. Daha önce tüm sunucusuz işler performans için iyileştirilmişti. Artık iş yükünü standart performans modunda çalıştırmak için Performans için iyileştirilmiş ayarını devre dışı bırakabilirsiniz. Standart performans modu, biraz daha yüksek başlatma gecikme süresinin kabul edilebilir olduğu iş yüklerindeki maliyetleri azaltmak için tasarlanmıştır.
Standart performans modu sürekli işlem hatları, uç nokta kullanılarak runs/submit oluşturulan tek seferlik çalıştırmalar veya gerçekleştirilmiş görünümler de dahil olmak üzere SQL ambarı iş görevleri için desteklenmez.
Performans modu hakkında daha fazla bilgi için bkz. Performans modu seçme.
Sürüm 16.3
9 Nisan 2025
Bu sunucusuz işlem sürümü kabaca Databricks Runtime 16.3'e karşılık gelir.
Davranış değişiklikleri
-
*Geçersiz bir değer atandığında
kafka.sasl.client.callback.handler.classhata iletisi geliştirildi: Bu sürüm, geçersiz bir değer atandığındakafka.sasl.client.callback.handler.classdaha açıklayıcı bir hata iletisi döndürmek için bir değişiklik içerir.
Yeni özellikler
Durum okuyucu desteği GA'dır: Yapılandırılmış Akış sorguları için durum bilgilerini okuma desteği artık sunucusuz işlemde genel olarak kullanılabilir. Bkz. Yapılandırılmış Akış durumu bilgilerini okuyun.
Delta tablo protokolü düşürme, denetim noktası korumasına sahip GA'dır:
DROP FEATUREDelta Lake tablo özelliklerini kaldırmak ve tablo protokollerini düşürmek için genel olarak kullanılabilir. Varsayılan olarak,DROP FEATURE, artık bekleme süresi veya geçmişin kesilmesini gerektirmeyen, daha optimize edilmiş ve basitleştirilmiş bir sürüm düşürme deneyimi için korumalı kontrol noktaları oluşturuyor. Bkz . Delta Lake tablosu özelliğini bırakma ve tablo protokolünü düşürme.ANSI SQL/PSM (Genel Önizleme) tabanlı yordamsal SQL betikleri yazma: Artık DENETIM akışı deyimleri, yerel değişkenler ve özel durum işleme dahil olmak üzere SQL ile yordam mantığı yazmak için ANSI SQL/PSM'ye dayalı betik oluşturma özelliklerini kullanabilirsiniz. Bkz. SQL betiği oluşturma.
Tablo ve görünüm düzeyi varsayılan harmanlama: Artık tablolar ve görünümler için varsayılan harmanlama belirtebilirsiniz. Bu, tüm sütunların veya çoğu sütunun aynı harmanlamayı paylaştığı tablo ve görünümlerin oluşturulmasını basitleştirir. Bkz. Harmanlama.
Yeni H3 işlevleri: Üç yeni H3 işlevi eklendi: h3_try_coverash3, h3_try_coverash3string ve h3_try_tessellateaswkb.
Bir ALTER TABLE deyimde birden çok tablo sütunlarını değiştirme: Artık tek
ALTER TABLEbir deyimde birden çok sütunu değiştirebilirsiniz. Bkz ALTER TABLE... COLUMN yan tümcesi.
Sürüm 16.2
13 Mart 2025
Bu sunucusuz işlem sürümü kabaca Databricks Runtime 16.2karşılık gelir.
Davranış değişiklikleri
Delta Sharing'de tablo geçmişi varsayılan olarak etkindir: SQL komutu kullanılarak oluşturulan paylaşımlar
ALTER SHARE <share> ADD TABLE <table>artık varsayılan olarak geçmiş paylaşımı (WITH HISTORY) etkindir. Bkz. ALTER SHARE.Kimlik bilgisi SQL deyimleri, kimlik bilgisi türü uyuşmazlığı olduğunda hata döndürür: Şimdi, kimlik bilgisi yönetimi SQL deyiminde belirtilen kimlik bilgisi türü kimlik bilgisi bağımsız değişkeninin türüyle eşleşmiyorsa bir hata döndürülür ve deyimi çalıştırılmaz.
Yeni özellikler
Oluşturulan sütun ifadelerinde
timestampdiff×tampaddkullanın. Artık Delta Lake tarafından oluşturulan sütun ifadelerinde zaman damgası farkı ve zaman damgası ekleme işlevlerini kullanabilirsiniz. Delta Lake tarafından oluşturulan sütunlarınıgörün.Update to
DESCRIBE TABLEmeta verileri yapılandırılmış JSONolarak döndürür: Artık tablo meta verilerini JSON belgesi olarak döndürmek içinDESCRIBE TABLE AS JSONkomutunu kullanabilirsiniz. JSON çıkışı, varsayılan insan tarafından okunabilir rapordan daha yapılandırılmıştır ve bir tablonun şemasını program aracılığıyla yorumlamak için kullanılabilir. Daha fazla bilgi edinmek için bkz. AS JSON DESCRIBE TABLE.Sondaki boşluklara duyarsız harmanlamalar: Serverless platformu artık sondaki boşluklara duyarsız harmanlamaları destekliyor. Örneğin, bu harmanlamalar
'Hello've'Hello 'eşit olarak ele alır. Daha fazla bilgi edinmek için bkz. RTRIM harmanlama .
Hata düzeltmeleri
-
Geliştirilmiş artımlı kopya işleme: Bu sürüm, artımlı
CLONEişleminin bir kaynak tablodan hedef tabloya kopyalanmış dosyaları yeniden kopyalayabileceği uç duruma yönelik düzeltmesini içerir. Bkz. Azure Databricks'da bir tabloyu klonlama.
Sunucusuz not defterlerinde yüksek bellek ayarı kullanılabilir (Genel Önizleme)
7 Şubat 2025
Artık sunucusuz işlem not defteri iş yükleriniz için daha yüksek bir bellek boyutu yapılandırabilirsiniz. Bu ayar hem etkileşimli hem de zamanlanmış not defteri iş yüklerine uygulanabilir.
Yüksek bellekli sunucusuz kullanım, standart bellekten daha yüksek bir DBU emisyon oranına sahiptir.
Daha fazla bilgi için bkz. Yüksek bellekli sunucusuz işlem kullanma.
Sürüm 16.1
5 Şubat 2025
Bu sunucusuz işlem sürümü kabaca Databricks Runtime 16.0 ve Databricks Runtime 16.1 karşılık gelir.
Yeni özellikler
-
Özyinelemeli şema için Avro desteği: Artık
recursiveFieldMaxDepthseçeneğinifrom_avroişlevi veavroveri kaynağı ile kullanabilirsiniz. Bu seçenek Avro veri kaynağında şema özyinelemesi için en yüksek derinliği ayarlar. Bkz Avro verilerini akış olarak okuma ve yazma. - Avro ile ilgili Confluent Schema Registry desteği genişletildi: Sunucusuz artık Confluent Schema Registry ile Avro şema referanslarını destekliyor. Bakınız Dış Confluent Schema Registry'de kimlik doğrulama.
-
Sıvı kümelemesi olan tablolarda yeniden kümelemeye zorla:
OPTIMIZE FULLsöz dizimini kullanarak sıvı kümelemesi etkin bir tablodaki tüm kayıtların yeniden kümelemeye zorlanmasını sağlayabilirsiniz. Tüm kayıtlar için zorunlu yeniden kümelendirmeye bakın. - Python için Delta API'leri artık kimlik sütunlarını destekliyor: Artık Kimlik sütunları içeren tablolar oluşturmak için Python için Delta API'lerini kullanabilirsiniz. Bkz. Delta Lake'te kimlik sütunlarını kullanma.
-
Akış yazma işlemleri sırasında sıvı kümelenmiş tablolar oluşturma: Yapılandırılmış Akış yazmaları ile yeni tablolar oluştururken sıvı kümelemeye olanak tanımak için artık
clusterBykullanabilirsiniz. Bkz . Sıvı kümelemasını etkinleştirme. - OPTIMIZE FULL yan tümcesi için Desteği: Sunucusuz işlem artık OPTIMIZE FULL yan tümcesini destekliyor. Bu yan tümce, daha önce kümelenmiş olabilecek veriler de dahil olmak üzere sıvı kümeleme kullanan bir tablodaki tüm kayıtları iyileştirir.
- INSERT ve tablo başvurularında WITH seçenekleri belirtimi desteği: Sunucusuz işlem artık veri kaynaklarının davranışını denetlemek için kullanılabilecek bir deyim olan tablo başvuruları ve tablo adları için bir seçenek belirtimi destekliyor.
-
Yeni SQL işlevleri: Sunucusuz işlemde şu SQL işlevleri kullanılabilir:
- try_url_decode, url_decode'nin hataya dayanıklı bir sürümüdür.
-
zeroifnull,
zeroifnull()işlevine giriş ifadesiNULLise, 0 döndürür. -
nullifzero, girdi 0 ise
NULLdeğerini ya da girdi 0 değilse girdinin kendisini döndürür. - dayname(expr) verilen tarih için haftanın günü için üç harfli İngilizce kısaltmasını döndürür.
- uniform(expr1, expr2 [,seed]) belirtilen sayı aralığında bağımsız ve aynı şekilde dağıtılmış değerlerle rastgele bir değer döndürür.
-
randstr(uzunluk)
lengthalfasayısal karakterden oluşan rastgele bir dize döndürür.
-
Desteği eklendi. Otomatik şema evrimini etkinleştirmek için
withSchemaEvolution()'üMERGEişlemleri sırasında kullanın. Örneğin,mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}. - Apache Spark'ta harmanlamalar için Desteği Genel Önizleme aşamasındadır: Artık
STRINGsütun ve ifadelere dil kullanan, büyük/küçük harfe duyarlı olmayan ve erişime duyarsız harmanlamalar atayabilirsiniz. Bu harmanlamalar dize karşılaştırmalarında, sıralama, gruplandırma işlemlerinde ve birçok dize işlevinde kullanılır. Bkz. Harmanlama. - Delta Lake'teki harmanlamalar için Desteği Genel Önizleme aşamasındadır: Artık Delta tablosu oluştururken veya değiştirirken sütunlar için harmanlamalar tanımlayabilirsiniz. Delta Lakeiçin
Sıralama desteğine bakın. - Vakum için
LITEmodu Genel Önizleme aşamasındadır: Delta işlem günlüğündeki meta verilerden yararlanan daha hafif bir vakum işlemi gerçekleştirmek için artıkVACUUM table_name LITEkullanabilirsiniz. Bkz. Kapsamlı ve hafif mod ve VACUUM. -
USE CATALOG with IDENTIFIERyan tümcesini parametreleştirmek için Desteği:IDENTIFIER yan tümcesi artık USE CATALOG deyimi için desteklenmektedir. Bu destekle, geçerli kataloğu bir dize değişkenine veya parametre işaretçisine göre parametreleştirebilirsiniz. - Tablolar ve görünümler için COMMENT ONCOLUMN desteği:COMMENT ON deyimi artık görünüm ve tablo sütunları için açıklamaları değiştirmeyi destekliyor.
- Daha fazla işlev için Adlandırılmış parametre çağırma: Aşağıdaki işlevler adlandırılmış parametre çağırma destekler:
-
SYNC METADATAkomutuna REPAIR TABLE parametresi Hive meta veri deposuyla desteklenir: ArtıkSYNC METADATAkomutuylaREPAIR TABLEparametresini kullanarak Hive meta veri deposu yönetilen tablosunun meta verilerini güncelleştirebilirsiniz. Bkz. REPAIR TABLE. -
Sıkıştırılmış Apache Arrow toplu işlemleri için gelişmiş veri bütünlüğü: Veri bozulmasına karşı daha fazla koruma sağlamak amacıyla artık her
LZ4sıkıştırılmış Arrow toplu işlemi,LZ4içerik ve blok sağlama toplamlarını içerir. bkz. LZ4 Çerçeve Biçimi Açıklaması.
-
Yerleşik Oracle JDBC Sürücüsü: Sunucusuz işlemde artık Oracle JDBC Sürücüsü yerleşik olarak bulunur.
DriverManageraracılığıyla müşteri tarafından yüklenen bir JDBC sürücüsü JAR kullanıyorsanız, özel JAR'yi açıkça kullanmak için betikleri yeniden yazmanız gerekir. Aksi takdirde, yerleşik sürücü kullanılır. Bu sürücü yalnızca Lakehouse Federasyonu'nü destekler. Diğer kullanım örnekleri için kendi sürücünüzü sağlamanız gerekir. -
Yollarla erişilen Delta tabloları için daha ayrıntılı hatalar: Yollar kullanılarak erişilen Delta tabloları için yeni bir hata iletisi deneyimi kullanıma sunuldu. Tüm özel durumlar artık kullanıcıya iletilir. Özel durum
DELTA_MISSING_DELTA_TABLEartık temel alınan dosyaların Delta tablosu olarak okunamadığı durumlar için ayrılmıştır.
Davranış değişiklikleri
- Kırıcı Değişiklik: Barındırılan RStudio'nun Kullanım Ömrünün Sonu: Bu sürümle birlikte, Databricks tarafından barındırılan RStudio Server, sunucusuz işlem üzerinde çalışan Azure Databricks çalışma alanlarında kullanım dışıdır. Daha fazla bilgi edinmek ve RStudio'nun alternatiflerinin listesini görmek için bkz. Databricks tarafından barındırılan RStudio Sunucusuna bağlanma.
Önemli değişiklik:
byte,short,intvelongtürlerini daha geniş türlere değiştirme desteğinin kaldırılması: Delta ve Apache Iceberg tablolarında tutarlı davranış sağlamak için, tür genişletme özelliği etkin olan tablolara artık aşağıdaki veri türü değişiklikleri uygulanamıyor:-
byte,short,intvelong'idecimal'e. -
byte,shortveintiledouble'ye.
-
İç içe karakter gruplandırmasında olumsuzlama ile regex desenlerinin doğru ayrıştırılması: Bu sürüm, iç içe karakter gruplandırmasında olumsuzlama ile regex desenlerinin doğru ayrıştırılmasını destekleyen bir değişiklik içerir. Örneğin,
[^[abc]]"'abc'lerden biri olmayan herhangi bir karakter" olarak ayrıştırılır.Buna ek olarak, iç içe karakter sınıfları için Foton davranışı Spark ile tutarsızdı. İç içe karakter sınıfları içeren regex desenleri artık Photon kullanmaz ve spark kullanır. İç içe yerleştirilmiş karakter sınıfı, köşeli ayraçlar içinde köşeli ayraçlar içeren,
[[a-c][1-3]]gibi herhangi bir desendir.Delta Lake
MERGE'de yinelenen eşleşme algılamasını geliştirme:MERGEartıkWHEN MATCHEDyan tümcesinde belirtilen koşulları dikkate alır. Birleştirme kullanarak bir Delta Lake tablosuna veri ekleme (upsert) hakkında bilgi almak için bkz.addArtifact()işlevi artık işlem türleri arasında tutarlıdır: Sunucusuz işlemde bağımlılık eklemek içinaddArtifact(archive = True)kullandığınızda arşiv otomatik olarak açılır.
Hata düzeltmeleri
- Saat dilimi farkları artık CSV, JSON ve XML formatında seri hale getirildiğinde saniyeleri içeriyor. Saniyeleri içeren saat dilimi farklarına sahip zaman damgaları (1900'den önceki zaman damgaları için yaygındır) CSV, JSON ve XML olarak seri hale getirildiğinde saniyeleri içermezdi. Varsayılan zaman damgası biçimlendiricisi düzeltildi ve şimdi bu zaman damgaları için doğru uzaklık değerlerini döndürür.
Diğer değişiklikler
-
cloudFilesYapılandırılmış Akış kaynağı için Yeniden Adlandırılmış hata kodları: Aşağıdaki hata kodları yeniden adlandırıldı:-
_LEGACY_ERROR_TEMP_DBR_0143CF_INCORRECT_STREAM_USAGEolarak yeniden adlandırılır. -
_LEGACY_ERROR_TEMP_DBR_0260CF_INCORRECT_BATCH_USAGEolarak yeniden adlandırılır.
-
Sürüm 15.4
28 Ekim 2024, Cumartesi
Bu sunucusuz işlem sürümü kabaca Databricks Runtime 15.4'e karşılık gelir
Yeni özellikler
-
UTF-8 doğrulama işlevleri: Bu sürüm, UTF-8 dizelerini doğrulamak için aşağıdaki işlevleri tanıtır:
- is_valid_utf8 bir dizenin geçerli bir UTF-8 dizesi olup olmadığını doğruladı.
- make_valid_utf8, değiştirme karakterlerini kullanarak geçersiz olabilecek bir UTF-8 dizesini geçerli bir UTF-8 dizesine dönüştürür.
- giriş geçerli bir UTF-8 dizesi değilse validate_utf8 bir hata oluşturur.
-
try_validate_utf8, giriş geçerli bir UTF-8 dizesi değilse döndürür
NULL.
- ALTER TABLEkullanarak UniForm Iceberg'i etkinleştirme: Artık veri dosyalarını yeniden yazmadan mevcut tablolarda UniForm Buzdağı'nı etkinleştirebilirsiniz. Bkz. Mevcut bir tabloda Iceberg okumalarını etkinleştirme.
-
try_url_decode işlevi: Bu sürüm, URL ile kodlanmış bir dizenin kodunu çözen try_url_decode işlevini tanıtır. Dize doğru biçimde değilse, işlev hata oluşturmak yerine döndürür
NULL. İsteğe bağlı olarak iyileştiricinin zorunlu olmayan yabancı anahtar kısıtlamalarına güvenmesine izin verin: Sorgu performansını artırmak için artık create veyaALTER tablokısıtlamaları üzerinde anahtar sözcüğünü belirtebilirsiniz. -
Seçmeli üzerine yazmalar için paralel iş yürütme: Seçmeli üzerine yazmalar kullanan
replaceWhere, artık verileri silip yeni verileri paralel olarak ekleyen işleri çalıştırarak sorgu performansını ve küme kullanımını iyileştirir. -
Seçmeli üzerine yazmalarla değişiklik veri akışı için geliştirilmiş performans: Değişiklik veri akışı olan tablolarda
replaceWherekullanan seçmeli üzerine yazmalar artık eklenen veriler için ayrı değişiklik veri dosyaları yazmaz. Bu işlemler, değişiklikleri yazma amplifikasyonu olmadan kaydetmek için temel Parquet veri dosyalarında bulunan gizli bir_change_typesütunu kullanır. -
Komut için
COPY INTOsorgu gecikme süresi geliştirildi: Bu sürüm, komutun sorgu gecikme süresiniCOPY INTOgeliştiren bir değişiklik içerir. Bu geliştirme, RocksDB durum deposu tarafından durum yüklemesini zaman uyumsuz hale getirerek uygulanır. Bu değişiklikle, zaten alınmış çok sayıda dosya içeren sorgular gibi büyük durumlara sahip sorguların başlangıç zamanlarında bir gelişme görmeniz gerekir. -
Denetim kısıtlamaları tablosu özelliğini bırakma desteği: Artık
checkConstraintskullanarakALTER TABLE table_name DROP FEATURE checkConstraintstablo özelliğini delta tablosundan bırakabilirsiniz. Bkz. Denetim kısıtlamalarını devre dışı bırak.
Davranış değişiklikleri
Görünümler için şema bağlama değişikliği: Görünümün temel alınan sorgularındaki veri türleri, görünüm ilk oluşturulduğunda kullanılanlardan değiştiğinde Databricks artık güvenli bir atama gerçekleştirilemiyorsa görünüme başvurular için hata oluşturmaz.
Bunun yerine, görünüm , mümkün olduğunca normal dönüştürme kurallarını kullanarak telafi eder. Bu değişiklik, Databricks'in tablo şeması değişikliklerini daha hazır bir şekilde tolere etmesine olanak tanır.
Beyana dayalı olmayan
!söz dizimi toleransını boole mantığı dışındaNOTengelleyin: Databricks artık boole mantığının dışında!'ninNOTiçin bir eş anlamlı olarak kullanılmasına izin vermeyecektir. Bu değişiklik karışıklığı azaltır, SQL standardıyla uyumludur ve SQL'i daha taşınabilir hale getirir. Örneğin:CREATE ... IF ! EXISTS, IS ! NULL,! NULLsütun veya alan özelliği,! INve ! BETWEEN ile değiştirilmelidir.CREATE ... IF NOT EXISTS,IS NOT NULL,NOT NULLsütun veya alan özelliği,NOT INveNOT BETWEEN.Boole ön ek işleci
!(ör.!is_mgrveya!(true AND false)) bu değişiklikten etkilenmez.Görünümlerde sütun tanımı söz diziminin belgelenmemiş ve işlenmemiş bölümlerine izin verilmemelidir: Databricks, adlandırılmış sütunlar ve sütun açıklamalarıyla CREATE VIEW destekler.
Sütun türlerinin,
NOT NULLkısıtlamalarının veyaDEFAULTbelirtiminin söz diziminde etki yaratmadan tolere edildiği ifade edilmektedir. Databricks bu söz dizimi toleranslarını kaldırır. Bunun yapılması karışıklığı azaltır, SQL standardıyla uyumludur ve gelecekteki iyileştirmelere olanak tanır.Spark ve Photon'da Base64 kod çözme için tutarlı hata işleme: Bu sürüm, Photon'un Base64 kod çözme hatalarını işleme biçimini bu hataların Spark işlemesi ile eşleşecek şekilde değiştirir. Bu değişikliklerden önce, Photon ve Spark kod oluşturma yolu bazen ayrıştırma istisnalarını yükseltmezken, Spark yorumlayıcı yürütme
IllegalArgumentExceptionveyaConversionInvalidInputErroristisnalarını doğru bir şekilde yükseltti. Bu güncelleştirme, Photon'un Base64 kod çözme hataları sırasında Spark ile tutarlı bir şekilde aynı özel durumları oluşturmasını sağlayarak daha öngörülebilir ve güvenilir hata işleme sağlar.Geçersiz bir sütuna
CHECKkısıtlaması eklemek artık UNRESOLVED_COLUMN.WITH_SUGGESTION hata sınıfını döndürüyor: Daha faydalı hata mesajları sağlamak için, Databricks Runtime 15.3 ve üzeri sürümlerde, geçersiz sütun adına başvuran birALTER TABLE ADD CONSTRAINTdeyimi içerenCHECKkısıtlaması UNRESOLVED_COLUMN.WITH_SUGGESTION hata sınıfını döndürüyor. Önceden, birINTERNAL_ERRORgeri döndürüldü.
JDK, JDK 8'den JDK 17'ye yükseltilir
15 Ağustos 2024
Not defterleri ve iş akışları için sunucusuz işlem, sunucu tarafında Java Development Kit (JDK) 8'den JDK 17'ye geçirildi. Bu yükseltme aşağıdaki davranış değişikliklerini içerir:
İç içe karakter gruplandırmasında olumsuzlama ile regex desenlerinin doğru ayrıştırılması: Bu yükseltmeyle Azure Databricks artık iç içe karakter gruplandırmasında olumsuzlama ile regex desenlerinin doğru ayrıştırma işlemini destekliyor. Örneğin,
[^[abc]]"'abc'lerden biri olmayan herhangi bir karakter" olarak ayrıştırılır.Buna ek olarak, iç içe karakter sınıfları için Foton davranışı Spark ile tutarsızdı. İç içe karakter sınıfları içeren regex desenleri artık Photon kullanmaz ve spark kullanır. İç içe yerleştirilmiş karakter sınıfı, köşeli ayraçlar içinde köşeli ayraçlar içeren,
[[a-c][1-3]]gibi herhangi bir desendir.
Sürüm 15.1
23 Temmuz 2024
Bu sunucusuz işlem sürümü kabaca Databricks Runtime 15.1'e karşılık gelir
Yeni özellikler
Örneğin, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).
Changes
JSON ayrıştırma için geliştirilmiş hata kurtarma: ve JSON yol ifadeleri için from_json() kullanılan JSON ayrıştırıcısı artık yanlış biçimlendirilmiş söz diziminden daha hızlı kurtarılarak daha az veri kaybına neden olur.
Struct alanında, dizi değerinde, harita anahtarında veya harita değerinde hatalı biçimlendirilmiş JSON söz dizimi ile karşılaşıldığında, JSON ayrıştırıcısı artık yalnızca okunamayan alan, anahtar veya öğe için NULL döndürecektir. Sonraki alanlar, anahtarlar veya öğeler düzgün şekilde ayrıştırılır. Bu değişiklik öncesinde JSON ayrıştırıcısı dizi, yapı veya harita ayrıştırma işlemini bırakır ve kalan içerik için NULL döndürür.
Sürüm 14.3
15 Nisan 2024
Bu, ilk sunucusuz işlem sürümüdür. Bu sürüm kabaca Databricks Runtime 14.3 bazı sunucusuz ve eski özelliklerin desteğini kaldıran bazı değişikliklere karşılık gelir.
Desteklenen Spark yapılandırma parametreleri
Sunucusuz işlemde Spark yapılandırmasını otomatikleştirmek için, Azure Databricks çoğu Spark yapılandırmasının el ile ayarlanması desteğini kaldırmıştır. Desteklenen Spark yapılandırma parametrelerinin listesini görüntülemek için bkz. Sunucusuz not defterleri ve işler için Spark özelliklerini yapılandırma.
Desteklenmeyen bir Spark yapılandırması ayarlarsanız sunucusuz işlem üzerinde çalışan iş başarısız olur.
input_file işlevleri kullanım dışı bırakıldı
input_file_name(), input_file_block_length() ve input_file_block_start() işlevleri kullanım dışı bırakıldı. Bu işlevlerin kullanılması önerilmez.
Bunun yerine, dosya meta verileri bilgilerini almak için
Davranış değişiklikleri
Sunucusuz işlem sürümü 2024.15 aşağıdaki davranış değişikliklerini içerir:
-
unhex(hexStr) hata düzeltmesi:
unhex(hexStr)işlevini kullanırken, hexStr her zaman bir tam bayta sola hizalanarak doldurulur. Daha önce unhex fonksiyonu ilk yarım baytı yoksaymıştı. Örneğin:unhex('ABC'), artıkx'0ABC'yerinex'BC'üretir. - Otomatik oluşturulan sütun takma adları artık kararlıdır: Bir ifadenin sonucuna kullanıcı tarafından belirtilen bir sütun takma adı olmadan başvurulduğunda, otomatik oluşturulan bu takma ad artık kararlı olacaktır. Yeni algoritma, gerçekleştirilmiş görünümler gibi özelliklerde kullanılan önceden otomatik olarak oluşturulan adlarda değişiklik olmasına neden olabilir.
-
Tablo taramaları,
CHARtüründeki alanlarla artık her zaman dolguludur: Delta tabloları, belirli JDBC tabloları ve dış veri kaynakları CHAR verilerini doldurulmamış olarak depolar. Okurken Azure Databricks artık doğru semantiği sağlamak için verileri belirtilen uzunlukta boşluklarla doldurmaya devam edecektir. -
BIGINT/DECIMAL'den TIMESTAMP'ye yapılan dönüşümler, taşan değerler için bir istisna fırlatır: Azure Databricks, değeri Unix epoch'undan itibaren geçen saniye olarak değerlendirdiği için BIGINT ve DECIMAL'den TIMESTAMP'ye dönüşüme izin verir. Daha önce Azure Databricks aşım değerler döndürüyordu, ancak artık aşım durumlarında istisna fırlatıyor. Özel durum yerine NULL döndürmek için kullanın
try_cast. -
PySpark UDF yürütmesi, ayrılmış işlemde UDF yürütmesinin tam davranışıyla eşleşecek şekilde geliştirilmiştir: Aşağıdaki değişiklikler yapılmıştır:
- Dize dönüş türüne sahip UDF'ler artık dize olmayan değerleri örtük olarak dizelere dönüştürmez. Daha önce, dönüş türüne
strsahip UDF'ler, döndürülen değerin gerçek veri türünden bağımsız olarak sonuda birstr(..)sarmalayıcı uygulardı. -
timestampdönüş türlerine sahip UDF'ler tarih damgalarına artık örtülü olarak saat dilimi dönüştürmesi uygulamaz.
- Dize dönüş türüne sahip UDF'ler artık dize olmayan değerleri örtük olarak dizelere dönüştürmez. Daha önce, dönüş türüne