Databricks Runtime 18.0 (bèta)

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 18.0 (bèta), mogelijk gemaakt door Apache Spark 4.1.0.

Azure Databricks heeft deze versie uitgebracht in december 2025.

Belangrijk

Databricks Runtime 18.0 bevindt zich in de bètaversie. De inhoud van de ondersteunde omgevingen kan tijdens de bètaversie veranderen. Wijzigingen kunnen de lijst met pakketten of versies van geïnstalleerde pakketten bevatten.

Nieuwe functies en verbeteringen

• SQL-scripting is nu algemeen beschikbaar
• Redshift JDBC-stuurprogramma bijgewerkt naar 2.1.0.28
• Uitvoeringsomgeving voor gedeelde isolatie voor Python-UDF's van Unity Catalog
• SQL-vensterfuncties in metrische weergaven
• Probleemloos afsluiten voor Spark-toepassingen
• Dynamische willekeurige partitieaanpassing in staatloze streamingquery's
• Adaptieve queryuitvoering en auto-geoptimaliseerde schuif in staatloze streamingquery's
• FILTER component voor meting statistische functies in metrische weergaven
• Letterlijke tekenreeks die overal samensneert
• Parametermarkeringen overal
• IDENTIFIER overal clausule
• Nieuwe BITMAP_AND_AGG functie
• Nieuwe KLL_Sketch-functiebibliotheek
• Apache Parquet-bibliotheek bijgewerkt naar 1.16.0

SQL-scripting is nu algemeen beschikbaar

De functie SQL-scripting is nu algemeen beschikbaar.

Redshift JDBC-stuurprogramma bijgewerkt naar 2.1.0.28

Het Redshift JDBC-stuurprogramma is bijgewerkt naar versie 2.1.0.28.

Uitvoeringsomgeving voor gedeelde isolatie voor Python-UDF's van Unity Catalog

UDF's van Unity Catalog python met dezelfde eigenaar kunnen nu standaard een isolatieomgeving delen. Dit kan de prestaties verbeteren en het geheugengebruik verminderen door het aantal afzonderlijke omgevingen te verminderen dat moet worden gestart.

Voeg de STRICT ISOLATION kenmerkcomponent toe om ervoor te zorgen dat een UDF altijd wordt uitgevoerd in een volledig geïsoleerde omgeving. Zie Omgevingsisolatie.

SQL-vensterfuncties in metrische weergaven

U kunt nu SQL-vensterfuncties in metrische weergaven gebruiken om lopende totalen, classificaties en andere berekeningen op basis van vensters te berekenen.

Probleemloos afsluiten voor Spark-toepassingen

Spark-toepassingen bieden nu ondersteuning voor een probleemloos afsluiten, waardoor taken die worden uitgevoerd, kunnen worden voltooid voordat de toepassing wordt beëindigd.

Dynamische shuffle-partitieaanpassing in streaming queries zonder toestand

U kunt nu het aantal shufflepartities in staatloze streamingquery's wijzigen zonder opnieuw op te starten.

Adaptieve queryuitvoering en automatische optimalisatie van shuffle in staatloze streamingqueries

Adaptive Query Execution (AQE) en automatisch geoptimaliseerde shuffle (AOS) worden nu ondersteund in staatloze streamingquery's.

FILTER clausule voor maataggregatiefuncties in metrische weergaven

U kunt nu de FILTER clausule gebruiken met meetaggregatiefuncties in metrische weergaven om filters per aggregaat te definiëren bij het verwijzen naar metrische weergavemetingen.

Letterlijke tekenreeks die overal samensneert

De mogelijkheid om sequentiële letterlijke tekenreeksen, zoals 'Hello' ' World' samen te voegen tot 'Hello World', is uitgebreid van expressies naar binnen eender welke context waar string-literals zijn toegestaan. Bijvoorbeeld: COMMENT 'This' ' is a ' 'comment'. Zie STRING het type voor meer informatie.

Parametermarkeringen overal

U kunt nu vrijwel overal een letterlijke waarde van het juiste type gebruiken voor benoemde (:param) en niet-benoemde? parametermarkeringen. Dit omvat parametermarkeringen in DDL-instructies, zoals CREATE VIEW v AS SELECT ? AS c1kolomtypen DECIMAL(:p, :s)of COMMENT ON t IS :comment. Met deze mogelijkheid kunt u een groot aantal SQL-instructies parameteriseren zonder dat u uw code blootstellen aan SQL-injectieaanvallen. Zie parametermarkeringen voor meer informatie.

IDENTIFIER overal clausule

Het bereik van de IDENTIFIER component, die tekenreeksen naar SQL-objectnamen cast, is uitgebreid tot vrijwel overal waar een id is toegestaan. Samen met de verbeteringen in het samenvoegen van letterlijke tekenreeksen en parametermarkeringen, kunt u nu alles parameteriseren, van kolomaliassen (AS IDENTIFIER(:name)) tot kolomdefinities (IDENTIFIER(:pk) BIGINT NOT NULL). Zie IDENTIFIER clausule voor meer informatie.

Nieuwe BITMAP_AND_AGG functie

De bestaande bibliotheek met BITMAP functies is afgerond met een nieuwe BITMAP_AND_AGG functie.

Nieuwe KLL_Sketch-functiebibliotheek

U kunt nu een nieuwe bibliotheek met functies gebruiken voor het bouwen van KLL-schetsen voor geschatte kwantielberekeningen:

• kll_sketch_agg_bigint statistische functie
• kll_sketch_get_quantile_bigint Functie
• kll_sketch_merge_bigint Functie
• kll_sketch_agg_double statistische functie
• kll_sketch_get_quantile_double Functie
• kll_sketch_merge_double Functie
• kll_sketch_agg_float statistische functie
• kll_sketch_get_quantile_float Functie
• kll_sketch_merge_float Functie
• kll_sketch_get_n_bigint Functie
• kll_sketch_get_rank_bigint Functie
• kll_sketch_to_string_bigint Functie
• kll_sketch_get_n_double Functie
• kll_sketch_get_rank_double Functie
• kll_sketch_to_string_double Functie
• kll_sketch_get_n_float Functie
• kll_sketch_get_rank_float Functie
• kll_sketch_to_string_float Functie

Apache Parquet-bibliotheek bijgewerkt naar 1.16.0

De Apache Parquet-bibliotheek is bijgewerkt naar versie 1.16.0.

Gedragswijzigingen

• JDK 21 is nu de standaard Java Development Kit
• FSCK REPAIR TABLE bevat standaard metagegevensherstel
• Null-baarheid behouden voor matrix- en kaarttypen in Spark Connect Scala-client
• FSCK REPAIR TABLE DRY RUN uitvoerschema bijgewerkt
• SHOW TABLES DROPPED respecteert LIMIT clausule
• Proratiefactoren afgestemd op leesbewerkingen en automatisch geoptimaliseerde schrijfprocessen
• Python UDF-uitvoering geïntegreerd in PySpark en Unity Catalog
• Verbeterde foutberichten voor problemen met de aanmeldingsmodule van de Kafka-connector
• Beperkingen voor tijdreizen en VACUUM retentiegedrag
• BinaryType wordt standaard toegewezen aan bytes in PySpark
• UPDATE
• Gepartitioneerde kolommen zijn gematerialiseerd in Parquet-bestanden

JDK 21 is nu de standaard Java Development Kit

Databricks Runtime 18.0 gebruikt JDK 21 als standaard Java Development Kit. JDK 21 is een LTS-release (long-term support). Voorheen was de standaardwaarde JDK 17, die nu beschikbaar is als terugvaloptie.

Zie Een cluster maken met een specifieke JDK-versie voor meer informatie over het configureren van JDK-versies voor uw clusters.

FSCK REPAIR TABLE bevat standaard metagegevensherstel

De FSCK REPAIR TABLE opdracht bevat nu een eerste stap voor het herstellen van metagegevens voordat u controleert op ontbrekende gegevensbestanden. De opdracht kan werken aan tabellen met beschadigde controlepunten of ongeldige partitiewaarden.

Null-baarheid behouden voor matrix- en kaarttypen in Spark Connect Scala-client

De null-waarde van matrix- en kaarttypen blijft nu behouden voor getypte letterlijke waarden in de Spark Connect Scala-client. Voorheen waren elementen van matrices en waarden van kaarten altijd null-baar.

FSCK REPAIR TABLE DRY RUN uitvoerschema bijgewerkt

De dataFilePath kolom in het FSCK REPAIR TABLE DRY RUN uitvoerschema is nu nullable ter ondersteuning van het rapporteren van nieuwe probleemtypen waarbij het pad naar het gegevensbestand niet van toepassing is.

SHOW TABLES DROPPED respecteert LIMIT clausule

De SHOW TABLES DROPPED opdracht respecteert nu correct de LIMIT clausule.

Proration-factoren die zijn afgestemd op leesbewerkingen en automatisch geoptimaliseerde schrijfbewerkingen

Proration-factoren voor partitiegrootte gebruiken nu breukwaarden consistent in leesbewerkingen en automatisch geoptimaliseerde schrijfbewerkingen. Deze wijziging kan leiden tot een ander aantal taken voor leesbewerkingen.

Python UDF-uitvoering geïntegreerd in PySpark en Unity Catalog

Unity Catalog Python UDF's gebruiken nu Apache Arrow als de standaardindeling voor uitwisseling, waardoor de algehele prestaties worden verbeterd en worden afgestemd op het gedrag van python-UDF's die zijn geoptimaliseerd voor Python in Apache Spark. Als onderdeel van deze wijziging TIMESTAMP bevatten waarden die worden doorgegeven aan Python UDF's geen tijdzonegegevens meer in het kenmerk van datetime het tzinfo object. De tijdstempelwaarden zelf blijven in UTC, maar de metagegevens van de tijdzone worden nu verwijderd.

Als uw UDF afhankelijk is van de tijdzonegegevens, moet u deze herstellen met date = date.replace(tzinfo=timezone.utc). Zie voor meer informatie tijdstempel-tijdzonegedrag voor invoer.

Verbeterde foutmeldingen voor problemen met de aanmeldmodule van de Kafka-connector

Wanneer u de Kafka-connector gebruikt met een niet-gearceerde aanmeldingsmoduleklasse, biedt Azure Databricks nu foutberichten die voorstellen om het juiste gearceerde klassevoorvoegsel (kafkashaded.org.apache.kafka of kafkashaded.software.amazon.msk.auth.iam) te gebruiken.

Beperkingen voor tijdreizen en VACUUM retentiegedrag

Azure Databricks blokkeert nu query's voor tijdreizen buiten de deletedFileRetentionDuration drempelwaarde voor alle tabellen. De VACUUM opdracht negeert het argument retentieduur, behalve wanneer de waarde 0 uur is. U kunt deletedFileRetentionDuration niet groter instellen dan logRetentionDuration of omgekeerd.

BinaryType komt standaard overeen met bytes in PySpark

BinaryType wordt nu consistent toegewezen aan Python bytes in PySpark. Eerder heeft PySpark BinaryType toegewezen aan bytes of bytearray afhankelijk van de context. Als u het oude gedrag wilt herstellen, stelt u in op spark.sql.execution.pyspark.binaryAsBytesfalse.

NULL-structs behouden in Delta MERGE, UPDATE, en streaming-schrijfbewerkingen

NULL-structs blijven nu behouden als NULL in Delta MERGE, UPDATE, en streaming-schrijfbewerkingen die structtypecasts bevatten. Voorheen werden NULL-structuren uitgebreid tot structuren met NULL-velden. Een NULL-struct blijft nu bijvoorbeeld NULL in plaats van uitgebreid te worden naar een struct met alle NULL-veldwaarden.

Gepartitioneerde kolommen in Parquet-bestanden

Gepartitioneerde Delta-tabellen materialiseren nu partitiekolommen in nieuw geschreven Parquet-gegevensbestanden. Voorheen werden partitiewaarden opgeslagen in de metagegevens van het Delta-transactielogboek en weergegeven in mappaden, maar niet als kolommen in de Parquet-bestanden zelf geschreven. Deze wijziging is afgestemd op het gedrag van Apache Iceberg en UniForm en kan van invloed zijn op workloads die rechtstreeks Parquet-bestanden lezen die zijn geschreven door Delta Lake, omdat nieuw geschreven bestanden extra partitiekolommen bevatten.

Bibliotheekverbeteringen

Bijgewerkte Python-bibliotheken:

• anyio van 4.6.2 tot 4.7.0
• asttokens van 2.0.5 tot 3.0.0
• azure-core van 1.34.0 tot 1.36.0
• azure-mgmt-core van 1.5.0 tot 1.6.0
• azure-storage-blob van 12.23.0 tot 12.27.1
• azure-storage-file-datalake van 12.17.0 tot 12.22.0
• boto3 van 1.36.2 tot 1.40.45
• botocore van 1.36.3 tot 1.40.45
• certifi van 2025.1.31 tot 2025.4.26
• klik van 8.1.7 tot 8.1.8
• cryptografie van 43.0.3 tot 44.0.1
• Cython van 3.0.12 tot 3.1.5
• databricks-sdk van 0.49.0 tot 0.67.0
• Afgeschaft van 1.2.13 tot 1.2.18
• wordt uitgevoerd van 0.8.3 tot 1.2.0
• fastapi van 0.115.12 tot 0.121.0
• google-api-core van 2.20.0 tot 2.28.1
• google-auth van 2.40.0 tot 2.43.0
• google-cloud-core van 2.4.3 tot 2.5.0
• google-cloud-storage van 3.1.0 tot 3.5.0
• h11 van 0.14.0 tot 0.16.0
• httpcore van 1.0.2 tot 1.0.9
• httpx van 0.27.0 tot 0.28.1
• isodate van 0.6.1 tot 0.7.2
• Jinja2 van 3.1.5 tot 3.1.6
• jupyter-events van 0.10.0 tot 0.12.0
• jupyter-lsp van 2.2.0 tot 2.2.5
• jupyter_server van 2.14.1 tot 2.15.0
• jupyter_server_terminals van 0.4.4 tot 0,5.3
• Versie-update van mistune van 2.0.4 naar 3.1.2
• mlflow-skinny van 3.0.1 tot 3.5.1
• mmh3 van 5.1.0 tot 5.2.0
• msal van 1.32.3 tot 1.34.0
• nbclient van 0.8.0 tot 0.10.2
• nbconvert van versie 7.16.4 naar 7.16.6
• notebook_shim van 0.2.3 naar 0.2.4
• opentelemetry-api van 1.32.1 tot 1.38.0
• opentelemetry-sdk van 1.32.1 tot 1.38.0
• opentelemetry-semantic-conventions van 0.53b1 tot 0.59b0
• platformdirs van 3.10.0 tot 4.3.7
• prometheus_client van 0.21.0 tot 0.21.1
• psycopg2 van 2.9.3 tot 2.9.11
• pyarrow van 19.0.1 tot 21.0.0
• Pygments van 2.15.1 tot 2.19.1
• pyiceberg van versie 0.9.0 naar versie 0.10.0
• python-lsp-server van 1.12.0 tot 1.12.2
• touw van 1.12.0 tot 1.13.0
• s3transfer van 0.11.3 tot 0.14.0
• scipy van 1.15.1 tot 1.15.3
• setuptools van 74.0.0 tot 78.1.1
• six van 1.16.0 naar 1.17.0
• stack-data van 0.2.0 tot 0.6.3
• starlette van 0.46.2 tot 0.49.3
• tornado van 6.4.2 tot 6.5.1
• types-python-dateutil van 2.9.0.20241206 tot 2.9.0.20251008
• uvicorn van 0.34.2 naar 0.38.0
• webcolors versie 24.11.1 naar versie 25.10.0

Bijgewerkte R-bibliotheken:

• pijl van 19.0.1 tot 22.0.0
• basis van 4.4.2 tot 4.5.1
• bigD van 0.3.0 tot 0.3.1
• bezem van 1.0.7 tot 1.0.10
• bijwerken van 0.7.2 naar 0.7.3
• commonmark van 1.9.5 naar 2.0.0
• compiler van 4.4.2 tot 4.5.1
• referenties van 2.0.2 naar 2.0.3
• curl van 6.4.0 naar 7.0.0
• data.table van 1.17.0 tot 1.17.8
• gegevenssets van 4.4.2 tot 4.5.1
• dbplyr van 2.5.0 tot 2.5.1
• devtools van 2.4.5 tot 2.4.6
• diffobj van 0.3.5 tot 0.3.6
• Digest van versie 0.6.37 naar versie 0.6.39
• downlit van 0.4.4 tot 0.4.5
• dtplyr van 1.3.1 tot 1.3.2
• evalueren van versie 1.0.3 naar 1.0.5
• fansi van 1.0.6 tot 1.0.7
• forcats van 1.0.0 tot 1.0.1
• fs van 1.6.5 tot 1.6.6
• toekomst van 1.34.0 tot 1.68.0
• future.apply van 1.11.3 naar 1.20.0
• gargle van versie 1.5.2 naar 1.6.0
• bijgewerkt van 2.1.4 naar 2.2.0
• ggplot2 van 3.5.1 tot 4.0.1
• gh van 1.4.1 tot 1.5.0
• git2r van 0.35.0 tot 0.36.2
• glmnet van 4.1-8 tot 4.1-10
• googledrive van 2.1.1 tot 2.1.2
• googlesheets4 van 1.1.1 tot 1.1.2
• afbeeldingen van 4.4.2 tot 4.5.1
• grDevices bijgewerkt van 4.4.2 naar 4.5.1
• raster van 4.4.2 tot 4.5.1
• gt van 0.11.1 tot 1.1.0
• hardhat van 1.4.1 tot 1.4.2
• haven van 2.5.4 tot 2.5.5
• hms van 1.1.3 tot 1.1.4
• httpuv van 1.6.15 tot 1.6.16
• httr2 van 1.1.1 tot 1.2.1
• jsonlite van 1.9.1 tot 2.0.0
• later van 1.4.1 tot 1.4.4
• lava van 1.8.1 tot 1.8.2
• listenv van 0.9.1 tot 0.10.0
• magrittr van 2.0.3 tot 2.0.4
• markdown van 1.13 tot 2.0
• methoden van 4.4.2 tot 4.5.1
• miniUI van 0.1.1.1 tot 0.1.2
• mlflow van 2.20.4 tot 3.6.0
• openssl van 2.3.3 tot 2.3.4
• parallel van 4.4.2 tot 4.5.1
• parallel vanaf 1.42.0 tot 1.45.1
• pijler van 1.11.0 tot 1.11.1
• pkgbuild van 1.4.6 tot 1.4.8
• pkgdown van 2.1.1 tot 2.2.0
• pkgload van 1.4.0 tot 1.4.1
• pROC van 1.18.5 tot 1.19.0.1
• prodlim van 2024.06.25 tot 2025.04.28
• progressr van 0.15.1 naar 0.18.0
• belooft van 1.3.2 tot 1.5.0
• ps van 1.9.0 tot 1.9.1
• purrr bijwerken van 1.0.4 naar 1.2.0
• ragg van 1.3.3 tot 1.5.0
• Rcpp van 1.0.14 tot 1.1.0
• readr van 2.1.5 tot 2.1.6
• recepten van 1.2.0 tot 1.3.1
• reshape2 van 1.4.4 naar 1.4.5
• rmarkdown van versie 2.29 naar versie 2.30
• roxygen2 van 7.3.2 tot 7.3.3
• rprojroot van 2.0.4 tot 2.1.1
• RSQLite van 2.3.9 tot 2.4.4
• Versies van 2.1.2 tot 3.0.0
• rvest van 1.0.4 tot 1.0.5
• sass van 0.4.9 tot 0.4.10
• schaalt van 1.3.0 tot 1.4.0
• glanzend van 1.10.0 tot 1.11.1
• sparklyr van 1.9.1 tot 1.9.3
• SparkR van 4.0.0 tot 4.1.0
• sparsevctrs van 0.3.1 tot 0.3.4
• splines van 4.4.2 tot 4.5.1
• statistieken van 4.4.2 tot 4.5.1
• stats4 van 4.4.2 tot 4.5.1
• stringr van 1.5.1 naar 1.6.0
• systemfonts van 1.2.1 tot 1.3.1
• tcltk van 4.4.2 tot 4.5.1
• testthat van 3.2.3 tot 3.3.0
• textshaping versie 1.0.0 tot 1.0.4
• timeDate van 4041.110 tot 4051.111
• tinytex van 0,56 tot 0,58
• hulpprogramma's van 4.4.2 tot 4.5.1
• usethis van 3.1.0 naar 3.2.1
• utiliteiten van 4.4.2 tot 4.5.1
• V8 van 6.0.2 tot 8.0.1
• vroom van 1.6.5 tot 1.6.6
• waldo van 0.6.1 tot 0.6.2
• xfun van 0,51 tot 0,54
• xml2 van 1.3.8 tot 1.5.0
• zeallot van 0.1.0 tot 0.2.0
• zip van 2.3.2 naar 2.3.3

Bijgewerkte Java-bibliotheken:

• com.amazonaws.amazon-kinesis-client van 1.12.0 tot 1.15.3
• com.amazonaws.aws-java-sdk-autoscaling van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-cloudformation van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-cloudfront van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-cloudhsm van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-cloudsearch van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-cloudtrail van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-cloudwatch van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-cloudwatchmetrics van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-codedeploy bijgewerkt van 1.12.638 naar 1.12.681
• com.amazonaws.aws-java-sdk-cognitoidentity van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-cognitosync van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-config van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-core van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-sql-scriptdatapipeline van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-directconnect van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-directory van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-dynamodb van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-ec2 van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-ecs van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-efs van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-elasticache van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-elasticbeanstalk van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-elasticloadbalancing van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-elastictranscoder van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-emr van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-glacier van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-glue van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-iam van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-importexport: van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-kinesis van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-kms van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-lambda van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-logs van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-machinelearning van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-opsworks van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-rds van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-redshift van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-route53 van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-s3 van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-ses van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-simpledb van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-simpleworkflow van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-sns van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-sqs van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-ssm van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-storagegateway van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-sts van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-support van 1.12.638 tot 1.12.681
• com.amazonaws.aws-java-sdk-workspaces van 1.12.638 tot 1.12.681
• com.amazonaws.jmespath-java van 1.12.638 tot 1.12.681
• com.databricks.databricks-sdk-java van 0.27.0 tot 0.53.0
• com.fasterxml.jackson.datatype.jackson-datatype-jsr310 van 2.18.2 tot 2.18.3
• com.github.luben.zstd-jni van 1.5.6-10 tot 1.5.7-6
• com.google.flatbuffers.flatbuffers-java van 24.3.25 tot 25.2.10
• com.google.guava.failureaccess van 1.0.2 tot 1.0.3
• com.google.guava.guava bijwerken van 33.4.0-jre naar 33.4.8-jre
• com.microsoft.sqlserver.mssql-jdbc van 11.2.3.jre8 tot 12.8.0.jre8
• commons-cli.commons-cli van 1.9.0 tot 1.10.0
• commons-codec.commons-codec van 1.17.2 tot 1.19.0
• commons-fileupload.commons-fileupload van 1.5 tot 1.6.0
• commons-io.commons-io van 2.18.0 tot 2.21.0
• dev.netlib.arpack van 3.0.3 naar 3.0.4
• dev.ludovic.netlib.blas van 3.0.3 tot 3.0.4
• dev.ontwikkeling.netlib.lapack bijwerken van 3.0.3 naar 3.0.4
• io.delta.delta-sharing-client_2.13 van 1.3.5 tot 1.3.6
• io.dropwizard.metrics.metrics-annotatie van 4.2.30 tot 4.2.37
• io.dropwizard.metrics.metrics-core van 4.2.30 tot 4.2.37
• io.dropwizard.metrics.metrics-graphite van 4.2.30 tot 4.2.37
• io.dropwizard.metrics.metrics-healthchecks van 4.2.30 tot 4.2.37
• io.dropwizard.metrics.metrics-jmx bijgewerkt van versie 4.2.30 naar 4.2.37
• io.dropwizard.metrics.metrics-json update van versie 4.2.30 naar versie 4.2.37
• io.dropwizard.metrics.metrics-jvm van 4.2.30 tot 4.2.37
• io.dropwizard.metrics.metrics-servlets van 4.2.30 tot 4.2.37
• io.netty.netty-all van 4.1.118.Final tot 4.2.7.Final
• io.netty.netty-buffer van 4.1.118.Final naar 4.2.7.Final
• io.netty.netty-codec van 4.1.118.Final tot 4.2.7.Final
• io.netty.netty-codec-http van 4.1.118.Final tot 4.2.7.Final
• io.netty.netty-codec-http2 van 4.1.118.Final naar 4.2.7.Final
• io.netty.netty-codec-socks van 4.1.118.Final naar 4.2.7.Final
• io.netty.netty-common van 4.1.118.Final tot 4.2.7.Final
• io.netty.netty-handler van 4.1.118.Final naar 4.2.7.Final
• io.netty.netty-handler-proxy van 4.1.118.Final tot 4.2.7.Final
• io.netty.netty-resolver van versie 4.1.118.Final naar versie 4.2.7.Final
• io.netty.netty-tcnative-boringssl-static van 2.0.70.Final-db-r0-windows-x86_64 tot 2.0.74.Final-db-r0-windows-x86_64
• io.netty.netty-tcnative-classes van 2.0.70.Final naar 2.0.74.Final
• io.netty.netty-transport van 4.1.118.Final naar 4.2.7.Final
• io.netty.netty-transport-classes-epoll van 4.1.118.Final tot 4.2.7.Final
• io.netty.netty-transport-classes-kqueue van 4.1.118.Final tot 4.2.7.Final
• io.netty.netty-transport-native-epoll van 4.1.118.Final-linux-x86_64 naar 4.2.7.Final-linux-x86_64
• io.netty.netty-transport-native-kqueue van 4.1.118.Final-osx-x86_64 naar 4.2.7.Final-osx-x86_64
• io.netty.netty-transport-native-unix-common van 4.1.118.Final tot 4.2.7.Final
• joda-time.joda-time van 2.13.0 tot 2.14.0
• org.apache.arrow.arrow-format van 18.2.0 naar 18.3.0
• org.apache.arrow.arrow-memory-core van 18.2.0 tot 18.3.0
• org.apache.arrow.arrow-memory-netty van 18.2.0 naar 18.3.0
• org.apache.arrow.arrow-memory-netty-buffer-patch van 18.2.0 naar 18.3.0
• org.apache.arrow.arrow-vector van 18.2.0 naar 18.3.0
• org.apache.avro.avro van 1.12.0 tot 1.12.1
• org.apache.avro.avro-ipc van 1.12.0 tot 1.12.1
• org.apache.avro.avro-mapred van 1.12.0 tot 1.12.1
• org.apache.commons.commons-collections4 van 4.4 tot 4.5.0
• org.apache.commons.commons-compress van 1.27.1 tot 1.28.0
• org.apache.commons.commons-lang3 van 3.17.0 tot 3.19.0
• org.apache.commons.commons-text van 1.13.0 tot 1.14.0
• org.apache.curator.curator-client van 5.7.1 tot 5.9.0
• org.apache.curator.curator-framework van versie 5.7.1 naar versie 5.9.0
• org.apache.curator.curator-recipes van 5.7.1 tot 5.9.0
• org.apache.datasketches.datasketches-java van 6.1.1 tot 6.2.0
• org.apache.hadoop.hadoop-client-runtime van versie 3.4.1 naar versie 3.4.2
• org.apache.orc.orc-core van 2.1.1-shaded-protobuf naar 2.2.0-shaded-protobuf
• org.apache.orc.orc-format van 1.1.0-shaded-protobuf naar 1.1.1-shaded-protobuf
• org.apache.orc.orc-mapreduce van 2.1.1-shaded-protobuf naar 2.2.0-shaded-protobuf
• org.apache.orc.orc-shims van 2.1.1 tot 2.2.0
• org.apache.xbean.xbean-asm9-shaded bijgewerkt van versie 4.26 naar versie 4.28
• org.apache.zookeeper.zookeeper van 3.9.3 tot 3.9.4
• org.apache.zookeeper.zookeeper-jute van 3.9.3 naar 3.9.4
• org.eclipse.jetty.jetty-client van 9.4.53.v20231009 tot 10.0.26
• org.eclipse.jetty.jetty-http van 9.4.53.v20231009 tot 10.0.26
• org.eclipse.jetty.jetty-io van 9.4.53.v20231009 tot 10.0.26
• org.eclipse.jetty.jetty-jndi van 9.4.53.v20231009 tot 10.0.26
• org.eclipse.jetty.jetty-plus van 9.4.53.v20231009 tot 10.0.26
• org.eclipse.jetty.jetty-proxy van 9.4.53.v20231009 tot 10.0.26
• org.eclipse.jetty.jetty-security van 9.4.53.v20231009 tot 10.0.26
• org.eclipse.jetty.jetty-server van 9.4.53.v20231009 tot 10.0.26
• org.eclipse.jetty.jetty-servlet van 9.4.53.v20231009 tot 10.0.26
• org.eclipse.jetty.jetty-servlets van 9.4.53.v20231009 tot 10.0.26
• org.eclipse.jetty.jetty-util van 9.4.53.v20231009 tot 10.0.26
• org.eclipse.jetty.jetty-webapp van 9.4.53.v20231009 tot 10.0.26
• org.eclipse.jetty.jetty-xml van 9.4.53.v20231009 tot 10.0.26
• org.mlflow.mlflow-spark_2.13 van 2.9.1 tot 2.22.1
• org.objenesis.objenesis van 3.3 tot 3.4
• org.scala-lang.modules.scala-xml_2.13 van 2.3.0 tot 2.4.0

Apache Spark

Databricks Runtime 18.0 (bèta) bevat Apache Spark 4.1.0. Deze release bevat alle Spark-oplossingen en verbeteringen die zijn opgenomen in de vorige versie, evenals de volgende:

• SPARK-54536 Shuffle-FetchWaitTime ontbreekt verzamel creëer cliënt/wachtkosten.
• SPARK-54534 Verouderde Hive-foutcodes migreren naar de juiste foutvoorwaarden
• SPARK-54565 SparkBuildInfo moet zijn eigen classloader laden spark-version-info.properties
• SPARK-54533 De metriek ExecutorSource.METRIC_RESULT_SIZE instellen met de correcte waarde.
• SPARK-54478 Streamingtests opnieuw inschakelen voor verbindingscompatibile test-CI
• SPARK-54552 Oplossing SparkConnectResultSet.getString voor het verwerken van binair gegevenstype met UTF_8
• SPARK-54501 Verbeter de foutafhandeling voor falen van Hive-metastore-partitiefilters
• SPARK-54550 Probleemloos verwerken ConnectException in SparkConnectStatement.close()
• SPARK-54020 Ondersteuning spark.sql(...) voor Python-API in queryfuncties voor Spark-declaratieve pijplijn
• SPARK-53127 ALL herstellen LIMIT voor ongelimteerde recursie met CTE-normalisatie
• SPARK-50072 ArithmeticException verwerken in intervalparsering met grote waarden
• SPARK-54299 De verkeerde voorbeeldquery corrigeren in WindowGroupLimit
• SPARK-54505 De argumentenvolgorde van de aanroep createMetrics corrigeren in makeNegative
• SPARK-54462 Mixin toevoegen SupportsV1OverwriteWithSaveAsTable voor TableProvider
• SPARK-54540 Enkele kleine oplossingen voor Connect JDBC-stuurprogramma
• SPARK-54508 Herstel spark-pipelines om bestandspad robuuster te bepalen spec
• SPARK-54087 Het mislukken van de starttaak van de Spark Executor zou het bericht moeten retourneren dat de taak is beëindigd.
• SPARK-53797 Fix FileStreamSource.takeFilesUntilMax om zipWithIndex te gebruiken en het gebruik van indices te vermijden
• SPARK-54418 Foutberichten en codeopmaak oplossen
• SPARK-54114 Ondersteuning voor getColumns voor SparkConnectDatabaseMetaData
• SPARK-54209 Ondersteuning voor timestamp-type in SparkConnectResultSet
• SPARK-54208 Ondersteuningstijdtype in SparkConnectResultSet
• SPARK-54528 Sluit URLClassLoader gretig om OOM te voorkomen
• SPARK-54464 Dubbele output.reserve aanroepen verwijderen in assembleVariantBatch
• SPARK-53635 Ondersteuning voor Scala UDF's met invoerargumenten van het type Seq[Rij]
• SPARK-54493 AssertSchemaEqual voor MapType herstellen
• SPARK-52515 Test approx_top_k met vlag aan en uit
• SPARK-54413 Bootstrap v4.4.1 upgraden naar v4.6.2
• SPARK-54497 Toepassen van functools.lru_cache in converter caching
• SPARK-54306 Annoteren van variantkolommen met variantenalogisch type-aantekening
• SPARK-54350 SparkGetColumnsOperation ORDINAL_POSITION moet zijn gebaseerd op 1
• SPARK-54130 Gedetailleerde foutberichten toevoegen voor fouten met catalogusbevestigingen
• SPARK-54220 Ondersteuning voor NullType/VOID/ONBEKEND Type in Parquet
• SPARK-54163 Scannen voor canonicalisatie van partitionerings- en orderinformatie
• SPARK-54377 Corrigeer IS NULL COMMENT ONTABLE om tabelcommentaar correct te verwijderen.
• SPARK-52767 MaxRows en maxRowsPerPartition optimaliseren voor join en union
• SPARK-54063 Momentopname activeren voor volgende batch bij uploadvertraging
• SPARK-54384 De _batched-methode voor BatchedSerializer moderniseren
• SPARK-54378 Verwijderen CreateXmlParser.scala uit catalyst module
• SPARK-53103 Herstel "[SC-204946][ss] Geef een foutmelding als de statusmap niet leeg is wanneer de query start"
• SPARK-53103 Er wordt een fout gegenereerd als de statusmap niet leeg is wanneer de query wordt gestart
• SPARK-54397 Hashbaar maken UserDefinedType
• SPARK-54440 Geef standaard pijplijnspecificatiebestand meer idiomatische naam, spark-pipeline.yml
• SPARK-54324 Test toevoegen voor client-user-context-extensions
• SPARK-54456 Werkermodule importeren na fork om impasse te voorkomen
• SPARK-54427 ColumnarRow toestaan om copy met varianttypen aan te roepen
• SPARK-54136 Logica voor het samenvoegen van plannen extraheren van MergeScalarSubqueries naar PlanMerger
• SPARK-54389 Een ongeldige stempelfout in RocksDB State Store oplossen wanneer de taak is gemarkeerd als mislukt tijdens de initialisatie
• SPARK-54346 Introductie van statusherpartition-API en repartition-runner
• SPARK-53809 Canonicalisatie toevoegen voor DataSourceV2ScanRelation
• SPARK-54280 Vereist dat de opslagmap van het controlepunt van de pijplijn een absoluut pad is.
• SPARK-54206 Ondersteuning voor BINAIR-typegegevens in SparkConnectResultSet
• SPARK-54319 BHJ LeftAnti update numOutputRows verkeerd wanneer codegen is uitgeschakeld
• SPARK-54355 Maakt spark.connect.session.planCompression.defaultAlgorithm ter ondersteuning van NONE
• SPARK-54341 TimeTravelSpec onthouden voor tabellen die zijn geladen via TableProvider
• SPARK-54280 Herstel "[SC-212148][sdp] Vereisen dat de opslaglocatie voor pipeline checkpoints een absoluut pad is"
• SPARK-54354 Spark vasthangen wanneer er onvoldoende JVM-heapgeheugen is voor broadcast-hash-relatie
• SPARK-54439 KeyGroupedPartitioning en join-sleutelgrootte komen niet overeen
• SPARK-54280 Vereist dat de opslagmap van het controlepunt van de pijplijn een absoluut pad is.
• SPARK-54395 De klasse RemoteBlockPushResolver initialiseert ObjectMapper herhaaldelijk
• SPARK-54207 Ondersteunt datumtypegegevens in SparkConnectResultSet
• SPARK-54182 Niet-pijlconversie optimaliseren van df.toPandas
• SPARK-54312 Vermijd herhaaldelijk planningstaken voor SendHeartbeat/WorkDirClean in zelfstandige werkrol
• SPARK-54394 Verplaatsen isJavaVersionAtMost17 en isJavaVersionAtLeast21 van core naar common/utils
• SPARK-53927 Kinesis-client upgraden
• SPARK-54358 Controlepuntdirectoires botsen wanneer streamingtabellen in verschillende schema's dezelfde naam hebben
• SPARK-54310 Wijziging terugdraaien "[SC-212003][sql] Metrische waarde toevoegen numSourceRows voor MergeIntoExec"
• SPARK-54310 Metrische waarde toevoegen numSourceRows voor MergeIntoExec
• SPARK-53322 Selecteer alleen een KeyGroupedShuffleSpec wanneer join-sleutelposities volledig omlaag kunnen worden gepusht
• SPARK-54270 SparkConnectResultSet get*-methoden moeten checkOpen aanroepen en de indexgrens controleren
• SPARK-53849 Netty en Netty TC Native bijwerken
• SPARK-54205 Ondersteunt gegevens van het decimale type in SparkConnectResultSet
• SPARK-54417 Foutmelding gecorrigeerd voor scalaire subquery in IDENTIFIER clausule
• SPARK-54113 Ondersteuning voor getTables voor SparkConnectDatabaseMetaData
• SPARK-54303 Foutvoorwaarde canonicaliseren MISSING_CATALOG_ABILITY
• SPARK-54153 Ondersteuning voor python-UDF's op basis van profilerings-iterator
• SPARK-54349 Code een beetje herstructureren om de integratie-extensie van fouthandler te vereenvoudigen
• SPARK-54317 Unificeren van Arrow-conversielogica voor Classic en Connect naar Pandas
• SPARK-54339 AttributeMap niet-deterministisch gedrag herstellen
• SPARK-54112 Ondersteuning voor getSchemas voor SparkConnectDatabaseMetaData
• SPARK-54180 De toString van BinaryFileFormat overschrijven
• SPARK-54213 Python 3.9 verwijderen uit Spark Connect
• SPARK-54215 De eigenschap SessionStateHelper toevoegen aan FilePartition
• SPARK-54115 Prioriteit van de weergavevolgorde van threads voor verwerkingsbewerkingen van de verbindingsserver escaleren op de threaddumppagina
• SPARK-54193 Verouderd verklaard spark.shuffle.server.finalizeShuffleMergeThreadsPercent
• SPARK-54149 Sta waar mogelijk staartrecursie toe
• SPARK-54185 Afgeschafte spark.shuffle.server.chunkFetchHandlerThreadsPercent
• SPARK-54056 vervanging oplossen van SQLConf-instellingen in Catalogs
• SPARK-54147 Stel OMP_NUM_THREADS standaard in op spark.task.cpus in BaseScriptTransformationExec
• SPARK-54229 Zorg ervoor dat PySparkLogger in UDF's per aanroep van de logfunctie één logvermelding opslaat
• SPARK-53337 XSS: Zorg ervoor dat de naam van de toepassing in de geschiedenispagina wordt geëscapet
• SPARK-54229 Revert "[SC-211321][python] Zorg ervoor dat PySparkLogger in UDFs één logboekvermelding per logfunctieaanroep opslaat"
• SPARK-54373 Het SVG viewBox-kenmerk van taak-DAG-initialisatie vergroten
• SPARK-54323 De manier van toegang tot logboeken wijzigen om gebruik te maken van TVF in plaats van de systeemweergave
• SPARK-54229 Zorg ervoor dat PySparkLogger in UDF's per aanroep van de logfunctie één logvermelding opslaat
• SPARK-53978 Ondersteuning voor logboekregistratie bij werknemers aan de stuurprogrammazijde
• SPARK-54146 Het gebruik van afgeschafte Jackson-API opschonen
• SPARK-54383 Vooraf samengestelde schemavariant toevoegen voor InternalRowComparableWrapper util
• SPARK-54030 Voeg een gebruiksvriendelijk assertiebericht toe voor metadatacorruptie van weergaven
• SPARK-54144 Type Inferenties voor Kortsluiting Evaluatie
• SPARK-54030 Reverteer "[SC-210301][sql] Gebruiksvriendelijk assertiebericht toevoegen voor weergave van metadatabeschadiging"
• SPARK-54028 Leeg schema gebruiken bij het wijzigen van een weergave die niet compatibel is met Hive
• SPARK-54030 Voeg een gebruiksvriendelijk assertiebericht toe voor metadatacorruptie van weergaven
• SPARK-54085 Oplossing initialize voor het toevoegen CREATE van de optie extra in DriverRunner
• SPARK-53482MERGE INTO ondersteuning voor wanneer de bron minder genest veld heeft dan het doel
• SPARK-53905 RelationResolution herstructureren om code opnieuw te gebruiken
• SPARK-53732 TimeTravelSpec onthouden in DataSourceV2Relation
• SPARK-54014 Ondersteuning voor maximumrijen voor SparkConnectStatement
• SPARK-50906 Avro-controle op null-functionaliteit herstellen voor opnieuw gerangschikte structvelden
• SPARK-54396 Py4J-aanroepen optimaliseren in Dataframe.toArrow
• SPARK-54344 Beëindig het workerproces als het flushen mislukt in daemon.py
• SPARK-53977 Ondersteuning voor logboekregistratie in UDTF's
• SPARK-52515 Opnieuw "[SC-199815][sql] Approx_top_k-functie toevoegen"
• SPARK-54340 De mogelijkheid toevoegen om viztracer te gebruiken op pyspark-daemon/workers
• SPARK-54379 Lambda-binding verplaatsen naar een afzonderlijk LambdaBinder object
• SPARK-54029 Voeg een gedetailleerd foutbericht toe voor beschadiging van tabelmetagegevens om foutopsporing te vereenvoudigen
• SPARK-54002 Ondersteuning voor het integreren van BeeLine met connect JDBC-stuurprogramma
• SPARK-54336 Invoertypecontrole BloomFilterMightContain oplossen met ScalarSubqueryReference
• SPARK-53406 Vermijd onnodige shuffle join in directe passthrough-shuffle-ID
• SPARK-54347 Py4J-aanroepen optimaliseren in klassieke dataframe
• SPARK-54062 SamenvoegenScalarSubqueries-code opschonen
• SPARK-54054 Rijpositie voor SparkConnectResultSet ondersteunen
• SPARK-54330 Py4J-aanroepen optimaliseren in spark.createDataFrame
• SPARK-54332 U hoeft PlanId niet toe te voegen in het groeperen van kolomnamen in rollup/cube/groupingSets
• SPARK-53976 Ondersteuning voor logboekregistratie in Pandas/Arrow UDF's
• SPARK-54123 Tijdzone toevoegen om de tijdstempel een absolute tijd te maken
• SPARK-54356 EndToEndAPISuite opgelost die wordt veroorzaakt door ontbrekend opslaghoofdschema
• SPARK-54292 Ondersteuning voor aggregatiefuncties en GROUP BY in |>SELECT pijpoperators (#180106) (#180368)
• SPARK-54376 De meeste configuratieopties voor pijplijnen markeren als intern
• SPARK-53975 Voegt basale Python-workerloggingondersteuning toe
• SPARK-54361 Spark-versie herstellen naar de beoogde waarde 4.2.0 voor spark.sql.parser.singleCharacterPipeOperator.enabled
• SPARK-51518 Ondersteuning | als alternatief voor |> voor het token van de SQL-pijpoperator
• SPARK-53535 Corrigeer ontbrekende structs die altijd als null worden aangenomen
• SPARK-54294 Afgedrukt IP-adres van connect-server normaliseren
• SPARK-52439 Ondersteuningscontrolebeperking met null-waarde
• SPARK-54352 Maak kennis SQLConf.canonicalize met het centraliseren van normalisatie van tekenreeksen
• SPARK-54183 Revert Revert "[SC-211824][python][CONNECT] Vermijd één tussenliggend tijdelijk gegevensframe tijdens spark connect toPandas()"
• SPARK-53573IDENTIFIER overal
• SPARK-53573 Toestaan van het samenvoegen van letterlijke tekenreeksen overal
• SPARK-54240 De katalysatorexpressie van matrixitems omzetten in connectorexpressie
• SPARK-54334 De validatie van subquery-expressies onder lambda- en hogere volgordefuncties verplaatsen naar SubqueryExpressionInLambdaOrHigherOrderFunctionValidator
• SPARK-54183 Herstel "[SC-211824][python][CONNECT] Vermijd één tijdelijk gegevensframe tijdens spark connect toPandas()"
• SPARK-54183 Vermijd één tijdelijk gegevensframe tijdens spark-verbinding metPandas()
• SPARK-54264 DeDup Operator kan de keyExists() van RocksDB gebruiken
• SPARK-54269 Upgrade cloudpickle naar 3.1.2 voor Python 3.14
• SPARK-54300 Py4J-aanroepen optimaliseren in df.toPandas
• SPARK-54307 Er wordt een fout gegenereerd als de streamingquery opnieuw wordt gestart met stateful op, maar er een lege status-dir is
• SPARK-54117 Geef een duidelijkere foutmelding die aangeeft dat TWS alleen wordt ondersteund met de RocksDB statuswinkelprovider.
• SPARK-53917 Ondersteuning voor grote lokale relaties/verbanden - vervolgstappen
• SPARK-54275 Ongebruikte code uit pipeline module opschonen
• SPARK-54287 Ondersteuning voor Python 3.14 toevoegen in pyspark-client en pyspark-connect
• SPARK-53614 Ondersteuning toevoegen Iterator[pandas.DataFrame] aan applyInPandas
• SPARK-54191 Eenmaal toevoegen aan Defineflow Proto
• SPARK-54234 U hoeft PlanId niet toe te voegen bij het groeperen van kolomnamen in df.groupBy
• SPARK-54231 Hiaten in SDP-documenten doorvoeren
• SPARK-54199 DataFrame-API-ondersteuning toevoegen voor nieuwe KLL-kwantielschetsfuncties (#178526)
• SPARK-52463 Opnieuw "[SC-211221][sdp] Ondersteuning voor cluster_by toevoegen in Python Pipelines-API's"
• SPARK-52463 [SC-211221][sdp] Ondersteuning voor cluster_by toevoegen in Python Pipelines-API's
• SPARK-53786 Standaardwaarde met speciale kolomnaam mag niet conflicteren met echte kolom
• SPARK-54200 KafkaConsumerPoolRealTimeModeSuite bijwerken om groupIdPrefix te gebruiken voor de veiligheid van gelijktijdige uitvoeringen
• SPARK-52463 Ondersteuning voor cluster_by toevoegen in Python Pipelines-API's
• SPARK-52509 Afzonderlijke shuffles van de terugvalopslag opschonen op RemoveShuffle gebeurtenis
• SPARK-54187 [SC-211150][python][CONNECT] Alle configuraties in een batch in toPandas opnieuw toepassen
• SPARK-53942 Ondersteuning voor het wijzigen van stateless shuffle-partities bij het opnieuw opstarten van streaming queries
• SPARK-52515 Herstel "[SC-199815][sql] De functie approx_top_k toevoegen"
• SPARK-52515 De functie approx_top_k toevoegen
• SPARK-54078 Nieuwe test voor StateStoreSuite SPARK-40492: maintenance before unload en verwijderen van infra uit oude test
• SPARK-54178 Fout verbeteren voor ResolveSQLOnFile
• SPARK-53455 Voeg RPC toe CloneSession
• SPARK-54178 Terugzetten "[SC-211111][sql] Verbeter foutmelding voor ResolveSQLOnFile"
• SPARK-53489 Verwijderen met behulp van v2ColumnsToStructTypeApplyDefaultCollationToStringType
• SPARK-54178 Fout verbeteren voor ResolveSQLOnFile
• SPARK-54187 Terugdraaien van "[SC-211150][python][CONNECT] Alle configuraties in een batch in toPandas ophalen"
• SPARK-53942 Herstel "[SC-209873][ss] Ondersteuning voor het wijzigen van stateless shuffle-partities bij het opnieuw opstarten van streamingquery's"
• SPARK-54187 Alle configuraties in een batch in toPandas ophalen
• SPARK-54145 Controle van kolommen van geneste typen in numerieke aggregatie corrigeren
• SPARK-53942 Ondersteuning voor het wijzigen van stateless shuffle-partities bij het opnieuw opstarten van streaming queries
• SPARK-53991 SQL-ondersteuning toevoegen voor KLL-kwantielfuncties op basis van DataSketches (#178089) (#178234)
• SPARK-53128 Niet-beheerde geheugenbytes opnemen in het gebruikslogboek voordat geheugen-OOM wordt uitgevoerd
• SPARK-53731 De typehints van iterator-API's bijwerken
• SPARK-53967 Vermijd het maken van tussenliggende pandas-dataframes in df.toPandas
• SPARK-53455 Revert "[SC-208758][connect] RPC toevoegen CloneSession"
• SPARK-54108 Execute*-methoden van SparkConnectStatement herzien
• SPARK-54052 Een brugobject toevoegen om de beperking van Py4J te omzeilen
• SPARK-54128 IllegalArgumentException converteren naar SparkException met de juiste foutklassen in Spark Connect-server
• SPARK-53880 Oplossing voor DSv2 in PushVariantIntoScan door SupportsPushDownVariants toe te voegen
• SPARK-54111 Ondersteuning voor getCatalogs voor SparkConnectDatabaseMetaData
• SPARK-53455 Voeg RPC toe CloneSession
• SPARK-54118 De bewerking put/merge in ListState verbeteren wanneer er meerdere waarden zijn
• SPARK-54038 Ondersteuning voor getSQLKeywords voor SparkConnectDatabaseMetaData
• SPARK-54013 Eenvoudige methoden voor SparkConnectDatabaseMetaData implementeren
• SPARK-53934 Eerste implementatie van het JDBC-stuurprogramma voor Connect
• SPARK-53959 Een client-side fout werpen bij het maken van een dataframe vanuit een pandas-dataframe met een index, maar zonder gegevens
• SPARK-53573 Revert "[SC-210255][sql] Het toestaan van het samenvoegen van letterlijke tekenreeksen overal"
• SPARK-54094 Algemene methoden extraheren naar KafkaOffsetReaderBase
• SPARK-53573 Toestaan van het samenvoegen van letterlijke tekenreeksen overal
• SPARK-54039 TaskContext-informatie toevoegen aan KafkaDataConsumer-releaselogboeken() voor betere foutopsporing
• SPARK-54031 Nieuwe golden file-tests toevoegen voor analyse van randgevallen
• SPARK-54067 Verbeteren SparkSubmit om aan te roepen exitFn met de hoofdoorzaak in plaats van SparkUserAppException
• SPARK-54047 Gebruik een verschilfoutmelding bij kill-on-idle-time-out
• SPARK-54078 Deflake StateStoreSuite SPARK-40492: maintenance before unload
• SPARK-54061 Verpak IllegalArgumentException met de juiste foutcode voor ongeldige datumpatronen
• SPARK-54031 "[SC-210084][sql] Nieuwe gouden bestandstests toevoegen voor analyse edge-cases"
• SPARK-54075 Waardevol maken ResolvedCollation
• SPARK-54001 Geheugengebruik optimaliseren bij het klonen van sessies met referentiegetelde gecachte lokale relaties
• SPARK-54031 Nieuwe golden file-tests toevoegen voor analyse van randgevallen
• SPARK-53923 Hernoemen spark.executor.(log -> logs).redirectConsoleOutputs
• SPARK-54007 Java Set.of gebruiken in plaats van Collections.emptySet
• SPARK-53755 Ondersteuning voor logboeken toevoegen in BlockManager
• SPARK-54041 Validatie van parameterizedQuery-argumenten herstructureren
• SPARK-53696 Standaard ingesteld op bytes voor BinaryType in PySpark
• SPARK-53921 GeometryType en GeographyType introduceren in PySpark-API
• SPARK-53788 VersionUtils verplaatsen naar common module
• SPARK-53999 Systeemeigen KQueue Transport-ondersteuning op BSD/MacOS
• SPARK-54021 Geografie- en geometrie-toegangsmethoden implementeren over Catalyst
• SPARK-53921 Ongedaan maken "[SC-209482][geo][PYTHON] Introduce GeometryType en GeographyType aan PySpark API"
• SPARK-53920 GeometryType en GeographyType introduceren in de Java API
• SPARK-53610 Batchgroottes van Arrow beperken in CoGrouped applyInPandas en applyInArrow
• SPARK-53659 Versnipperingsschema van variant afleiden bij het schrijven naar Parquet
• SPARK-53922 Fysieke geometrie- en geografietypen introduceren
• SPARK-54059 Standaardpaginaformaat verkleinen door LONG_ARRAY_OFFSET als ZGC of ShenandoahGC en ON_HEAP worden gebruikt
• SPARK-53921 GeometryType en GeographyType introduceren in PySpark-API
• SPARK-54048 Bijwerken van dev/requirements.txt om torch(vision) te installeren in Python 3.14
• SPARK-53917 Ondersteuning voor grote lokale relaties
• SPARK-53760 Introduceren van GeometryType en GeographyType
• SPARK-53530 De nutteloze code opschonen met betrekking tot TransformWithStateInPySparkStateServer
• SPARK-53636 Probleem met thread-safety in SortShuffleManager.unregisterShuffle opgelost
• SPARK-52762 PipelineAnalysisContext-bericht toevoegen om pijplijnanalyse te ondersteunen tijdens het uitvoeren van spark Connect-query's
• SPARK-53631 Geheugen en prestatie optimaliseren op SHS bootstrap
• SPARK-53857 MessageTemplate-doorgifte inschakelen voor SparkThrowable
• SPARK-53891 Commit Write Samenvattings-API voor model DSV2
• SPARK-53966 Hulpprogrammafuncties toevoegen om JVM-GCs te detecteren
• SPARK-53149 Herstel van testen of BeeLine-proces op de achtergrond draait
• SPARK-53738 Geplande schrijfbewerking herstellen wanneer query-uitvoer vouwbare volgordes bevat
• SPARK-53949 Gebruiken Utils.getRootCause in plaats van Throwables.getRootCause
• SPARK-53696 "Herstel [SC-209330][python][CONNECT][sql] en stel standaard bytes in voor BinaryType in PySpark terug"
• SPARK-53804 Ondersteuning voor TIME radix-sortering
• SPARK-54004 Herstellen van het ongedaan maken van caching van tabel op naam zonder cascading
• SPARK-53261 Java String.join|StringJoiner gebruiken in plaats van Guava Joiner
• SPARK-53319 Het tijdtype ondersteunen op try_make_timestamp_ltz()
• SPARK-53280 Java instanceof gebruiken in plaats van Throwables.throwIf* methoden
• SPARK-53696 Standaard ingesteld op bytes voor BinaryType in PySpark
• SPARK-53258 Gebruik JavaUtils's check(Argument|State)
• SPARK-53773 Alfabetische volgorde van regels herstellen in RuleIdCollection
• SPARK-53256 Niveau verhogen check(Argument|State) naar JavaUtils
• SPARK-54008 QO overslaan voor DESCRIBE QUERY
• SPARK-53573 Preprocessor gebruiken voor de verwerking van gegeneraliseerde parameters
• SPARK-53980 API toevoegen SparkConf.getAllWithPrefix(String, String => K)
• SPARK-54009 Ondersteuning spark.io.mode.default
• SPARK-51903 Gegevens valideren bij het toevoegen van een CHECK-beperking
• SPARK-53573 '[SC-209126][sql] Preprocessor gebruiken voor verwerking van gegeneraliseerde parametermarkeringen' herstellen
• SPARK-53573 Preprocessor gebruiken voor de verwerking van gegeneraliseerde parameters
• SPARK-53573 '[SC-209126][sql] Preprocessor gebruiken voor verwerking van gegeneraliseerde parametermarkeringen' herstellen
• SPARK-53956 Ondersteuning voor tijd in de functie try_make_timestamp in PySpark
• SPARK-53930 Ondersteuning van TIJD in de functie make_timestamp in PySpark
• SPARK-53573 Preprocessor gebruiken voor de verwerking van gegeneraliseerde parameters
• SPARK-53564 Vermijd DAGScheduler-afsluitingen vanwege een time-out van de blockManager RPC in DAGSchedulerEventProcessLoop
• SPARK-53879 Upgraden Ammonite naar 3.0.3
• SPARK-53938 Herschaal van decimalen in LocalDataToArrowConversion
• SPARK-53845 SDP-sinks
• SPARK-53908 Observaties in Spark Connect oplossen met plancache
• SPARK-53841 Implementeren transform() in kolom-API
• SPARK-53929 Ondersteuning voor TIME in de functies make_timestamp en try_make_timestamp in Scala
• SPARK-53902 Structuurknooppuntpatroonbits toevoegen voor ondersteunde expressies in ParameterizedQuery argumentlijst
• SPARK-53064 MDC-logboeksleutel opnieuw schrijven in Java
• SPARK-53762 Voeg een vereenvoudigingsregel voor datum- en tijdconversies toe aan de optimizer
• SPARK-53916 De variabelen ontdubbelen in PythonArrowInput
• SPARK-53690 Probleem met exponentiële opmaak van avgOffsetsBehindLatest en estimatedTotalBytesBehindLatest in het Kafka-bronnenobject in de voortgang JSON opgelost
• SPARK-53789 Canonicaliseer foutvoorwaarde CANNOT_MODIFY_STATIC_CONFIG
• SPARK-53720 Vereenvoudig het extraheren van een tabel uit DataSourceV2Relation (#52460)
• SPARK-45530 Gebruiken java.lang.ref.Cleaner in plaats van finalize voor NioBufferedFileInputStream
• SPARK-53789 Herstel "[SC-208902][sql][CONNECT] Canonicaliseer foutvoorwaarde CANNOT_MODIFY_STATIC_CONFIG"
• SPARK-53789 Canonicaliseer foutvoorwaarde CANNOT_MODIFY_STATIC_CONFIG
• SPARK-53111 De time_diff-functie implementeren in PySpark
• SPARK-53896 Standaard inschakelen spark.io.compression.lzf.parallel.enabled
• SPARK-53856 Alternatieve configuratienamen verwijderen
• SPARK-53611 Batchgrootten van pijlen beperken in venster-ADF's
• SPARK-53575 Herhaal alle consumentfasen wanneer er een controlesommismatch is gedetecteerd voor een opnieuw uitgevoerde herverdeeltaak
• SPARK-53867 Arrow batchgroottes beperken in SQL_GROUPED_AGG_ARROW_UDF
• SPARK-53877 De functie BITMAP_AND_AGG introduceren
• SPARK-51426 Oplossen van 'Het instellen van metadata op een leeg woordenboek werkt niet'
• SPARK-53868 Matrixlengtecontrole gebruiken in plaats van directe verwijzingscontrole in V2ExpressionBuilder
• SPARK-53609 Beperk de batchgroottes van Arrow in SQL_GROUPED_AGG_PANDAS_UDF
• SPARK-53892 Gebruik DescribeTopicsResult.allTopicNames in plaats van de afgeschafte all API
• SPARK-53878 Raceconditieprobleem met betrekking tot ObservedMetrics oplossen
• SPARK-53796 Veld toevoegen extension aan een paar pijplijn protos ter ondersteuning van doorstuurcompatibiliteit
• SPARK-53850 Proto definiëren voor sinks en Naam van DefineDataset wijzigen in DefineOutput
• SPARK-53812 Herstructureer DefineDataset en DefineFlow protos om gerelateerde eigenschappen te groeperen en ze toekomstbestendig te maken.
• SPARK-53870 Gedeeltelijke leesfout opgelost voor grote proto-berichten in TransformWithStateInPySparkStateServer
• SPARK-53751 Expliciete locatie van controlepunt met versiebeheer
• SPARK-52407 Ondersteuning toevoegen voor Theta Sketch (#171135)
• SPARK-53779 Implementeren transform() in kolom-API
• SPARK-49547 Iterator van RecordBatch API toevoegen aan applyInArrow
• SPARK-53802 Ondersteuning voor tekenreekswaarden voor door de gebruiker opgegeven schema in SDP-tabellen
• SPARK-53865 Algemene logica extraheren uit resolveGenerate-regel
• SPARK-53113 Ondersteuning voor het tijdtype per try_make_timestamp()
• SPARK-53868 Alleen handtekening gebruiken met Expressie[] van visitAggregateFunction in V2ExpressionSQBuilder
• SPARK-53792 Verhelp rocksdbPinnedBlocksMemoryUsage bij begrensd geheugen ...
• SPARK-53248 Ondersteuning checkedCast in JavaUtils
• SPARK-52640 Locatie van Python-broncode doorgeven
• SPARK-52924 Ondersteuning voor ZSTD_strategy voor compressie
• SPARK-53562 '[SC-207233][python] Limietpijl batchgrootten in applyInArrow en applyInPandas opnieuw toepassen'
• SPARK-51272 Afbreken in plaats van de gedeeltelijk voltooide onbepaalde resultaatfase voort te zetten bij ResubmitFailedStages.
• SPARK-53795 Ongebruikte parameters verwijderen in LiteralValueProtoConverter
• SPARK-53808 Toestaan om optionele JVM-argumenten door te geven aan spark-connect-scala-client
• SPARK-52614 Ondersteuning voor RowEncoder in Product Encoder
• SPARK-53833 Update dev/requirements.txt om over te slaan torch/torchvision in Python 3.14
• SPARK-53715 Herstructureren getWritePrivileges voor MergeIntoTable
• SPARK-53516 Arg-proces in SparkPipelines oplossen spark.api.mode
• SPARK-53507 Gebruik geen caseklasse voor BreakingChangeInfo
• SPARK-53645 Parameter skipna implementeren voor ps. DataFrame any()
• SPARK-53717 Het parametercommentaar nauwkeuriger herzien MapType.valueContainsNull
• SPARK-53700 Redundantie verwijderen in DataSourceV2RelationBase.simpleString
• SPARK-53667 Oplossing EXPLAIN voor BELLEN met IDENTIFIER
• SPARK-53562 Herstel "[SC-207233][python] Beperk pijl-batchgroottes in applyInArrow en applyInPandas"
• SPARK-51169 Ondersteuning voor Python 3.14 toevoegen in de klassieke Spark-versie
• SPARK-53562 De grootte van de Arrow-batch beperken in applyInArrow en applyInPandas
• SPARK-53806 Lege invoer bij AES-ontsleuteling toestaan om een foutklasse te genereren
• SPARK-51756 Berekent rij-gebaseerde controle in ShuffleWriters
• SPARK-52807 Proto-wijzigingen ter ondersteuning van analyse in queryfuncties voor declaratieve pijplijnen
• SPARK-53728 Pipeline-eventbericht met fout afdrukken in test
• SPARK-53207 Pijplijn gebeurtenis verzenden naar client asynchroon
• SPARK-53829 Ondersteuning datetime.time in kolomoperatoren
• SPARK-53638 De bytegrootte van de pijlbatch voor TWS beperken om OOM te voorkomen
• SPARK-53593 Oplossing: Gebruik ongeciteerd voor antwoordvelden
• SPARK-53734 Geef voorkeur aan tabelkolom boven LCA bij het oplossen van arrayindex
• SPARK-53593 Antwoordveld toevoegen voor DefineDataset en DefineFlow RPC
• SPARK-53734 [SC-207697][sql] Geef de voorkeur aan tabelkolom boven LCA bij het omzetten van matrixindexen
• SPARK-53621 Ondersteuning toevoegen voor het uitvoeren van CONTINUE HANDLER
• SPARK-53734 Geef voorkeur aan tabelkolom boven LCA bij het oplossen van arrayindex
• SPARK-53507 Belangrijke wijzigingsgegevens toevoegen aan fouten
• SPARK-53707 De verwerking van metagegevens van kenmerken verbeteren.
• SPARK-53629 Typebreiding implementeren voor MERGE INTO WITH SCHEMA EVOLUTION
• SPARK-53719 Typecontrole in _to_col functie verbeteren
• SPARK-53735 JVM-stacktraceringen aan de serverzijde standaard verbergen in uitvoer van spark-pipelines
• SPARK-53651 Ondersteuning toevoegen voor permanente weergaven in pijplijnen
• SPARK-53678 NPE herstellen wanneer subklasse van ColumnVector wordt gemaakt met null DataType
• SPARK-46679 Oplossing voor SparkUnsupportedOperationException: er is geen encoder van het type T gevonden bij het gebruik van geparameteriseerde klasse
• SPARK-53444 Herwerk onmiddellijk uitvoeren herwerk onmiddellijk uitvoeren
• SPARK-53578 Verwerking van gegevenstypen vereenvoudigen in LiteralValueProtoConverter
• SPARK-53438 Gebruik CatalystConverter in LiteralExpressionProtoConverter
• SPARK-53444 "[SC-206535][sql][CORE] Rework execute immediate rework execute immediate"
• SPARK-53444 Herwerk onmiddellijk uitvoeren herwerk onmiddellijk uitvoeren
• SPARK-53112 Ondersteun TIME in de functies make_timestamp_ntz en try_make_timestamp_ntz in PySpark
• SPARK-53492 Weiger een tweede ExecutePlan met een bewerkings-id die al is voltooid
• SPARK-52772 Doorsturen van gouden bestanden
• SPARK-53591 Patroon glob van pijplijnspecificatie vereenvoudigen
• SPARK-53553 Verwerking van null-waarden in LiteralValueProtoConverter oplossen
• SPARK-52772 Inconsistente verwerking van tabelkenmerken tijdens updates
• SPARK-53544 Ondersteuning van complexe typen bij waarnemingen
• SPARK-53357 Bijwerken pandas naar 2.3.2
• SPARK-53402 Ondersteuning voor direct passthrough Partitioning Dataset API in Spark Connect in Scala
• SPARK-53372 SDP End-to-End Testing Suite
• SPARK-53402 Ongedaan maken "[SC-206163][connect] Ondersteuning voor Direct Passthrough Partitioning Dataset API in Spark Connect in Scala"
• SPARK-53402 Ondersteuning voor direct passthrough Partitioning Dataset API in Spark Connect in Scala
• SPARK-53233 Zorg ervoor dat de code die verband houdt met het correct gebruik van de pakketnaam streaming
• SPARK-53233 Herstel "[SC-203716][sql][SS][mllib][CONNECT] Code met betrekking tot het gebruik van de juiste pakketnaam aanpassen"
• SPARK-53233 Zorg ervoor dat de code die verband houdt met het correct gebruik van de pakketnaam streaming
• SPARK-53561 Onderbrekingsfout opvangen in TransformWithStateInPySparkStateServer tijdens outputStream.flush om te voorkomen dat de werknemer crasht
• SPARK-53486 Vermijd het instellen van weights_only=False bij het laden van een torch-model
• SPARK-53391 Ongebruikte PrimitiveKeyOpenHashMap verwijderen
• SPARK-52431 Afwerking van declaratieve pijplijnenrunner
• SPARK-52980 Ondersteuning voor Arrow Python UDTFs
• SPARK-53453 Blokkering 'torch<2.6.0' opheffen
• SPARK-52582 Opnieuw samenvoegen [SC-199314][sc-204581][SQL] Het geheugengebruik van XML-parser verbeteren
• SPARK-52582 Herstellen van "[SC-199314][sc-204581][SQL] Het geheugengebruik van XML-processor verbeteren"
• SPARK-52582 Het geheugengebruik van XML-parser verbeteren
• SPARK-51906 Dsv2-expressies in het wijzigen van tabelkolommen toevoegen
• SPARK-53150 Verbeteren list(File|Path)s om niet-bestaande, niet-directory-, symlink-invoer te verwerken
• SPARK-53091 Verbod org.apache.commons.lang3.Strings
• SPARK-52844 Numpy bijwerken naar 1.22
• SPARK-52912 Verbetering van SparkStringUtils ter ondersteuning van is(Not)?(Blank|Empty)
• SPARK-52877 Prestaties van Python UDF-pijlserialisatie verbeteren
• SPARK-52877 Herstel "[SC-201914][python] Verbeter de serialisatieprestaties van Python UDF-pijlen"
• SPARK-52238 Python-client voor declaratieve pijplijnen
• SPARK-52877 Prestaties van Python UDF-pijlserialisatie verbeteren
• SPARK-53287 ANSI-migratiehandleiding toevoegen
• SPARK-52110 Ondersteuning voor SQL-syntaxis implementeren voor pijplijnen
• SPARK-52897 Bijwerken pandas naar 2.3.1
• SPARK-52451 Maak "[SC-202894][connect][SQL] WriteOperation in SparkConnectPlanner zonder bijwerkingen" ongedaan
• SPARK-52976 Fout in Python UDF herstellen waardoor collated string niet wordt geaccepteerd als invoerparameter/retourtype.
• SPARK-52904 ConvertToArrowArraySafely standaard inschakelen
• SPARK-52821-invoegtoepassing int-DecimalType> pyspark udf retourtype coercion
• SPARK-52971 De grootte van de niet-actieve Python-werkrolwachtrij beperken
• SPARK-53013 Oplossing voor python-geoptimaliseerde Python UDTF die geen rijen retourneert bij zijdelingse join
• SPARK-51834 Sync OSS: ondersteuning voor end-to-end tabelbeperking wijziging toevoegen/neerzetten beperking
• SPARK-52675 Vastgelopen ML-handlers onderbreken in tests
• SPARK-52959 Ondersteuning voor UDT in python geoptimaliseerde Python UDTF
• SPARK-52961 Arrow-geoptimaliseerde Python UDTF herstellen met 0-arg-evaluatie bij een laterale join
• SPARK-52949 Vermijd roundtrip tussen RecordBatch en Table in Arrow-geoptimaliseerde Python UDTF
• SPARK-52946 Fix Arrow-geoptimaliseerde Python UDTF ter ondersteuning van grote variabele typen
• SPARK-52934 Sta toe om scalaire waarden op te leveren met de geoptimaliseerde Python UDTF voor Arrow.
• SPARK-52861 Het creëren van rijobjecten overslaan bij UDTF-executie geoptimaliseerd met behulp van Arrow
• SPARK-51834 Oss-synchronisatie: end-to-end tabel maken/vervangen door beperking
• SPARK-44856 Prestaties van Python UDTF-pijlserialisatie verbeteren
• SPARK-51834 Keer "[SQL] Fix TableSpec door constructor toe te voegen" terug
• SPARK-51834 TableSpec herstellen door constructor toe te voegen
• SPARK-51834 Revert "[SQL] Sync OSS (gedeeltelijk): Ondersteuning voor end-to-end tabelbeperkingen bij het maken/vervangen van een tabel"
• SPARK-51834 OSS synchroniseren (gedeeltelijk): ondersteuning voor end-to-end tabelbeperking in een tabel maken/vervangen
• SPARK-52885 Implementeer de functies uur, minuut en seconde in Scala voor het type TIJD
• SPARK-51834 Synchroniseer OSS-update ResolvedIdentifier unapply-aanroepen
• SPARK-44856 Herstel "[SC-195808][python] Verbeter de serialisatieprestaties van Python UDTF-pijlen"
• SPARK-51834 [SQL] Sync OSS update ResolvedIdentifier unapply calls terugzetten
• SPARK-44856 Prestaties van Python UDTF-pijlserialisatie verbeteren
• SPARK-51834 Synchroniseer OSS-update ResolvedIdentifier unapply-aanroepen
• SPARK-52787 De dir voor streaming-uitvoering opnieuw orden rond runtime- en controlepuntgebieden
• SPARK-51695 Oss-tabel maken/vervangen/wijzigen synchroniseren voor unieke beperking via DSv2
• SPARK-51695 Oss-drop-beperking synchroniseren via DSv2
• SPARK-51695 Parserwijzigingen introduceren voor tabelbeperkingen (CHECK, PK, FK)
• SPARK-51695 Maak "[SQL] Parserwijzigingen voor tabelbeperkingen (CHECK, PK, FK) ongedaan"
• SPARK-51695 Parserwijzigingen introduceren voor tabelbeperkingen (CHECK, PK, FK)
• SPARK-49428 Verplaats de Connect Scala-client van Connector naar SQL
• SPARK-52422 Bijwerken pandas naar 2.3.0
• SPARK-52228 Statusinteractiemicrobenenchmark integreren in Quicksilver (TCP)
• SPARK-52300 Zorg ervoor dat SQL UDTVF-resolutie consistente configuraties gebruikt, net zoals bij weergaveresolutie.
• SPARK-52228 De benchmark-doel-TWS-statusserver bouwen met in-memory status impls en de benchmark-code in Python
• SPARK-52174 Standaard inschakelen spark.checkpoint.compress
• SPARK-52224 Pyyaml introduceren als een afhankelijkheid voor de Python-client
• SPARK-52122 Probleem met DefaultParamsReader RCE oplossen
• SPARK-51147 Gerelateerde streamingklassen herstructureren naar een toegewezen streamingmap
• SPARK-51789 Respecteer spark.api.mode en spark.remote correct bij het parseren van argumenten in Spark Submission
• SPARK-51212 Standaard een gescheiden PySpark-pakket voor Spark Connect toevoegen
• SPARK-50762 Analyseregel toevoegen voor het omzetten van SQL scalaire UDF's
• SPARK-49748 Toevoegen getCondition en verwijderen getErrorClass in SparkThrowable
• SPARK-50605 Ondersteuning voor de SQL API-modus voor eenvoudigere migratie naar Spark Connect
• SPARK-50458 Juiste foutafhandeling voor niet-ondersteund bestandssysteem bij het lezen van bestanden
• SPARK-49700 Unified Scala Interface voor Connect en Classic
• SPARK-51779 Virtuele kolomfamilies gebruiken voor stream-stream-joins
• SPARK-51820 Verplaats UnresolvedOrdinal constructie voor analyse om problemen met groeperen op volgorde te voorkomen
• SPARK-51814 Een nieuwe API transformWithState introduceren in PySpark
• SPARK-51635 PushProjectionThroughLimit en PushProjectionThroughOffset samenvoegen
• SPARK-51165 Standaard inschakelen spark.master.rest.enabled
• SPARK-51688 Unix Domain Socket gebruiken tussen Python- en JVM-communicatie
• SPARK-51503 Varianttype in XML-scan ondersteunen
• SPARK-50564 Python-pakket upgraden protobuf naar 5.29.1
• SPARK-50359 PyArrow upgraden naar 18.0
• SPARK-51340 Schatting van modelgrootte
• SPARK-50657 De minimale versie van pyarrow 11.0.0 bijwerken
• SPARK-49282 Maak een gedeelde SparkSessionBuilder-interface.
• SPARK-51371 Ga naar ToString naar ToPrettySQL bij het bouwen van Aliassen in ResolveAggregateFunctions
• SPARK-50694 Ondersteuning voor hernoemen in deelvragen
• SPARK-50601 Terugzetten "[SC-186342][sql] Ondersteuning metColumns / withColumnsRenamed in subquery’s"
• SPARK-50601 Ondersteuning voor withColumns / withColumnsRenamed in subquery's

Ondersteuning voor AZURE Databricks ODBC/JDBC-stuurprogramma

Databricks ondersteunt ODBC-/JDBC-stuurprogramma's die in de afgelopen 2 jaar zijn uitgebracht. Download de onlangs uitgebrachte stuurprogramma's en upgrade (download ODBC, download JDBC).

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime.

Systeemomgeving

• Besturingssysteem: Ubuntu 24.04.3 LTS
• Java: Zulu21.42+19-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.0.0

Geïnstalleerde Python-bibliotheken

Bibliotheek	Versie	Bibliotheek	Versie	Bibliotheek	Versie
geannoteerd document	0.0.3	geannoteerde typen	0.7.0	anyio	4.7.0
argon2-cffi	21.3.0	argon2-cffi koppelstukken	21.2.0	arro3-core	0.6.5
pijl	1.3.0	asttokens	3.0.0	astunparse	1.6.3
async-lru	2.0.4	kenmerken	24.3.0	autocommando	2.2.2
azure-common	1.1.28	azure-core	1.36.0	azure-identity	1.20.0
azure-mgmt-core	1.6.0	azure-mgmt-web	8.0.0	Azure Storage Blob	12.27.1
Azure Storage File Data Lake	12.22.0	Babel	2.16.0	backports.tarfile	1.2.0
beautifulsoup4	4.12.3	zwart	24.10.0	bleekmiddel	6.2.0
knipperlicht	1.7.0	boto3	1.40.45	botocore	1.40.45
cachetools	5.5.1	certificaat	2025.4.26	cffi	1.17.1
chardet	4.0.0	charset-normalizer	3.3.2	klikken	8.1.8
cloudpickle	3.0.0	communicatie	0.2.1	contourpy	1.3.1
cryptografie	44.0.1	wielrijder	0.11.0	Cython	3.1.5
databricks-agents	1.4.0	databricks-connect	17.3.1	databricks-sdk (softwareontwikkelkit)	0.67.0
dataclasses-json	0.6.7	dbus-python	1.3.2	debugpy	1.8.11
decorateur	5.1.1	defusedxml	0.7.1	deltalake	1.1.4
Deprecated	1.2.18	distlib	0.3.9	Van docstring naar markdown	0.11
Uitvoeren	1.2.0	facettenoverzicht	1.1.1	fastapi	0.121.0
fastjsonschema	2.21.1	bestandsvergrendeling	3.18.0	lettertypegereedschappen	4.55.3
fqdn	1.5.1	fsspec	2023.5.0	gitdb	4.0.11
GitPython	3.1.43	google-api-core	2.28.1	Google-authenticatie	2.43.0
google-cloud-core	2.5.0	Google Cloud Storage (opslag in de cloud van Google)	3.5.0	google-crc32c	1.7.1
google-heropneembare-media	2.7.2	googleapis-common-protos	1.65.0	grpcio	1.67.0
grpcio-status	1.67.0	h11	0.16.0	httpcore	1.0.9
httplib2	0.20.4	httpx	0.28.1	IDNA	3.7
importlib-metadata	6.6.0	vervoegen	7.3.1	iniconfig	1.1.1
ipyflow-core	0.0.209	ipykernel	6.29.5	ipython	8.30.0
ipython-genutils	0.2.0	ipywidgets	7.8.1	isodate (ISO-datum)	0.7.2
isoduratie	20.11.0	jaraco.collections	5.1.0	jaraco.context	5.3.0
jaraco.functools	4.0.1	jaraco.text	3.12.1	Jedi	0.19.2
Jinja2	3.1.6	jiter	0.11.1	jmespath	1.0.1
joblib	1.4.2	json5	0.9.25	jsonpatch	1.33
jsonpointer	3.0.0	jsonschema	4.23.0	jsonschema-specifications	2023.7.1
jupyter-evenementen	0.12.0	jupyter-lsp	2.2.5	jupyter_client	8.6.3
jupyter_core	5.7.2	Jupyter-server	2.15.0	Jupyter-serverterminals	0.5.3
jupyterlab	4.3.4	jupyterlab_pygments	0.3.0	jupyterlab_server	2.27.3
jupyterlab_widgets	1.1.11	kiwisolver	1.4.8	langchain-core	1.0.3
langchain-openai	1.0.2	langsmith	0.4.41	launchpadlib	1.11.0
lazr.restfulclient	0.14.6	lazr.uri	1.0.6	markdown-it-py	2.2.0
MarkupSafe	3.0.2	spekje	3.26.1	matplotlib	3.10.0
matplotlib-inline	0.1.7	Mccabe	0.7.0	mdurl	0.1.0
onstemmen	3.1.2	mlflow-skinny	3.5.1	mmh3	5.2.0
more-itertools	10.3.0	msal (Microsoft Authentication Library)	1.34.0	msal-uitbreidingen	1.3.1
mypy-extensions	1.0.0	nbclient	0.10.2	nbconvert	7.16.6
nbformat	5.10.4	nest-asyncio	1.6.0	nodeenv	1.9.1
notebook	7.3.2	notitieboek_shim	0.2.4	numpy	2.1.3
oauthlib	3.2.2	openai	2.7.1	opentelemetry-api	1.38.0
opentelemetry-proto	1.38.0	opentelemetry-sdk	1.38.0	opentelemetry-semantische-conventies	0,59b0
orjson	3.11.4	Overschrijvingen	7.4.0	verpakking	24,2
Pandas	2.2.3	pandocfilters	1.5.0	parso	0.8.4
pathspec	0.10.3	Patsy	1.0.1	pexpect	4.8.0
kussen	11.1.0	ropje	25.0.1	platformdirs	4.3.7
plotly	5.24.1	plugachtig	1.5.0	prometheus_client	0.21.1
prompt-hulpmiddelenpakket	3.0.43	proto-plus	1.26.1	protocolbuffers	5.29.4
psutil	5.9.0	psycopg2	2.9.11	ptyprocess	0.7.0
pure-eval	0.2.2	py4j	0.10.9.9	pyarrow	21.0.0
pyasn1	0.4.8	pyasn1-modules	0.2.8	pyccolo	0.0.71
pycparser	2.21	pydantic (een Python-bibliotheek voor datavalidatie en instellingenbeheer)	2.10.6	pydantic_core	2.27.2
pyflakes	3.2.0	Pygments	2.19.1	PyGObject	3.48.2
pyiceberg	0.10.0	PyJWT	2.10.1	pyodbc	5.2.0
pyparsing	3.2.0	pyright	1.1.394	pyroaring	1.0.3
pytest	8.3.5	python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python)	2.9.0.post0	python-dotenv	1.2.1
python-json-logger	3.2.1	python-lsp-jsonrpc	1.1.2	python-lsp-server	1.12.2
pytoolconfig	1.2.6	pytz	2024.1	PyYAML	6.0.2
pyzmq	26.2.0	verwijzen	0.30.2	regex	2024.11.6
Verzoeken	2.32.3	requests-toolbelt	1.0.0	rfc3339-validator	0.1.4
rfc3986-validator	0.1.1	rijk	13.9.4	touw	1.13.0
rpds-py	0.22.3	rsa	4.9.1	s3transfer	0.14.0
scikit-learn	1.6.1	Scipy (een wetenschappelijke bibliotheek voor Python)	1.15.3	geboren op zee	0.13.2
Send2Trash	1.8.2	setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten)	78.1.1	Zes	1.17.0
smmap	5.0.0	sniffio	1.3.0	gesorteerde containers	2.4.0
Soupsieve	2.5	sqlparse	0.5.3	ssh-import-id	5.11
stapelgegevens	0.6.3	sterretje	0.49.3	strictyaml	1.7.3
vasthoudendheid	9.0.0	afgerond	0.17.1	threadpoolctl	3.5.0
tiktoken	0.12.0	tinycss2	1.4.0	tokenize_rt	6.1.0
tomli	2.0.1	tornado	6.5.1	tqdm	4.67.1
Traitlets (Python library voor het configureren van Python-objecten)	5.14.3	typebeveiliging	4.3.0	types-python-dateutil	2.9.0.20251008
typinspectie	0.9.0	typuitbreidingen	4.12.2	tzdata	2024.1
ujson (een Python-bibliotheek voor snelle JSON-verwerking)	5.10.0	automatische upgrades zonder toezicht	0,1	URI-sjabloon	1.3.0
urllib3	2.3.0	uvicorn	0.38.0	virtualenv	20.29.3
wadllib	1.3.6	wcwidth	0.2.5	webcolors	25.10.0
Webencoderingen	0.5.1	websocket-client	1.8.0	whatthepatch	1.0.2
wiel	0.45.1	wanneer	0.7.3	widgetsnbextension	3.6.6
omsloten	1.17.0	yapf	0.40.2	ritssluiting	3.21.0
zstandard	0.23.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Posit Package Manager CRAN-momentopname op 2025-11-20.

Bibliotheek	Versie	Bibliotheek	Versie	Bibliotheek	Versie
pijl	22.0.0	wachtwoord vragen	1.2.1	verzeker dat	0.2.1
terugimporten	1.5.0	basis	4.5.1	base64enc	0.1-3
bigD	0.3.1	bit	4.6.0	64-bitsysteem	4.6.0-1
bitops	1.0-9	Druppel	1.2.4	opstarten	1.3-30
brouwen	1.0-10	Brio	1.1.5	bezem	1.0.10
bslib	0.9.0	cachem	1.1.0	oproeper	3.7.6
Caret	7.0-1	cellranger (softwaretool voor genetische analyse)	1.1.0	Chrono	2.3-62
class	7.3-22	CLI	3.6.5	Clipr	0.8.0
klok	0.7.3	groep	2.1.6	codetools	0.2-20
commonmark	2.0.0	programmacompileerder	4.5.1	config	0.3.2
Tegenstrijdig	1.2.0	cpp11	0.5.2	krijt	1.5.3
credentials	2.0.3	curl	7.0.0	gegevenstabel	1.17.8
gegevenssets	4.5.1	DBI	1.2.3	dbplyr	2.5.1
beschrijving	1.4.3	devtools	2.4.6	schematisch overzicht	1.6.5
diffobj	0.3.6	samenvatten	0.6.39	neerwaartse verlichting	0.4.5
dplyr (een R-pakket voor gegevensmanipulatie)	1.1.4	dtplyr	1.3.2	e1071	1.7-16
ellips	0.3.2	beoordelen	1.0.5	fans	1.0.7
kleuren	2.1.2	snelle kaart	1.2.0	Fontawesome	0.5.3
dwangarbeiders	1.0.1	foreach	1.5.2	buitenland	0,8-86
fs	1.6.6	toekomst	1.68.0	future.apply	1.20.0
gorgelen	1.6.0	Generieken	0.1.4	gert	2.2.0
ggplot2	4.0.1	gh	1.5.0	git2r	0.36.2
gitcreds	0.1.2	glmnet	4.1-10	globale variabelen	0.18.0
lijm	1.8.0	googledrive	2.1.2	googlesheets4	1.1.2
Gower	1.0.2	afbeeldingen	4.5.1	grDevices	4.5.1
raster / netwerk	4.5.1	gridExtra	2.3	gsubfn	0.7
gt	1.1.0	gtable	0.3.6	veiligheidshelm	1.4.2
toevluchtsoord/schuilplaats	2.5.5	hoger	0.11	HMS	1.1.4
htmltools	0.5.8.1	htmlwidgets	1.6.4	httpuv	1.6.16
httr	1.4.7	httr2	1.2.1	identiteiten	1.0.1
ini	0.3.1	IPRED	0.9-15	isoband	0.2.7
Iteratoren	1.0.14	jquerylib	0.1.4	jsonlite	2.0.0
JuicyJuice	0.1.0	KernSmooth	2.23-22	knitr	1.50
Etikettering	0.4.3	daarna	1.4.4	latwerk	0,22-5
lava	1.8.2	levenscyclus	1.0.4	luisteren	0.10.0
litedown	0.8	lubridate	1.9.4	magrittr	2.0.4
Markdown	2.0	MASSA	7.3-60.0.1	Matrix	1.6-5
memoriseer	2.0.1	Methoden	4.5.1	mgcv	1.9-1
mimekunst	0,13	miniUI	0.1.2	mlflow	3.6.0
ModelMetrics	1.2.2.2	modelleur	0.1.11	nlme	3.1-164
nnet	7.3-19	numDeriv	2016.8 tot 1.1	OpenSSL-software	2.3.4
otel	0.2.0	evenwijdig	4.5.1	op een parallelle wijze	1.45.1
pilaar	1.11.1	pkgbuild	1.4.8	pkgconfig	2.0.3
pkgdown	2.2.0	pkgload	1.4.1	plogr	0.2.0
plyr	1.8.9	prijzen	1.0.0	prettyunits	1.2.0
pROC	1.19.0.1	Processx	3.8.6	prodlim	2025.04.28
profvis	0.4.0	vooruitgang	1.2.3	progressr	0.18.0
beloften	1.5.0	proto	1.0.0	tussenpersoon	0.4-27
P.S.	1.9.1	purrr	1.2.0	R6	2.6.1
ragg	1.5.0	randomForest	4.7-1.2	rappdirs	0.3.3
rcmdcheck	1.4.0	RColorBrewer	1.1-3	Rcpp	1.1.0
RcppEigen	0.3.4.0.2	reageerbaar	0.4.4	reactR	0.6.1
readr	2.1.6	readxl (een programma voor het lezen van Excel-bestanden)	1.4.5	Recepten	1.3.1
Herwedstrijd	2.0.0	revanche2	2.1.2	Afstandsbedieningen	2.5.0
reprex (reproduceerbaar voorbeeld)	2.1.1	reshape2	1.4.5	rlang	1.1.6
rmarkdown	2.30	RODBC	1.3-26	roxygen2	7.3.3
rpart (een R-pakket voor beslissingsboommodellering)	4.1.23	rprojroot	2.1.1	Rserve	1.8-15
RSQLite	2.4.4	rstudioapi	0.17.1	rversions	3.0.0
rvest (een softwarepakket voor webscraping)	1.0.5	S7	0.2.1	Sass	0.4.10
weegschalen	1.4.0	Selectr	0,4-2	sessiegegevens	1.2.3
vorm	1.4.6.1	glanzend	1.11.1	sourcetools	0.1.7-1
sparklyr	1.9.3	SparkR	4.1.0	sparsevctrs	0.3.4
ruimtelijk	7.3-17	Spieën	4.5.1	sqldf	0.4-11
SQUAREM	2021.1	statistieken	4.5.1	statistieken4	4.5.1
strings	1.8.7	stringr	1.6.0	overleven	3.5-8
Bravoure	5.17.14.1	sys	3.4.3	systemfonts	1.3.1
tcltk	4.5.1	testthat	3.3.0	tekstvorming	1.0.4
tibble	3.3.0	tidyr	1.3.1	tidyselect	1.2.1
tidyverse	2.0.0	tijdverandering	0.3.0	tijd en datum	4051.111
tinytex	0.58	gereedschappen	4.5.1	tzdb	0.5.0
URL-controleprogramma	1.0.1	gebruik dit	3.2.1	utf8	1.2.6
hulpmiddelen	4.5.1	UUID (Universally Unique Identifier)	1.2-1	V8	8.0.1
vctrs	0.6.5	viridisLite	0.4.2	Vroom	1.6.6
Waldo	0.6.2	snorharen	0.4.1	verwelken	3.0.2
xfun	0.54	xml2	1.5.0	xopen	1.0.1
xtable	1.8-4	YAML	2.3.10	zeloot	0.2.0
ZIP-bestand	2.3.3

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.13-clusterversie)

Groeps-id	Artefact-ID	Versie
antlr	antlr	2.7.7
com.amazonaws	Amazon Kinesis-client	1.15.3
com.amazonaws	aws-java-sdk-autoscaling (Amazon Web Services Java Software Development Kit voor automatisch schalen)	1.12.681
com.amazonaws	aws-java-sdk-cloudformation	1.12.681
com.amazonaws	aws-java-sdk-cloudfront	1.12.681
com.amazonaws	aws-java-sdk-cloudhsm	1.12.681
com.amazonaws	aws-java-sdk-cloudsearch	1.12.681
com.amazonaws	aws-java-sdk-cloudtrail	1.12.681
com.amazonaws	aws-java-sdk-cloudwatch	1.12.681
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.681
com.amazonaws	aws-java-sdk-codedeploy	1.12.681
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.681
com.amazonaws	aws-java-sdk-cognitosync	1.12.681
com.amazonaws	aws-java-sdk-config (configuratie)	1.12.681
com.amazonaws	aws-java-sdk-core	1.12.681
com.amazonaws	AWS Java SDK Datapipeline	1.12.681
com.amazonaws	aws-java-sdk-directconnect	1.12.681
com.amazonaws	aws-java-sdk-directory	1.12.681
com.amazonaws	aws-java-sdk-dynamodb	1.12.681
com.amazonaws	aws-java-sdk-ec2	1.12.681
com.amazonaws	aws-java-sdk-ecs	1.12.681
com.amazonaws	aws-java-sdk-efs	1.12.681
com.amazonaws	aws-java-sdk-elasticache	1.12.681
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.681
com.amazonaws	AWS Java SDK - Elastic Load Balancing	1.12.681
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.681
com.amazonaws	aws-java-sdk-emr	1.12.681
com.amazonaws	aws-java-sdk-glacier (AWS Java SDK Glacier)	1.12.681
com.amazonaws	aws-java-sdk-glue (een softwareontwikkelingskit voor het werken met AWS Glue in Java)	1.12.681
com.amazonaws	aws-java-sdk-iam	1.12.681
com.amazonaws	AWS Java SDK Import/Export	1.12.681
com.amazonaws	aws-java-sdk-kinesis	1.12.681
com.amazonaws	aws-java-sdk-kms	1.12.681
com.amazonaws	aws-java-sdk-lambda	1.12.681
com.amazonaws	aws-java-sdk-logbestanden	1.12.681
com.amazonaws	AWS-Java-SDK-MachineLearning	1.12.681
com.amazonaws	aws-java-sdk-opsworks	1.12.681
com.amazonaws	aws-java-sdk-rds	1.12.681
com.amazonaws	aws-java-sdk-redshift	1.12.681
com.amazonaws	aws-java-sdk-route53	1.12.681
com.amazonaws	aws-java-sdk-s3	1.12.681
com.amazonaws	aws-java-sdk-ses	1.12.681
com.amazonaws	aws-java-sdk-simpledb	1.12.681
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.681
com.amazonaws	aws-java-sdk-sns	1.12.681
com.amazonaws	aws-java-sdk-sqs	1.12.681
com.amazonaws	aws-java-sdk-ssm	1.12.681
com.amazonaws	aws-java-sdk-storagegateway (een Java software development kit voor het beheren van opslaggateways in AWS)	1.12.681
com.amazonaws	aws-java-sdk-sts	1.12.681
com.amazonaws	aws-java-sdk-ondersteuning	1.12.681
com.amazonaws	aws-java-sdk-workspaces	1.12.681
com.amazonaws	jmespath-java	1.12.681
com.clearspring.analytics	beek	2.9.8
com.databricks	Rserve	1.8-3
com.databricks	databricks-sdk-java	0.53.0
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	scalapb-runtime_2.13	0.4.15-11
com.esotericsoftware	kryo-gekleurd	4.0.3
com.esotericsoftware	minlog	1.3.0
com.fasterxml	klasgenoot	1.5.1
com.fasterxml.jackson.core	jackson-annotations	2.18.2
com.fasterxml.jackson.core	jackson-core	2.18.2
com.fasterxml.jackson.core	jackson-databind	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-yaml	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.18.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.18.3
com.fasterxml.jackson.module	jackson-module-paranamer	2.18.2
com.fasterxml.jackson.module	jackson-module-scala_2.13	2.18.2
com.github.ben-manes.caffeine	cafeïne	2.9.3
com.github.blemale	scaffeine_2.13	4.1.0
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java	1.1-autochtonen
com.github.fommil.netlib	native_system-java	1.1
com.github.fommil.netlib	native_system-java	1.1-autochtonen
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-autochtonen
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1-autochtonen
com.github.luben	zstd-jni	1.5.7-6
com.github.virtuald	curvesapi	1.08
com.github.wendykierp	JTransforms	3.1
com.google.api.grpc	proto-google-common-protos	2.5.1
com.google.auth	google-auth-library-credentials	1.20.0
com.google.auth	google-auth-library-oauth2-http	1.20.0
com.google.auto.value	automatische waardeaantekeningen	1.10.4
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson (een Java-bibliotheek voor het converteren van Java-objecten naar JSON en vice versa)	2.11.0
com.google.crypto.tink	tink	1.16.0
com.google.errorprone (foutgevoelig)	foutgevoelige_aantekeningen	2.36.0
com.google.flatbuffers	flatbuffers-java	25.2.10
com.google.guava	toegangsfalen	1.0.3
com.google.guava	guave	33.4.8-jre
com.google.http-client	google-http-client	1.43.3
com.google.http-client	google-http-client-gson	1.43.3
com.google.j2objc	j2objc-aantekeningen	3.0.0
com.google.protobuf	protobuf-java	3.25.5
com.google.protobuf	protobuf-java-util	3.25.5
com.helger	profielmaker	1.1.1
com.ibm.icu	icu4j	75.1
com.jcraft	jsch	0.1.55
com.lihaoyi	sourcecode_2.13	0.1.9
com.microsoft.azure	Azure-Data-Lake-Store-SDK	2.3.10
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre11
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre8
com.ning	compress-lzf (een compressie-algoritme)	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core (Java-architectuur voor XML-binding)	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.13	0.4.13
com.twitter	chill-java	0.10.0
com.twitter	chill_2.13	0.10.0
com.twitter	util-app_2.13	19.8.1
com.twitter	util-core_2.13	19.8.1
com.twitter	util-function_2.13	19.8.1
com.twitter	util-jvm_2.13	19.8.1
com.twitter	util-lint_2.13	19.8.1
com.twitter	util-registry_2.13	19.8.1
com.twitter	util-stats_2.13	19.8.1
com.typesafe	config	1.4.3
com.typesafe.scala-logging	scala-logging_2.13	3.9.2
com.uber	h3	3.7.3
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
com.zaxxer	SparseBitSet	1.3
commons-cli	commons-cli	1.10.0
commons-codec	commons-codec	1.19.0
gemeenschappelijke collecties	gemeenschappelijke collecties	3.2.2
commons-dbcp	commons-dbcp	1.4
bestandsupload van commons	bestandsupload van commons	1.6.0
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.21.0
commons-lang	commons-lang	2.6
gemeenschappelijke-logboekvoorziening	gemeenschappelijke-logboekvoorziening	1.1.3
commons-pool (gemeenschappelijke pool)	commons-pool (gemeenschappelijke pool)	1.5.4
dev.ludovic.netlib	arpack	3.0.4
dev.ludovic.netlib	explosie	3.0.4
dev.ludovic.netlib	LAPACK	3.0.4
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	luchtdrukmachine	2.0.2
io.delta	delta-sharing-client_2.13	1.3.6
io.dropwizard.metrics	annotatie van metrieken	4.2.37
io.dropwizard.metrics	kern van metrische gegevens	4.2.37
io.dropwizard.metrics	metrics-graphite	4.2.37
io.dropwizard.metrics	meetwaarden-gezondheidscontroles	4.2.37
io.dropwizard.metrics	metrics-jetty10	4.2.37
io.dropwizard.metrics	metrics-jmx	4.2.37
io.dropwizard.metrics	metrics-json (metrische gegevens in JSON-formaat)	4.2.37
io.dropwizard.metrics	metriekgegevens voor JVM	4.2.37
io.dropwizard.metrics	metrieke gegevens-servlets	4.2.37
io.github.java-diff-utils	java-diff-utils	4.15
io.netty	netty-all	4.2.7.Final
io.netty	Netty-buffer	4.2.7.Final
io.netty	netty-codec	4.2.7.Final
io.netty	netty-codec-base	4.2.7.Final
io.netty	Netty-codec-classes-quic	4.2.7.Final
io.netty	netty-codec-compression	4.2.7.Final
io.netty	netty-codec-http	4.2.7.Final
io.netty	netty-codec-http2	4.2.7.Final
io.netty	netty-codec-http3	4.2.7.Final
io.netty	netty-codec-marshalling	4.2.7.Final
io.netty	netty-codec-native-quic	4.2.7.Final-linux-aarch_64
io.netty	netty-codec-native-quic	4.2.7.Final-linux-x86_64
io.netty	netty-codec-native-quic	4.2.7.Final-osx-aarch_64
io.netty	netty-codec-native-quic	4.2.7.Final-osx-x86_64
io.netty	netty-codec-native-quic	4.2.7.Final-windows-x86_64
io.netty	netty-codec-protobuf	4.2.7.Final
io.netty	netty-codec-sokken	4.2.7.Final
io.netty	netty-common	4.2.7.Final
io.netty	netty-handler	4.2.7.Final
io.netty	netty-handler-proxy	4.2.7.Final
io.netty	netty-resolver	4.2.7.Final
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-windows-x86_64
io.netty	netty-tcnative-klassen	2.0.74.Final
io.netty	netty-transport	4.2.7.Final
io.netty	netty-transport-classes-epoll	4.2.7.Final
io.netty	netty-transport-klassen-io_uring	4.2.7.Final
io.netty	netty-transport-classes-kqueue	4.2.7.Final
io.netty	netty-transport-native-epoll	4.2.7.Final
io.netty	netty-transport-native-epoll	4.2.7.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.2.7.Final-linux-riscv64
io.netty	netty-transport-native-epoll	4.2.7.Final-linux-x86_64
io.netty	netty-transport-native-io_uring	4.2.7.Final-linux-aarch_64
io.netty	netty-transport-native-io_uring	4.2.7.Final-linux-riscv64
io.netty	netty-transport-native-io_uring	4.2.7.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.2.7.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.2.7.Final-osx-x86_64
io.netty	netty-transport-natieve-unix-algemeen	4.2.7.Final
io.opencensus	opencensus-api	0.31.1
io.opencensus	opencensus-contrib-http-util	0.31.1
io.prometheus	simpleclient	0.16.1-databricks
io.prometheus	simpleclient_common (algemene module voor eenvoudige client)	0.16.1-databricks
io.prometheus	simpleclient_dropwizard	0.16.1-databricks
io.prometheus	simpleclient_pushgateway	0.16.1-databricks
io.prometheus	simpleclient_servlet	0.16.1-databricks
io.prometheus	simpleclient_servlet_common	0.16.1-databricks
io.prometheus	simpleclient_tracer_common	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel	0.16.1-databricks
io.prometheus	simpleclient_traceerder_otel_agent	0.16.1-databricks
io.prometheus.jmx	verzamelaar	0.18.0
jakarta.annotatie	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	activatie	1.1.1
javax.annotatie	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.media	jai_core	jai_core_dummy
javax.transaction	jta	1.1
javax.transaction	transactie-API	1.1
javax.xml.bind	jaxb-api	2.2.11
Javolution	Javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.14.0
net.java.dev.jna	jna	5.8.0
net.razorvine	pekelen	1.5
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.sneeuwvlok	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.13.1
org.antlr	StringTemplate	3.2.1
org.apache.ant	mier	1.10.11
org.apache.ant	ant-jsch	1.10.11
org.apache.ant	ant-launcher (startprogramma voor Ant)	1.10.11
org.apache.arrow	pijl-formaat	18.3.0
org.apache.arrow	pijlpunt-geheugen-kern	18.3.0
org.apache.arrow	arrow-memory-netty	18.3.0
org.apache.arrow	arrow-geheugen-netty-buffer-patch	18.3.0
org.apache.arrow	vector met pijl	18.3.0
org.apache.avro	AVRO	1.12.1
org.apache.avro	avro-ipc	1.12.1
org.apache.avro	avro-mapred	1.12.1
org.apache.commons	commons-collections4	4.5.0
org.apache.commons	commons-compress - een bibliotheek voor compressie	1.28.0
org.apache.commons	commons-configuration2	2.11.0
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.19.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-tekst	1.14.0
org.apache.curator	beheerder-cliënt	5.9.0
org.apache.curator	curatorraamwerk	5.9.0
org.apache.curator	curatorrecepten	5.9.0
org.apache.datasketches	datasketches-java	6.2.0
org.apache.datasketches	gegevensschetsen-geheugen	3.0.2
org.apache.derby	Derbywedstrijd	10.14.2.0
org.apache.hadoop	hadoop-client-uitvoeringsomgeving	3.4.2
org.apache.hive	hive-beeline	2.3.10
org.apache.hive	hive-cli	2.3.10
org.apache.hive	hive-jdbc	2.3.10
org.apache.hive	hive-llap-client	2.3.10
org.apache.hive	hive-llap-common	2.3.10
org.apache.hive	hive-serde	2.3.10
org.apache.hive	hive-shims	2.3.10
org.apache.hive	hive-opslag-API	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.10
org.apache.hive.shims	hive-shims-common (if no translation is needed for understanding, the original can be kept as is)	2.3.10
org.apache.hive.shims	hive-shims-scheduler	2.3.10
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	klimop	2.5.3
org.apache.logging.log4j	log4j-1.2-api	2.24.3
org.apache.logging.log4j	log4j-api	2.24.3
org.apache.logging.log4j	log4j-core	2.24.3
org.apache.logging.log4j	log4j-layout-template-json	2.24.3
org.apache.logging.log4j	log4j-slf4j2-impl	2.24.3
org.apache.orc	orc-core	2.2.0-shaded-protobuf
org.apache.orc	orc-indeling	1.1.1-gearceerde protobuf
org.apache.orc	orc-mapreduce	2.2.0-shaded-protobuf
org.apache.orc	orc-shims	2.2.0
org.apache.poi	Poi	5.4.1
org.apache.poi	poi-ooxml	5.4.1
org.apache.poi	poi-ooxml-full	5.4.1
org.apache.poi	poi-ooxml-lite	5.4.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.16.0
org.apache.ws.xmlschema	xmlschema-core	2.3.1
org.apache.xbean	xbean-asm9-shaded	4.28
org.apache.xmlbeans	xmlbeans	5.3.0
org.apache.yetus	annotaties voor het publiek	0.13.0
org.apache.zookeeper	dierentuinverzorger	3.9.4
org.apache.zookeeper	dierentuinopzichter-jute	3.9.4
org.checkerframework	checker-qual	3.43.0
org.codehaus.janino	algemene compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-alpn-client	10.0.26
org.eclipse.jetty	jetty-client	10.0.26
org.eclipse.jetty	jetty-http	10.0.26
org.eclipse.jetty	jetty-io	10.0.26
org.eclipse.jetty	jetty-jndi	10.0.26
org.eclipse.jetty	Jetty-plus	10.0.26
org.eclipse.jetty	jetty-proxy (een omgekeerde proxy server gebaseerd op Jetty)	10.0.26
org.eclipse.jetty	Jetty-beveiliging	10.0.26
org.eclipse.jetty	Jetty Server	10.0.26
org.eclipse.jetty	jetty-servlet	10.0.26
org.eclipse.jetty	jetty-servlets	10.0.26
org.eclipse.jetty	jetty-util	10.0.26
org.eclipse.jetty	jetty-webapp	10.0.26
org.eclipse.jetty	jetty-xml	10.0.26
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-lokalisator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-hulpbronnenzoeker	1.0.3
org.glassfish.hk2.external	aopalliance-opnieuw verpakt	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.41
org.glassfish.jersey.containers	jersey-container-servlet-core	2.41
org.glassfish.jersey.core	jersey-client	2.41
org.glassfish.jersey.core	Algemene Jersey	2.41
org.glassfish.jersey.core	Jersey-Server	2.41
org.glassfish.jersey.inject	jersey-hk2	2.41
org.hibernate.validator	hibernate-validator	6.2.5.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.4.1.Final
org.jdbi	jdbi	2.63.1
org.jline	jline	3.27.1-jdk8
org.joda	joda-convert	1.7
org.json4s	json4s-ast_2.13	4.0.7
org.json4s	json4s-core_2.13	4.0.7
org.json4s	json4s-jackson-core_2.13	4.0.7
org.json4s	json4s-jackson_2.13	4.0.7
org.json4s	json4s-scalap_2.13	4.0.7
org.locationtech.jts	jts-core	1.20.0
org.lz4	lz4-java	1.8.0-databricks-1
org.mlflow	mlflow-spark_2.13	2.22.1
org.objenesis	objenesis	3.4
org.postgresql	postgresql	42.6.1
org.roaringbitmap	RoaringBitmap	1.2.1
org.rocksdb	rocksdbjni	9.8.4
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.13	2.13.16
org.scala-lang	scala-library_2.13	2.13.16
org.scala-lang	scala-reflect_2.13	2.13.16
org.scala-lang.modules	scala-collection-compat_2.13	2.11.0
org.scala-lang.modules	scala-java8-compat_2.13	0.9.1
org.scala-lang.modules	scala-parallel-collections_2.13	1.2.0
org.scala-lang.modules	scala-parser-combinators_2.13	2.4.0
org.scala-lang.modules	scala-xml_2.13	2.4.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.13	1.18.0
org.scalactic	scalactic_2.13	3.2.19
org.scalanlp	breeze-macros_2.13	2.1.0
org.scalanlp	breeze_2.13	2.1.0
org.scalatest	scalatest-compatibel	3.2.19
org.scalatest	scalatest-core_2.13	3.2.19
org.scalatest	scalatest-diagrams_2.13	3.2.19
org.scalatest	scalatest-featurespec_2.13	3.2.19
org.scalatest	scalatest-flatspec_2.13	3.2.19
org.scalatest	scalatest-freespec_2.13	3.2.19
org.scalatest	scalatest-funspec_2.13	3.2.19
org.scalatest	scalatest-funsuite_2.13	3.2.19
org.scalatest	scalatest-matchers-core_2.13	3.2.19
org.scalatest	scalatest-mustmatchers_2.13	3.2.19
org.scalatest	scalatest-propspec_2.13	3.2.19
org.scalatest	scalatest-refspec_2.13	3.2.19
org.scalatest	scalatest-shouldmatchers_2.13	3.2.19
org.scalatest	scalatest-wordspec_2.13	3.2.19
org.scalatest	scalatest_2.13	3.2.19
org.slf4j	jcl-over-slf4j	2.0.16
org.slf4j	jul-to-slf4j	2.0.16
org.slf4j	slf4j-api	2.0.16
org.slf4j	slf4j-simple	1.7.25
org.threeten	threeten-extra	1.8.0
org.tukaani	xz	1.10
org.typelevel	algebra_2.13	2.8.0
org.typelevel	katten-kernel_2.13	2.8.0
org.typelevel	spire-macros_2.13	0.18.0
org.typelevel	spire-platform_2.13	0.18.0
org.typelevel	spire-util_2.13	0.18.0
org.typelevel	spire_2.13	0.18.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	2.5.0-linux-x86_64
stax	stax-api	1.0.1

Aanbeveling

Voor het bekijken van releaseopmerkingen voor Databricks Runtime-versies die het einde van de ondersteuning (EoS) hebben bereikt, zie Releaseopmerkingen voor Databricks Runtime die het einde van de ondersteuning hebben bereikt. De EoS Databricks Runtime-versies zijn buiten gebruik gesteld en worden mogelijk niet bijgewerkt.