Condividi tramite

Databricks Runtime 18.0 (Beta)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 18.0 (Beta).

Azure Databricks ha rilasciato questa versione a dicembre 2025.

Importante

Databricks Runtime 18.0 è in versione beta. Il contenuto degli ambienti supportati potrebbe cambiare durante la versione beta. Le modifiche possono includere l'elenco dei pacchetti o delle versioni dei pacchetti installati.

Nuove funzionalità e miglioramenti

SQL Scripting è ora generalmente disponibile

La funzionalità di scripting SQL è ora disponibile a livello generale.

Driver JDBC Redshift aggiornato alla versione 2.1.0.28

Il driver JDBC di Redshift è stato aggiornato alla versione 2.1.0.28.

Ambiente di esecuzione con isolamento condiviso per le UDF (funzioni definite dall'utente) Python del catalogo Unity

Le UDF Python del catalogo Unity con lo stesso proprietario possono ora condividere un ambiente di isolamento di default. In questo modo è possibile migliorare le prestazioni e ridurre l'utilizzo della memoria riducendo il numero di ambienti separati da avviare.

Per garantire che una funzione definita dall'utente venga sempre eseguita in un ambiente completamente isolato, aggiungere la clausola caratteristica STRICT ISOLATION . Vedere Isolamento dell'ambiente.

Funzioni della finestra SQL nelle visualizzazioni delle metriche

È ora possibile usare le funzioni della finestra SQL nelle visualizzazioni delle metriche per calcolare i totali, le classificazioni e altri calcoli basati su finestre.

Arresto normale per le applicazioni Spark

Le applicazioni Spark supportano ora l'arresto normale, consentendo il completamento delle attività in corso prima che l'applicazione termini.

Regolazione dinamica delle partizioni di riordino nelle query di streaming senza stato

È ora possibile modificare il numero di shuffle partitions nelle query di streaming senza stato senza dover riavviare la query.

Esecuzione di query adattive e shuffle ottimizzati automaticamente nelle query di streaming senza stato

L'esecuzione di query adattive (AQE) e il rimescolamento ottimizzato automaticamente (AOS) sono ora supportati nelle query di streaming senza stato.

FILTER clausola per le funzioni di aggregazione delle misure nelle visualizzazioni delle metriche

È ora possibile usare la FILTER clausola con le funzioni di aggregazione delle misure nelle visualizzazioni delle metriche per definire filtri per aggregazione quando si fa riferimento alle misure di visualizzazione delle metriche.

Unione di stringhe letterali ovunque

La possibilità di unire valori letterali stringa sequenziali come 'Hello' ' World' in 'Hello World' è stata estesa dalle espressioni a qualsiasi punto in cui sono consentiti valori letterali stringa. Ad esempio: COMMENT 'This' ' is a ' 'comment'. Per informazioni dettagliate, vedere il tipo STRING.

Marcatori di parametro ovunque

È ora possibile usare marcatori di parametro denominati (:param) e senza nome (?) ovunque sia possibile usare un valore letterale del tipo appropriato. Sono inclusi i marcatori di parametro nelle istruzioni DDL, come CREATE VIEW v AS SELECT ? AS c1, i tipi di colonna DECIMAL(:p, :s) o COMMENT ON t IS :comment. Con questa possibilità è possibile parametrizzare un'ampia gamma di istruzioni SQL senza esporre il codice agli attacchi SQL injection. Per informazioni dettagliate, vedere Marcatori di parametro .

IDENTIFIER clausola presente ovunque

La portata della clausola IDENTIFIER, che effettua il cast delle stringhe ai nomi di oggetto SQL, è stata ampliata quasi ovunque sia consentito un identificatore. Oltre ai miglioramenti apportati alla stringa letterale che mettono in unione un marcatore di parametro, è ora possibile parametrizzare qualsiasi elemento dagli alias di colonna (AS IDENTIFIER(:name)) alle definizioni di colonna (IDENTIFIER(:pk) BIGINT NOT NULL). Per informazioni dettagliate, vedere IDENTIFIER.

Nuova funzione BITMAP_AND_AGG

La libreria esistente di BITMAP funzioni è stata completata con una nuova funzione BITMAP_AND_AGG.

Nuova libreria di funzioni KLL_Sketch

È ora possibile usare una nuova libreria di funzioni che creano schizzi KLL per calcolare approssimativamente i quantile:

Libreria Apache Parquet aggiornata alla versione 1.16.0

La libreria Apache Parquet è stata aggiornata alla versione 1.16.0.

Modifiche comportamentali

JDK 21 è ora il Kit di sviluppo Java predefinito

Databricks Runtime 18.0 usa JDK 21 come Java Development Kit predefinito. JDK 21 è una versione LTS (Long-Term Support). In precedenza, il valore predefinito era JDK 17, ora disponibile come opzione di fallback.

Per informazioni sulla configurazione delle versioni JDK per i cluster, vedere Creare un cluster con una versione JDK specifica.

FSCK REPAIR TABLE include il ripristino dei metadati per impostazione predefinita

Il FSCK REPAIR TABLE comando include ora un passaggio iniziale di ripristino dei metadati prima di verificare la presenza di file di dati mancanti. Il comando può essere usato nelle tabelle con checkpoint danneggiati o valori di partizione non validi.

Nullabilità preservata per i tipi di array e mappe nel client Scala Spark Connect

La nullabilità dei tipi di array e mappa è ora mantenuta per i letterali tipizzati nel client Spark Connect Scala. In precedenza, gli elementi degli array e i valori delle mappe erano sempre nullabili.

FSCK REPAIR TABLE DRY RUN schema di output aggiornato

La dataFilePath colonna nello FSCK REPAIR TABLE DRY RUN schema di output è ora annullabile per consentire la segnalazione di nuove tipologie di problema dove il percorso del file dati non è pertinente.

SHOW TABLES DROPPED rispetta LIMIT clausola

Il SHOW TABLES DROPPED comando ora rispetta correttamente la LIMIT clausola .

Fattori di proration allineati tra letture e scritture ottimizzate automaticamente

I fattori di ripartizione per il dimensionamento delle partizioni ora usano valori frazionari in modo coerente tra operazioni di lettura e scritture ottimizzate automaticamente. Questa modifica potrebbe comportare un numero diverso di attività per le operazioni di lettura.

Esecuzione UDF Python unificata in PySpark e nel Unity Catalog

Le funzioni definite dall'utente Python di Unity Catalog ora utilizzano Apache Arrow come formato di interscambio predefinito, migliorando le prestazioni complessive e allineandole al comportamento delle funzioni definite dall'utente Python ottimizzate per Arrow in Apache Spark. Nell'ambito di questa modifica, TIMESTAMP i valori passati alle UDF Python non includono più informazioni sul datetime fuso orario nell'attributo dell'oggetto tzinfo. I valori timestamp stessi rimangono in formato UTC, ma i metadati del fuso orario vengono ora eliminati.

Se il tuo UDF si basa sulle informazioni sul fuso orario, è necessario ripristinarlo con date = date.replace(tzinfo=timezone.utc). Per altre informazioni, vedere Comportamento del fuso orario timestamp per gli input.

Messaggi di errore migliorati per i problemi del modulo di accesso del connettore Kafka

Quando si usa il connettore Kafka con una classe di modulo di accesso non ombreggiato, Azure Databricks ora fornisce messaggi di errore che suggeriscono di usare il prefisso corretto della classe ombreggiata (kafkashaded.org.apache.kafka o kafkashaded.software.amazon.msk.auth.iam).

Restrizioni sul viaggio nel tempo e comportamento di conservazione VACUUM

Azure Databricks blocca ora le query di spostamento del tempo oltre la deletedFileRetentionDuration soglia per tutte le tabelle. Il VACUUM comando ignora l'argomento durata conservazione tranne quando il valore è 0 ore. Non è possibile impostare deletedFileRetentionDuration più grande di logRetentionDuration o viceversa.

BinaryType esegue il mapping a bytes per impostazione predefinita in PySpark

BinaryType ora mappa costantemente a Python bytes in PySpark. In precedenza, PySpark mappa BinaryType a bytes o bytearray dipende dal contesto. Per ripristinare il comportamento precedente, impostare spark.sql.execution.pyspark.binaryAsBytes su false.

Struct NULL sono mantenuti nelle operazioni Delta MERGE, UPDATE, e nelle operazioni di scrittura in streaming

Gli struct NULL vengono ora mantenuti come NULL nelle operazioni Delta MERGE, UPDATE, e nelle operazioni di scrittura in streaming che includono casting di tipo struct. In precedenza, le struct NULL venivano espanse in struct con campi NULL. Ad esempio, una struct NULL rimane NULL invece di essere espansa in una struct con tutti i valori di campo NULL.

Colonne di partizione materializzate nei file Parquet

Le tabelle Delta partizionate ora materializzano le colonne di partizione nei file di dati Parquet appena scritti. In precedenza, i valori di partizione venivano archiviati nei metadati del log delle transazioni Delta e riflessi nei percorsi di directory, ma non scritti come colonne nei file Parquet stessi. Questa modifica è allineata al comportamento Apache Iceberg e UniForm e potrebbe influire sui carichi di lavoro che leggono direttamente i file Parquet scritti da Delta Lake, poiché i file appena scritti includono colonne di partizione aggiuntive.

Aggiornamenti della libreria

Librerie Python aggiornate:

  • anyio dalla versione 4.6.2 alla versione 4.7.0
  • asttokens da 2.0.5 a 3.0.0
  • azure-core da 1.34.0 a 1.36.0
  • azure-mgmt-core da 1.5.0 a 1.6.0
  • Versione di azure-storage-blob da 12.23.0 a 12.27.1
  • azure-storage-file-datalake da 12.17.0 a 12.22.0
  • boto3 da 1.36.2 a 1.40.45
  • botocore dalla versione 1.36.3 alla versione 1.40.45
  • certificato dal 31/01/2025 al 26/04/2025
  • fare clic da 8.1.7 a 8.1.8
  • crittografia da 43.0.3 a 44.0.1
  • Cython dalla versione 3.0.12 alla versione 3.1.5
  • databricks-sdk da 0.49.0 a 0.67.0
  • Deprecato da 1.2.13 a 1.2.18
  • esecuzione da 0.8.3 a 1.2.0
  • fastapi da 0.115.12 a 0.121.0
  • google-api-core da 2.20.0 a 2.28.1
  • Google-auth dalla versione 2.40.0 alla versione 2.43.0
  • google-cloud-core da 2.4.3 a 2.5.0
  • google-cloud-storage da 3.1.0 a 3.5.0
  • h11 da 0.14.0 a 0.16.0
  • httpcore da 1.0.2 a 1.0.9
  • httpx da 0.27.0 a 0.28.1
  • isodate da 0.6.1 a 0.7.2
  • Jinja2 da 3.1.5 a 3.1.6
  • jupyter-events versione da 0.10.0 a 0.12.0
  • jupyter-lsp da 2.2.0 a 2.2.5
  • jupyter_server dalla versione 2.14.1 alla versione 2.15.0
  • jupyter_server_terminals da 0.4.4 a 0.5.3
  • mistune da 2.0.4 a 3.1.2
  • mlflow-skinny da 3.0.1 a 3.5.1
  • mmh3 da 5.1.0 a 5.2.0
  • msal da 1.32.3 a 1.34.0
  • nbclient da 0.8.0 a 0.10.2
  • nbconvert da 7.16.4 a 7.16.6
  • notebook_shim da 0.2.3 a 0.2.4
  • opentelemetry-api dalla versione 1.32.1 alla versione 1.38.0
  • opentelemetry-sdk dalla versione 1.32.1 alla versione 1.38.0
  • opentelemetry-semantic-conventions da 0.53b1 a 0.59b0
  • platformdirs dalla versione 3.10.0 alla versione 4.3.7
  • prometheus_client da 0.21.0 a 0.21.1
  • psycopg2 da 2.9.3 a 2.9.11
  • pyarrow da 19.0.1 a 21.0.0
  • Pygments da 2.15.1 a 2.19.1
  • pyiceberg da 0.9.0 a 0.10.0
  • python-lsp-server da 1.12.0 a 1.12.2
  • corda da 1.12.0 a 1.13.0
  • s3transfer from 0.11.3 to 0.14.0
  • scipy da 1.15.1 a 1.15.3
  • setuptools da 74.0.0 a 78.1.1
  • six da 1.16.0 a 1.17.0
  • stack-data da 0.2.0 a 0.6.3
  • starlette da 0.46.2 a 0.49.3
  • tornado da 6.4.2 a 6.5.1
  • types-python-dateutil da 2.9.0.20241206 a 2.9.0.20251008
  • uvicorn da 0.34.2 a 0.38.0
  • webcolors da 24.11.1 a 25.10.0

Librerie R aggiornate:

  • freccia da 19.0.1 a 22.0.0
  • base da 4.4.2 a 4.5.1
  • bigD da 0.3.0 a 0.3.1
  • scopa da 1.0.7 a 1.0.10
  • orologio da 0.7.2 a 0.7.3
  • commonmark versioni da 1.9.5 a 2.0.0
  • compilatore da 4.4.2 a 4.5.1
  • credenziali dalla versione 2.0.2 alla versione 2.0.3
  • curl da 6.4.0 a 7.0.0
  • data.table da 1.17.0 a 1.17.8
  • set di dati da 4.4.2 a 4.5.1
  • dbplyr da 2.5.0 a 2.5.1
  • devtools dalla versione 2.4.5 alla versione 2.4.6
  • diffobj da 0.3.5 a 0.3.6
  • digest da 0.6.37 a 0.6.39
  • downlit da 0.4.4 a 0.4.5
  • dtplyr da 1.3.1 a 1.3.2
  • valutare da 1.0.3 a 1.0.5
  • fansi da 1.0.6 a 1.0.7
  • forcats da 1.0.0 a 1.0.1
  • fs da 1.6.5 a 1.6.6
  • futuro dal 1.34.0 al 1.68.0
  • future.apply dalla versione 1.11.3 alla versione 1.20.0
  • gargle dalla versione 1.5.2 alla 1.6.0
  • Aggiornamento gert da versione 2.1.4 a 2.2.0
  • ggplot2 da 3.5.1 a 4.0.1
  • gh da 1.4.1 a 1.5.0
  • git2r dalla versione 0.35.0 alla versione 0.36.2
  • glmnet da 4.1-8 a 4.1-10
  • Google Drive da 2.1.1 a 2.1.2
  • Googlesheets4 da 1.1.1 a 1.1.2
  • grafica da 4.4.2 a 4.5.1
  • grDevices dalla versione 4.4.2 alla versione 4.5.1
  • griglia da 4.4.2 a 4.5.1
  • gt da 0.11.1 a 1.1.0
  • Aggiornamento di hardhat da versione 1.4.1 a 1.4.2
  • aggiornamento di haven dalla versione 2.5.4 alla 2.5.5
  • hms da 1.1.3 a 1.1.4
  • httpuv da 1.6.15 a 1.6.16
  • httr2 da 1.1.1 a 1.2.1
  • jsonlite da 1.9.1 a 2.0.0
  • dalla versione 1.4.1 alla versione 1.4.4
  • lava da 1.8.1 a 1.8.2
  • listenv da 0.9.1 a 0.10.0
  • magrittr da 2.0.3 a 2.0.4
  • markdown da 1.13 a 2.0
  • metodi da 4.4.2 a 4.5.1
  • miniUI da 0.1.1.1 a 0.1.2
  • mlflow da 2.20.4 a 3.6.0
  • openssl dalla versione 2.3.3 alla versione 2.3.4
  • parallelo da 4.4.2 a 4.5.1
  • parallelamente da 1.42.0 a 1.45.1
  • pilastro da 1.11.0 a 1.11.1
  • pkgbuild da 1.4.6 a 1.4.8
  • pkgdown da 2.1.1 a 2.2.0
  • pkgload da 1.4.0 a 1.4.1
  • pROC da 1.18.5 a 1.19.0.1
  • prodlim dal 2024.06.25 al 2025.04.28
  • Aggiornamento del progressr dalla versione 0.15.1 alla versione 0.18.0
  • promesse dalla versione 1.3.2 alla 1.5.0
  • Versioni di ps da 1.9.0 a 1.9.1
  • purrr da 1.0.4 a 1.2.0
  • ragg da 1.3.3 a 1.5.0
  • Rcpp da 1.0.14 a 1.1.0
  • readr dalla versione 2.1.5 alla versione 2.1.6
  • ricette da 1.2.0 a 1.3.1
  • reshape2 da 1.4.4 a 1.4.5
  • rmarkdown da 2.29 a 2.30
  • roxygen2 da 7.3.2 a 7.3.3
  • rprojroot da 2.0.4 a 2.1.1
  • RSQLite da 2.3.9 a 2.4.4
  • versioni da 2.1.2 a 3.0.0
  • rvest da 1.0.4 a 1.0.5
  • aggiornamento di sass dalla versione 0.4.9 alla versione 0.4.10
  • scala da 1.3.0 a 1.4.0
  • brillante da 1.10.0 a 1.11.1
  • sparklyr da 1.9.1 a 1.9.3
  • SparkR dalla versione 4.0.0 alla versione 4.1.0
  • sparsevctrs da 0.3.1 a 0.3.4
  • spline da 4.4.2 a 4.5.1
  • statistiche dalla versione 4.4.2 alla versione 4.5.1
  • stats4 da 4.4.2 a 4.5.1
  • stringr da 1.5.1 a 1.6.0
  • systemfonts da 1.2.1 a 1.3.1
  • tcltk da 4.4.2 a 4.5.1
  • testthat da 3.2.3 a 3.3.0
  • textshaping da 1.0.0 a 1.0.4
  • DataOra da 4041.110 a 4051.111
  • tinytex da 0,56 a 0,58
  • strumenti da 4.4.2 a 4.5.1
  • usethis da 3.1.0 a 3.2.1
  • utils dalla versione 4.4.2 alla versione 4.5.1
  • V8 dalla versione 6.0.2 alla versione 8.0.1
  • vroom da 1.6.5 a 1.6.6
  • waldo da 0.6.1 a 0.6.2
  • xfun da 0.51 a 0.54
  • xml2 da 1.3.8 a 1.5.0
  • zeallot da 0.1.0 a 0.2.0
  • zip da 2.3.2 a 2.3.3

Librerie Java aggiornate:

  • com.amazonaws.amazon-kinesis-client da 1.12.0 a 1.15.3
  • com.amazonaws.aws-java-sdk-autoscaling da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudformation da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudfront da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudhsm da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudsearch da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudtrail da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatch da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-codedeploy da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cognitoidentity da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-cognitosync da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-config da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-core da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-sql-scriptdatapipeline da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-directconnect da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-directory da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-dynamodb da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-ec2 da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-ecs da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-efs da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-elasticache da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-elasticbeanstalk da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-elasticloadbalancing da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-elastictranscoder da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-emr da 1.12.638 a 1.12.681
  • Versione di com.amazonaws.aws-java-sdk-glacier da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-glue da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-iam da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-importexport da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-kinesis da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-kms da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-lambda da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-logs da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-machinelearning da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-opsworks da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-rds da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-redshift da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-route53 da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-s3 da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-ses da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-simpledb dalla versione 1.12.638 alla versione 1.12.681
  • com.amazonaws.aws-java-sdk-simpleworkflow da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-sns da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-sqs da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-ssm da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-storagegateway da 1.12.638 a 1.12.681
  • com.amazonaws.aws-java-sdk-sts aggiornato dalla versione 1.12.638 alla 1.12.681
  • com.amazonaws.aws-java-sdk-support aggiornato dalla versione 1.12.638 alla versione 1.12.681
  • com.amazonaws.aws-java-sdk-workspaces da 1.12.638 a 1.12.681
  • com.amazonaws.jmespath-java da 1.12.638 a 1.12.681
  • com.databricks.databricks-sdk-java da 0.27.0 a 0.53.0
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 da 2.18.2 a 2.18.3
  • com.github.luben.zstd-jni da 1.5.6-10 a 1.5.7-6
  • com.google.flatbuffers.flatbuffers-java da 24.3.25 a 25.2.10
  • com.google.guava.failureaccess dalla versione 1.0.2 alla versione 1.0.3
  • com.google.guava.guava da 33.4.0-jre a 33.4.8-jre
  • com.microsoft.sqlserver.mssql-jdbc da 11.2.3.jre8 a 12.8.0.jre8
  • commons-cli.commons-cli da 1.9.0 a 1.10.0
  • commons-codec.commons-codec da 1.17.2 a 1.19.0
  • commons-fileupload.commons-fileupload dalla versione 1.5 alla 1.6.0
  • commons-io.commons-io da 2.18.0 a 2.21.0
  • dev.ludovic.netlib.arpack da 3.0.3 a 3.0.4
  • dev.ludovic.netlib.blas da 3.0.3 a 3.0.4
  • dev.ludovic.netlib.lapack da 3.0.3 a 3.0.4
  • io.delta.delta-sharing-client_2.13 da 1.3.5 a 1.3.6
  • annotazione io.dropwizard.metrics.metrics da 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-core da 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-graphite da 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-healthchecks da 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-jmx da 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-json da 4.2.30 a 4.2.37
  • io.dropwizard.metrics.metrics-jvm dalla versione 4.2.30 alla versione 4.2.37
  • io.dropwizard.metrics.metrics-servlets da 4.2.30 a 4.2.37
  • io.netty.netty-all dalla versione 4.1.118.Final alla versione 4.2.7.Final
  • io.netty.netty-buffer da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-codec da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-codec-http: passaggio dalla versione 4.1.118.Final alla versione 4.2.7.Final
  • io.netty.netty-codec-http2 dalla versione 4.1.118.Final alla versione 4.2.7.Final
  • io.netty.netty-codec-socks da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-common da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-handler da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-handler-proxy da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-resolver da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-tcnative-boringssl-static da 2.0.70.Final-db-r0-windows-x86_64 a 2.0.74.Final-db-r0-windows-x86_64
  • io.netty.netty-tcnative-classes da 2.0.70.Final a 2.0.74.Final
  • Trasporto io.netty.netty-transport da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-transport-classes-epoll da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-transport-classes-kqueue da 4.1.118.Final a 4.2.7.Final
  • io.netty.netty-transport-native-epoll da 4.1.118.Final-linux-x86_64 a 4.2.7.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue da 4.1.118.Final-osx-x86_64 a 4.2.7.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common da 4.1.118.Final a 4.2.7.Final
  • joda-time.joda-time da 2.13.0 a 2.14.0
  • org.apache.arrow.arrow-format da 18.2.0 a 18.3.0
  • org.apache.arrow.arrow-memory-core da 18.2.0 a 18.3.0
  • org.apache.arrow.arrow-memory-netty da 18.2.0 a 18.3.0
  • org.apache.arrow.arrow-memory-netty-buffer-patch da 18.2.0 a 18.3.0
  • org.apache.arrow.arrow-vector da 18.2.0 a 18.3.0
  • org.apache.avro.avro da 1.12.0 a 1.12.1
  • org.apache.avro.avro-ipc da 1.12.0 a 1.12.1
  • org.apache.avro.avro-mapred da 1.12.0 a 1.12.1
  • org.apache.commons.commons-collections4 da 4.4 a 4.5.0
  • org.apache.commons.commons-compress da 1.27.1 a 1.28.0
  • org.apache.commons.commons-lang3 da 3.17.0 a 3.19.0
  • org.apache.commons.commons-text da 1.13.0 a 1.14.0
  • org.apache.curator.curator-client dalla versione 5.7.1 alla versione 5.9.0
  • org.apache.curator.curator-framework dalla versione 5.7.1 alla versione 5.9.0
  • org.apache.curator.curator-recipes dalla versione 5.7.1 alla versione 5.9.0
  • org.apache.datasketches.datasketches-java da 6.1.1 a 6.2.0
  • org.apache.hadoop.hadoop-client-runtime da 3.4.1 a 3.4.2
  • org.apache.orc.orc-core da 2.1.1-shaded-protobuf a 2.2.0-shaded-protobuf
  • org.apache.orc.orc-format da 1.1.0-shaded-protobuf a 1.1.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce da 2.1.1-shaded-protobuf a 2.2.0-shaded-protobuf
  • org.apache.orc.orc-shims da 2.1.1 a 2.2.0
  • org.apache.xbean.xbean-asm9-shaded da 4.26 a 4.28
  • org.apache.zookeeper.zookeeper da 3.9.3 a 3.9.4
  • org.apache.zookeeper.zookeeper-jute da 3.9.3 a 3.9.4
  • org.eclipse.jetty.jetty-client da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-http da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-io da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-jndi da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-plus da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-proxy da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-security da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-server da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-servlet da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-servlets da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-util da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-webapp da 9.4.53.v20231009 a 10.0.26
  • org.eclipse.jetty.jetty-xml da 9.4.53.v20231009 a 10.0.26
  • org.mlflow.mlflow-spark_2.13 da 2.9.1 a 2.22.1
  • org.objenesis.objenesis da 3.3 a 3.4
  • org.scala-lang.modules.scala-xml_2.13 dalla versione 2.3.0 alla versione 2.4.0

Apache Spark

Databricks Runtime 18.0 (Beta) includono Apache Spark 4.0.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi nella versione precedente, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • SPARK-54536 Shuffle FetchWaitTime assente nel calcolo del costo di creazione client/attesa
  • SPARK-54534 Eseguire la migrazione dei codici di errore legacy correlati a Hive in condizioni di errore appropriate
  • SPARK-54565 SparkBuildInfo deve caricare spark-version-info.properties dal proprio classloader
  • SPARK-54533 Impostare la metrica ExecutorSource.METRIC_RESULT_SIZE con il valore corretto
  • SPARK-54478 Riattivare i test di streaming per il CI di test di compatibilità di connessione
  • SPARK-54552 Correggere SparkConnectResultSet.getString per gestire il tipo di dati binario con UTF_8
  • SPARK-54501 Migliorare la gestione degli errori per i fallimenti del filtro delle partizioni nel metastore di Hive
  • SPARK-54550 Gestire ConnectException elegantemente in SparkConnectStatement.close()
  • SPARK-54020 Supportare l'API Python all'interno delle funzioni di query per la Pipeline Dichiarativa Spark
  • SPARK-53127 Correzione LIMIT di ALL per la ricorsione senza limiti con la normalizzazione CTE
  • SPARK-50072 Gestire ArithmeticException nell'analisi a intervalli con valori di grandi dimensioni
  • SPARK-54299 Correggere la query di esempio errata in WindowGroupLimit
  • SPARK-54505 Correggere l'ordine degli argomenti della chiamata createMetrics in makeNegative
  • SPARK-54462 Aggiungere SupportsV1OverwriteWithSaveAsTable mixin per TableProvider
  • SPARK-54540 Alcune correzioni secondarie per il driver JDBC Connect
  • SPARK-54508 Correzione spark-pipelines per risolvere spec il percorso del file in modo più affidabile
  • SPARK-54087 L'attività di avvio dell'executor Spark non è riuscita dovrebbe restituire il messaggio di interruzione dell'attività
  • SPARK-53797 Correzione FileStreamSource.takeFilesUntilMax per utilizzare zipWithIndex ed evitare l'uso di indices
  • SPARK-54418 Correggere i messaggi di errore e la formattazione del codice
  • SPARK-54114 Supporto di getColumns per SparkConnectDatabaseMetaData
  • SPARK-54209 Supporto per il tipo TIMESTAMP in SparkConnectResultSet
  • SPARK-54208 Supporto del tipo TIME in SparkConnectResultSet
  • SPARK-54528 Chiudere tempestivamente URLClassLoader per evitare OOM
  • SPARK-54464 Rimuovere chiamate duplicate output.reserve in assembleVariantBatch
  • SPARK-53635 Supportare funzioni definite dall'utente Scala con argomenti di input di tipo Seq[Row]
  • SPARK-54493 Correzione di assertSchemaEqual per MapType
  • SPARK-52515 Testare approx_top_k con flag attivato e disattivato
  • SPARK-54413 Aggiornare Bootstrap v4.4.1 a v4.6.2
  • SPARK-54497 Applica nella cache del convertitore
  • SPARK-54306 Annotare le colonne Variant con l'annotazione di tipo logico Variant
  • SPARK-54350 SparkGetColumnsOperation ORDINAL_POSITION deve essere basato su 1
  • SPARK-54130 Aggiungere messaggi di errore dettagliati per errori di asserzione del catalogo
  • SPARK-54220 Supporto dei tipi NullType/VOID/UNKNOWN in Parquet
  • SPARK-54163 Analizzare la canonizzazione per il partizionamento e l'ordinamento delle informazioni
  • SPARK-54377 Correzione di COMMENT ONTABLE IS NULL per rimuovere correttamente il commento della tabella
  • SPARK-52767 Ottimizzare maxRows e maxRowsPerPartition per join e unione
  • SPARK-54063 Attivare lo snapshot per il batch successivo quando il caricamento è in ritardo
  • SPARK-54384 Modernizzare il metodo _batched per BatchedSerializer
  • SPARK-54378 Rimuovi CreateXmlParser.scala dal catalyst modulo
  • SPARK-53103 Ripristina "[SC-204946][ss] Lancia un errore se la directory di stato non è vuota all'avvio della query"
  • SPARK-53103 Genera un errore se la directory di stato non è vuota all'avvio della query
  • SPARK-54397 Rendere UserDefinedType hashable
  • SPARK-54440 Assegnare un nome più idiomatico al file di specifiche della pipeline predefinito, spark-pipeline.yml
  • SPARK-54324 Aggiungere test per le estensioni del contesto utente-client
  • SPARK-54456 Importare il modulo worker dopo il fork per evitare un deadlock
  • SPARK-54427 Consenti a ColumnarRow di chiamare copy con tipi varianti
  • SPARK-54136 Estrarre la logica di fusione dei piani da MergeScalarSubqueries a PlanMerger
  • SPARK-54389 Correzione dell'errore di stamp non valido dell'archivio stati di RocksDB quando l'attività è contrassegnata come non riuscita durante l'inizializzazione
  • SPARK-54346 Introdurre l'API di ripartizione dello stato e il runner di ripartizione
  • SPARK-53809 Aggiungere la canonizzazione per DataSourceV2ScanRelation
  • SPARK-54280 Richiede che la directory di memorizzazione del checkpoint della pipeline sia un percorso assoluto
  • SPARK-54206 Supporto dei dati di tipo BINARY in SparkConnectResultSet
  • SPARK-54319 BHJ LeftAnti aggiorna numOutputRows sbagliato quando il codegen è disabilitato
  • SPARK-54355 Rendere spark.connect.session.planCompression.defaultAlgorithm per supportare NONE
  • SPARK-54341 Ricordare TimeTravelSpec per le tabelle caricate tramite TableProvider
  • SPARK-54280 Ripristina "[SC-212148][sdp] Rendere obbligatorio che l'archiviazione del checkpoint della pipeline sia un percorso assoluto"
  • SPARK-54354 Correzione di Spark che si blocca quando non è disponibile memoria heap JVM sufficiente per la relazione hash broadcast
  • SPARK-54439 Mancata corrispondenza delle dimensioni della chiave di KeyGroupedPartitioning e di join
  • SPARK-54280 Richiede che la directory di memorizzazione del checkpoint della pipeline sia un percorso assoluto
  • SPARK-54395 La classe RemoteBlockPushResolver inizializza ripetutamente ObjectMapper
  • SPARK-54207 Supporta i dati di tipo Date in SparkConnectResultSet
  • SPARK-54182 Ottimizzare la conversione non-arrow di df.toPandas
  • SPARK-54312 Evitare di pianificare ripetutamente le attività per SendHeartbeat/WorkDirClean nel ruolo di lavoro autonomo
  • SPARK-54394 Sposta isJavaVersionAtMost17 e isJavaVersionAtLeast21 da core a common/utils
  • SPARK-53927 Aggiornare il client Kinesis
  • SPARK-54358 Le directory di checkpoint confliggono quando le tabelle di streaming in schemi diversi hanno lo stesso nome
  • SPARK-54310 Ripristinare "[SC-212003][sql] Aggiungere numSourceRows metrica per MergeIntoExec"
  • SPARK-54310 Aggiungere numSourceRows la metrica per MergeIntoExec
  • SPARK-53322 Selezionare un KeyGroupedShuffleSpec solo quando si possono spostare completamente le posizioni chiave di join
  • SPARK-54270 I metodi SparkConnectResultSet get* devono chiamare checkOpen e controllare il limite dell'indice
  • SPARK-53849 Aggiornare netty e netty tc native
  • SPARK-54205 Supporta i dati di tipo Decimal in SparkConnectResultSet
  • SPARK-54417 Risolve il messaggio di errore per la sottoquery scalare nella clausola IDENTIFIER
  • SPARK-54113 Supporto di getTables per SparkConnectDatabaseMetaData
  • SPARK-54303 Canonizzare la condizione di errore MISSING_CATALOG_ABILITY
  • SPARK-54153 Supportare le funzioni definite dall'utente Python basate su iteratore di profilatura
  • SPARK-54349 Rifattorizzare il codice per semplificare l'estensione di integrazione di faulthandler
  • SPARK-54317 Unificare la logica di conversione Arrow per Classic e Connect toPandas
  • SPARK-54339 Correzione di non-determinismo di AttributeMap
  • SPARK-54112 Implementazione di getSchemas per SparkConnectDatabaseMetaData
  • SPARK-54180 Sovrascrivere il metodo toString di BinaryFileFormat
  • SPARK-54213 Rimuovere Python 3.9 da Spark Connect
  • SPARK-54215 Aggiungere il tratto SessionStateHelper a FilePartition
  • SPARK-54115 Aumentare la priorità dell'ordine di visualizzazione dei thread delle operazioni del server di connessione nella pagina del thread dump
  • SPARK-54193 Deprecato il parametro spark.shuffle.server.finalizeShuffleMergeThreadsPercent
  • SPARK-54149 Abilitare la ricorsione di coda laddove possibile
  • SPARK-54185 Segnalato come deprecato spark.shuffle.server.chunkFetchHandlerThreadsPercent
  • SPARK-54056 gestire la sostituzione delle impostazioni di SQLConf nei Cataloghi
  • SPARK-54147 Impostare OMP_NUM_THREADS su spark.task.cpus per impostazione predefinita in BaseScriptTransformationExec
  • SPARK-54229 Rendere PySparkLogger nelle funzioni definite dall'utente immagazzinare una voce di log per ogni chiamata di funzione di log
  • SPARK-53337 XSS: assicurarsi che il nome dell'applicazione nella pagina cronologia venga correttamente eluso
  • SPARK-54229 Ripristinare "[SC-211321][python] Make PySparkLogger in UDF archiviare una voce di log per ogni chiamata di funzione log"
  • SPARK-54373 Ingrandire l'attributo SVG viewBox dell'inizializzazione del DAG di lavoro
  • SPARK-54323 Modificare il modo per accedere ai log a TVF anziché alla visualizzazione di sistema
  • SPARK-54229 Rendere PySparkLogger nelle funzioni definite dall'utente immagazzinare una voce di log per ogni chiamata di funzione di log
  • SPARK-53978 Supporto della registrazione nei ruoli di lavoro sul lato driver
  • SPARK-54146 Rimuovere l'utilizzo dell'API Jackson deprecata
  • SPARK-54383 Aggiungere la variante pre-calcolata dello schema per l'utilità InternalRowComparableWrapper
  • SPARK-54030 Aggiungere un messaggio di asserzione descrittivo per visualizzare il danneggiamento dei metadati
  • SPARK-54144 Inferenze di tipo di valutazione a corto circuito
  • SPARK-54030 Annulla "[SC-210301][sql] Aggiungere un messaggio di asserzione descrittivo per visualizzare il danneggiamento dei metadati"
  • SPARK-54028 Usare uno schema vuoto quando si modifica una vista che non è compatibile con Hive
  • SPARK-54030 Aggiungere un messaggio di asserzione descrittivo per visualizzare il danneggiamento dei metadati
  • SPARK-54085 Correzione initialize per aggiungere CREATE come opzione aggiuntiva in DriverRunner
  • SPARK-53482MERGE INTO supporto per il caso in cui l'origine abbia meno campi annidati rispetto alla destinazione
  • SPARK-53905 Refactoring RelationResolution per abilitare il riutilizzo del codice
  • SPARK-53732 Ricordare TimeTravelSpec in DataSourceV2Relation
  • SPARK-54014 Supporto di righe massime per SparkConnectStatement
  • SPARK-50906 Correzione al controllo della nullabilità dei campi struct Avro riordinati
  • SPARK-54396 Ottimizzare le chiamate di Py4J in DataFrame.toArrow
  • SPARK-54344 Terminare il lavoratore se lo svuotamento ha esito negativo in daemon.py
  • SPARK-53977 Supporto della registrazione dei log nelle UDTFs (funzioni di tabella definite dall'utente)
  • SPARK-52515 Riapplicare "[SC-199815][sql] Aggiungere approx_top_k funzione"
  • SPARK-54340 Aggiungere la funzionalità per usare viztracer in pyspark daemon/workers
  • SPARK-54379 Spostare l'associazione lambda in un oggetto separato LambdaBinder
  • SPARK-54029 Aggiungere un messaggio di errore dettagliato per il danneggiamento dei metadati della tabella per semplificare il debug
  • SPARK-54002 Supporto dell'integrazione di BeeLine con il driver JDBC Connect
  • SPARK-54336 Correzione BloomFilterMightContain del controllo del tipo di input con ScalarSubqueryReference
  • SPARK-53406 Evitare uno shuffle join non necessario nell'id di shuffle pass-through diretto
  • SPARK-54347 Ottimizzare le chiamate Py4J nel dataframe classico
  • SPARK-54062 Pulizia del codice MergeScalarSubqueries
  • SPARK-54054 Supportare la posizione della riga per SparkConnectResultSet
  • SPARK-54330 Ottimizza le chiamate Py4J in
  • SPARK-54332 Non è necessario collegare PlanId nei nomi delle colonne di raggruppamento in rollup/cube/groupingSets
  • SPARK-53976 Supporto dei log nelle UDF di Pandas/Arrow
  • SPARK-54123 Aggiungere il fuso orario per rendere il timestamp un'ora assoluta
  • SPARK-54356 Correzione di EndToEndAPISuite causata dallo schema radice di archiviazione mancante
  • SPARK-54292 Supportare funzioni di aggregazione e GROUP BY in |>SELECT Operatori pipe (#180106) (#180368)
  • SPARK-54376 Contrassegnare la maggior parte delle opzioni di configurazione della pipeline come interna
  • SPARK-53975 Aggiunge il supporto per la registrazione di base dei processi worker Python
  • SPARK-54361 Correggere la versione di Spark al valore previsto di 4.2.0 per spark.sql.parser.singleCharacterPipeOperator.enabled
  • SPARK-51518 Supporto | come alternativa a |> per il token dell'operatore sql pipe
  • SPARK-53535 Correzione degli struct mancanti che venivano sempre assunti come null
  • SPARK-54294 Normalizzare l'indirizzo IP stampato del server Connect
  • SPARK-52439 Supporto del vincolo CHECK con valore Null
  • SPARK-54352 Introdurre SQLConf.canonicalize per centralizzare la normalizzazione delle stringhe
  • SPARK-54183 Ripristinare "[SC-211824][python][CONNECT] Evitare un frame di dati temporaneo intermedio durante la connessione spark aPandas()"
  • SPARK-53573IDENTIFIER dappertutto
  • SPARK-53573 Consenti la fusione dei valori letterali stringa ovunque
  • SPARK-54240 Tradurre l'espressione catalyst dell'elemento dell'array nell'espressione del connettore
  • SPARK-54334 Spostare la convalida delle espressioni di sottoquery sotto le funzioni lambda e di ordine superiore a SubqueryExpressionInLambdaOrHigherOrderFunctionValidator
  • SPARK-54183 Annullare "[SC-211824][python][CONNECT] Evitare un frame di dati temporaneo intermedio durante la connessione di Spark a toPandas()"
  • SPARK-54183 Evitare un frame di dati temporaneo intermedio durante la connessione Spark a Pandas()
  • SPARK-54264 L'operatore DeDup può usare il keyExists() di RocksDB
  • SPARK-54269 Eseguire l'aggiornamento cloudpickle alla versione 3.1.2 per Python 3.14
  • SPARK-54300 Ottimizzare le chiamate Py4J in df.toPandas
  • SPARK-54307 Generare un errore se la query di streaming viene riavviata con un'operazione con stato ma la directory dello stato è vuota
  • SPARK-54117 Generare un errore più chiaro per indicare che TWS è supportato solo con il provider dello store di stato RocksDB
  • SPARK-53917 Supporto di relazioni locali di grandi dimensioni - aggiornamenti
  • SPARK-54275 Pulire il codice inutilizzato dal pipeline modulo
  • SPARK-54287 Aggiungere il supporto di Python 3.14 in pyspark-client e pyspark-connect
  • SPARK-53614 Aggiungere Iterator[pandas.DataFrame] il supporto a applyInPandas
  • SPARK-54191 Aggiungere una sola volta a Defineflow Proto
  • SPARK-54234 Non è necessario associare PlanId ai nomi delle colonne di raggruppamento in df.groupBy
  • SPARK-54231 Colmare le lacune nella documentazione di SDP
  • SPARK-54199 Aggiungere il supporto dell'API DataFrame per le nuove funzioni di schizzo KLL (#178526)
  • SPARK-52463 Riapplicare "[SC-211221][sdp] Aggiungere il supporto per cluster_by nelle API pipeline Python"
  • SPARK-52463 Ripristina "[SC-211221][sdp] Aggiungere il supporto per cluster_by nelle API Python Pipelines"
  • SPARK-53786 Il valore predefinito con il nome di colonna speciale non deve essere in conflitto con la colonna reale
  • SPARK-54200 Aggiornare KafkaConsumerPoolRealTimeModeSuite per usare groupIdPrefix per la sicurezza delle esecuzioni simultanee
  • SPARK-52463 Aggiungere il supporto per cluster_by nelle API pipeline Python
  • SPARK-52509 Rimuovere le singole shuffle dall'archiviazione di fallback durante l'evento RemoveShuffle
  • SPARK-54187 Riapplicare "[SC-211150][python][CONNECT] Ottenere in batch tutte le configurazioni in toPandas"
  • SPARK-53942 Supportare la modifica delle partizioni casuali senza stato al riavvio della query di streaming
  • SPARK-52515 Ripristina "[SC-199815][sql] aggiungi funzione approx_top_k"
  • SPARK-52515 Aggiungere approx_top_k funzione
  • SPARK-54078 Nuovo test per StateStoreSuite SPARK-40492: maintenance before unload e rimuovere l'infrastruttura dal test precedente
  • SPARK-54178 Miglioramento dell'errore per ResolveSQLOnFile
  • SPARK-53455 Aggiungere CloneSession RPC
  • SPARK-54178 Annullare "[SC-211111][sql] Migliora l'errore relativo a ResolveSQLOnFile"
  • SPARK-53489 Rimuovere l'utilizzo di v2ColumnsToStructType in ApplyDefaultCollationToStringType
  • SPARK-54178 Miglioramento dell'errore per ResolveSQLOnFile
  • SPARK-54187 Revertire "[SC-211150][python][CONNECT] Ottenere tutte le configurazioni in batch in toPandas"
  • SPARK-53942 Annullare "[SC-209873][ss] Supporto per la modifica delle partizioni shuffle senza stato al riavvio della query di streaming"
  • SPARK-54187 Recuperare tutte le configurazioni in un batch in toPandas
  • SPARK-54145 Correzione del controllo della colonna di tipo annidato nell'aggregazione numerica
  • SPARK-53942 Supportare la modifica delle partizioni casuali senza stato al riavvio della query di streaming
  • SPARK-53991 Aggiungere il supporto SQL per le funzioni quantili KLL basate su DataSketches (#178089) (#178234)
  • SPARK-53128 Includere i byte di memoria non gestiti nel log di utilizzo prima dell'OOM della memoria di esecuzione
  • SPARK-53731 Aggiornare gli hint di tipo delle API iteratore
  • SPARK-53967 Evitare la creazione di frame di dati pandas intermedi in df.toPandas
  • SPARK-53455 Ripristinare "[SC-208758][connect] Aggiungi CloneSession RPC"
  • SPARK-54108 Rivedere i metodi execute* di SparkConnectStatement
  • SPARK-54052 Aggiungere un oggetto bridge per aggirare la limitazione di Py4J
  • SPARK-54128 Convertire IllegalArgumentException in SparkException con classi di errore appropriate nel server Spark Connect
  • SPARK-53880 Correzione di DSv2 in PushVariantIntoScan mediante l'aggiunta di SupportsPushDownVariants
  • SPARK-54111 Supporto di getCatalogs per SparkConnectDatabaseMetaData
  • SPARK-53455 Aggiungere CloneSession RPC
  • SPARK-54118 Migliorare l'operazione put/merge in ListState quando sono presenti più valori
  • SPARK-54038 Supporto di getSQLKeywords per SparkConnectDatabaseMetaData
  • SPARK-54013 Implementare metodi semplici SparkConnectDatabaseMetaData
  • SPARK-53934 Implementazione iniziale del driver JDBC Connect
  • SPARK-53959 Generare un errore sul lato client durante la creazione di un dataframe da un dataframe pandas con un indice ma senza dati
  • SPARK-53573 Annullare "[SC-210255][sql] Permetti l'unione dei valori letterali di stringa ovunque"
  • SPARK-54094 Estrarre metodi comuni in KafkaOffsetReaderBase
  • SPARK-53573 Consenti la fusione dei valori letterali stringa ovunque
  • SPARK-54039 Aggiungere informazioni TaskContext ai log di kafkaDataConsumer release() per migliorare il debug
  • SPARK-54031 Aggiungere nuovi test di file d'oro per i casi perimetrali di analisi
  • SPARK-54067 Migliorare SparkSubmit per richiamare exitFn con la causa radice invece di SparkUserAppException
  • SPARK-54047 Utilizzare un errore di discrepanza durante il kill-on-idle-timeout
  • SPARK-54078 Deflake StateStoreSuite SPARK-40492: maintenance before unload
  • SPARK-54061 Eseguire il wrapping di IllegalArgumentException con il codice di errore corretto per i modelli datetime non validi
  • SPARK-54031 Revertire "[SC-210084][sql] Aggiungere nuovi test di file di riferimento per i casi limite dell'analisi"
  • SPARK-54075 Rendere ResolvedCollation valutabile
  • SPARK-54001 Ottimizzare l'utilizzo della memoria nella clonazione della sessione con relazioni locali memorizzate nella cache con conteggio dei riferimenti
  • SPARK-54031 Aggiungere nuovi test di file d'oro per i casi perimetrali di analisi
  • SPARK-53923 Ribattezzare spark.executor.(log -> logs).redirectConsoleOutputs
  • SPARK-54007 Usare Java Set.of invece di Collections.emptySet
  • SPARK-53755 Aggiungere il supporto per i log in BlockManager
  • SPARK-54041 Eseguire il refactoring della convalida degli argomenti ParameterizedQuery
  • SPARK-53696 Impostazione predefinita a bytes per BinaryType in PySpark
  • SPARK-53921 Introduzione a GeometryType e GeographyType all'API PySpark
  • SPARK-53788 Spostare VersionUtils nel common modulo
  • SPARK-53999 Supporto del trasporto KQueue nativo in BSD/MacOS
  • SPARK-54021 Implementare funzioni di accesso Geography e Geometry in Catalyst
  • SPARK-53921 Ripristinare "[SC-209482][geo][PYTHON] Introdurre GeometryType e GeographyType nell'API PySpark"
  • SPARK-53920 Introdurre GeometryType e GeographyType nell'API Java
  • SPARK-53610 Limitare le dimensioni dei batch Arrow nel metodo CoGrouped applyInPandas e applyInArrow
  • SPARK-53659 Dedurre lo schema di smantellamento di Variant nella scrittura in Parquet
  • SPARK-53922 Introdurre tipi di geometria fisica e geografia fisica
  • SPARK-54059 Ridurre le dimensioni predefinite della pagina LONG_ARRAY_OFFSET se vengono usati ZGC o ShenandoahGC e ON_HEAP
  • SPARK-53921 Introduzione a GeometryType e GeographyType all'API PySpark
  • SPARK-54048 Aggiornamento dev/requirements.txt per l'installazione torch(vision) in Python 3.14
  • SPARK-53917 Supportare relazioni locali di grandi dimensioni
  • SPARK-53760 Introduzione a GeometryType e GeographyType
  • SPARK-53530 Pulire il codice inutile correlato a TransformWithStateInPySparkStateServer
  • SPARK-53636 Correzione del problema di thread-safety in SortShuffleManager.unregisterShuffle
  • SPARK-52762 Aggiungere un messaggio PipelineAnalysisContext per supportare l'analisi della pipeline durante l'esecuzione di query spark Connect
  • SPARK-53631 Ottimizzare la memoria e le prestazioni nel bootstrap SHS
  • SPARK-53857 Abilitare la propagazione del modello di messaggio in SparkThrowable
  • SPARK-53891 API di riepilogo scrittura commit del modello DSV2
  • SPARK-53966 Aggiungere funzioni di utilità per rilevare i controller di dominio JVM
  • SPARK-53149 Correzione del test per verificare se il processo BeeLine viene eseguito in background
  • SPARK-53738 Correzione della scrittura pianificata quando l'output della query contiene ordinamenti piegabili
  • SPARK-53949 Usare Utils.getRootCause invece di Throwables.getRootCause
  • SPARK-53696 Ripristinare "[SC-209330][python][CONNECT][sql] Default to bytes for BinaryType in PySpark"
  • SPARK-53804 Supporto dell'ordinamento di radix TIME
  • SPARK-54004 Correzione della desincronizzazione della tabella per nome senza effetto a cascata
  • SPARK-53261 Usare Java String.join|StringJoiner invece di Guava Joiner
  • SPARK-53319 Supportare il tipo tempo con try_make_timestamp_ltz()
  • SPARK-53280 Usare Java instanceof invece dei Throwables.throwIf* metodi
  • SPARK-53696 Impostazione predefinita a bytes per BinaryType in PySpark
  • SPARK-53258 Usa il JavaUtils di check(Argument|State)
  • SPARK-53773 Ripristinare l'ordine alfabetico delle regole in RuleIdCollection
  • SPARK-53256 Alzare di livello check(Argument|State) a JavaUtils
  • SPARK-54008 Ignorare QO per DESCRIBE QUERY
  • SPARK-53573 Usare il preprocessore per la gestione generalizzata degli indicatori di parametro
  • SPARK-53980 Aggiungere l'API SparkConf.getAllWithPrefix(String, String => K)
  • SPARK-54009 Appoggiare spark.io.mode.default
  • SPARK-51903 Convalidare i dati per l'aggiunta di un vincolo CHECK
  • SPARK-53573 Ripristinare "[SC-209126][sql] Usare il preprocessore per la gestione generalizzata dei marcatori di parametri"
  • SPARK-53573 Usare il preprocessore per la gestione generalizzata degli indicatori di parametro
  • SPARK-53573 Ripristinare "[SC-209126][sql] Usare il preprocessore per la gestione generalizzata dei marcatori di parametri"
  • SPARK-53956 Supporto di TIME nella funzione try_make_timestamp in PySpark
  • SPARK-53930 Supporto di TIME nella funzione make_timestamp in PySpark
  • SPARK-53573 Usare il preprocessore per la gestione generalizzata degli indicatori di parametro
  • SPARK-53564 Evitare le interruzioni del DAGScheduler a causa del timeout dell'RPC del blockManager in DAGSchedulerEventProcessLoop
  • SPARK-53879 Eseguire l'aggiornamento Ammonite alla versione 3.0.3
  • SPARK-53938 Correzione del ridimensionamento decimale in LocalDataToArrowConversion
  • SPARK-53845 Sinks SDP
  • SPARK-53908 Correggere le osservazioni in Spark Connect con la cache dei piani
  • SPARK-53841 Implementare transform() nell'API Colonna
  • SPARK-53929 Supporto di TIME nelle funzioni di make_timestamp e try_make_timestamp in Scala
  • SPARK-53902 Aggiungere bit del pattern del nodo ad albero per le espressioni supportate nell'elenco di argomenti ParameterizedQuery
  • SPARK-53064 Riscrittura di MDC LogKey in Java
  • SPARK-53762 Aggiungere una regola per semplificare le conversioni di data e ora all'ottimizzatore
  • SPARK-53916 Deduplicare le variabili in PythonArrowInput
  • SPARK-53690 Correzione della formattazione esponenziale di avgOffsetsBehindLatest e estimatedTotalBytesBehindLatest nell'oggetto delle sorgenti Kafka in json in corso
  • SPARK-53789 Canonizzare la condizione di errore CANNOT_MODIFY_STATIC_CONFIG
  • SPARK-53720 Semplificare l'estrazione di tabelle da DataSourceV2Relation (#52460)
  • SPARK-45530 Usare java.lang.ref.Cleaner invece di finalize per NioBufferedFileInputStream
  • SPARK-53789 Ripristinato "[SC-208902][sql][CONNECT] Condizione di errore canonicalizzata CANNOT_MODIFY_STATIC_CONFIG"
  • SPARK-53789 Canonizzare la condizione di errore CANNOT_MODIFY_STATIC_CONFIG
  • SPARK-53111 Implementare la funzione time_diff in PySpark
  • SPARK-53896 Abilita spark.io.compression.lzf.parallel.enabled per impostazione predefinita
  • SPARK-53856 Rimuovere denylist nomi di configurazione alternativi
  • SPARK-53611 Limitare le dimensioni dei batch Arrow nelle UDF window
  • SPARK-53575 Riprovare intere fasi del consumer quando è stata rilevata una mancata corrispondenza del checksum per un'attività di shuffle map ripetuta
  • SPARK-53867 Limitare le dimensioni dei batch Arrow in SQL_GROUPED_AGG_ARROW_UDF
  • SPARK-53877 Introdurre BITMAP_AND_AGG funzione
  • SPARK-51426 Correzione di 'L'impostazione dei metadati su un dizionario vuoto non funziona'
  • SPARK-53868 Usare il controllo della lunghezza della matrice anziché il controllo dei riferimenti diretti in V2ExpressionBuilder
  • SPARK-53609 Limitare le dimensioni dei batch Arrow in SQL_GROUPED_AGG_PANDAS_UDF
  • SPARK-53892 Usare DescribeTopicsResult.allTopicNames anziché l'API deprecata all
  • SPARK-53878 Correzione del problema di race condition relativo a ObservedMetrics
  • SPARK-53796 Aggiungere extension un campo ad alcuni protocolli della pipeline per supportare la compatibilità futura
  • SPARK-53850 Definire proto per sink e rinominare DefineDataset in DefineOutput
  • SPARK-53812 Effettuare il refactoring di DefineDataset e DefineFlow protos per raggruppare le proprietà correlate e garantire la compatibilità futura
  • SPARK-53870 Correzione di un bug di lettura parziale per messaggi proto di grandi dimensioni in TransformWithStateInPySparkStateServer
  • SPARK-53751 Posizione del checkpoint con versione esplicita
  • SPARK-52407 Aggiunta del supporto per Theta Sketch (#171135)
  • SPARK-53779 Implementare transform() nell'API Colonna
  • SPARK-49547 Aggiungere iteratore dell'API RecordBatch a applyInArrow
  • SPARK-53802 Supportare i valori stringa per lo schema specificato dall'utente nelle tabelle SDP
  • SPARK-53865 Estrarre la logica comune dalla regola ResolveGenerate
  • SPARK-53113 Supportare il tipo di ora per try_make_timestamp()
  • SPARK-53868 Utilizzare solo la firma con Expression[] di visitAggregateFunction in V2ExpressionSQBuilder
  • SPARK-53792 Correggi rocksdbPinnedBlocksMemoryUsage quando la memoria è limitata ...
  • SPARK-53248 Compatibilità in checkedCast
  • SPARK-52640 Propagare il percorso del codice sorgente Python
  • SPARK-52924 Supporto "ZSTD_strategy" per la compressione
  • SPARK-53562 Riapplicare "[SC-207233][python] Limitare le dimensioni dei batch Arrow in applyInArrow e applyInPandas"
  • SPARK-51272 Interrompere invece di continuare la fase di risultato indeterminato parzialmente completata durante ResubmitFailedStages
  • SPARK-53795 Rimuovere i parametri inutilizzati in LiteralValueProtoConverter
  • SPARK-53808 Consenti di passare argomenti JVM facoltativi a spark-connect-scala-client
  • SPARK-52614 Supporto di RowEncoder all'interno del codificatore prodotto
  • SPARK-53833 Aggiornare dev/requirements.txt per saltare torch/torchvision in Python 3.14
  • SPARK-53715 Rifattorizzare getWritePrivileges per MergeIntoTable
  • SPARK-53516 Correzione spark.api.mode del processo arg in SparkPipelines
  • SPARK-53507 Non usare la classe case per BreakingChangeInfo
  • SPARK-53645 Implementare il skipna parametro per ps. DataFrame any()
  • SPARK-53717 Rivedere MapType.valueContainsNull il commento del parametro in modo più corretto
  • SPARK-53700 Rimuovere la ridondanza in DataSourceV2RelationBase.simpleString
  • SPARK-53667 Correzione EXPLAIN per CALL con IDENTIFIER
  • SPARK-53562 Annullare "[SC-207233][python] Limitare le dimensioni dei batch Arrow in applyInArrow e applyInPandas"
  • SPARK-51169 Aggiungere il supporto python 3.14 in Spark classico
  • SPARK-53562 Limitare le dimensioni dei batch Freccia in applyInArrow e applyInPandas
  • SPARK-53806 Permettere input vuoto nella decrittografia AES assegnando una classe di errore
  • SPARK-51756 Calcola "RowBasedChecksum" nei "ShuffleWriters"
  • SPARK-52807 Modifiche a Proto per supportare l'analisi all'interno di funzioni di query nei pipeline dichiarativi
  • SPARK-53728 Stampa messaggio PipelineEvent con errore nel test
  • SPARK-53207 Inviare l'evento della pipeline al client in modo asincrono
  • SPARK-53829 Supporto datetime.time per gli operatori di colonna
  • SPARK-53638 Limitare le dimensioni dei byte del batch Arrow per TWS per evitare OOM
  • SPARK-53593 Correzione: usare unquoted per i campi di risposta
  • SPARK-53734 Preferire la colonna di tabella rispetto a LCA durante la risoluzione dell'indice di matrice
  • SPARK-53593 Aggiungere il campo di risposta per DefineDataset e DefineFlow RPC
  • SPARK-53734 Ripristino di "[SC-207697][sql] Preferire la colonna della tabella rispetto a LCA durante la risoluzione dell'indice di array"
  • SPARK-53621 Aggiunta del supporto per l'esecuzione di CONTINUE HANDLER
  • SPARK-53734 Preferire la colonna di tabella rispetto a LCA durante la risoluzione dell'indice di matrice
  • SPARK-53507 Aggiungere agli errori le informazioni sulle modifiche che causano interruzioni
  • SPARK-53707 Migliorare la gestione dei metadati degli attributi.
  • SPARK-53629 Implementare l'estensione dei tipi per MERGE INTO WITH SCHEMA EVOLUTION
  • SPARK-53719 Migliorare il controllo dei tipi nella _to_col funzione
  • SPARK-53735 Nascondere le tracce dello stack JVM sul lato server per impostazione predefinita nell'output di spark-pipelines
  • SPARK-53651 Aggiunta del supporto per le visualizzazioni persistenti nelle pipeline
  • SPARK-53678 Correzione di NPE quando viene creata una sottoclasse di ColumnVector con DataType null
  • SPARK-46679 Correzione per SparkUnsupportedOperationException Non trovato un codificatore del tipo T, quando si usa la classe Parameterized
  • SPARK-53444 Rielaborare l'esecuzione immediata della rielaborazione immediata
  • SPARK-53578 Semplificare la gestione dei tipi di dati in LiteralValueProtoConverter
  • SPARK-53438 Usare CatalystConverter in LiteralExpressionProtoConverter
  • SPARK-53444 Ripristinare "[SC-206535][sql][CORE] Riesezionare l'esecuzione immediata della rielaborazione"
  • SPARK-53444 Rielaborare l'esecuzione immediata della rielaborazione immediata
  • SPARK-53112 Supporto di TIME nelle funzioni di make_timestamp_ntz e try_make_timestamp_ntz in PySpark
  • SPARK-53492 Rifiutare un secondo ExecutePlan con un ID operazione già completato
  • SPARK-52772 Correzione futura dei file di riferimento
  • SPARK-53591 Semplificare la corrispondenza GLOB del modello di specifiche della pipeline
  • SPARK-53553 Correzione della gestione dei valori Null in LiteralValueProtoConverter
  • SPARK-52772 Gestione incoerente degli attributi di tabella durante gli aggiornamenti
  • SPARK-53544 Supporto per tipi complessi nelle osservazioni
  • SPARK-53357 Aggiornamento pandas alla versione 2.3.2
  • SPARK-53402 Supportare l'API del set di dati di partizionamento pass-through diretto in Spark Connect in Scala
  • SPARK-53372 Suite di test end-to-end SDP
  • SPARK-53402 Ripristinare "[SC-206163][connect] Supportare l'API del set di dati di partizionamento pass-through diretto in Spark Connect in Scala"
  • SPARK-53402 Supportare l'API del set di dati di partizionamento pass-through diretto in Spark Connect in Scala
  • SPARK-53233 Fare in modo che il codice correlato utilizzi il nome del pacchetto corretto
  • SPARK-53233 Annullare "[SC-203716][sql][SS][mllib][CONNECT] Fare in modo che il codice riguardante l'uso streaming abbia il nome del pacchetto corretto"
  • SPARK-53233 Fare in modo che il codice correlato utilizzi il nome del pacchetto corretto
  • SPARK-53561 Intercetta l'eccezione di interruzione in TransformWithStateInPySparkStateServer durante il flushing di outputStream per evitare il crash del worker
  • SPARK-53486 Evitare di impostare weights_only=False durante il caricamento del modello Torch
  • SPARK-53391 Rimuovere PrimitiveKeyOpenHashMap non utilizzata
  • SPARK-52431 Completamento dei ritocchi sullo strumento di esecuzione delle pipeline dichiarative
  • SPARK-52980 Supportare le funzioni definite dall'utente Python per Arrow
  • SPARK-53453 Sbloccare 'torch<2.6.0'
  • SPARK-52582 Remerge "[SC-199314][sc-204581][SQL] Migliorare l'utilizzo della memoria del parser XML"
  • SPARK-52582 Ripristinare "[SC-199314][sc-204581][SQL] Migliorare l'utilizzo della memoria del parser XML"
  • SPARK-52582 Migliorare l'utilizzo della memoria del parser XML
  • SPARK-51906 Espressioni Dsv2 nell'istruzione ALTER TABLE per aggiungere colonne
  • SPARK-53150 Migliorare list(File|Path)s per gestire l'input di cui non esiste il collegamento simbolico o la directory
  • SPARK-53091 Vietare org.apache.commons.lang3.Strings
  • SPARK-52844 Aggiornare numpy alla versione 1.22
  • SPARK-52912 Migliorare SparkStringUtils per supportare is(Not)?(Blank|Empty)
  • SPARK-52877 Migliorare le prestazioni del serializer Arrow per UDF Python
  • SPARK-52877 Annulla "[SC-201914][python] Miglioramento delle prestazioni del serializzatore Arrow UDF in Python"
  • SPARK-52238 Client Python per pipeline dichiarative
  • SPARK-52877 Migliorare le prestazioni del serializer Arrow per UDF Python
  • SPARK-53287 Aggiungere la Guida alla migrazione ANSI
  • SPARK-52110 Implementare il supporto della sintassi SQL per le pipeline
  • SPARK-52897 Aggiornamento pandas alla versione 2.3.1
  • SPARK-52451 Annulla la modifica "[SC-202894][connect][SQL] Rendere WriteOperation in SparkConnectPlanner priva di effetti collaterali"
  • SPARK-52976 Correzione della UDF Python che non accetta stringhe ordinate come tipo di parametro di input/tipo restituito.
  • SPARK-52904 Abilitare convertToArrowArraySafely per impostazione predefinita
  • Coercizione del tipo restituito spark-52821 add int-DecimalType> pyspark udf
  • SPARK-52971 Limitare le dimensioni della coda del ruolo di lavoro Python inattive
  • SPARK-53013 Correzione della funzione UUDTF di Python ottimizzata per la freccia che non restituisce alcuna riga nel join laterale
  • SPARK-51834 Sync OSS: supporta il vincolo di tabella end-to-end alter add/drop constraint
  • SPARK-52675 Interrompere i gestori ml sospesi nei test
  • SPARK-52959 Supporto del tipo definito dall'utente (UDT) in Python con ottimizzazione per arrow -UDTF
  • SPARK-52961 Fix dell'UDTF di Python ottimizzato per Arrow con valutazione a 0-arg nel join laterale
  • SPARK-52949 Evitare il roundtrip tra RecordBatch e Table in Python UDTF ottimizzato con Arrow
  • SPARK-52946 Correggere l'UDTF Python ottimizzato per Arrow per supportare tipi di variabile di grandi dimensioni
  • SPARK-52934 Consentire la produzione di valori scalari con UDTF di Python ottimizzato con Arrow
  • SPARK-52861 Saltare la creazione dell'oggetto Row nell'esecuzione UDTF ottimizzata per Arrow
  • SPARK-51834 Sincronizzazione del supporto OSS end-to-end per creare/sostituire una tabella con vincoli
  • SPARK-44856 Migliorare le prestazioni del serializzatore Arrow UDTF Python
  • SPARK-51834 Revertire "[SQL] Correggere TableSpec aggiungendo il costruttore"
  • SPARK-51834 Correggere TableSpec aggiungendo il costruttore
  • SPARK-51834 Ripristina "[SQL] Sync OSS (parziale): supporto per il vincolo di tabella end-to-end in create/replace table"
  • SPARK-51834 Sync OSS (parziale): supporto del vincolo end-to-end nella creazione/sostituzione della tabella
  • SPARK-52885 Implementare le funzioni hour, minute e second in Scala per il tipo TIME
  • SPARK-51834 Sync OSS update ResolvedIdentifier unapply calls unapply
  • SPARK-44856 Revert "[SC-195808][python] Migliorare le prestazioni del serializzatore Arrow UDTF Python"
  • SPARK-51834 Ripristinato "[SQL] Sincronizzazione aggiornamento OSS ResolvedIdentifier unapply calls"
  • SPARK-44856 Migliorare le prestazioni del serializzatore Arrow UDTF Python
  • SPARK-51834 Sync OSS update ResolvedIdentifier unapply calls unapply
  • SPARK-52787 Riorganizzare l'esecuzione di streaming in aree di runtime e checkpoint
  • SPARK-51695 Sincronizzare oss create/replace/alter table for unique constraint via DSv2
  • SPARK-51695 Vincolo di eliminazione del sistema operativo di sincronizzazione tramite DSv2
  • SPARK-51695 Introdurre le modifiche del parser per i vincoli di tabella (CHECK, PK, FK)
  • SPARK-51695 Ripristinare "[SQL] Introdurre modifiche del parser per i vincoli di tabella (CHECK, PK, FK)"
  • SPARK-51695 Introdurre le modifiche del parser per i vincoli di tabella (CHECK, PK, FK)
  • SPARK-49428 Spostare Connect Scala Client from Connector to SQL (Connettere il client Scala dal connettore a SQL)
  • SPARK-52422 Aggiornamento pandas alla versione 2.3.0
  • SPARK-52228 Integrare il microbenchmark di interazione con stato in Quicksilver (TCP)
  • SPARK-52300 Fare in modo che la risoluzione UDTVF di SQL utilizzi configurazioni uniformi con la risoluzione dei criteri di visualizzazione
  • SPARK-52228 Costruire il server di stato TWS con scopo di benchmark con impls di stato in memoria e il codice di benchmark in Python
  • SPARK-52174 Abilita spark.checkpoint.compress per impostazione predefinita
  • SPARK-52224 Introdurre pyyaml come dipendenza per il client Python
  • SPARK-52122 Correzione della vulnerabilità DefaultParamsReader RCE
  • SPARK-51147 Effettuare il refactoring delle classi correlate allo streaming in una directory di streaming dedicata
  • SPARK-51789 Rispettare correttamente spark.api.mode e spark.remote durante l'analisi degli argomenti nella sottomissione di Spark
  • SPARK-51212 Aggiungere un pacchetto PySpark separato per Spark Connect per impostazione predefinita
  • SPARK-50762 Aggiungere una regola dell'analizzatore per la risoluzione delle funzioni definite dall'utente scalari SQL
  • SPARK-49748 Aggiungere getCondition e deprecare getErrorClass in SparkThrowable
  • SPARK-50605 Supportare la modalità API SQL per semplificare la migrazione a Spark Connect
  • SPARK-50458 Gestione corretta degli errori per il file system non supportato durante la lettura dei file
  • SPARK-49700 Interfaccia Scala unificata per Connect e Classic
  • SPARK-51779 Utilizzare le famiglie di colonne virtuali per i join tra flussi
  • SPARK-51820 Spostare UnresolvedOrdinal la costruzione prima dell'analisi per evitare problemi con il raggruppamento per ordinale
  • SPARK-51814 Introdurre una nuova API transformWithState in PySpark
  • SPARK-51635 Merge PushProjectionThroughLimit e PushProjectionThroughOffset
  • SPARK-51165 Abilita spark.master.rest.enabled per impostazione predefinita
  • SPARK-51688 Usare il socket di dominio Unix tra la comunicazione Python e JVM
  • SPARK-51503 Supporto del tipo Variant nell'analisi XML
  • SPARK-50564 Aggiornare il protobuf pacchetto Python alla versione 5.29.1
  • SPARK-50359 Aggiornare PyArrow alla versione 18.0
  • SPARK-51340 Stima delle dimensioni del modello
  • SPARK-50657 Aggiornare la versione minima di pyarrow a 11.0.0
  • SPARK-49282 Creare un'interfaccia SparkSessionBuilder condivisa.
  • SPARK-51371 Modificare toString in toPrettySQL quando si creano alias in ResolveAggregateFunctions
  • SPARK-50694 Supporto delle rinominazioni nelle sottoquery
  • SPARK-50601 Revertire "[SC-186342][sql] Supporto di 'con colonne / colonne rinominate' nelle sottoquery"
  • SPARK-50601 Il supporto per withColumns / withColumnsRenamed nelle sottoquery

Supporto del driver ODBC/JDBC di Azure Databricks

Azure Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime.

Ambiente di sistema

  • Sistema operativo: Ubuntu 24.04.3 LTS
  • Java: Zulu21.42+19-CA
  • Scala: 2.13.16
  • python: 3.12.3
  • R: 4.5.1
  • Delta Lake: 4.0.0

Librerie installate di Python

Libreria Versione Libreria Versione Libreria Versione
documento annotato 0.0.3 tipi annotati 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 arro3-core 0.6.5
freccia 1.3.0 asttoken 3.0.0 astunparse 1.6.3
async-lru 2.0.4 att. 24.3.0 comando automatico 2.2.2
azure-common 1.1.28 azure-core 1.36.0 azure-identity (servizio di identità Azure) 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 Azure Storage Blob 12.27.1
file di archiviazione Azure Data Lake 12.22.0 Babele 2.16.0 backports.tarfile 1.2.0
beautifulsoup4 4.12.3 nero 24.10.0 candeggiare 6.2.0
indicatore di direzione 1.7.0 boto3 1.40.45 botocore 1.40.45
cachetools (strumento per la gestione della cache) 5.5.1 certifi 2025.4.26 cffi 1.17.1
chardet 4.0.0 normalizzatore di set di caratteri 3.3.2 fai clic 8.1.8
cloudpickle (libreria Python per la serializzazione degli oggetti) 3.0.0 comunicazione 0.2.1 contourpy 1.3.1
criptografia 44.0.1 ciclista 0.11.0 Cython, un linguaggio di programmazione 3.1.5
databricks-agents 1.4.0 databricks-connect 17.3.1 Databricks SDK 0.67.0
dataclasses-json 0.6.7 dbus-python 1.3.2 debugpy 1.8.11
Decoratore 5.1.1 defusedxml (una libreria per migliorare la sicurezza nell'elaborazione di XML) 0.7.1 deltalake 1.1.4
Deprecated 1.2.18 distlib 0.3.9 Conversione da docstring a markdown 0.11
esecuzione 1.2.0 panoramica delle facette 1.1.1 fastapi 0.121.0
fastjsonschema (Una libreria per la convalida veloce dei dati JSON) 2.21.1 blocco dei file 3.18.0 fonttools (strumenti per caratteri) 4.55.3
fqdn (nome di dominio completo) 1.5.1 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.28.1 google-auth (autenticazione Google) 2.43.0
google-cloud-core 2.5.0 archiviazione su Google Cloud 3.5.0 google-crc32c 1.7.1
google-resumable-media (media riprendibile di Google) 2.7.2 googleapis-common-protos 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.16.0 httpcore 1.0.9
httplib2 0.20.4 httpx 0.28.1 IDNA 3.7
importlib-metadata 6.6.0 inflettere 7.3.1 iniconfig 1.1.1
ipyflow-core 0.0.209 ipykernel 6.29.5 ipython 8.30.0
ipython-genutils 0.2.0 ipywidgets 7.8.1 isodate 0.7.2
isodurazione 20.11.0 jaraco.collections 5.1.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 jedi 0.19.2
Jinja2 3.1.6 jiter 0.11.1 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpatch 1.33
jsonpointer 3.0.0 jsonschema 4.23.0 jsonschema-specifications 2023.7.1
eventi-jupyter 0.12.0 jupyter-lsp 2.2.5 jupyter_client 8.6.3
jupyter_core 5.7.2 jupyter_server 2.15.0 terminali_del_server_Jupyter 0.5.3
jupyterlab 4.3.4 jupyterlab_pygments 0.3.0 jupyterlab_server 2.27.3
jupyterlab_widgets 1.1.11 kiwisolver 1.4.8 langchain-core 1.0.3
langchain-openai 1.0.2 langsmith 0.4.41 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 markdown-it-py 2.2.0
MarkupSafe 3.0.2 zefiro 3.26.1 matplotlib 3.10.0
matplotlib-inline 0.1.7 mccabe 0.7.0 mdurl 0.1.0
Mistune 3.1.2 mlflow versione leggera 3.5.1 mmh3 5.2.0
more-itertools 10.3.0 msal 1.34.0 msal-extensions 1.3.1
mypy-extensions 1.0.0 nbclient 0.10.2 nbconvert 7.16.6
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.9.1
taccuino 7.3.2 notebook_shim 0.2.4 numpy 2.1.3
oauthlib 3.2.2 OpenAI 2.7.1 opentelemetry-api 1.38.0
opentelemetry-proto 1.38.0 opentelemetry-sdk 1.38.0 Convenzioni Semanticche di OpenTelemetry 0,59b0
orjson 3.11.4 sostituisce 7.4.0 imballaggio 24,2
Panda 2.2.3 pandocfilters 1.5.0 parso 0.8.4
pathspec 0.10.3 vittima 1.0.1 pexpect 4.8.0
guanciale 11.1.0 seme 25.0.1 platformdirs 4.3.7
plotly (software di visualizzazione dati) 5.24.1 connettivita 1.5.0 prometheus_client 0.21.1
prompt-toolkit 3.0.43 proto-plus 1.26.1 protobuf 5.29.4
psutil 5.9.0 psycopg2 2.9.11 ptyprocess 0.7.0
pure-eval 0.2.2 py4j 0.10.9.9 pyarrow 21.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.71
pycparser (un parser scritto in Python) 2.21 pydantic 2.10.6 pydantic_core 2.27.2
pyflakes 3.2.0 Pygments 2.19.1 PyGObject 3.48.2
pyiceberg 0.10.0 PyJWT 2.10.1 pyodbc 5.2.0
pyparsing 3.2.0 pyright 1.1.394 piroaring 1.0.3
pytest 8.3.5 python-dateutil (libreria Python per la gestione delle date) 2.9.0.post0 python-dotenv 1.2.1
python-json-logger (registratore JSON per Python) 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.2
pytoolconfig 1.2.6 pytz 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 Riferimento 0.30.2 regex 2024.11.6
richieste 2.32.3 requests-toolbelt 1.0.0 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 ricco 13.9.4 corda 1.13.0
rpds-py 0.22.3 rsa 4.9.1 s3transfer 0.14.0
scikit-learn 1.6.1 scipy 1.15.3 Seaborn 0.13.2
Send2Trash 1.8.2 setuptools (pacchetto Python per gestire la configurazione e la distribuzione) 78.1.1 sei 1.17.0
smmap 5.0.0 sniffio 1.3.0 contenitori ordinati 2.4.0
colino per la zuppa 2.5 sqlparse 0.5.3 ssh-import-id (comando per l'importazione di chiavi SSH) 5.11
dati accatastati 0.6.3 starlette 0.49.3 strictyaml 1.7.3
tenacità 9.0.0 finito 0.17.1 threadpoolctl 3.5.0
tiktoken 0.12.0 tinycss2 1.4.0 tokenize_rt 6.1.0
tomli 2.0.1 tornado 6.5.1 tqdm 4.67.1
traitlets (una libreria per la configurazione dei parametri nei programmi Python) 5.14.3 typeguard 4.3.0 types-python-dateutil 2.9.0.20251008
ispezione di digitazione 0.9.0 typing_extensions 4.12.2 tzdata 2024.1
ujson (una libreria per la gestione di JSON in Python) 5.10.0 aggiornamenti non supervisionati 0,1 Modello URI 1.3.0
urllib3 2.3.0 uvicorn 0.38.0 virtualenv 20.29.3
wadllib 1.3.6 wcwidth (funzione per determinare la larghezza dei caratteri) 0.2.5 webcolors 25.10.0
codifiche web 0.5.1 cliente WebSocket 1.8.0 Che cosa è la patch 1.0.2
ruota 0.45.1 ogni volta 0.7.3 widgetsnbextension 3.6.6
rapito 1.17.0 yapf 0.40.2 Zipp 3.21.0
zstandard 0.23.0

Librerie R installate

Le librerie R vengono installate dallo snapshot CRAN del Posit Package Manager del 20 marzo 2025.

Libreria Versione Libreria Versione Libreria Versione
freccia 22.0.0 askpass 1.2.1 assicura che 0.2.1
retroportazioni 1.5.0 base 4.5.1 base64enc 0.1-3
bigD 0.3.1 pezzo 4.6.0 bit 64 4.6.0-1
bitops 1.0-9 massa amorfa 1.2.4 boot 1,3-30
fermentare 1.0-10 Brio 1.1.5 scopa 1.0.10
bslib 0.9.0 cashmere 1.1.0 chiamante 3.7.6
caret 7.0-1 cellranger 1.1.0 cronometro 2.3-62
classe 7.3-22 CLI 3.6.5 Clipr 0.8.0
orologio 0.7.3 raggruppamento 2.1.6 strumenti per la codifica 0.2-20
segno comune 2.0.0 compilatore 4.5.1 config 0.3.2
Confuso 1.2.0 cpp11 0.5.2 crayon 1.5.3
credentials 2.0.3 curva 7.0.0 tabella di dati 1.17.8
Insiemi di dati 4.5.1 DBI 1.2.3 dbplyr 2.5.1
descrizione 1.4.3 strumenti per sviluppatori 2.4.6 diagramma 1.6.5
diffobj 0.3.6 digerire 0.6.39 illuminazione rivolta verso il basso 0.4.5
dplyr 1.1.4 dtplyr 1.3.2 e1071 1.7-16
ellissi 0.3.2 valutare 1.0.5 fan 1.0.7
colori 2.1.2 mappatura veloce 1.2.0 fontawesome 0.5.3
forzati 1.0.1 foreach 1.5.2 straniero 0.8 - 86
fs 1.6.6 futuro 1.68.0 futuro.applicare 1.20.0
fare gargarismi 1.6.0 elementi generici 0.1.4 gert 2.2.0
ggplot2 4.0.1 gh 1.5.0 git2r 0.36.2
gitcreds 0.1.2 glmnet 4.1-10 elementi globali 0.18.0
colla 1.8.0 Google Drive 2.1.2 googlesheets4 1.1.2
Gower 1.0.2 grafiche 4.5.1 grDispositivi 4.5.1
grid 4.5.1 gridExtra 2.3 gsubfn 0.7
gt 1.1.0 gtable 0.3.6 casco protettivo 1.4.2
rifugio 2.5.5 più alto 0.11 HMS 1.1.4
strumenti HTML 0.5.8.1 htmlwidgets 1.6.4 httpuv 1.6.16
httr 1.4.7 httr2 1.2.1 documenti di identità 1.0.1
ini 0.3.1 ipred 0.9-15 banderelle isografiche 0.2.7
Iteratori 1.0.14 jquerylib 0.1.4 jsonlite 2.0.0
juicyjuice 0.1.0 KernSmooth 2.23-22 knitr 1.50
etichettatura 0.4.3 più tardi 1.4.4 reticolo 0,22-5
lava 1.8.2 ciclo di vita 1.0.4 ascolta 0.10.0
litedown 0.8 lubridate 1.9.4 magrittr 2.0.4
Markdown 2.0 Massa 7.3-60.0.1 Matrix 1.6-5
memorizza 2.0.1 metodi 4.5.1 mgcv 1.9-1
MIME 0.13 miniUI 0.1.2 mlflow 3.6.0
ModelMetrics 1.2.2.2 modelr 0.1.11 nlme 3.1-164
nnet 7.3-19 Derivazione numerica 2016.8-1.1 openssl 2.3.4
rà 0.2.0 parallelo 4.5.1 parallelamente 1.45.1
pilastro 1.11.1 pkgbuild 1.4.8 pkgconfig 2.0.3
pkgdown 2.2.0 pkgload 1.4.1 plogr 0.2.0
plyr 1.8.9 elogio 1.0.0 prettyunits 1.2.0
pROC 1.19.0.1 processx 3.8.6 prodlim 2025.04.28
profvis 0.4.0 Avanzamento 1.2.3 progressr 0.18.0
promesse 1.5.0 proto / prototipo 1.0.0 intermediario 0,4–27
P.S. 1.9.1 purrr 1.2.0 R6 2.6.1
ragg 1.5.0 randomForest 4.7-1.2 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp (una libreria per il linguaggio di programmazione R) 1.1.0
RcppEigen 0.3.4.0.2 reagibile 0.4.4 reactR 0.6.1
readr 2.1.6 readxl (software per leggere documenti Excel) 1.4.5 ricette 1.3.1
nuovo incontro 2.0.0 rematch2 2.1.2 Telecomandi 2.5.0
esempio riproducibile (reprex) 2.1.1 reshape2 1.4.5 rlang 1.1.6
rmarkdown 2.30 RODBC 1.3-26 roxygen2 7.3.3
rpart 4.1.23 rprojroot 2.1.1 Rserve 1,8-15
RSQLite 2.4.4 rstudioapi 0.17.1 rversions 3.0.0
rvest 1.0.5 S7 0.2.1 insolenza 0.4.10
Scala 1.4.0 selettore 0,4-2 informazioni sulla sessione 1.2.3
forma 1.4.6.1 brillante 1.11.1 sourcetools 0.1.7-1
sparklyr 1.9.3 SparkR 4.1.0 sparsevctrs 0.3.4
spaziale 7.3-17 splines 4.5.1 sqldf 0,4-11
SQUAREM 2021.1 statistiche 4.5.1 statistiche4 4.5.1
perizoma 1.8.7 stringr 1.6.0 Sopravvivenza 3,5-8
spavalderia 5.17.14.1 sys 3.4.3 systemfonts 1.3.1
tcltk 4.5.1 testthat 3.3.0 modellazione del testo 1.0.4
Tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse 2.0.0 cambio d'ora 0.3.0 data e ora 4051.111
tinytex 0.58 strumenti 4.5.1 tzdb 0.5.0
verificatore di URL 1.0.1 Usa questo 3.2.1 utf8 1.2.6
Utilità 4.5.1 UUID (Identificatore Unico Universale) 1.2-1 V8 8.0.1
vctrs 0.6.5 viridisLite 0.4.2 vrooom 1.6.6
Waldo 0.6.2 baffi 0.4.1 withr 3.0.2
xfun 0,54 xml2 1.5.0 xopen 1.0.1
xtable 1.8-4 yaml 2.3.10 zeallot 0.2.0
formato zip 2.3.3

Librerie Java e Scala installate (versione cluster Scala 2.13)

ID del Gruppo ID dell'artefatto Versione
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.15.3
com.amazonaws aws-java-sdk-autoscaling 1.12.681
com.amazonaws aws-java-sdk-cloudformation 1.12.681
com.amazonaws aws-java-sdk-cloudfront 1.12.681
com.amazonaws aws-java-sdk-cloudhsm 1.12.681
com.amazonaws aws-java-sdk-cloudsearch 1.12.681
com.amazonaws aws-java-sdk-cloudtrail 1.12.681
com.amazonaws aws-java-sdk-cloudwatch 1.12.681
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.681
com.amazonaws aws-java-sdk-codedeploy 1.12.681
com.amazonaws aws-java-sdk-cognitoidentity 1.12.681
com.amazonaws aws-java-sdk-cognitosync 1.12.681
com.amazonaws aws-java-sdk-config (configurazione SDK Java per AWS) 1.12.681
com.amazonaws aws-java-sdk-core 1.12.681
com.amazonaws aws-java-sdk-datapipeline 1.12.681
com.amazonaws aws-java-sdk-directconnect (strumento per la connessione diretta in Java di AWS) 1.12.681
com.amazonaws aws-java-sdk-directory 1.12.681
com.amazonaws aws-java-sdk-dynamodb 1.12.681
com.amazonaws aws-java-sdk-ec2 1.12.681
com.amazonaws aws-java-sdk-ecs 1.12.681
com.amazonaws aws-java-sdk-efs 1.12.681
com.amazonaws aws-java-sdk-elasticache 1.12.681
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.681
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.681
com.amazonaws aws-java-sdk-elastictranscoder 1.12.681
com.amazonaws aws-java-sdk-emr 1.12.681
com.amazonaws AWS Java SDK per Glacier 1.12.681
com.amazonaws aws-java-sdk-glue (collegamento SDK Java AWS) 1.12.681
com.amazonaws aws-java-sdk-iam 1.12.681
com.amazonaws aws-java-sdk-importexport 1.12.681
com.amazonaws aws-java-sdk-kinesis 1.12.681
com.amazonaws aws-java-sdk-kms 1.12.681
com.amazonaws aws-java-sdk-lambda 1.12.681
com.amazonaws aws-java-sdk-logs 1.12.681
com.amazonaws AWS Java SDK Machine Learning 1.12.681
com.amazonaws aws-java-sdk-opsworks 1.12.681
com.amazonaws aws-java-sdk-rds 1.12.681
com.amazonaws aws-java-sdk-redshift 1.12.681
com.amazonaws aws-java-sdk-route53 1.12.681
com.amazonaws aws-java-sdk-s3 1.12.681
com.amazonaws aws-java-sdk-ses 1.12.681
com.amazonaws aws-java-sdk-simpledb 1.12.681
com.amazonaws aws-java-sdk-simpleworkflow 1.12.681
com.amazonaws aws-java-sdk-sns 1.12.681
com.amazonaws aws-java-sdk-sqs 1.12.681
com.amazonaws aws-java-sdk-ssm 1.12.681
com.amazonaws aws-java-sdk-storagegateway (SDK di AWS per Java per Storage Gateway) 1.12.681
com.amazonaws aws-java-sdk-sts 1.12.681
com.amazonaws aws-java-sdk-support (supporto del kit di sviluppo software Java per AWS) 1.12.681
com.amazonaws aws-java-sdk-workspaces 1.12.681
com.amazonaws jmespath-java 1.12.681
com.clearspring.analytics torrente 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.53.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware ombreggiato criogenico 4.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.5.1
com.fasterxml.jackson.core Annotazioni di Jackson 2.18.2
com.fasterxml.jackson.core jackson-core 2.18.2
com.fasterxml.jackson.core jackson-databind 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.3
com.fasterxml.jackson.module jackson-module-paranamer 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine caffeina 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib riferimento_nativo-java 1.1
com.github.fommil.netlib riferimento_nativo-java 1.1-indigeni
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java 1.1-indigeni
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-indigeni
com.github.fommil.netlib netlib-sistema_nativo-linux-x86_64 1.1-indigeni
com.github.luben zstd-jni (libreria open-source per compressione con Java Native Interface) 1.5.7-6
com.github.virtuald curvesapi 1,08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.auth google-auth-library-credentials 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value annotazioni a valore automatico 1.10.4
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.11.0
com.google.crypto.tink tink 1.16.0
com.google.errorprone annotazioni soggette a errori 2.36.0
com.google.flatbuffers flatbuffers-java 25.2.10
com.google.guava errore di accesso 1.0.3
com.google.guava guava 33.4.8-jre
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-annotations 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger profilatore 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.10
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre11
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf (algoritmo di compressione) 1.1.2
com.sun.mail javax.mail (package Java per la gestione della posta elettronica) 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenti_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity parser di univocità 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer SparseBitSet 1.3
commons-cli commons-cli 1.10.0
commons-codec (libreria per la codifica comune) commons-codec (libreria per la codifica comune) 1.19.0
collezioni-comuni collezioni-comuni 3.2.2
commons-dbcp commons-dbcp 1.4
funzione di caricamento file dei Commons funzione di caricamento file dei Commons 1.6.0
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.21.0
commons-lang commons-lang 2.6
commons-logging (no translation needed) commons-logging (no translation needed) 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.4
dev.ludovic.netlib Blas 3.0.4
dev.ludovic.netlib LAPACK 3.0.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressore d'aria 2.0.2
io.delta delta-sharing-client_2.13 1.3.6
io.dropwizard.metrics annotazione delle metriche 4.2.37
io.dropwizard.metrics nucleo delle metriche 4.2.37
io.dropwizard.metrics metrics-graphite 4.2.37
io.dropwizard.metrics metriche-controlli di salute 4.2.37
io.dropwizard.metrics metrics-jetty10 4.2.37
io.dropwizard.metrics metrics-jmx 4.2.37
io.dropwizard.metrics metrics-json (Specificare ulteriormente se necessario a seconda del contesto) 4.2.37
io.dropwizard.metrics metrics-jvm 4.2.37
io.dropwizard.metrics metriche-servlet 4.2.37
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all 4.2.7.Final
io.netty netty-buffer 4.2.7.Final
io.netty netty-codec 4.2.7.Final
io.netty netty-codec-base 4.2.7.Final
io.netty netty-codec-classes-quic 4.2.7.Final
io.netty netty-codec-compression 4.2.7.Final
io.netty netty-codec-http (codec HTTP di Netty) 4.2.7.Final
io.netty netty-codec-http2 4.2.7.Final
io.netty netty-codec-http3 4.2.7.Final
io.netty netty-codec-marshalling 4.2.7.Final
io.netty netty-codec-native-quic 4.2.7.Final-linux-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-linux-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-windows-x86_64
io.netty netty-codec-protobuf 4.2.7.Final
io.netty netty-codec-socks 4.2.7.Final
io.netty netty-common 4.2.7.Final
io.netty netty-handler 4.2.7.Final
io.netty netty-handler-proxy 4.2.7.Final
io.netty netty-resolver 4.2.7.Final
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-windows-x86_64
io.netty netty-tcnative-classes 2.0.74.Final
io.netty netty-transport 4.2.7.Final
io.netty netty-transport-classes-epoll 4.2.7.Final
io.netty netty-transport-classes-io_uring 4.2.7.Final
io.netty netty-transport-classes-kqueue 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-x86_64
io.netty netty-transport-native-unix-comune 4.2.7.Final
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
io.prometheus simpleclient 0.16.1-databricks
io.prometheus sempliceclient_comune 0.16.1-databricks
io.prometheus simpleclient_dropwizard 0.16.1-databricks
io.prometheus simpleclient_pushgateway 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_tracer_otel_agent 0.16.1-databricks
io.prometheus.jmx collezionista 0.18.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation attivazione 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction API per le transazioni 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.14.0
net.java.dev.jna jna 5.8.0
net.razorvine sottaceto 1,5
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv (formato CSV avanzato) 2.2.0
net.snowflake snowflake-ingest-sdk (kit di sviluppo software per l'ingestione dati) 0.9.6
net.sourceforge.f2j arpack_combinato_tutto 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr modello di stringa 3.2.1
org.apache.ant formica 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant launcher 1.10.11
org.apache.arrow formato a freccia 18.3.0
org.apache.arrow arrow-nucleo-di-memoria 18.3.0
org.apache.arrow arrow-memory-netty 18.3.0
org.apache.arrow patch-buffer-netty-memoria-freccia 18.3.0
org.apache.arrow freccia-vettore 18.3.0
org.apache.avro Avro 1.12.1
org.apache.avro avro-ipc 1.12.1
org.apache.avro avro-mapred 1.12.1
org.apache.commons commons-collections4 4.5.0
org.apache.commons commons-compress 1.28.0
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.19.0
org.apache.commons commons-math3 3.6.1
org.apache.commons testo comune 1.14.0
org.apache.curator cliente del curatore 5.9.0
org.apache.curator framework del curatore 5.9.0
org.apache.curator ricette del curatore 5.9.0
org.apache.datasketches datasketches-java 6.2.0
org.apache.datasketches datasketches-memory 3.0.2
org.apache.derby derby sportivo 10.14.2.0
org.apache.hadoop runtime del client Hadoop 3.4.2
org.apache.hive hive-beeline 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive Hive-JDBC 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive hive-serde 2.3.10
org.apache.hive spessori del sistema Hive 2.3.10
org.apache.hive API di archiviazione Hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims Hive-shims-common 2.3.10
org.apache.hive.shims hive-shims-scheduler 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Edera 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-struttura-modello-json 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc orc-core 2.2.0-shaded-protobuf
org.apache.orc formato orc 1.1.1-shaded-protobuf
org.apache.orc orc-mapreduce 2.2.0-shaded-protobuf
org.apache.orc orc-shims 2.2.0
org.apache.poi POI 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.28
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus annotazioni per il pubblico 0.13.0
org.apache.zookeeper guardiano dello zoo 3.9.4
org.apache.zookeeper guardiano dello zoo-juta 3.9.4
org.checkerframework verificatore qualità 3.43.0
org.codehaus.janino Commons-Compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus Datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-alpn-client 10.0.26
org.eclipse.jetty jetty-client 10.0.26
org.eclipse.jetty jetty-http 10.0.26
org.eclipse.jetty jetty-io 10.0.26
org.eclipse.jetty jetty-jndi 10.0.26
org.eclipse.jetty Jetty Plus 10.0.26
org.eclipse.jetty jetty-proxy 10.0.26
org.eclipse.jetty sicurezza del molo 10.0.26
org.eclipse.jetty Jetty Server 10.0.26
org.eclipse.jetty jetty-servlet 10.0.26
org.eclipse.jetty jetty-servlets 10.0.26
org.eclipse.jetty jetty-util 10.0.26
org.eclipse.jetty applicazione web di Jetty 10.0.26
org.eclipse.jetty jetty-xml 10.0.26
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-localizzatore 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 localizzatore di risorse OSGi 1.0.3
org.glassfish.hk2.external aopalliance-repackaged (riconfezionato) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (servlet del contenitore Jersey) 2.41
org.glassfish.jersey.containers modulo-nucleo-servlet-contenitore-jersey (if a translation is required as per the context) 2.41
org.glassfish.jersey.core jersey-client 2.41
org.glassfish.jersey.core jersey-comune 2.41
org.glassfish.jersey.core Jersey-server 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator validatore di Hibernate 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging (strumento di registrazione per JBoss) 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jline jline 3.27.1-jdk8
org.joda joda-convert 1.7
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.locationtech.jts jts-core 1.20.0
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.22.1
org.objenesis objenesis 3.4
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.4.0
org.scala-sbt interfaccia di prova 1.0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest compatibile con scalatest 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani xz 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
Stax stax-api 1.0.1

Suggerimento

Per visualizzare le note sulle versioni di Databricks Runtime che hanno raggiunto l'EoS (fine del supporto), vedere Note sulle versioni di Databricks Runtime che hanno raggiunto l'EoS. Le versioni di EoS Databricks Runtime sono state ritirate e potrebbero non essere aggiornate.

  • Last updated on