Condividi tramite

Databricks Runtime 15.0 (EoS)

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 15.0, basate su Apache Spark 3.5.0.

Databricks ha rilasciato questa versione nel marzo 2024.

Modifiche di rilievo

La funzione PySpark spark.sql() ha ora esito negativo per i tipi di argomento non validi

In Databricks Runtime 15.0 e versioni successive il parametro args per i parametri denominati o posizionali passati alla funzione spark.sql() deve essere un dizionario o un elenco. Se viene passato un altro tipo di oggetto, viene generato l'errore seguente: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

L'archiviazione delle librerie nella radice DBFS è deprecata e disabilitata per impostazione predefinita

Per migliorare la sicurezza delle librerie in un'area di lavoro di Azure Databricks, l'archiviazione dei file di libreria nella radice DBFS è deprecata e disabilitata per impostazione predefinita a partire da Databricks Runtime 15.0. Databricks consiglia di caricare tutte le librerie, che includono librerie Python, file JAR e connettori Spark, nei file dell'area di lavoro, nei volumi del catalogo Unity o usando un repository di pacchetti. Vedere Raccomandazioni per il caricamento delle librerie.

Per riabilitare l'archiviazione delle librerie nella radice DBFS, impostare il parametro di configurazione spark seguente: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

La versione predefinita di Python viene aggiornata dalla versione 3.10 alla versione 3.11

Con Databricks Runtime 15.0, la versione predefinita di Python è 3.11.0. Per l'elenco delle librerie Python aggiornate, vedere aggiornamenti della libreria .

JDK 11 viene rimosso

Come annunciato in precedenza, JDK 11 viene rimosso da Databricks Runtime 15.0 e versioni successive. Databricks consiglia l'aggiornamento a JDK 17 durante l'aggiornamento a Databricks Runtime 15.0 e versioni successive. Vedere Databricks SDK per Java.

Python REPL termina normalmente

Con Databricks Runtime 15.0, il processo REPL python del notebook termina normalmente all'uscita. Ciò fa sì che qualsiasi hook atexit venga rispettato. Ad esempio, in un flusso di lavoro con più attività notebook Python, atexit hook registrati nella prima attività vengono eseguiti prima dell'esecuzione della seconda attività notebook Python.

Miglioramenti e nuove funzionalità

La clausola * (asterisco) è ora supportata nella clausola WHERE

È ora possibile usare la clausola star (*) nella clausola WHERE per fare riferimento a tutte le colonne dell'elenco SELECT. Ad esempio: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

La spark.sql.json.enablePartialResults configurazione è ora abilitata per impostazione predefinita

La configurazione spark.sql.json.enablePartialResults di Spark è ora abilitata per impostazione predefinita, consentendo al parser JSON di gestire correttamente gli errori di analisi per tipi complessi, ad esempio struct, mapping e matrice senza eliminare i campi rimanenti. Questa modifica risolve un problema di coerenza per le origini dati JSON con l'eliminazione delle colonne.

Le librerie cluster supportano ora i file requirements.txt

È ora possibile installare le librerie cluster usando un file requirements.txt archiviato in un file dell'area di lavoro o in un volume del catalogo Unity. In cluster in modalità di accesso dedicato e standard , il requirements.txt file può fare riferimento ad altri file. In Nessun cluster in modalità di accesso condiviso di isolamento sono supportati solo i pacchetti PyPI. Vedere Librerie con ambito di calcolo.

Interfaccia della riga di comando di Databricks ora disponibile nel terminale Web

È ora possibile usare l'interfaccia della riga di comando di Databricks dal terminale Web nel notebook. Il notebook deve essere collegato a un cluster in modalità di accesso condiviso Dedicato o Nessun isolamento . Per informazioni dettagliate, vedere Usare il terminale Web e l'interfaccia della riga di comando di Databricks.

Aggiungere repository Python predefiniti alle configurazioni del cluster

In Databricks Runtime 15.0 e versioni successive è possibile configurare i parametri globali pip index-url e extra-index-url per l'installazione di cluster e librerie con ambito notebook durante la configurazione di un cluster o la definizione di criteri del cluster. A tale scopo, impostare le variabili di ambiente DATABRICKS_PIP_INDEX_URL e DATABRICKS_PIP_EXTRA_INDEX_URL.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • nero da 22.6.0 a 23.3.0
    • boto3 da 1.24.28 a 1.34.39
    • botocore da 1.27.96 a 1.34.39
    • certificato dal 2022.12.7 al 2023.7.22
    • crittografia da 39.0.1 a 41.0.3
    • databricks-sdk da 0.1.6 a 0.20.0
    • distlib da 0.3.7 a 0.3.8
    • googleapis-common-protos da 1.62.0 a 1.63.0
    • grpcio da 1.48.2 a 1.60.0
    • grpcio-status da 1.48.1 a 1.60.0
    • importlib-metadata dalla versione 4.6.4 alla versione 6.0.0
    • ipykernel da 6.25.0 a 6.25.1
    • ipython da 8.14.0 a 8.15.0
    • ipywidgets da 7.7.2 a 8.0.4
    • jupyter_core da 5.2.0 a 5.3.0
    • jupyterlab-widgets da 1.0.0 a 3.0.5
    • matplotlib da 3.7.0 a 3.7.2
    • pandas da 1.5.3 a 2.0.3
    • pip da 22.3.1 a 23.2.1
    • platformdirs dalla versione 2.5.2 alla versione 3.10.0
    • protobuf da 4.24.0 a 4.24.1
    • pyarrow da 8.0.0 a 14.0.1
    • Pygments da 2.11.2 a 2.15.1
    • pyodbc da 4.0.32 a 4.0.38
    • richieste dalla versione 2.28.1 alla versione 2.31.0
    • s3transfer da 0.6.2 a 0.10.0
    • scikit-learn dalla versione 1.1.1 alla versione 1.3.0
    • scipy da 1.10.0 a 1.11.1
    • setuptools da 65.6.3 a 68.0.0
    • statsmodels da 0.13.5 a 0.14.0
    • tenacia da 8.1.0 a 8.2.2
    • tornado da 6.1 a 6.3.2
    • typing_extensions dalla versione 4.4.0 alla versione 4.7.1
    • urllib3 da 1.26.14 a 1.26.16
    • virtualenv da 20.16.7 a 20.24.2
    • widgetsnbextension da 3.6.1 a 4.0.5
    • zipp da 1.0.0 a 3.11.0
  • Librerie R aggiornate:
    • freccia da 12.0.1 a 14.0.0.2
    • askpass da 1.1 a 1.2.0
    • base da 4.3.1 a 4.3.2
    • birra da 1.0-8 a 1.0-10
    • brio da 1.1.3 a 1.1.4
    • bslib da 0.5.0 a 0.6.1
    • cli dalla versione 3.6.1 alla versione 3.6.2
    • segno comune da 1.9.0 a 1.9.1
    • compilatore da 4.3.1 a 4.3.2
    • configurazione da 0.3.1 a 0.3.2
    • cpp11 da 0.4.4 a 0.4.7
    • credenziali dalla versione 1.3.2 alla versione 2.0.1
    • curl da 5.0.1 a 5.2.0
    • data.table da 1.14.8 a 1.15.0
    • set di dati da 4.3.1 a 4.3.2
    • DBI da 1.1.3 a 1.2.1
    • dbplyr da 2.3.3 a 2.4.0
    • desc da 1.4.2 a 1.4.3
    • digest da 0.6.33 a 0.6.34
    • dplyr dalla versione 1.1.2 alla versione 1.1.4
    • e1071 da 1.7-13 a 1.7-14
    • valutare da 0,21 a 0,23
    • fani da 1.0.4 a 1.0.6
    • fontawesome da 0.5.1 a 0.5.2
    • fs da 1.6.2 a 1.6.3
    • futuro dalla 1.33.0 alla 1.33.1
    • future.apply dalla versione 1.11.0 alla versione 1.11.1
    • gargle da 1.5.1 a 1.5.2
    • gert da 1.9.2 a 2.0.1
    • ggplot2 da 3.4.2 a 3.4.4
    • glmnet da 4.1-7 a 4.1-8
    • colla da 1.6.2 a 1.7.0
    • grafica da 4.3.1 a 4.3.2
    • grDevices dalla versione 4.3.1 alla versione 4.3.2
    • griglia da 4.3.1 a 4.3.2
    • gtable da 0.3.3 a 0.3.4
    • hardhat da 1.3.0 a 1.3.1
    • haven dalla versione 2.5.3 alla versione 2.5.4
    • htmltools da 0.5.5 a 0.5.7
    • htmlwidgets da 1.6.2 a 1.6.4
    • httpuv da 1.6.11 a 1.6.14
    • httr da 1.4.6 a 1.4.7
    • httr2 da 0.2.3 a 1.0.0
    • jsonlite da 1.8.7 a 1.8.8
    • magliar da 1,43 a 1,45
    • etichettatura da 0.4.2 a 0.4.3
    • versioni successive dalla versione 1.3.1 alla versione 1.3.2
    • lava da 1.7.2.1 a 1.7.3
    • ciclo di vita da 1.0.3 a 1.0.4
    • listenv da 0.9.0 a 0.9.1
    • lubridate da 1.9.2 a 1.9.3
    • markdown da 1.7 a 1.12
    • metodi da 4.3.1 a 4.3.2
    • openssl dalla versione 2.0.6 alla versione 2.1.1
    • parallelo da 4.3.1 a 4.3.2
    • pkgbuild da 1.4.2 a 1.4.3
    • pkgload da 1.3.2.1 a 1.3.4
    • plyr da 1.8.8 a 1.8.9
    • prettyunits da 1.1.1 a 1.2.0
    • pROC da 1.18.4 a 1.18.5
    • processx dalla versione 3.8.2 alla versione 3.8.3
    • prodlim dal 2023.03.31 al 2023.08.28
    • avanzamento da 1.2.2 a 1.2.3
    • progressr da 0.13.0 a 0.14.0
    • promesse dalla versione 1.2.0.1 alla versione 1.2.1
    • ps da 1.7.5 a 1.7.6
    • da 1.0.1 a 1.0.2
    • ragg da 1.2.5 a 1.2.7
    • Rcpp da 1.0.11 a 1.0.12
    • RcppEigen da 0.3.3.9.3 a 0.3.3.9.4
    • readr dalla versione 2.1.4 alla versione 2.1.5
    • ricette da 1.0.6 a 1.0.9
    • rimatch dalla versione 1.0.1 alla versione 2.0.0
    • remote dalla versione 2.4.2 alla versione 2.4.2.1
    • repository da 2.0.2 a 2.1.0
    • rlang da 1.1.1 a 1.1.3
    • rmarkdown da 2.23 a 2.25
    • RODBC da 1.3-20 a 1.3-23
    • roxygen2 da 7.2.3 a 7.3.1
    • rprojroot da 2.0.3 a 2.0.4
    • Rserve da 1.8-11 a 1.8-13
    • RSQLite da 2.3.1 a 2.3.5
    • sass da 0.4.6 a 0.4.8
    • scala da 1.2.1 a 1.3.0
    • brillante da 1.7.4.1 a 1.8.0
    • sparklyr da 1.8.1 a 1.8.4
    • spline da 4.3.1 a 4.3.2
    • statistiche da 4.3.1 a 4.3.2
    • stats4 da 4.3.1 a 4.3.2
    • stringi da 1.7.12 a 1.8.3
    • stringr da 1.5.0 a 1.5.1
    • systemfonts da 1.0.4 a 1.0.5
    • tcltk da 4.3.1 a 4.3.2
    • testat da 3.1.10 a 3.2.1
    • textshaping da 0.3.6 a 0.3.7
    • tidyr da 1.3.0 a 1.3.1
    • cambio di tempo compreso tra 0.2.0 e 0.3.0
    • timeDate da 4022.108 a 4032.109
    • tinytex da 0,45 a 0,49
    • strumenti da 4.3.1 a 4.3.2
    • utf8 da 1.2.3 a 1.2.4
    • utilità dalla versione 4.3.1 alla versione 4.3.2
    • uuid da 1.1-0 a 1.2-0
    • vctrs da 0.6.3 a 0.6.5
    • vroom da 1.6.3 a 1.6.5
    • waldo da 0.5.1 a 0.5.2
    • withr dalla versione 2.5.0 alla versione 3.0.0
    • xfun da 0.39 a 0.41
    • xml2 da 1.3.5 a 1.3.6
    • yaml da 2.3.7 a 2.3.8
    • zip da 2.3.0 a 2.3.1
  • Librerie Java aggiornate:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 da 2.15.1 a 2.16.0
    • com.google.flatbuffers.flatbuffers-java da 1.12.0 a 23.5.26
    • com.typesafe.config da 1.2.1 a 1.4.3
    • org.apache.ant.ant da 1.9.16 a 1.10.11
    • org.apache.ant.ant-jsch da 1.9.16 a 1.10.11
    • org.apache.ant.ant-launcher da 1.9.16 a 1.10.11
    • org.apache.arrow.arrow-format da 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-core da 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-netty da 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-vector da 12.0.1 a 15.0.0
    • org.apache.avro.avro da 1.11.2 a 1.11.3
    • org.apache.avro.avro-ipc da 1.11.2 a 1.11.3
    • org.apache.avro.avro-mapred da 1.11.2 a 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api da 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-api da 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-core da 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl da 2.20.0 a 2.22.1
    • org.postgresql.postgresql da 42.6.0 a 42.6.1

Apache Spark

Databricks Runtime 15.0 include Apache Spark 3.5.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 14.3 LTS, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-45527] [DBRRM-805][es-1073714] Ripristino di “[SC-151626][core] Usare frazione per eseguire il calcolo delle risorse”
  • [SPARK-47102] [DBRRM-803][sc-158253][SQL] Aggiungere il COLLATION_ENABLED flag di configurazione
  • [SPARK-46973] [SC-158140][dbrrm-777][SQL] Ignorare la ricerca di tabelle V2 quando una tabella si trova nella cache delle tabelle V1
  • [SPARK-46808] [SC-154113][python] Perfezionare le classi di errore in Python con funzione di ordinamento automatico
  • [SPARK-47251] [SC-158291][python] Blocca tipi non validi dall'argomento args per il comando sql.
  • [SPARK-47251] [SC-158121][python] Blocca tipi non validi dall'argomento per args il sql comando
  • [SPARK-47108] [SC-157204][core] Impostare esplicitamente derby.connection.requireAuthentication su false nei CLI
  • [SPARK-45599] [SC-157537][core] Usare l'uguaglianza degli oggetti in OpenHashSet
  • [SPARK-47099] [SC-157352][sql] Usare ordinalNumber per impostare in modo uniforme il valore di per la classe di paramIndex errore UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][connect] Estrarre una funzione helper per eliminare il codice duplicato recuperato MessageParameters da ErrorParams in GrpcExceptionConverter
  • [SPARK-43117] [SC-156177][connect] Rendere ProtoUtils.abbreviate supporto campi ripetuti
  • [SPARK-46342] [SC-150283][sql] Sostituisci IllegalStateException con SparkException.internalError in sql
  • [SPARK-47123] [SC-157412][core] JDBCRDD non gestisce correttamente gli errori in getQueryOutputSchema
  • [SPARK-47189] [SC-157667][sql] Modificare i nomi degli errori di colonna e il testo
  • [SPARK-45789] [SC-157101][sql] Supporto DESCRIBE TABLE per le colonne di clustering
  • [SPARK-43256] [SC-157699][sql] Rimuovere la classe di errore _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][python][CONNECT] sameSemantics controlla i tipi di input
  • [SPARK-47183] [SC-157660][python] Correzione della classe di errore per sameSemantics
  • [SPARK-47179] [SC-157663][sql] Migliorare il messaggio di errore di SparkThrowableSuite per migliorare il debug
  • [SPARK-46965] [SC-155791][core] Controlla logType in Utils.getLog
  • [SPARK-46832] [SC-156774][sql] Introduzione delle espressioni di Collate e Collation
  • [SPARK-46946] [SC-155721][sql] Supporto della trasmissione di più chiavi di filtro in DynamicPruning
  • [SPARK-47079] [VARIANT-22][sc-157598][PYTHON][sql][connect] Aggiungere informazioni sul tipo Variant a PySpark
  • [SPARK-47101] [SC-157360][sql] Consentire l'uso della virgola nei nomi di colonna di primo livello e eliminare il controllo della definizione del tipo annidato in HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][ss][UI] Correzione di un errore di digitazioni nella spiegazione dell'interfaccia utente di streaming
  • [SPARK-47113] [SC-157348][core] Invertire la logica di correzione dell'endpoint S3A di SPARK-35878
  • [SPARK-47130] [SC-157462][core] Usare listStatus per ignorare le informazioni sulla posizione di blocco durante la pulizia dei log dei driver
  • [SPARK-43259] [SC-157368][sql] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][sql] TakeOrderedAndProjectExec deve inizializzare la proiezione non sicura
  • [SPARK-47137] [SC-157463][python][CONNECT] Aggiungere getAll a spark.conf per la parità delle funzionalità con Scala
  • [SPARK-46924] [SC-154905][core] Correggi pulsante in Load New nella Master/HistoryServer interfaccia utente del log
  • [SPARK-47069] [SC-157370][python][CONNECT] Introduzione spark.profile.show/dump per la profilatura basata su SparkSession
  • [SPARK-46812] [SC-157075][sql][PYTHON] Rendere mapInPandas / mapInArrow compatibile con ResourceProfile
  • [SPARK-46833] [SC-155866][sql] Regole di confronto - Introduzione a CollationFactory che fornisce regole di confronto e hash per le regole di confronto supportate
  • [SPARK-47057] [SC-157036][python] Riabilita il test dati MyPy
  • [SPARK-46934] [SC-157084][sql] Ciclo completo di lettura e scrittura per tipi struct con caratteri speciali utilizzando HMS
  • [SPARK-46727] [SC-153472][sql] Porta classifyException() nei dialetti JDBC nelle classi di errore
  • [SPARK-46964] [SC-155740][sql] Modificare la firma dell'errore di esecuzione della query hllInvalidLgK per accettare un numero intero come 4° argomento
  • [SPARK-46949] [SC-155719][sql] Supporto di CHAR/VARCHAR tramite ResolveDefaultColumns
  • [SPARK-46972] [SC-155888][sql] Correzione della sostituzione asimmetrica per char/varchar in V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778][python][CONNECT] Implementare metodi dumpPerfProfiles e dumpMemoryProfiles di SparkSession
  • [SPARK-46689] [SC-156221][spark-46690][PYTHON][connect] Supporto della profilatura v2 in group/cogroup applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773][connect] Consenti allo script del server Spark Connect di attendere
  • [SPARK-46688] [SC-156113][spark-46691][PYTHON][connect] Supporto della profilatura v2 nelle Panda UDF aggregate
  • [SPARK-47004] [SC-156499][connect] Aggiunti più test a ClientStreamingQuerySuite per aumentare la copertura dei test client Scala
  • [SPARK-46994] [SC-156169][python] Ristrutturare PythonWrite per prepararsi a supportare la scrittura in streaming delle origini dati Python
  • [SPARK-46979] [SC-156587][ss] Aggiungere il supporto per specificare il codificatore di chiave e di valore separatamente e anche per ogni famiglia di colonne nel provider dello stato di archiviazione RocksDB
  • [SPARK-46960] [SC-155940][ss] Test di più flussi di input con l'operatore TransformWithState
  • [SPARK-46966] [SC-156112][python] Aggiungere l'API UDTF per il metodo 'analyze' per indicare il subset di colonne della tabella di input da selezionare
  • [SPARK-46895] [SC-155950][core] Sostituire Timer con un executor a thread singolo pianificato
  • [SPARK-46967] [SC-155815][core][UI] Nascondi Thread Dump e Heap Histogram degli esecutori nell'interfaccia utente di Dead
  • [SPARK-46512] [SC-155826][core] Ottimizzare la lettura di shuffle quando si utilizzano sia l'ordinamento sia la combinazione.
  • [SPARK-46958] [SC-155942][sql] Aggiungere un fuso orario mancante ai valori predefiniti
  • [SPARK-46754] [SC-153830][sql][AVRO] Correzione della risoluzione del codice di compressione nella definizione della tabella avro e nelle opzioni di scrittura
  • [SPARK-46728] [SC-154207][python] Controllare correttamente l'installazione di Pandas
  • [SPARK-43403] [SC-154216][ui] Assicurarsi che SparkUI precedente in HistoryServer sia stato scollegato prima di caricarne uno nuovo
  • [SPARK-39910] [SC-156203][sql] Delegare la qualificazione del percorso al file system durante il globbing del percorso del file DataSource
  • [SPARK-47000] [SC-156123] Ripristinare "[SC-156123][core] Usare getTotalMemorySize...
  • [SPARK-46819] [SC-154560][core] Spostare categorie e stati di errore in JSON
  • [SPARK-46997] [SC-156175][core] Abilita spark.worker.cleanup.enabled per impostazione predefinita
  • [SPARK-46865] [SC-156168][ss] Aggiungere il supporto batch per l'operatore TransformWithState
  • [SPARK-46987] [SC-156040][connect] ProtoUtils.abbreviate evitare operazioni non necessarie setField
  • [SPARK-46970] [SC-155816][core] Riscrittura OpenHashSet#hasher con pattern matching
  • [SPARK-46984] [SC-156024][python] Rimuovere pyspark.copy_func
  • [SPARK-47000] [SC-156123][core] Usare getTotalMemorySize in WorkerArguments
  • [SPARK-46980] [SC-155914][sql][MINOR] Evitare l'uso di API interne nei test end-to-end del dataframe
  • [SPARK-46931] Ripristinare "[SC-155661][ps] Implement {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828][sql] Miglioramento dei messaggi di errore per DATA_SOURCE_NOT_FOUND errore
  • [SPARK-46849] [SC-154586][sql] Esegui ottimizzatore sui valori predefiniti delle colonne
  • [SPARK-46911] [SC-155724][ss] Aggiunta dell'operatore deleteIfExists a StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Supporto del lz4raw codec di compressione per Parquet
  • [SPARK-47002] [SC-156223][python] Restituirà un migliore messaggio di errore se il metodo 'analyze' del campo 'orderBy' dell'UDTF restituisce accidentalmente un elenco di stringhe
  • [SPARK-46890] [SC-155802][sql] Correzione del bug di analisi CSV con valori predefiniti di colonne esistenti e potatura delle colonne
  • [SPARK-46977] [SC-155892][core] Una richiesta non riuscita per ottenere un token da un NameNode non deve ignorare le richieste di token successive
  • [SPARK-46608] [SC-151806][sql] Ripristinare la compatibilità con le versioni precedenti di JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][sql] Supporto della clausola star nella clausola WHERE
  • [SPARK-46908] [SC-155702][sql] Supporto della clausola star nella clausola WHERE
  • [SPARK-46852] [SC-155665][ss] Rimuovere l'uso del codificatore di chiavi esplicito e passarlo in modo implicito all'operatore per transformWithState
  • [SPARK-46864] [SC-155669][ss] Integra StatoV2 arbitrario nel nuovo quadro della classe di errore
  • [SPARK-45807] [SC-155706][sql] Restituisci la vista dopo aver chiamato replaceView(..)
  • [SPARK-46899] [SC-154651][core] Rimuovere POST le API da MasterWebUI quando spark.ui.killEnabled è false
  • [SPARK-46868] [SC-154539][core] Supporto dell'interfaccia utente del log di lavoro Spark
  • [SPARK-46931] [SC-155661][ps] Implementare {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][core] Rimuovi non usato updateSparkConfigFromProperties e isAbsoluteURI in o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][core][CONNECT][ss] Usare ThreadUtils.shutdown per chiudere i pool di thread
  • [SPARK-46400] [SC-155658][core][SQL] Quando sono presenti file danneggiati nel repository maven locale, ignorare questa cache e riprovare
  • [SPARK-46932] [SC-155655] Pulire le importazioni in pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Scrivere un generatore di sottoquery che genera sottoquery permutazioni per aumentare la copertura dei test
  • [SPARK-46914] [SC-154776][ui] Abbreviare il nome dell'app nella tabella di riepilogo nella pagina Cronologia
  • [SPARK-46831] [SC-154699][sql] Regole di confronto - Estensione di StringType e PhysicalStringType con campo collationId
  • [SPARK-46816] [SC-154415][ss] Aggiungere il supporto di base per il nuovo operatore di gestione dello stato arbitrario, il tipo single valueState, più variabili di stato e il supporto sottostante per le famiglie di colonne per RocksDBStateStoreProvider con/senza checkpoint del log delle modifiche
  • [SPARK-46925] [SC-154890][python][CONNECT] Aggiungere un avviso che indica di installare memory_profiler per la profilatura della memoria
  • [SPARK-46927] [SC-154904][python] Rendere assertDataFrameEqual corretto il funzionamento senza PyArrow
  • [SPARK-46021] [SC-148987][core] Supporto per annullare i processi futuri appartenenti a un gruppo di processi
  • [SPARK-46747] [SC-154789][sql] Evitare la scansione in getTableExistsQuery nei dialetti JDBC
  • [SPARK-46904] [SC-154704][ui] Correzione del problema di visualizzazione del riepilogo dell'interfaccia utente della cronologia
  • [SPARK-46870] [SC-154541][core] Supporto dell'interfaccia utente del log master Spark
  • [SPARK-46893] [SC-154780][ui] Rimuovere script inline dalle descrizioni dell'interfaccia utente
  • [SPARK-46910] [SC-154760][python] Eliminare il requisito JDK nell'installazione di PySpark
  • [SPARK-46907] [SC-154736][core] Mostra il percorso del log dei driver nel server della cronologia di Spark
  • [SPARK-46902] [SC-154661][ui] Modifica dell'interfaccia utente del server storia di Spark per utilizzare setAppLimit non esportato
  • [SPARK-46687] [SC-154725][python][CONNECT] Supporto di base del profiler di memoria basato su SparkSession
  • [SPARK-46623] [SC-153831][core][MLLIB][sql] Sostituire SimpleDateFormat con DateTimeFormatter
  • [SPARK-46875] [SC-154627][sql] Quando mode è nullo, dovrebbe essere lanciata un'eccezione NullPointException
  • [SPARK-46872] [SC-154543][core] Ripristina log-view.js in modo che non sia un modulo
  • [SPARK-46883] [SC-154629][core] API di supporto /json/clusterutilization
  • [SPARK-46886] [SC-154630][core] Abilita spark.ui.prometheus.enabled per impostazione predefinita
  • [SPARK-46873] [SC-154638][ss] Non ricreare il nuovo StreamingQueryManager per la stessa sessione Spark
  • [SPARK-46829] [SC-154419][core] Rimuovere createExecutorEnv da SparkEnv
  • [SPARK-46827] [SC-154280][core] Permettere RocksDBPersistenceEngine di supportare un collegamento simbolico
  • [SPARK-46903] [SC-154662][core] Supporto dell'interfaccia utente del log di Spark History Server
  • [SPARK-46874] [SC-154646][python] Rimuovere pyspark.pandas la dipendenza da assertDataFrameEqual
  • [SPARK-46889] [SC-154639][core] Impostazione di convalida spark.master.ui.decommission.allow.mode
  • [SPARK-46850] [SC-154443][sql] Converti _LEGACY_ERROR_TEMP_2102 in UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][core][UI] Correggi MasterPage per ordinare correttamente la tabella Running Drivers in base alla colonna Duration
  • [SPARK-46796] [SC-154279][ss] Assicurarsi che i file remoti corretti (indicati in metadata.zip) vengano usati nel caricamento della versione di RocksDB
  • [SPARK-46888] [SC-154636][core] Correzione Master per rifiutare /workers/kill/ le richieste se la dismissione è disabilitata
  • [SPARK-46818] [SC-154422][sql] Migliorare i messaggi di errore per Range con input non piegabili
  • [SPARK-46898] [SC-154649][connect] Semplificare la trasformazione della funzione protobuf in Planner
  • [SPARK-46828] [SC-154413][sql] Rimuovere l'asserzione non valida della modalità remota per spark sql shell
  • [SPARK-46733] [SC-154274][core] Semplificare BlockManager facendo sì che l'operazione di uscita dipenda solo dal thread di interruzione.
  • [SPARK-46777] [SC-154016][ss] Eseguire il refactoring StreamingDataSourceV2Relation della struttura catalyst per essere più comparabile con la versione batch
  • [SPARK-46515] [SC-151716] Aggiungere la funzione MONTHNAME
  • [SPARK-46823] [SC-154276][connect][PYTHON] LocalDataToArrowConversion dovrebbe verificare la nullabilità
  • [SPARK-46787] [SC-154404][connect] bloomFilter la funzione deve generare un'eccezione AnalysisException per l'input non valido
  • [SPARK-46779] [SC-154045][sql] InMemoryRelation Le istanze dello stesso piano memorizzato nella cache devono essere semanticamente equivalenti
  • [SPARK-45827] [SC-153973] Non consentire il partizionamento nella colonna Variant
  • [SPARK-46797] [SC-154085][core] Rinominare spark.deploy.spreadOut in spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Supporto della profilatura JVM dell'executor
  • [SPARK-46746] [SC-153557][sql][AVRO] Allegare l'estensione codec ai file di origine dati Avro
  • [SPARK-46698] [SC-153288][core] Sostituire Timer con executor pianificato monothread per ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Correzione per il tipo STRUCT DDL che non rileva il supporto di valori Null e il commento
  • [SPARK-46750] [SC-153772][connect][PYTHON] Pulizia del codice delle API dataframe
  • [SPARK-46769] [SC-153979][sql] Affinamento dell'inferenza dello schema correlata al timestamp
  • [SPARK-46765] [SC-153904][python][CONNECT] Specificare shuffle il tipo di dati di seed
  • [SPARK-46579] [SC-151481][sql] Redact JDBC url nei messaggi di errore e nei log
  • [SPARK-46686] [SC-153875][python][CONNECT] Supporto di base del profiler UDF Python basato su SparkSession
  • [SPARK-46748] Ripristina "[SC-153800][core] Rimuovi *sla***.sh script…"
  • [SPARK-46707] [SC-153833][sql] Aggiunto campo Throwable alle espressioni per migliorare il pushdown dei predicati
  • [SPARK-46519] [SC-151278][sql] Cancellare le classi di errore inutilizzate dal error-classes.json file
  • [SPARK-46677] [SC-153426][sql][CONNECT] Correzione della dataframe["*"] risoluzione
  • [SPARK-46317] [SC-150184][python][CONNECT] Allineare i comportamenti minori in SparkSession con copertura completa dei test
  • [SPARK-46748] [SC-153800][core] Rimuovere *sla***.sh script
  • [SPARK-46663] [SC-153490][python] Disabilitare il profiler di memoria per le pandas UDFs con iteratori
  • [SPARK-46410] [SC-150776][sql] Assegnare classi di errore/sottoclassi a JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126][python] Convalidare gli URL di avvio con la configurazione impostata
  • [SPARK-46612] [SC-153536][sql] Non convertire la stringa di tipo array recuperata dal driver JDBC
  • [SPARK-46254] [SC-149788][python] Rimuovere il controllo della versione di Python 3.8/3.7 obsoleto
  • [SPARK-46490] [SC-151335][sql] Richiedi classi di errore nelle SparkThrowable sottoclassi
  • [SPARK-46383] [SC-153274][sc-147443][WARMFIX] Ridurre l'utilizzo dell'heap dei driver riducendo la durata di TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][sql][CONNECT] Correggere il riferimento ambiguo di colonna nell'autojoin
  • [SPARK-46381] [SC-150495][sql] Eseguire la migrazione di sottoclassi di AnalysisException alle classi di errore
  • [SPARK-46351] [SC-150335][sql] Richiedere una classe di errore in AnalysisException
  • [SPARK-46220] [SC-149689][sql] Limitare i set di caratteri in decode()
  • [SPARK-46369] [SC-150340][core] Rimuovere dai driver kill il collegamento RELAUNCHING in MasterPage
  • [SPARK-46052] [SC-153284][core] Rimuovere la funzione TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][sql] Supportare GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209][sql] Rimuovere il inferTimestampNTZ non utilizzato da ParquetReadSupport
  • [SPARK-46717] [SC-153423][core] Semplificare ReloadingX509TrustManager con l'operazione di uscita dipende solo dal thread di interrupt.
  • [SPARK-46722] [SC-153438][connect] Aggiungere un test relativo al controllo della compatibilità con le versioni precedenti per StreamingQueryListener in Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][sql] Allineare l'implementazione codegen e non-codegen di StringDecode
  • [SPARK-46258] [SC-149799][core] Aggiungi RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][core] Migliorare FileSystemPersistenceEngine per supportare le compressioni
  • [SPARK-46189] [SC-149567][ps][SQL] Eseguire confronti e aritmetici tra gli stessi tipi in varie funzioni di aggregazione Pandas per evitare errori in modalità interpretata
  • [SPARK-46184] [SC-149563][core][SQL][connect][MLLIB] Ridurre la profondità dello stack sostituendo Option.isDefined con Option.isEmpty
  • [SPARK-46700] [SC-153329][core] Contare l'ultimo overflow per la metrica dei byte di overflow del disco shuffle
  • [SPARK-45642] [SC-150286][core][SQL] Correzione FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][sql] Correzione di RemoveRedundantAlias escludendo gli attributi della sottoquery
  • [SPARK-46681] [SC-153287][core] Rifattorizzare ExecutorFailureTracker#maxNumExecutorFailures per evitare di calcolare defaultMaxNumExecutorFailures quando MAX_EXECUTOR_FAILURES è configurato
  • [SPARK-46695] [SC-153289][sql][HIVE] Imposta sempre hive.execution.engine su mr
  • [SPARK-46325] [SC-150228][connect] Rimuovere le funzioni di override non necessarie durante la costruzione di WrappedCloseableIterator in ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][python] Eseguire la migrazione di tutti i file ValueError rimanenti nel framework di errore PySpark.
  • [SPARK-46547] [SC-153174][ss] Ingoiare eccezioni non fatali nell'attività di manutenzione per evitare il deadlock tra il thread di manutenzione e l'operatore di aggregazione di streaming
  • [SPARK-46169] [SC-149373][ps] Assegnare i numeri JIRA appropriati per i parametri mancanti dall'API DataFrame .
  • [SPARK-45857] [SC-148096][sql] Applicare le classi di errore nelle sottoclassi di AnalysisException

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 15.0.

Ambiente di sistema

  • Sistema operativo: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Librerie Python installate

Libreria Versione Libreria Versione Libreria Versione
asttoken 2.0.5 astunparse 1.6.3 azure-core 1.30.1
Azure Storage Blob 12.19.1 file di archiviazione Azure Data Lake 12.14.0 chiamata di ritorno 0.2.0
nero 23.3.0 indicatore di direzione 1.4 boto3 1.34.39
botocore 1.34.39 cachetools (strumento per la gestione della cache) 5.3.3 certificato 2023.7.22
cffi 1.15.1 chardet 4.0.0 normalizzatore di set di caratteri 2.0.4
fai clic 8.0.4 cloudpickle (libreria Python per la serializzazione degli oggetti) 2.2.1 serv 0.1.2
contourpy 1.0.5 criptografia 41.0.3 ciclista 0.11.0
Cython, un linguaggio di programmazione 0.29.32 Databricks SDK 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 Decoratore 5.1.1 distlib 0.3.8
punti di ingresso 0.4 esecuzione 0.8.3 facet-overview 1.1.1
blocco dei file 3.13.1 fonttools (strumenti per caratteri) 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth (autenticazione Google) 2.28.2
google-cloud-core 2.4.1 archiviazione su Google Cloud 2.15.0 google-crc32c 1.5.0
google-resumable-media (media riprendibile di Google) 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 IDNA 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets (una libreria Python per widget interattivi) 8.0.4 isodate 0.6.1
jedi 0.18.1 Jeepney (mezzo di trasporto pubblico tipico delle Filippine) 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 portachiavi 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow versione leggera 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 imballaggio 23.2
Panda 2.0.3 parso 0.8.3 pathspec 0.10.3
vittima 0.5.3 pexpect 4.8.0 pickleshare (libreria di software Python) 0.7.5
Cuscino 9.4.0 seme 23.2.1 platformdirs 3.10.0
plotly (software di visualizzazione dati) 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser (un parser scritto in Python) 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil (libreria Python per la gestione delle date) 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 richieste 2.31.0
RSA 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 Seaborn 0.12.2 SecretStorage 3.3.1
setuptools (pacchetto Python per gestire la configurazione e la distribuzione) 68.0.0 sei 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id (comando per l'importazione di chiavi SSH) 5.11 dati accatastati 0.2.0
statsmodels 0.14.0 tenacità 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets (una libreria per la configurazione dei parametri nei programmi Python) 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson (una libreria per la gestione di JSON in Python) 5.4.0
aggiornamenti non supervisionati 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth (funzione per determinare la larghezza dei caratteri) 0.2.5 ruota 0.38.4
widgetsnbextension 4.0.5 Zipp 3.11.0

Librerie R installate

Le librerie R vengono installate dallo snapshot Gestione pacchetti CRAN nel 2023-02-10.

Libreria Versione Libreria Versione Libreria Versione
freccia 14.0.0.2 askpass 1.2.0 assicura che 0.2.1
retroportazioni 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 pezzo 4.0.5 bit 64 4.0.5
bitops 1.0-7 massa amorfa 1.2.4 stivale 1.3-28
fermentare 1.0-10 Brio 1.1.4 Scopa 1.0.5
bslib 0.6.1 cashmere 1.0.8 chiamante 3.7.3
Interpunzione 6.0-94 cellranger 1.1.0 cronometro 2,3-61
classe 7.3-22 CLI 3.6.2 Clipr 0.8.0
orologio 0.7.0 raggruppamento 2.1.4 strumenti per la codifica 0,2-19
spazio di colore 2.1-0 segno comune 1.9.1 compilatore 4.3.2
configurazione 0.3.2 in conflitto 1.2.0 cpp11 0.4.7
pastello 1.5.2 credenziali 2.0.1 curva 5.2.0
data.table (tabella dati) 1.15.0 Insiemi di dati 4.3.2 DBI 1.2.1
dbplyr 2.4.0 descrizione 1.4.3 strumenti per sviluppatori 2.4.5
diagramma 1.6.5 diffobj 0.3.5 digerire 0.6.34
illuminazione rivolta verso il basso 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 puntini di sospensione 0.3.2 valutare 0,23
fan 1.0.6 colori 2.1.1 mappatura veloce 1.1.1
fontawesome 0.5.2 forzati 1.0.0 foreach 1.5.2
straniero 0.8-85 forgiare 0.2.0 Fs 1.6.3
futuro 1.33.1 futuro.applicare 1.11.1 fare gargarismi 1.5.2
elementi generici 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 elementi globali 0.16.2 colla 1.7.0
Google Drive 2.1.1 Googlesheets4 1.1.1 Gower 1.0.1
grafica 4.3.2 grDispositivi 4.3.2 griglia 4.3.2
gridExtra 2.3 gsubfn 0,7 GT 0.10.1
gtable 0.3.4 casco protettivo 1.3.1 rifugio 2.5.4
più alto 0,10 HMS 1.1.3 strumenti HTML 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 documenti di identità 1.0.1 ini 0.3.1
ipred 0.9-14 banderelle isografiche 0.2.7 Iteratori 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 magliare 1,45 Etichettatura 0.4.3
più tardi 1.3.2 Lattice 0.21-8 Java 1.7.3
ciclo di vita 1.0.4 ascolta 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 Massa 7.3-60
Matrice 1.5-4.1 memorizza 2.0.1 metodi 4.3.2
mgcv 1.8-42 mimo 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
Derivazione numerica 2016.8-1.1 openssl 2.1.1 parallelo 4.3.2
parallelamente 1.36.0 Concetto fondamentale 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 elogio 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Avanzamento 1.2.3
progressr 0.14.0 promesse 1.2.1 proto / prototipo 1.0.0
intermediario 0,4–27 P.S. 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp (una libreria per il linguaggio di programmazione R) 1.0.12 RcppEigen 0.3.3.9.4 reagibile 0.4.4
reactR 0.5.0 readr 2.1.5 readxl (software per leggere documenti Excel) 1.4.3
ricette 1.0.9 nuovo incontro 2.0.0 rematch2 2.1.2
Telecomandi 2.4.2.1 esempio riproducibile (reprex) 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 insolenza 0.4.8
Scalabilità 1.3.0 selettore 0,4-2 informazioni sulla sessione 1.2.2
Forma 1.4.6 brillante 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spaziale 7.3-15 Spline 4.3.2
sqldf 0,4-11 SQUAREM 2021.1 statistiche 4.3.2
statistiche4 4.3.2 perizoma 1.8.3 stringr 1.5.1
Sopravvivenza 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testatat 3.2.1
modellazione del testo 0.3.7 Tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 cambio d'ora 0.3.0
data e ora 4032.109 tinytex 0.49 strumenti 4.3.2
tzdb 0.4.0 verificatore di URL 1.0.1 Usa questo 2.2.2
UTF8 1.2.4 Utilità 4.3.2 UUID (Identificatore Unico Universale) 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vrooom 1.6.5 Waldo 0.5.2 baffi 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 formato zip 2.3.1

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (configurazione SDK Java per AWS) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect (strumento per la connessione diretta in Java di AWS) 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws AWS Java SDK per Glacier 1.12.390
com.amazonaws aws-java-sdk-glue (collegamento SDK Java AWS) 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-consultas 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws AWS Java SDK Machine Learning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway (SDK di AWS per Java per Storage Gateway) 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support (supporto del kit di sviluppo software Java per AWS) 1.12.390
com.amazonaws Librerie aws-java-sdk-swf 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics torrente 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware ombreggiato criogenico 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeina caffeina 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib riferimento_nativo-java 1.1
com.github.fommil.netlib riferimento_nativo-java 1.1-indigeni
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java 1.1-indigeni
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-indigeni
com.github.fommil.netlib netlib-sistema_nativo-linux-x86_64 1.1-indigeni
com.github.luben zstd-jni (libreria open-source per compressione con Java Native Interface) 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone annotazioni soggette a errori 2.10.0
com.google.flatbuffers flatbuffers-java 23/05/2026
com.google.guava guaiava 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger profilatore 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RILASCIO
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (algoritmo di compressione) 1.1.2
com.sun.mail javax.mail (package Java per la gestione della posta elettronica) 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenti_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configurazione 1.4.3
com.typesafe.scala-logging scala-logging_2.12 (libreria per la gestione dei log in Scala, versione 2.12) 3.7.2
com.uber h3 3.7.3
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec (libreria per la codifica comune) commons-codec (libreria per la codifica comune) 1.16.0
collezioni-comuni collezioni-comuni 3.2.2
commons-dbcp commons-dbcp 1.4
funzione di caricamento file dei Commons funzione di caricamento file dei Commons 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging (no translation needed) commons-logging (no translation needed) 1.1.3
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 3.0.3
dev.sdk.netlib Blas 3.0.3
dev.sdk.netlib LAPACK 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressore d'aria 0,25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics annotazione delle metriche 4.2.19
io.dropwizard.metrics nucleo delle metriche 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metriche-controlli di salute 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json (Specificare ulteriormente se necessario a seconda del contesto) 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metriche-servlet 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http (codec HTTP di Netty) 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-comune 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus sempliceclient_comune 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation attivazione 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction API per le transazioni 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine sottaceto 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv (formato CSV avanzato) 2.2.0
net.snowflake snowflake-ingest-sdk (kit di sviluppo software per l'ingestione dati) 0.9.6
net.sourceforge.f2j arpack_combinato_tutto 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr modello di stringa 3.2.1
org.apache.ant formica 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant launcher 1.10.11
org.apache.arrow formato freccia 15.0.0
org.apache.arrow arrow-nucleo-di-memoria 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow freccia-vettore 15.0.0
org.apache.avro Avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons testo comune 1.10.0
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby sportivo 10.14.2.0
org.apache.hadoop runtime del client Hadoop 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive Hive-JDBC 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive spessori del sistema Hive 2.3.9
org.apache.hive API di archiviazione Hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims Hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Edera 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shim 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus annotazioni del gruppo di destinatari 0.13.0
org.apache.zookeeper guardiano dello zoo 3.6.3
org.apache.zookeeper guardiano dello zoo-juta 3.6.3
org.checkerframework verificatore qualità 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino Commons-Compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections (collezioni Eclipse) 11.1.0
org.eclipse.collections API delle collezioni di Eclipse (eclipse-collections-api) 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty continuazione di jetty 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty Jetty Plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty sicurezza del molo 9.4.52.v20230823
org.eclipse.jetty Jetty Server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty applicazione web di Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-all 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket-API 9.4.52.v20230823
org.eclipse.jetty.websocket cliente WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-comune 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-localizzatore 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 localizzatore di risorse OSGi 1.0.3
org.glassfish.hk2.external aopalliance-repackaged (riconfezionato) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (servlet del contenitore Jersey) 2.40
org.glassfish.jersey.containers modulo-nucleo-servlet-contenitore-jersey (if a translation is required as per the context) 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-comune 2.40
org.glassfish.jersey.core Jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator validatore di Hibernate 6.1.7.Versione finale
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging (strumento di registrazione per JBoss) 3.3.2.Finale
org.jdbi jdbi 2.63.1
org.jetbrains annotazioni 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Rondelle di regolazione 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfaccia di prova 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatibile con scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten treten-extra 1.7.1
org.cortanaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on