Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Annotazioni
Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.
Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 16.2, basate su Apache Spark 3.5.2.
Databricks ha rilasciato questa versione nel mese di febbraio 2025.
Modifiche comportamentali
ANALIZZA ignora ora le regole di confronto con tipi non supportati
ANALYZE TABLE non genera più un messaggio di errore quando viene eseguito in una tabella con tipi non supportati, ad esempio ARRAY o MAP. Le colonne non supportate vengono ora ignorate automaticamente. Gli utenti che hanno implementato la logica che prevede questi errori devono aggiornare il codice.
In Condivisione Delta la cronologia delle tabelle è abilitata per impostazione predefinita
Le condivisioni create con il comando SQL ALTER SHARE <share> ADD TABLE <table> ora hanno la condivisione della cronologia (WITH HISTORY) abilitata per impostazione predefinita. Vedi ALTER SHARE.
Le istruzioni SQL delle credenziali restituiscono un errore quando si verifica una mancata corrispondenza del tipo di credenziale
Con questa versione, se il tipo di credenziale specificato in un'istruzione SQL di gestione delle credenziali non corrisponde al tipo dell'argomento delle credenziali, viene restituito un errore e l'istruzione non viene eseguita. Ad esempio, per l'istruzione DROP STORAGE CREDENTIAL 'credential-name', se credential-name non è una credenziale di archiviazione, l'istruzione ha esito negativo con un errore.
Questa modifica viene apportata per evitare errori utente. In precedenza, queste istruzioni venivano eseguite correttamente, anche se è stata passata una credenziale che non corrisponde al tipo di credenziale specificato. Ad esempio, l'istruzione seguente elimina correttamente storage-credential: DROP SERVICE CREDENTIAL storage-credential.
Questa modifica influisce sulle dichiarazioni seguenti:
- DROP CREDENTIAL
- ALTER CREDENTIAL
- DESCRIBE CREDENTIAL
- GRANT… SU... CREDENZIALI
- REVOKE… SU... CREDENZIALI
- SHOW GRANTS SU... CREDENZIALE
Miglioramenti e nuove funzionalità
-
Creare applicazioni con stato personalizzate con
transformWithState - Eseguire l'autenticazione nell'archiviazione di oggetti cloud con le credenziali del servizio
- L'accesso regolamentato dal Unity Catalog ai servizi cloud esterni che usano le credenziali del servizio è ora disponibile per tutti
- I notebook sono supportati come file dell'area di lavoro
-
Usare le
timestampdiffespressioni di colonna etimestampaddnelle espressioni di colonna generate - Supporto per la sintassi della pipeline SQL
-
Effettuare una richiesta HTTP usando la
http_requestfunzione -
Aggiornare per
DESCRIBE TABLErestituire i metadati come JSON strutturato - Regole di confronto senza distinzione finale senza distinzione
- Convertire tabelle Apache Iceberg con partizionamento di bucket in tabelle Delta non partizionate
-
Il calcolo della modalità di accesso standard (in precedenza modalità di accesso condiviso) supporta ora i metodi
foreachSpark Scala ,foreachBatcheflatMapGroupsWithState
Creare applicazioni con stato personalizzate con transformWithState
È ora possibile usare transformWithState e le API correlate per implementare applicazioni con stato personalizzate come parte delle query structured streaming. Vedere Creare un'applicazione con stato personalizzata.
Eseguire l'autenticazione nell'archiviazione di oggetti cloud con le credenziali del servizio
È ora possibile usare le credenziali del servizio Databricks per eseguire l'autenticazione nell'archiviazione di oggetti cloud con il caricatore automatico. Vedere Configurare flussi del caricatore automatico in modalità di notifica file.
L'accesso regolamentato dal catalogo unity ai servizi cloud esterni che usano le credenziali del servizio è ora disponibile a livello generale
Le credenziali del servizio consentono l'autenticazione semplice e sicura con i servizi del tenant cloud di Azure Databricks. Con Databricks Runtime 16.2, le credenziali del servizio sono disponibili a livello generale e ora supportano gli SDK Scala, oltre all'SDK Python supportato nell'anteprima pubblica. Vedere Creare le credenziali del servizio.
I notebook sono supportati come file dell'area di lavoro
In Databricks Runtime 16.2 e versioni successive i notebook sono supportati come file dell'area di lavoro. È ora possibile interagire a livello di codice con i notebook da qualsiasi posizione in cui è disponibile il file system dell'area di lavoro, tra cui la scrittura, la lettura e l'eliminazione di notebook come qualsiasi altro file. Per altre informazioni, vedere Creare, aggiornare ed eliminare file ed directory a livello di codice.
Usare la timestampdiff & timestampadd nelle espressioni di colonna generate
In Databricks Runtime 16.2 e versioni successive è possibile usare le funzioni timestampdiff e timestampadd nelle espressioni di colonna generate da Delta Lake. Consulta Colonne generate da Delta Lake.
Supporto per la sintassi della pipeline SQL
In Databricks Runtime 16.2 e versioni successive è possibile comporre pipeline SQL. Una pipeline SQL struttura una query standard, ad esempio SELECT c2 FROM T WHERE c1 = 5, in una sequenza dettagliata, come illustrato nell'esempio seguente:
FROM T
|> SELECT c2
|> WHERE c1 = 5
Per informazioni sulla sintassi supportata per le pipeline SQL, vedere Sintassi delle pipeline SQL.
Per informazioni generali su questa estensione tra settori, vedere SQL presenta problemi. Possiamo correggerli: sintassi pipe in SQL (di Google Research).
Effettuare una richiesta HTTP usando la http_request funzione
In Databricks Runtime 16.2 e versioni successive è possibile creare connessioni HTTP e tramite di esse effettuare richieste HTTP usando la funzione http_request .
L'aggiornamento a DESCRIBE TABLE restituisce i metadati come JSON strutturato
In Databricks Runtime 16.2 e versioni successive è possibile usare il DESCRIBE TABLE AS JSON comando per restituire i metadati della tabella come documento JSON. L'output JSON è più strutturato del report leggibile predefinito e può essere usato per interpretare lo schema di una tabella a livello di codice. Per altre informazioni, vedere DESCRIBE TABLE AS JSON.
Collazioni insensibili agli spazi finali
Databricks Runtime 16.2 aggiunge il supporto per le regole di confronto senza distinzione finale, aggiungendo al supporto delle regole di confronto aggiunto in Databricks Runtime 16.1. Ad esempio, queste regole di confronto considerano 'Hello' e 'Hello ' come uguali. Per altre informazioni, vedere regole di confronto RTRIM.
Convertire tabelle Apache Iceberg con partizionamento di bucket in tabelle Delta non partizionate
Le CONVERT TO DELTA istruzioni e CREATE TABLE CLONE supportano ora la conversione di una tabella Apache Iceberg con il partizionamento di bucket in una tabella Delta non partizionata.
Il calcolo della modalità di accesso standard (in precedenza modalità di accesso condiviso) supporta ora i metodi foreachSpark Scala , foreachBatche flatMapGroupsWithState
In Databricks Runtime 16.2 e versioni successive, il calcolo della modalità di accesso standard supporta ora i metodi DataStreamWriter.foreachBatch Scala e KeyValueGroupedDataset.flatMapGroupsWithState. In Databricks Runtime 16.1 e versioni successive, il calcolo della modalità di accesso standard supporta ora il metodo DataStreamWriter.foreachScala .
Correzioni di bug
Miglioramento dell'elaborazione incrementale dei cloni
Questa versione include una correzione per un caso perimetrale in cui un CLONE incrementale potrebbe copiare nuovamente i file già copiati da una tabella di origine a una tabella di destinazione. Per ulteriori informazioni, vedi Clonare una tabella in Azure Databricks.
Aggiornamenti della libreria
- Librerie Python aggiornate:
- Librerie R aggiornate:
- Librerie Java aggiornate:
- org.json4s.json4s-ast_2.12 da 3.7.0-M11 a 4.0.7
- org.json4s.json4s-core_2.12 da 3.7.0-M11 a 4.0.7
- org.json4s.json4s-jackson_2.12 da 3.7.0-M11 a 4.0.7
- org.json4s.json4s-scalap_2.12 da 3.7.0-M11 a 4.0.7
Apache Spark
Databricks Runtime 16.2 include Apache Spark 3.5.2. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 16.1 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:
-
[SPARK-49966] Ripristinare "[SC-179501][sql] Usare
Invokeper implementareJsonToStructs(from_json)" - [SPARK-50904] [SC-186976][sql] Correzione dell'esecuzione di query di espressioni di confronto
- [SPARK-49666] [SQL] Abilitare i test di taglio per l'espressione InSet
- [SPARK-50669] [SC-184566][es-1327450][SQL] Modificare la firma di TimestampAdd expression
-
[SPARK-50795] [16.x][sc-186719][SQL] Archiviare il timestamp come
longtipo indescribeLinkedHashMap - [SPARK-50870] [SC-186950][sql] Aggiungere il fuso orario durante il cast al timestamp in V2ScanRelationPushDown
- [SPARK-50735] [SC-186944][connect] Errore in ExecuteResponseObserver genera richieste di ricollegamento infinite
- [SPARK-50522] [SC-186500][sql] Supporto per regole di confronto indeterminato
- [SPARK-50525] [SC-186058][sql] Definire la Regola dell'Ottimizzatore InsertMapSortInRepartitionExpressions
- [SPARK-50679] [SC-184572][sql] Le espressioni comuni duplicate in diverse con devono essere proiettate una sola volta
- [SPARK-50847] [SC-186916] [SQL] Impedire a ApplyCharTypePadding di applicarsi su espressioni In specifiche
- [SPARK-50714] [SC-186786][sql][SS] Abilitare l'evoluzione dello schema per TransformWithState quando viene usata la codifica Avro
-
[SPARK-50795] [SC-186390][sql] Visualizzare tutte le date DESCRIBE AS JSON in formato ISO-8601 come
dataType.simpleString - [SPARK-50561] [SC-185924][sql] Databricks Runtime 16.x cherrypick: Migliorare la coercizione dei tipi e il controllo dei limiti per la funzione UNIFORM SQL
-
[SPARK-50700] [SC-184845][sql]
spark.sql.catalog.spark_catalogsupportabuiltinil valore magic - [SPARK-50831] [SC-186736][sql] Abilitare le regole di confronto di taglio per impostazione predefinita
-
[SPARK-50263] [SC-186793][connect] Sostituire
System.currentTimeMillisconSystem.nanoTime - [SPARK-48730] [SC-184926][sql] Implementa CreateSQLFunctionCommand per funzioni scalari e tabelle SQL
- [SPARK-50830] [SC-186718] [SQL] Restituire un risultato a passaggio singolo come risultato dell'analisi a esecuzione doppia
- [SPARK-50707] [SC-186098][sql] Abilitare il cast a/from char/varchar
- [SPARK-49490] [SC-182137][sql] Aggiungere benchmark per initCap
-
[SPARK-50529] [SC-184535][sql] Modificare il comportamento char/varchar nella
spark.sql.preserveCharVarcharTypeInfoconfigurazione - [SPARK-49632] [SC-184179][sql] Rimuovere il suggerimento di configurazione ANSI in CANNOT_PARSE_TIMESTAMP
- [SPARK-50815] [SC-186487][python][SQL] Correzione del bug in cui il passaggio di varianti Null in createDataFrame causa l'esito negativo e l'aggiunta del supporto Variant in createDataFrame in Spark Connect
-
[SPARK-50828] [SC-186493][python][ML][connect] Deprecate
pyspark.ml.connect - [SPARK-50600] [SC-186057][connect][SQL] Imposta analizzato su errore di analisi
- [SPARK-50824] [SC-186472][python] Evitare di importare pacchetti Python facoltativi per il controllo
- [SPARK-50755] [SC-185521][sql] Visualizzazione del piano abbastanza per InsertIntoHiveTable
- [SPARK-50789] [SC-186312][connect] Gli input per le aggregazioni tipate devono essere analizzati
- [SPARK-50791] [SC-185867][sc-186338][SQL] Correggi NPE nella gestione degli errori del State Store
-
[SPARK-50801] [SC-186365] [SQL] Miglioramento
PlanLogger.logPlanResolutionin modo da visualizzare solo piani non risolti e risolti - [SPARK-50749] [SC-185925][sql] Correzione del bug di ordinamento nel metodo CommutativeExpression.gatherCommutative
- [SPARK-50783] [SC-186347] Canonicalize JVM profiler results name and layout on DFS
- [SPARK-50790] [SC-186354][python] Implementare json di analisi in pyspark
- [SPARK-50738] [SC-184856][python] Aggiornamento nero a 23.12.1
- [SPARK-50764] [SC-185930][python] Perfezionare la documentazione dei metodi correlati a xpath
-
[SPARK-50798] [SC-186277][sql] Migliorare
NormalizePlan - [SPARK-49883] [SC-183787][ss] Integrazione della struttura del checkpoint dell'archivio stati V2 con RocksDB e RocksDBFileManager
- [SPARK-50779] [SC-186062][sql] Aggiunta del flag di funzionalità per le regole di confronto a livello di oggetto
- [SPARK-50778] [SC-186183][python] Aggiungere metadataColumn a PySpark DataFrame
- [SPARK-49565] [SC-186056][sql] Databricks Runtime 16.x cherrypick: Migliorare gli alias di espressione generati automaticamente con operatori SQL pipe
- [SPARK-50541] [16.x][sc-184937] Descrivere la tabella come JSON
- [SPARK-50772] [SC-185923][sql] Cherrypick di Databricks Runtime 16.x: Conservare gli alias delle tabelle dopo gli operatori SET, EXTEND, DROP
- [SPARK-50769] [SC-185919][sql] Fix ClassCastException in HistogramNumeric
- [SPARK-49025] [SC-174667] Sincronizza differenze del codice Delta nel Databricks Runtime
- [SPARK-50752] [SC-185547][python][SQL] Introduc configs for tuning Python UDF without Arrow
-
[SPARK-50705] [SC-185944][sql] Rendere
QueryPlanprivo di blocchi - [SPARK-50690] [16.x][sc-184640][SQL] Correzione della discrepanza nella DESCRIBE TABLE visualizzazione delle colonne di output delle query tra virgolette
- [SPARK-50746] [SC-184932][sql] Sostituire con VariantPathSegment.
-
[SPARK-50715] [SC-185546][python][CONNECT]
SparkSession.Builderimposta le configurazioni in batch - [SPARK-50480] [SC-183359][sql] Estendere CharType e VarcharType da StringType
- [SPARK-50675] [SC-184539][sql] Supporto delle regole di confronto a livello di tabella e visualizzazione
-
[SPARK-50409] [SC-184516][sql] Correzione dell'istruzione set per ignorare
;alla fine diSET;SET -v;eSET key; - [SPARK-50743] [SC-185528][sql] Normalize CTERelationDef e CTERelationRelationRef ID
- [SPARK-50693] [SC-184684][connect] Gli input per TypedScalaUdf devono essere analizzati
- [SPARK-50744] [SC-184929][sql] Aggiungere un test case per la precedenza di risoluzione dei nomi view/CTE
- [SPARK-50710] [SC-184767][connect] Aggiungere il supporto per la riconnessione client facoltativa alle sessioni dopo il rilascio
- [SPARK-50703] [SC-184843][python] Perfezionare la documentazione di regexp_replace, regexp_substr e regexp_instr
-
[SPARK-50716] [SC-184823][core] Correggere la logica di pulizia per i collegamenti simbolici nel
JavaUtils.deleteRecursivelyUsingJavaIOmetodo - [SPARK-50630] [SC-184443][sql] Correzione GROUP BY del supporto ordinale per gli operatori SQL AGGREGATE pipe
- [SPARK-50614] [SC-184729][sql] Aggiungere il supporto per la frammentazione delle varianti per Parquet
- [SPARK-50661] [SASP-4936] Aggiungere la compatibilità con le versioni precedenti del client FEB.
-
[SPARK-50676] [SC-184641][sql] Rimuovi non usato
private lazy val mapValueContainsNulldaElementAt -
[SPARK-50515] [SC-183813][core] Aggiungere un'interfaccia di sola lettura a
SparkConf - [SPARK-50697] [SC-184702][sql] Abilitare la ricorsione della parte finale laddove possibile
- [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x] Correggi lo schema di stato per FlatMapGroupsWithState in Spark Connect quando non c'è uno stato iniziale
- [SPARK-50701] [SC-184704][python] Richiedere che l'uso di tracciati richieda la versione minima di plotly
- [SPARK-50702] [SC-184727][python] Perfezionare la documentazione di regexp_count, regexp_extract e regexp_extract_all
- [SPARK-50499] [SC-184177][python] Esporre le metriche da BasePythonRunner
- [SPARK-50692] [SC-184705][16.x] Aggiungere il supporto per il pushdown RPAD
- [SPARK-50682] [SC-184579][sql] L'alias interno deve essere canonizzato
- [SPARK-50699] [SC-184695][python] Analizzare e generare una stringa DDL con una sessione specificata
- [SPARK-50573] [SC-184568][ss] Aggiunta dell'ID dello schema di stato alle righe di stato all'evoluzione dello schema
- [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Correzione di Spark Connect Scala foreachBatch impl. per supportare Dataset[T].
- [SPARK-50689] [SC-184591][sql] Applicare l'ordinamento deterministico negli elenchi di progetti LCA
- [SPARK-50696] [SC-184667][python] Ottimizzare la chiamata Py4J per il metodo di analisi DDL
- [SPARK-49670] [SC-182902][sql] Abilitare le regole di confronto trim per tutte le espressioni pass-through
-
[SPARK-50673] [SC-184565][ml] Evitare di attraversare i coefficienti del modello due volte nel
Word2VecModelcostruttore - [SPARK-50687] [SC-184588][python] Ottimizzare la logica per ottenere le analisi dello stack per DataFrameQueryContext
- [SPARK-50681] [SC-184662][python][CONNECT] Memorizzare nella cache lo schema analizzato per MapInXXX e ApplyInXXX
- [SPARK-50674] [SC-184589][python] Correzione dell'esistenza del metodo 'terminate' nella valutazione UDTF
- [SPARK-50684] [SC-184582][python] Migliorare le prestazioni di Py4J in DataFrameQueryContext
- [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Aggiunta del supporto per la nuova versione dei metadati di stato per TransformWithStateInPandas
- [SPARK-50602] [SC-184439][sql] Correzione della trasposizione per visualizzare un messaggio di errore corretto quando vengono specificate colonne di indice non valide
- [SPARK-50650] [SC-184532][sql] Migliorare la registrazione in analizzatore a pass singolo
- [SPARK-50665] [SC-184533][sql] Sostituire LocalRelation con ComparableLocalRelation in NormalizePlan
- [SPARK-50644] [SC-184486][sql] Read variant struct nel lettore Parquet.
- [SPARK-49636] [SC-184089][sql] Rimuovere il suggerimento di configurazione ANSI in INVALID_ARRAY_INDEX e INVALID_ARRAY_INDEX_IN_ELEMENT_AT
- [SPARK-50659] [SC-184514][sql] Refactoring Union output computation out per riutilizzarlo nell'analizzatore a pass singolo
- [SPARK-50659] [SC-184512][sql] Spostare gli errori correlati all'unione in QueryCompilationErrors
- [SPARK-50530] [SC-183419][sql] Correzione del calcolo del contesto del contesto di tipo stringa implicito non valido
- [SPARK-50546] [SC-183807][sql] Aggiungere il supporto del cast di sottoquery alla coercizione dei tipi di regole di confronto
- [SPARK-50405] [SC-182889][sql] Gestire correttamente la coercizione dei tipi di regole di confronto di tipi di dati complessi
- [SPARK-50637] [SC-184434][sql] Correzione dello stile di codice per l'analizzatore a pass singolo
- [SPARK-50638] [SC-184435][sql] Effettuare il refactoring della risoluzione della visualizzazione nel file separato per riutilizzarlo nell'analizzatore a passaggio singolo
- [SPARK-50615] [SC-184298][sql] Eseguire il push della variante nell'analisi.
- [SPARK-50619] [SC-184210][sql] Refactor VariantGet.cast per comprimere gli argomenti cast
- [SPARK-50599] [SC-184058][sql] Creare il tratto DataEncoder che consente la codifica Avro e UnsafeRow
- [SPARK-50076] [SC-183809] Correzione delle chiavi di logkey
- [SPARK-50597] [SC-183972][sql] Refactoring della costruzione batch in Optimizer.scala e SparkOptimizer.scala
- [SPARK-50339] [SC-183063][spark-50360][SS] Abilitare il log delle modifiche per archiviare le informazioni di derivazione
- [SPARK-50526] [SC-183811][ss] Aggiungere il formato di codifica dell'archivio in log offset e bloccare gli operatori senza stato supportati dall'uso di avro
- [SPARK-50540] [SC-183810][python][SS] Correzione dello schema stringa per StatefulProcessorHandle
- [SPARK-50157] [SC-183789][sql] Uso di SQLConf fornito prima da SparkSession.
- [SPARK-48898] [SC-183793][sql] Impostare correttamente i valori Null nello schema Variant
- [SPARK-50559] [SC-183814][sql] Memorizza le uscite di Except, Intersect e Union come valori lazy
- [SPARK-48416] [SC-183643][sql] Supporto annidato correlato con l'espressione
- [SPARK-50428] [SC-183566][ss][PYTHON] Supporto di TransformWithStateInPandas nelle query batch
- [SPARK-50063] [SC-183350][sql][CONNECT] Aggiungere il supporto per Variant nel client Spark Connect Scala
-
[SPARK-50544] [SC-183569][python][CONNECT] Implementa
StructType.toDDL - [SPARK-50443] [SC-182590][ss] Correzione degli errori di compilazione Maven introdotti dalla cache Guava in RocksDBStateStoreProvider
- [SPARK-50491] [SC-183434][sql] Correzione del bug in cui i blocchi BEGIN END vuoti generano un errore
-
[SPARK-50536] [SC-183443][core] Dimensioni dei file di archivio scaricate in
SparkContexteExecutor - [SPARK-45891] [SC-183439][sql] Ricompilare il file binario variant da dati shredded.
- [SPARK-49565] [SC-183465][sql] Aggiungere la sintassi della pipe SQL per l'operatore FROM
- [SPARK-50497] [SC-183338][sql] Eseguire query con un messaggio corretto se MultiAlias contiene una funzione non generatore
- [SPARK-50460] [SC-183375][python][CONNECT] Generalizzare e semplificare la gestione delle eccezioni connect
-
[SPARK-50537] [SC-183452][connect][PYTHON] Correzione dell'opzione di compressione sovrascritta in
df.write.parquet - [SPARK-50329] [SC-183358][sql] correggere InSet$toString
-
[SPARK-50524] [SC-183364][sql] Messaggio di avviso inferiore
RowBasedKeyValueBatch.spillal livello di debug -
[SPARK-50528] [SC-183385][connect] Passare
InvalidCommandInputal modulo comune - [SPARK-50017] [SC-182438][ss] Supporta la codifica Avro per l'operatore TransformWithState
-
[SPARK-50463] [SC-182833][sql] Correzione
ConstantColumnVectordella conversione da columnar a riga - [SPARK-50235] [SC-180786][sql] Pulire la risorsa ColumnVector dopo l'elaborazione di tutte le righe in ColumnarToRowExec
- [SPARK-50516] [SC-183279][ss][MINOR] Correzione dello stato init correlato al test per l'uso di StreamManualClock
- [SPARK-50478] [SC-183188][sql] Correzione della corrispondenza stringType
- [SPARK-50492] [SC-183177][ss] Correzione di java.util.NoSuchElementException quando la colonna dell'ora dell'evento viene eliminata dopo dropDuplicatesWithinWatermark
- [SPARK-49566] [SC-182589][sql] Aggiungere la sintassi della pipe SQL per l'operatore SET
- [SPARK-50449] [SC-183178][sql] Correzione della grammatica di scripting SQL che consente corpi vuoti per cicli, IF e CASE
-
[SPARK-50251] [SC-180970][python] Aggiungere
getSystemPropertya PySparkSparkContext - [SPARK-50421] [SC-183091][core] Correzione errata della configurazione della memoria correlata all'executor quando funzionano più profili di risorsa
- [SPARK-49461] [SC-179572][ss] ID checkpoint persistente per il commit dei log e leggerlo nuovamente
- [SPARK-50343] [SC-183119][spark-50344][SQL] Aggiungere la sintassi della pipe SQL per gli operatori DROP e AS
-
[SPARK-50481] [SC-182880][core] Miglioramento
SortShuffleManager.unregisterShuffleper ignorare la logica del file checksum se il checksum è disabilitato -
[SPARK-50498] [SC-183090][python] Evitare chiamate py4j non necessarie in
listFunctions -
[SPARK-50489] [SC-183053][sql][PYTHON] Correzione del self-join dopo
applyInArrow - [SPARK-49695] [SC-182967][sc-176968][SQL] Correzione xor di Postgres push-down
Supporto del driver ODBC/JDBC di Databricks
Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).
Aggiornamenti della manutenzione
Vedere Aggiornamenti della manutenzione di Databricks Runtime 16.2.
Ambiente di sistema
-
Sistema operativo: Ubuntu 24.04.1 LTS
- Nota: questa è la versione ubuntu usata dai contenitori di Databricks Runtime. I contenitori di Databricks Runtime vengono eseguiti nelle macchine virtuali del provider di servizi cloud, che potrebbero usare una versione ubuntu diversa o una distribuzione Linux diversa.
- Java: Zulu17.54+21-CA
- Scala: 2.12.15
- python: 3.12.3
- R: 4.4.0
- Delta Lake: 3.3.0
Librerie Python installate
| Libreria | Versione | Libreria | Versione | Libreria | Versione |
|---|---|---|---|---|---|
| tipi annotati | 0.7.0 | asttoken | 2.0.5 | astunparse | 1.6.3 |
| comando automatico | 2.2.2 | azure-core | 1.31.0 | Azure Storage Blob | 12.23.0 |
| file di archiviazione Azure Data Lake | 12.17.0 | backports.tarfile | 1.2.0 | nero | 24.4.2 |
| indicatore di direzione | 1.7.0 | boto3 | 1.34.69 | botocore | 1.34.69 |
| cachetools (strumento per la gestione della cache) | 5.3.3 | certificato | 2024.6.2 | cffi | 1.16.0 |
| chardet | 4.0.0 | normalizzatore di set di caratteri | 2.0.4 | clic | 8.1.7 |
| cloudpickle (libreria Python per la serializzazione degli oggetti) | 2.2.1 | Comm | 0.2.1 | contourpy | 1.2.0 |
| criptografia | 42.0.5 | ciclista | 0.11.0 | Cython, un linguaggio di programmazione | 3.0.11 |
| Databricks SDK | 0.30.0 | dbus-python | 1.3.2 | debugpy | 1.6.7 |
| Decoratore | 5.1.1 | Deprecated | 1.2.14 | distlib | 0.3.8 |
| Conversione da docstring a markdown | 0.11 | punti di ingresso | 0.4 | eseguendo | 0.8.3 |
| panoramica-delle-facce | 1.1.1 | blocco dei file | 3.15.4 | fonttools (strumenti per caratteri) | 4.51.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth (autenticazione Google) | 2.35.0 | google-cloud-core | 2.4.1 | archiviazione su Google Cloud | 2.18.2 |
| google-crc32c | 1.6.0 | google-resumable-media (media riprendibile di Google) | 2.7.2 | googleapis-common-protos | 1.65.0 |
| grpcio | 1.60.0 | grpcio-status | 1.60.0 | httplib2 | 0.20.4 |
| IDNA | 3.7 | importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 |
| flettere | 7.3.1 | ipyflow-core | 0.0.201 | ipykernel | 6.28.0 |
| ipython | 8.25.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jedi | 0.19.1 | jmespath | 1.0.1 |
| joblib | 1.4.2 | jupyter_client | 8.6.0 | jupyter_core | 5.7.2 |
| kiwisolver | 1.4.4 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
| Mccabe | 0.7.0 | mlflow versione leggera | 2.15.1 | more-itertools | 10.3.0 |
| mypy | 1.10.0 | mypy-extensions | 1.0.0 | nest-asyncio | 1.6.0 |
| nodeenv | 1.9.1 | numpy | 1.26.4 | oauthlib | 3.2.2 |
| opentelemetry-api | 1.27.0 | opentelemetry-sdk | 1.27.0 | opentelemetry-semantic-conventions | 0.48b0 |
| imballaggio | 24.1 | Panda | 1.5.3 | parso | 0.8.3 |
| pathspec | 0.10.3 | vittima | 0.5.6 | pexpect | 4.8.0 |
| guanciale | 10.3.0 | seme | 24.2 | platformdirs | 3.10.0 |
| plotly (software di visualizzazione dati) | 5.22.0 | Pluggy | 1.0.0 | prompt-toolkit | 3.0.43 |
| proto-plus | 1.24.0 | protobuf | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 15.0.2 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pyccolo | 0.0.65 | pycparser (un parser scritto in Python) | 2.21 | pydantic | 2.8.2 |
| pydantic_core | 2.20.1 | pyflakes | 3.2.0 | Pygments | 2.15.1 |
| PyGObject | 3.48.2 | PyJWT | 2.7.0 | pyodbc | 5.0.1 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | python-dateutil (libreria Python per la gestione delle date) | 2.9.0.post0 |
| python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.10.0 | pytoolconfig | 1.2.6 |
| pytz | 2024.1 | PyYAML | 6.0.1 | pyzmq | 25.1.2 |
| richieste | 2.32.2 | corda | 1.12.0 | RSA | 4.9 |
| s3transfer | 0.10.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
| Seaborn | 0.13.2 | setuptools (pacchetto Python per gestire la configurazione e la distribuzione) | 74.0.0 | sei | 1.16.0 |
| smmap | 5.0.0 | sqlparse | 0.5.1 | ssh-import-id (comando per l'importazione di chiavi SSH) | 5.11 |
| dati dello stack | 0.2.0 | statsmodels | 0.14.2 | tenacia | 8.2.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.4.1 | traitlets (una libreria per la configurazione dei parametri nei programmi Python) | 5.14.3 | typeguard | 4.3.0 |
| types-protobuf | 3.20.3 | types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 |
| types-PyYAML | 6.0.0 | richieste di tipi | 2.31.0.0 | types-setuptools | 68.0.0.0 |
| tipi-sei | 1.16.0 | types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 |
| ujson (una libreria per la gestione di JSON in Python) | 5.10.0 | aggiornamenti automatici | 0,1 | urllib3 | 1.26.16 |
| virtualenv | 20.26.2 | wadllib | 1.3.6 | wcwidth (funzione per determinare la larghezza dei caratteri) | 0.2.5 |
| Che cosa è la patch | 1.0.2 | ruota | 0.43.0 | rapito | 1.14.1 |
| yapf | 0.33.0 | Zipp | 3.17.0 |
Librerie R installate
Le librerie R vengono installate dallo snapshot CRAN di Gestione pacchetti Posit nel 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.
| Libreria | Versione | Libreria | Versione | Libreria | Versione |
|---|---|---|---|---|---|
| freccia | 16.1.0 | askpass | 1.2.0 | assertthat | 0.2.1 |
| backport | 1.5.0 | base | 4.4.0 | base64enc | 0.1-3 |
| bigD | 0.2.0 | bit | 4.0.5 | bit64 | 4.0.5 |
| bitops | 1.0-8 | Blob | 1.2.4 | stivale | 1.3-30 |
| fermentare | 1.0-10 | Brio | 1.1.5 | scopa | 1.0.6 |
| bslib | 0.8.0 | cachem | 1.1.0 | chiamante | 3.7.6 |
| Cursore | 6.0-94 | cellranger | 1.1.0 | Chron | 2.3-61 |
| classe | 7.3-22 | Cli | 3.6.3 | Clipr | 0.8.0 |
| orologio | 0.7.1 | grappolo | 2.1.6 | codetools | 0.2-20 |
| spazio colori | 2.1-1 | segno comune | 1.9.1 | compilatore | 4.4.0 |
| config | 0.3.2 | Conflitto | 1.2.0 | cpp11 | 0.4.7 |
| pastello | 1.5.3 | credentials | 2.0.1 | ricciolo | 5.2.1 |
| data.table | 1.15.4 | insiemi di dati | 4.4.0 | DBI | 1.2.3 |
| dbplyr | 2.5.0 | Desc | 1.4.3 | devtools | 2.4.5 |
| diagramma | 1.6.5 | diffobj | 0.3.5 | digerire | 0.6.36 |
| downlit | 0.4.4 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-14 | ellissi | 0.3.2 | valutare | 0.24.0 |
| fani | 1.0.6 | farver | 2.1.2 | fastmap | 1.2.0 |
| fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
| straniero | 0.8-86 | forgiare | 0.2.0 | fs | 1.6.4 |
| futuro | 1.34.0 | future.apply | 1.11.2 | gargarizzare | 1.5.2 |
| Generics | 0.1.3 | Gert | 2.1.0 | ggplot2 | 3.5.1 |
| Gh | 1.4.1 | git2r | 0.33.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-8 | globals | 0.16.3 | colla | 1.7.0 |
| googledrive | 2.1.1 | Googlesheets4 | 1.1.1 | Gower | 1.0.1 |
| grafica | 4.4.0 | grDevices | 4.4.0 | griglia | 4.4.0 |
| gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.11.0 |
| gtable | 0.3.5 | hardhat | 1.4.0 | porto | 2.5.4 |
| highr | 0.11 | Hms | 1.1.3 | htmltools | 0.5.8.1 |
| htmlwidgets | 1.6.4 | httpuv | 1.6.15 | httr | 1.4.7 |
| httr2 | 1.0.2 | Id | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-15 | isoband | 0.2.7 | Iteratori | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.8 | juicyjuice | 0.1.0 |
| KernSmooth | 2.23-22 | magliare | 1.48 | etichettatura | 0.4.3 |
| Dopo | 1.3.2 | traliccio | 0.22-5 | lava | 1.8.0 |
| ciclo di vita | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
| magrittr | 2.0.3 | Markdown | 1.13 | Un sacco | 7.3-60.0.1 |
| Matrice | 1.6-5 | memoise | 2.0.1 | metodi | 4.4.0 |
| mgcv | 1.9-1 | mimo | 0.12 | miniUI | 0.1.1.1 |
| mlflow | 2.14.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.1 | nlme | 3.1-165 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.2.0 | parallelo | 4.4.0 |
| parallelamente | 1.38.0 | pilastro | 1.9.0 | pkgbuild | 1.4.4 |
| pkgconfig | 2.0.3 | pkgdown | 2.1.0 | pkgload | 1.4.0 |
| plogr | 0.2.0 | plyr | 1.8.9 | lodare | 1.0.0 |
| prettyunits | 1.2.0 | Proc | 1.18.5 | processx | 3.8.4 |
| prodlim | 2024.06.25 | profvis | 0.3.8 | progresso | 1.2.3 |
| progressr | 0.14.0 | Promesse | 1.3.0 | proto | 1.0.0 |
| procura | 0.4-27 | Ps | 1.7.7 | purrr | 1.0.2 |
| R6 | 2.5.1 | ragg | 1.3.2 | randomForest | 4.7-1.1 |
| rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.13 | RcppEigen | 0.3.4.0.0 | reagibile | 0.4.4 |
| reactR | 0.6.0 | readr | 2.1.5 | readxl | 1.4.3 |
| Ricette | 1.1.0 | rivincita | 2.0.0 | rematch2 | 2.1.2 |
| Telecomandi | 2.5.0 | reprex | 2.1.1 | reshape2 | 1.4.4 |
| rlang | 1.1.4 | rmarkdown | 2.27 | RODBC | 1.3-23 |
| roxygen2 | 7.3.2 | rpart | 4.1.23 | rprojroot | 2.0.4 |
| Rserve | 1.8-13 | RSQLite | 2.3.7 | rstudioapi | 0.16.0 |
| rversions | 2.1.2 | rvest | 1.0.4 | Sass | 0.4.9 |
| bilancia | 1.3.0 | selettore | 0.4-2 | sessioninfo | 1.2.2 |
| forma | 1.4.6.1 | lucido | 1.9.1 | sourcetools | 0.1.7-1 |
| sparklyr | 1.8.6 | SparkR | 3.5.2 | spaziale | 7.3-17 |
| Spline | 4.4.0 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| Statistiche | 4.4.0 | stats4 | 4.4.0 | stringi | 1.8.4 |
| stringr | 1.5.1 | sopravvivenza | 3.6-4 | spavalderia | 5.17.14.1 |
| sys | 3.4.2 | systemfonts | 1.1.0 | tcltk | 4.4.0 |
| testatat | 3.2.1.1 | textshaping | 0.4.0 | tibble | 3.2.1 |
| tidyr | 1.3.1 | tidyselect | 1.2.1 | tidyverse | 2.0.0 |
| cambio di tempo | 0.3.0 | timeDate | 4032.109 | tinytex | 0.52 |
| utensileria | 4.4.0 | tzdb | 0.4.0 | urlchecker | 1.0.1 |
| usethis | 3.0.0 | utf8 | 1.2.4 | utilità | 4.4.0 |
| uuid | 1.2-1 | V8 | 4.4.2 | vctrs | 0.6.5 |
| viridisLite | 0.4.2 | Vroom | 1.6.5 | Waldo | 0.5.2 |
| baffo | 0.4.1 | withr | 3.0.1 | xfun | 0.46 |
| xml2 | 1.3.6 | xopen | 1.0.1 | xtable | 1.8-4 |
| yaml | 2.3.10 | zeallot | 0.1.0 | zip | 2.3.1 |
Librerie Java e Scala installate (versione del cluster Scala 2.12)
| ID del gruppo | ID dell'artefatto | Versione |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-distribuisci-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.638 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.638 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.638 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.638 |
| com.amazonaws | aws-java-sdk-config | 1.12.638 |
| com.amazonaws | aws-java-sdk-core | 1.12.638 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.638 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.638 |
| com.amazonaws | aws-java-sdk-directory | 1.12.638 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.638 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.638 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.638 |
| com.amazonaws | aws-java-sdk-efs | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.638 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.638 |
| com.amazonaws | aws-java-sdk-emr | 1.12.638 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.638 |
| com.amazonaws | aws-java-sdk-glue | 1.12.638 |
| com.amazonaws | aws-java-sdk-iam | 1.12.638 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.638 |
| com.amazonaws | aws-java-sdk-consultas | 1.12.638 |
| com.amazonaws | aws-java-sdk-kms | 1.12.638 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.638 |
| com.amazonaws | aws-java-sdk-logs | 1.12.638 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.638 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.638 |
| com.amazonaws | aws-java-sdk-rds | 1.12.638 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.638 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.638 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.638 |
| com.amazonaws | aws-java-sdk-ses | 1.12.638 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.638 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.638 |
| com.amazonaws | aws-java-sdk-sns | 1.12.638 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.638 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.638 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.638 |
| com.amazonaws | aws-java-sdk-sts | 1.12.638 |
| com.amazonaws | aws-java-sdk-support | 1.12.638 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.638 |
| com.amazonaws | jmespath-java | 1.12.638 |
| com.clearspring.analytics | corrente | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.27.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.mdfsoftware | kryo-shaded | 4.0.2 |
| com.mdfsoftware | minlog | 1.3.0 |
| com.fasterxml | compagno di classe | 1.3.4 |
| com.fasterxml.jackson.core | annotazioni jackson | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeina | caffeina | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 nativi |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 nativi |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 nativi |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1 nativi |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | Tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 26/05/2023 |
| com.google.guava | guaiava | 15.0 |
| com.google.protobuf | protobuf-java | 3.25.1 |
| com.helger | Profiler | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.3.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocità | univocità-parser | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1,5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.sdk.netlib | arpack | 3.0.3 |
| dev.sdk.netlib | Blas | 3.0.3 |
| dev.sdk.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.27 |
| io.delta | delta-sharing-client_2.12 | 1.2.2 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.108.Final |
| io.netty | netty-buffer | 4.1.108.Final |
| io.netty | netty-codec | 4.1.108.Final |
| io.netty | netty-codec-http | 4.1.108.Final |
| io.netty | netty-codec-http2 | 4.1.108.Final |
| io.netty | netty-codec-socks | 4.1.108.Final |
| io.netty | netty-common | 4.1.108.Final |
| io.netty | netty-handler | 4.1.108.Final |
| io.netty | netty-handler-proxy | 4.1.108.Final |
| io.netty | netty-resolver | 4.1.108.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.108.Final |
| io.netty | netty-transport-classes-epoll | 4.1.108.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.108.Final |
| io.netty | netty-transport-native-epoll | 4.1.108.Final |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-riscv64 |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.108.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | collettore | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | attivazione | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | sottaceto | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formica | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | ant launcher | 1.10.11 |
| org.apache.arrow | formato freccia | 15.0.0 |
| org.apache.arrow | arrow-memory-core | 15.0.0 |
| org.apache.arrow | arrow-memory-netty | 15.0.0 |
| org.apache.arrow | freccia-vettore | 15.0.0 |
| org.apache.avro | avro | 1.11.3 |
| org.apache.avro | avro-ipc | 1.11.3 |
| org.apache.avro | avro-mapred | 1.11.3 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curatore-cliente | 2.13.0 |
| org.apache.curator | curatore-framework | 2.13.0 |
| org.apache.curator | ricette curatori | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | Edera | 2.5.2 |
| org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
| org.apache.logging.log4j | log4j-api | 2.22.1 |
| org.apache.logging.log4j | log4j-core | 2.22.1 |
| org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-shim | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | annotazioni del gruppo di destinatari | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.9.2 |
| org.apache.zookeeper | zookeeper-jute | 3.9.2 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.collections | eclipse-collections | 11.1.0 |
| org.eclipse.collections | eclipse-collections-api | 11.1.0 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | cliente WebSocket | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | maglia-comune | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | Annotazioni | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 4.0.7 |
| org.json4s | json4s-core_2.12 | 4.0.7 |
| org.json4s | json4s-jackson-core_2.12 | 4.0.7 |
| org.json4s | json4s-jackson_2.12 | 4.0.7 |
| org.json4s | json4s-scalap_2.12 | 4.0.7 |
| org.lz4 | lz4-java | 1.8.0-databricks-1 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
| org.roaringbitmap | Spessori | 0.9.45-databricks |
| org.rocksdb | rocksdbjni | 9.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.9.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.16 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | compatibile con scalatest | 3.2.16 |
| org.scalatest | scalatest-core_2.12 | 3.2.16 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.16 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.16 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.16 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.16 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.16 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.16 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.16 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.16 |
| org.scalatest | scalatest_2.12 | 3.2.16 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | treten-extra | 1.7.1 |
| org.cortanaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1,5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 2.4.1-linux-x86_64 |
| stax | stax-api | 1.0.1 |