Databricks Runtime 14.2

  • Articolo

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 14.2, basate su Apache Spark 3.5.0.

Databricks ha rilasciato queste immagini nel novembre 2023.

Miglioramenti e nuove funzionalità

CACHE SELECT viene ora ignorato

Il comando CACHE SELECT SQL viene ora ignorato a favore di un algoritmo di memorizzazione nella cache migliorato. Vedere Ottimizzare le prestazioni con la memorizzazione nella cache in Azure Databricks.

Correzione della gestione dei file danneggiati nei comandi DML

I comandi DELETEDML , UPDATEe MERGE INTO non rispettano più le opzioni ignoreCorruptFiles di lettura e ignoreMissingFiles. Quando si verifica un file illeggibile in una tabella, questi comandi ora hanno esito negativo anche se queste opzioni sono specificate.

È ora possibile usare le from_avrofunzioni , to_avro, from_protobufe to_protobuf Python con il Registro schemi nei cluster condivisi.

foreachBatch e StreamingListener supporto

È ora possibile usare le foreachBatch() API e StreamingListener con Structured Streaming nei cluster condivisi. Vedere Usare foreachBatch per scrivere in sink di dati arbitrari e monitorare query structured streaming in Azure Databricks.

La concorrenza a livello di riga è disponibile a livello generale e attiva per impostazione predefinita

La concorrenza a livello di riga riduce i conflitti tra le operazioni di scrittura simultanee rilevando le modifiche a livello di riga. La concorrenza a livello di riga è supportata solo nelle tabelle senza partizionamento, incluse le tabelle con clustering liquido. La concorrenza a livello di riga è abilitata per impostazione predefinita nelle tabelle Delta con vettori di eliminazione abilitati. Vedere Conflitti di scrittura con concorrenza a livello di riga.

Condivisione differenziale: i destinatari possono eseguire query batch, CDF e di streaming su tabelle condivise con vettori di eliminazione (anteprima pubblica)

I destinatari della condivisione differenziale possono ora eseguire query batch, CDF e di streaming su tabelle condivise che usano vettori di eliminazione. In Databricks Runtime 14.1 possono eseguire solo query batch. Vedere Aggiungere tabelle con vettori di eliminazione o mapping di colonne a una condivisione, Leggere tabelle con vettori di eliminazione o mapping di colonne abilitati e Leggere tabelle con vettori di eliminazione o mapping di colonne abilitati.

Clone superficiale per le tabelle esterne del catalogo Unity (anteprima pubblica)

È ora possibile usare clone superficiale con tabelle esterne del catalogo unity. Vedere Clone superficiale per le tabelle del catalogo Unity.

Nuovo algoritmo di assegnazione della memorizzazione nella cache dei dischi

L'utilità di pianificazione Spark usa ora un nuovo algoritmo di memorizzazione nella cache del disco. L'algoritmo migliora l'utilizzo del disco e l'assegnazione della partizione tra i nodi, con un'assegnazione più veloce sia inizialmente che dopo gli eventi di ridimensionamento del cluster. L'assegnazione della cache più permanente migliora la coerenza tra le esecuzioni e riduce lo spostamento dei dati durante le operazioni di ribilanciamento.

from_avro con il connettore del Registro di sistema dello schema aggiunge il supporto per l'evoluzione dello schema

È ora possibile abilitare il riavvio delle pipeline quando vengono rilevati record evoluti. In precedenza, se l'evoluzione dello schema si verificava con il from_avro connettore, le nuove colonne restituivano null. Vedere Leggere e scrivere dati Avro in streaming.

Raccolta di statistiche multithread più veloce

La raccolta di statistiche è fino a 10 volte più veloce in cluster di piccole dimensioni durante l'esecuzione di CONVERT TO DELTA o clonazione da tabelle Iceberg e Parquet. Vedere Convertire in tabelle Delta Lake e Clone Parquet e Iceberg.

Filtri pushdown nei file DeltaSource su Delta

Per un utilizzo migliore, i filtri di partizione per le query di streaming delle tabelle Delta vengono ora inseriti in Delta prima della limitazione della frequenza.

Supporto per le funzioni scalari definite dall'utente nei cluster condivisi (anteprima pubblica)

È ora possibile usare funzioni scalari definite dall'utente nei cluster abilitati per il catalogo Unity configurati con la modalità di accesso condiviso. Vedere Funzioni scalari definite dall'utente - Scala.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • fastjsonschema da 2.18.0 a 2.19.0
    • filelock da 3.12.3 a 3.12.4
    • googleapis-common-protos da 1.60.0 a 1.61.0
  • Librerie R aggiornate:
  • Librerie Java aggiornate:

Apache Spark

Databricks Runtime 14.2 include Apache Spark 3.5.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 14.1, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-45592] [DBRRM-624] Ripristinare il problema di correzione "[SC-146977][SQL] Correzione in AQE con InMemoryTableScanExec"
  • [SPARK-45524] [DBRRM-625] Ripristinare "[SC-146319][PYTHON][SQL] Supporto iniziale f...
  • [SPARK-45433] [DBRRM-621] Ripristinare "[SC-145163][SQL] Correzione dell'inferenza dello schema CSV/JSON...
  • [SPARK-45592] [SC-146977] [SQL] Problema di correttezza in AQE con InMemoryTableScanExec
  • [SPARK-45354] Ripristinare "[SC-143991][SQL] Risolvere le funzioni in basso"
  • [SPARK-45680] [SOLO TEST] [SASP-2347] [CONNECT] Correzione dei test
  • [SPARK-45680] [CONNECT] Sessione di rilascio
  • [SPARK-43380] [SC-146726] [ES-897115] [SQL] Correzione del rallentamento in Avro read
  • [SPARK-45649] [SC-146742] [SQL] Unificare il framework di preparazione per OffsetWindowFunctionFrame
  • [SPARK-40820] [SC-146727] [PYTHON] [SQL] Creazione di StructType da Json
  • [SPARK-45620] [SC-146225] [PYTHON] Correzione delle API rivolte all'utente correlate a Python UDTF per l'uso di camelCase
  • [SPARK-45727] [SC-146978] [SS] Rimuovere la mappa inutilizzata nella simulazione della propagazione della filigrana
  • [SPARK-45723] [SC-146890] [PYTHON] [CONNECT] I metodi di catalogo evitano la conversione pandas
  • [SPARK-45574] [SC-146106] [SQL] Aggiungere :: sintassi come sintassi abbreviata per il cast
  • [SPARK-45670] [SC-146725] [CORE] [3.5] SparkSubmit non supporta --total-executor-cores la distribuzione in K8s
  • [SPARK-45661] [SC-146594] [SQL] [PYTHON] Aggiungere toNullable in StructType, MapType e ArrayType
  • [SPARK-45524] [SC-146319] [PYTHON] [SQL] Supporto iniziale per l'API di lettura dell'origine dati Python
  • [SPARK-45542] [SC-145892] [CORE] Sostituire setSafeMode(HdfsConstants.SafeModeAction, boolean) con setSafeMode(SafeModeAction, boolean)
  • [SPARK-45652] [SC-146641] [SQL] SPJ: Gestire le partizioni di input vuote dopo il filtro dinamico
  • [SPARK-45454] [SC-144846] [SQL] Impostare il proprietario predefinito della tabella su current_user
  • [SPARK-45554] [SC-146875] [PYTHON] Introdurre un parametro flessibile a assertSchemaEqual
  • [SPARK-45242] [SC-143410] [SQL] Usare l'ID dataframe per convalidare semanticamente CollectMetrics
  • [SPARK-45674] [SC-146862] [CONNECT] [PYTHON] Migliorare il messaggio di errore per gli attributi dipendenti da JVM in Spark Connessione.
  • [SPARK-45646] [SC-146276] [SQL] Rimuovere le variabili temporali di hardcoding prima di Hive 2.0
  • [SPARK-43380] [SC-146726] [ES-897115] [SQL] Correzione del rallentamento in Avro read
  • [SPARK-45545] [SC-146484] [CORE] Passare SSLOptions ovunque si crei un oggetto SparkTransportConf
  • [SPARK-45641] [SC-146260] [interfaccia utente] Visualizzare l'ora di inizio dell'applicazione in AllJobsPage
  • [SPARK-40154] [SC-146491] [Python] [Docs] Correggere il livello di archiviazione in Dataframe.cache docstring
  • [SPARK-45626] [SC-146259] [SQL] Convertire _LEGACY_ERROR_TEMP_1055 in REQUIRES_SINGLE_PART_NAMESPACE
  • [SPARK-45507] [SC-145900] [SQL] Correzione della correttezza per le sottoquery scalari correlate annidate con le aggregazioni COUNT
  • [SPARK-45619] [SC-146226] [CONNECT] [PYTHON] Applicare le metriche osservate all'oggetto Osservazione
  • [SPARK-45588] [SC-145909] [PROTOBUF] [CONNECT] [MINOR] Miglioramento scaladoc per StreamingForeachBatchHelper
  • [SPARK-45616] [SC-146120] [CORE] Evitare ParVector, che non propaga ThreadLocals o SparkSession
  • [SPARK-45604] [SC-146105] [SQL] Aggiungere il controllo LogicalType in INT64 -> Conversione DateTime nel lettore Vettorializzatore Parquet
  • [SPARK-44649] [SC-145891] [SQL] Il filtro di runtime supporta il passaggio di espressioni lato creazione equivalenti
  • [SPARK-41674] [SC-128408] [SQL] Il filtro di runtime deve supportare il lato join casuale a più livelli come lato di creazione del filtro
  • [SPARK-45547] [SC-146228] [ML] Convalidare i vettori con la funzione predefinita
  • [SPARK-45558] [SC-145890] [SS] Introdurre un file di metadati per l'operatore con stato di streaming
  • [SPARK-45618] [SC-146252] [CORE] Rimuovere BaseErrorHandler
  • [SPARK-45638] [SC-146251] [SQL] [Avro] Migliorare la copertura dei test di conversione decimale
  • [SPARK-44837] [SC-146020] [SQL] Modificare il messaggio di errore della colonna ALTER TABLE ALTER PARTITION
  • [SPARK-45561] [SC-146264] [SQL] Aggiungere conversioni appropriate per TINYINT in MySQLDialect
  • [SPARK-45632] [SC-146255] [SQL] La cache delle tabelle deve evitare columnarToRow non necessarie quando si abilita AQE
  • [SPARK-45569] [SC-145932] [SQL] Assegnare il nome all'errore _LEGACY_ERROR_TEMP_2152
  • [SPARK-44784] [SC-141015] [CONNECT] Eseguire il test SBT in modo ermetico.
  • [SPARK-45452] [SC-144836] [SQL] Migliorare InMemoryFileIndex l'uso dell'API FileSystem.listFiles
  • [SPARK-44735] [SC-146186] [SQL] Aggiungere un messaggio di avviso durante l'inserimento di colonne con lo stesso nome per riga che non corrispondono
  • [SPARK-45351] [SC-144791] [CORE] Modificare il spark.shuffle.service.db.backend valore predefinito in ROCKSDB
  • [SPARK-45553] [SC-145906] [PS] Deprecazione assertPandasOnSparkEqual
  • [SPARK-45613] [SC-146022] [CORE] Esporre DeterministicLevel come developerApi
  • [SPARK-45549] [SC-145895] [CORE] Rimuovere l'oggetto non usato numExistingExecutors in CoarseGrainedSchedulerBackend
  • [SPARK-45609] [SC-146030] [CONNECT] Includere SqlState nel messaggio proto SparkThrowable
  • [SPARK-45595] [SC-146037] esporre sqlstate nel messaggio di errore
  • [SPARK-45628] [SC-146123] [ML] Miglioramento vector_to_array per .mllib.linalg.SparseVector
  • [SPARK-45009] [SC-145884] [SQL] [COMPLETAMENTO] Disattivare la decorrelazione nelle condizioni di join per il test di AQE InSubquery
  • [SPARK-45576] [SC-145883] [CORE] Rimuovere i log di debug non necessari in RicaricareX509TrustManagerSuite
  • [SPARK-45485] [SC-145719] [CONNECT] Miglioramenti dell'agente utente: usare SPARK_CONNECT_U edizione Standard R_AGENT variabile env e includere attributi specifici dell'ambiente
  • [SPARK-45508] [SC-145513] [CORE] Aggiungere "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" in modo che Platform possa accedere a Cleaner in Java 9+
  • [SPARK-45595] Ripristinare "[SC-146037] Esporre SQLSTATE nel messaggio di errore"
  • [SPARK-45595] [SC-146037] Esporre SQLSTATE nel messaggio di errore
  • [SPARK-45112] Ripristina "[SC-143259][SQL] Use UnresolvedFunction ba...
  • [SPARK-45257] [SC-143411] [CORE] Abilita spark.eventLog.compress per impostazione predefinita
  • [SPARK-45586] [SC-145899] [SQL] Ridurre la latenza del compilatore per i piani con alberi delle espressioni di grandi dimensioni
  • [SPARK-45517] [SC-145691] [CONNECT] [14.x] Espandere altri costruttori di eccezioni per supportare i parametri del framework degli errori
  • [SPARK-45581] [SC-145896] Rendere SQLSTATE obbligatorio.
  • [SPARK-45427] [SC-145590] [CORE] Aggiungere impostazioni SSL RPC a SSLOptions e SparkTransportConf
  • [SPARK-45261] [SC-143357] [CORE] Correzione EventLogFileWriters dell'handle none come codec
  • [SPARK-45582] [SC-145897] [SS] Assicurarsi che l'istanza dell'archivio non venga usata dopo la chiamata del commit all'interno dell'aggregazione di streaming in modalità di output
  • [SPARK-45562] [SC-145720] [SC-144650] [SQL] XML: rendere 'rowTag' un'opzione obbligatoria
  • [SPARK-45392] [SC-144362] [CORE] [SQL] [SS] Sostituire Class.newInstance() con Class.getDeclaredConstructor().newInstance()
  • [SPARK-45433] [SC-145163] [SQL] Correzione dell'inferenza dello schema CSV/JSON quando i timestamp non corrispondono a timestampFormat specificati
  • [SPARK-45458] [SC-145011] [SQL] Convertire IllegalArgumentException in SparkIllegalArgumentException in bitwiseExpressions
  • [SPARK-45564] [SC-145735] [SQL] Semplificare 'DataFrameStatFunctions.bloomFilter' con l'espressione 'BloomFilterAggregate'
  • [SPARK-45566] [SC-145777] [PS] Supporto di utilità di test simili a Pandas per l'API Pandas in Spark
  • [SPARK-45498] [SC-145509] [CORE] Completamento: Ignorare il completamento dell'attività dalla fase precedente a...
  • [SPARK-45483] [SC-145152] [CONNECT] Correggere i gruppi di funzioni in connect.functions
  • [SPARK-45577] [SC-145781] [PYTHON] Correzione di UserDefinedPythonTableFunctionAnalyzeRunner per passare valori piegati da argomenti denominati
  • [SPARK-45009] [SC-138223] [COMPLETAMENTO] Disattiva decorrelation in condizioni di join per AetherSQLQuerySuite
  • [SPARK-45415] [SC-145344] Consentire la disabilitazione selettiva di "fallocate" nel statestore di RocksDB
  • [SPARK-45500] [SC-145134] [CORE] [WEBUI] Mostra il numero di driver completati in modo anomalo in MasterPage
  • [SPARK-44120] [SC-144349] [PYTHON] Supporto di Python 3.12
  • [SPARK-45439] [SC-145589] [SQL] [interfaccia utente] Ridurre l'utilizzo della memoria di LiveStageMetrics.accumIdsToMetricType
  • [SPARK-45565] [SC-145717] [interfaccia utente] Ciclo JSON.stringify e JSON.parse non necessario per l'elenco di attività nel dettaglio della fase
  • [SPARK-45567] [SC-145718] [CONNECT] Rimuovere ridondanza se in org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
  • [SPARK-45112] [SC-143259] [SQL] Usare la risoluzione basata su UnresolvedFunction nelle funzioni del set di dati SQL
  • [SPARK-45486] [SASP-2457] [SC-145612] [CONNECT] Effettuare add_artifact richiesta idempotente
  • [SPARK-44913] [SC-144326] [SQL] DS V2 supporta il push della funzione definita dall'utente V2 con metodo magic
  • [SPARK-45538] [SC-145635] [PYTHON] [CONNECT]pyspark connect overwrite_partitions bug
  • [SPARK-45491] [SC-145622] Aggiungere SQLSTATES 2/2 mancante
  • [SPARK-45009] [SC-145620] [SC-138223] [SQL] Sottoquery del predicato decorrelate in condizione di join
  • [SPARK-45377] [SC-144377] [CORE] Gestire InputStream in NettyLogger
  • [SPARK-45248] [SC-143759] [CORE] Impostare il timeout per il server dell'interfaccia utente spark
  • [SPARK-44594] [SC-145611] [SS] Rimuovere il parametro del metodo ridondante nel connettore kafka
  • [SPARK-45539] [SC-145621] [SS] Aggiungere asserzione e log per indicare che la definizione della filigrana è necessaria per le query di aggregazione di streaming in modalità accodamento
  • [SPARK-44262] [SC-145639] [SQL] Aggiungere dropTable e getInsertStatement a JdbcDialect
  • [SPARK-45516] [SC-145480] [CONNECT] Includere QueryContext nel messaggio proto SparkThrowable
  • [SPARK-45310] [SC-145127] [CORE] Lo stato del blocco casuale del report deve rispettare il servizio casuale durante la migrazione delle autorizzazioni
  • [SPARK-45521] [SC-145487] [ML] Evitare il ricalcolazione di nnz in VectorAssembler
  • [SPARK-45418] [SC-145485] [SQL] [PYTHON] [CONNECT] Modificare l'alias di colonna current_database() in current_schema()
  • [SPARK-45116] [SC-145142] [SQL] Aggiungere un commento per il parametro di JdbcDialect createTable
  • [SPARK-45495] [SC-145529] [core] Profilo risorsa attività a livello di fase di supporto per il cluster k8s quando l'allocazione dinamica è disabilitata
  • [SPARK-45487] [SC-145559] Correggere gli errori SQLSTATEs e temp
  • [SPARK-45505] [SC-145550] [PYTHON] Refactoring analyzeInPython per renderlo riutilizzabile
  • [SPARK-45132] [SC-145425] [SQL] Correzione dell'IDENTIFICATORe per la chiamata di funzione
  • [SPARK-45213] [SC-145020] [SQL] Assegnare il nome al _LEGACY_ERROR_TEMP_2151 di errore
  • [SPARK-45416] [SC-145126] [CONNECT] Verifica della integrità della coerenza dei risultati di Arrow
  • [SPARK-45163] [SC-143386] [SQL] Unire UNSUPPORTED_VIEW_OPERATION e UNSUPPORTED_TABLE_OPERATION e risolvere alcuni problemi
  • [SPARK-45421] [SC-144814] [SQL] Catch AnalysisException su InlineCTE
  • [SPARK-43664] [SC-145404] [CONNECT] [PS] Generare un'eccezione per ps.sql con l'oggetto Pandas-on-Spark in Spark Connessione.
  • [SPARK-45402] [SC-145371] [SQL] [PYTHON] Aggiungere l'API UDTF per i metodi 'eval' e 'terminate' per utilizzare il risultato precedente di 'analyze'
  • [SPARK-36112] [SC-67885] [SQL] Supportare le sottoquery EXISTS e IN correlate usando il framework DecorrelateInnerQuery
  • [SPARK-45383] [SC-144929] [SQL] Correzione del messaggio di errore per il viaggio nel tempo con una tabella non esistente
  • [SPARK-43254] [SC-143318] [SQL] Assegnare un nome al _LEGACY_ERROR_TEMP_2018 di errore
  • [SPARK-45204] [SC-145167] [CONNECT] Aggiungere un elemento ExecuteHolder facoltativo a Spark Connessione Planner
  • [SPARK-45451] [SC-145144] [SQL] Rendere configurabile il livello di archiviazione predefinito della cache del set di dati
  • [SPARK-45192] [SC-143194] [interfaccia utente] Correzione del parametro lineInterpolate scaduto per il bordo graphviz
  • [SPARK-45467] [SC-145146] [CORE] Sostituire Proxy.getProxyClass() con Proxy.newProxyInstance().getClass
  • [SPARK-45397] [SC-145139] [ML] [CONNECT] Aggiungere il trasformatore di funzionalità dell'assembler di matrici
  • [SPARK-44855] [SC-145226] [CONNECT] Piccole modifiche per il collegamento di ExecuteGrpcResponseSender a ExecuteResponseObserver
  • [SPARK-45398] [SC-144796] [SQL] Accodamento ESCAPEsql() dell'espressione Like
  • [SPARK-45494] [SC-145129] [CORE] [PYTHON] Introdurre funzioni util per leggere/scrivere una matrice di byte per PythonWorkerUtils
  • [SPARK-45464] [SC-145125] [CORE] Correzione della build di distribuzione network-yarn
  • [SPARK-45461] [SC-144851] [CORE] [SQL] [MLLIB] Introdurre un mapper per Archiviazione Level
  • [SPARK-45450] [SC-145009] [PYTHON] Correggere le importazioni in base a PEP8: pyspark.pandas e pyspark (core)
  • [SPARK-45475] [SC-145018] [SQL] Usa DataFrame.foreachPartition anziché RDD.foreachPartition in JdbcUtils
  • [SPARK-45271] [SC-143778] [SQL] Unire _LEGACY_ERROR_TEMP_1113 in TABLE_OPERATION ed eliminare un metodo inutilizzato in QueryCompilationErrors
  • [SPARK-45449] [SC-145013] [SQL] Problema di invalidazione della cache con la tabella JDBC
  • [SPARK-45473] [SC-145017] [SQL] Correzione del messaggio di errore non corretto per RoundBase
  • [SPARK-43299] [SC-145022] [SS] [CONNECT] Convertire StreamingQueryException nel client Scala
  • [SPARK-45474] [SC-145014] [CORE] [WEBUI] Supportare il filtro di primo livello nell'API JSON MasterPage
  • [SPARK-45205] [SC-145012] [SQL] CommandResultExec per eseguire l'override dei metodi iterator per evitare di attivare più processi.
  • [SPARK-45472] [SC-145004] [SS] L'archivio stati di RocksDB non deve controllare nuovamente l'esistenza del percorso del checkpoint
  • [SPARK-45470] [SC-145010] [SQL] Evitare di incollare il valore stringa del tipo di compressione hive orc
  • [SPARK-45448] [SC-144829] [PYTHON] Correggere le importazioni in base a PEP8: pyspark.testing, pyspark.mllib, pyspark.resource e pyspark.streaming
  • [SPARK-45446] [SC-144828] [PYTHON] Correggere le importazioni in base a PEP8: pyspark.errors e pyspark.ml
  • [SPARK-45239] [SC-144832] [CONNECT] Ridurre il valore predefinito spark.connect.jvmStacktrace.maxSize
  • [SPARK-45436] [SC-144831] [PYTHON] [CONNECT] I metodi del dataframe controllano la stessa sessione
  • [SPARK-45413] [SC-144847] [CORE] Aggiungere un avviso per preparare il supporto di LevelDB
  • [SPARK-45462] [SC-144848] [CORE] [WEBUI] Mostra Duration in ApplicationPage
  • [SPARK-44527] [SC-144855] [SQL] Sostituire ScalarSubquery con null se maxRows è 0
  • [SPARK-45401] [SC-144854] [PYTHON] Aggiungere un nuovo metodo cleanup nell'interfaccia UDTF
  • [SPARK-43704] [SC-144849] [CONNECT] [PS] Supporto MultiIndex per to_series()
  • [SPARK-45424] [SC-144888] [SQL] Correzione di TimestampFormatter restituisce risultati di analisi facoltativi quando solo la corrispondenza del prefisso
  • [SPARK-45441] [SC-144833] [PYTHON] Introduzione di altre funzioni util per PythonWorkerUtils
  • [SPARK-45412] [SC-144803] [PYTHON] [CONNECT] Convalidare il piano e la sessione in DataFrame.__init__
  • [SPARK-45408] [SC-144810] [CORE] Aggiungere impostazioni SSL RPC a TransportConf
  • [SPARK-45432] [SC-144818] [CORE] Rimuovere il costruttore Hadoop-2 LocatedFileStatus deprecato
  • [SPARK-45434] [SC-144819] [ML] [CONNECT] LogisticRegression controlla le etichette di training
  • [SPARK-45420] [SC-144808] [SQL] [PYTHON] [CONNECT] Aggiungere DataType.fromDDL in PySpark
  • [SPARK-45406] [SC-144793] [PYTHON] [CONNECT] Eliminare schema dal costruttore dataframe
  • [SPARK-45404] [SC-144799] [CORE] Supportare la AWS_ENDPOINT_URL variabile env
  • [SPARK-43620] [SC-144792] [CONNECT] [PS] Correzione delle API Pandas dipende dalle funzionalità non supportate
  • [SPARK-45354] [SC-143991] [SQL] Risolvere le funzioni in basso
  • [SPARK-45394] [SASP-1480] [SC-144712] [PYTHON] [CONNECT] Aggiungere nuovi tentativi per l'API dell'artefatto. Migliorare la gestione degli errori (completamento a [SPARK-45093]).
  • [SPARK-45120] [SC-142780] [SPARK-45150] [interfaccia utente] Aggiornare d3 dalla versione 3 alla versione 7(v7.8.5) e applicare le modifiche api nell'interfaccia utente
  • [SPARK-44838] [SC-143983] [SQL] raise_error miglioramento
  • [SPARK-45312] [SC-143754] [SQL] [interfaccia utente] Attiva/nascondi visualizzazione/nascondi il formato SVG del piano nella pagina di esecuzione
  • [SPARK-45378] [SC-144448] [CORE] Aggiungere convertToNettyForSsl a ManagedBuffer
  • [SPARK-44762] [SC-144338] [CONNECT] [CORE] Doc per Spark Connessione.addJobTag e Connessione SparkSession.addTag
  • [SPARK-45383] Gestire in modo normale RelationTime Vault non risolto
  • [SPARK-45347] [SC-144512] [SQL] [CONNECT] Includere SparkThrowable in FetchErrorDetailsResponse
  • [SPARK-45012] [SC-141512] [SQL] CheckAnalysis deve generare un piano inlined in AnalysisException
  • [SPARK-45359] [SC-144336] [PYTHON] [CONNECT] DataFrame.{columns, colRegex, explain} deve generare eccezioni quando il piano non è valido
  • [SPARK-45227] [SC-144233] [CORE] Correzione di un problema di thread-safety delicato con CoarseGrainedExecutorBackend
  • [SPARK-45266] [SC-144171] [PYTHON] Refactoring della regola dell'analizzatore ResolveFunctions per ritardare la creazione di join laterale quando vengono usati argomenti di tabella
  • [SPARK-45266] Ripristinare la regola dell'analizzatore ResolveFunctions "[SC-144171][PYTHON] Refactoring ResolveFunctions per ritardare la creazione di join laterale quando vengono usati argomenti di tabella"
  • [SPARK-45371] [SC-144389] [CONNECT] Risolvere i problemi di ombreggiatura in Spark Connessione Client Scala
  • [SPARK-45057] [SC-144214] [CORE] Evitare di acquisire il blocco in lettura quando keepReadLock è false
  • [SPARK-45385] [SC-144357] [SQL] Deprecazione spark.sql.parser.escapedStringLiterals
  • [SPARK-45340] [SC-143917] [SQL] Rimuovere la configurazione SQL spark.sql.hive.verifyPartitionPath
  • [SPARK-45266] [SC-144171] [PYTHON] Refactoring della regola dell'analizzatore ResolveFunctions per ritardare la creazione di join laterale quando vengono usati argomenti di tabella
  • [SPARK-45362] [SC-144198] [PYTHON] Project out PARTITION BY expressions before Python UDTF 'eval' method consumes them
  • [SPARK-45346] [SC-143925] [SQL] L'inferenza dello schema Parquet deve rispettare il flag con distinzione tra maiuscole e minuscole durante l'unione dello schema
  • [SPARK-45341] [SC-143933] [CORE] Correggere il livello del titolo nei commenti di KVStore.java per eseguire sbt doc correttamente Java 17
  • [SPARK-45334] [SC-143914] [SQL] Rimuovere un commento fuorviante in parquetSchemaConverter
  • [SPARK-45337] [SC-143932] [CORE] Effettuare il refactoring AbstractCommandBuilder#getScalaVersion per rimuovere il controllo per Scala 2.12
  • [SPARK-45329] [SC-143918] [PYTHON] [CONNECT] I metodi del dataframe ignorano la conversione pandas
  • [SPARK-43662] [SC-143923] [PS] [CONNECT] Supporto di merge_asof in Spark Connessione
  • [SPARK-44126] [SC-143751] [CORE] Il numero di errori di migrazione casuale non deve aumentare quando l'executor di destinazione è stato rimosso
  • [SPARK-44550] [SC-119768] [SQL] Abilitare le correzioni di correttezza per null IN (empty list) in ANSI
  • [SPARK-45316] [SC-143783] [CORE] [SQL] Aggiungere nuovi parametri ignoreCorruptFiles/ignoreMissingFiles a e HadoopRDDNewHadoopRDD
  • [SPARK-45093] [SC-143414] [CONNECT] [PYTHON] Segnalazione errori per la query addArtifacts
  • [SPARK-44756] [SC-143787] [CORE] L'executor si blocca quando RetryingBlockTransferor non riesce ad avviare un nuovo tentativo
  • [SPARK-45333] [SC-143768] [CORE] Correzione di un errore di unità correlato a spark.eventLog.buffer.kb
  • [SPARK-45317] [SC-143750] [SQL] [CONNECT] Gestire il nome file Null nelle tracce dello stack delle eccezioni
  • [SPARK-45191] [SC-143407] [SQL] InMemoryTableScanExec simpleStringWithNodeId aggiunge informazioni di colonna
  • [SPARK-45235] [SC-143314] [CONNECT] [PYTHON] Supportare i parametri di mapping e matrice in base a sql()
  • [SPARK-45138] [SC-143309] [SS] Definire una nuova classe di errore e applicarla quando lo stato di checkpoint in DFS ha esito negativo
  • [SPARK-45297] [SC-143644] [SQL] Rimuovere la soluzione alternativa per dateformatter aggiunto in SPARK-31827
  • [SPARK-44345] [SC-143593] [CORE] Livello di log inferiore unknown shuffle map output a WARN se la migrazione casuale è abilitata
  • [SPARK-44463] [SC-143251] [SS] [CONNECT] Migliorare la gestione degli errori per Connessione lavoro Python a vapore
  • [SPARK-45207] [SC-143603] [SQL] [CONNECT] Implementare l'arricchimento degli errori per il client Scala
  • [SPARK-45240] [SC-143602] [SQL] [CONNECT] Implementare l'arricchimento degli errori per il client Python
  • [SPARK-45216] [SC-143288] [SQL] Correzione delle API set di dati con seeding non deterministico
  • [SPARK-45251] [SC-143419] [CONNECT] Aggiungere client_type campo per FetchErrorDetails
  • [SPARK-45137] [SC-143001] [CONNECT] Supportare i parametri map/array nei parametri sql()
  • [SPARK-45224] [SC-143257] [PYTHON] Aggiungere esempi con mapping e matrice come parametri di sql()
  • [SPARK-44622] [SC-143205] [SQL] [CONNECT] Implementare rpc FetchErrorDetails
  • [SPARK-45178] [SC-136089] Fallback per eseguire un singolo batch per Trigger.AvailableNow con origini non supportate anziché usare wrapper
  • [SPARK-44823] [14.x] [SC-142979] [PYTHON] Aggiornare il nero alla versione 23.9.1 e il controllo fixerroneous
  • [SPARK-45078] [SC-142954] [SQL] Correzione di array_insert ImplicitCastInputTypes non funzionante
  • [SPARK-44579] [SC-138428] [SQL] Supporto dell'interrupt in caso di annullamento in SQLExecution
  • [SPARK-45252] [SC-143371] [CORE] Eseguire correttamente l'escape dei simboli maggiori/minori dei simboli nei commenti per eseguire sbt doc correttamente
  • [SPARK-45189] [SC-142973] [SQL] La creazione di unresolvedRelation da TableIdentifier deve includere il campo del catalogo
  • [SPARK-45229] [SC-143254] [CORE] [interfaccia utente] Visualizzare il numero di driver in attesa dello stato SUBMITTED in MasterPage
  • [SPARK-43453] Ripristina "[SC-143135][PS] Ignora quando namesMultiIndexaxis=1 per "concat

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Ambiente di sistema

  • Sistema operativo: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.0.0

Librerie Python installate

Libreria Versione Libreria Versione Libreria Versione
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttoken 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 Clic 8.0.4 serv 0.1.2
contourpy 1.0.5 Crittografia 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 entrypoints 0,4
executing 0.8.3 facet-overview 1.1.1 fastjsonschema 2.19.0
filelock 3.12.4 fonttools 4.25.0 googleapis-common-protos 1.61.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Portachiavi 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 Mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notebook 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 creazione del pacchetto 22.0 pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,4 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pirsistente 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 Corda 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
Segreto Archiviazione 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
sei 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5,11 stack-data 0.2.0 statsmodels 0.13.5
tenacity 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 aggiornamenti automatici 0,1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Librerie R installate

Le librerie R vengono installate dallo snapshot posit Gestione pacchetti CRAN nel 2023-02-10.

Libreria Versione Libreria Versione Libreria Versione
freccia 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
boot 1.3-28 brew 1.0-8 Brio 1.1.3
Scopa 1.0.5 bslib 0.5.0 cachem 1.0.8
chiamante 3.7.3 caret 6.0-94 cellranger 1.1.0
Chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 spazio colori 2.1-0 segno comune 1.9.0
compilatore 4.3.1 config 0.3.1 Conflitto 1.2.0
cpp11 0.4.4 crayon 1.5.2 credentials 1.3.2
curl 5.0.1 data.table 1.14.8 datasets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 diagramma 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 puntini di sospensione 0.3.2
evaluate 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-82 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
Gargarismi 1.5.1 generics 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 Googlesheets4 1.1.1 Gower 1.0.1
grafica 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0,10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Iteratori 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 magliare 1,43
Etichettatura 0.4.2 later 1.3.1 Lattice 0.21-8
Java 1.7.2.1 lifecycle 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1,7
MASS 7.3-60 Con matrice 1.5-4.1 memoise 2.0.1
metodi 4.3.1 mgcv 1.8-42 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
Munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 Concetto fondamentale 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 Lode 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Avanzamento 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 ricette 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2,23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 Sass 0.4.6 Scalabilità 1.2.1
selettore 0.4-2 sessioninfo 1.2.2 Forma 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
spaziale 7.3-15 Spline 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 Sopravvivenza 3.5-5
sys 3.4.2 Systemfonts 1.0.4 tcltk 4.3.1
testatat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
cambio di tempo 0.2.0 timeDate 4022.108 tinytex 0,45
tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 UTF8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
Vroom 1.6.3 waldo 0.5.1 Whisker 0.4.1
withr 2.5.0 xfun 0,39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
zip 2.3.0

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-consultas 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeina Caffeina 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 nativi
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 nativi
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 nativi
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 nativi
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEA edizione Standard
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 3.0.3
dev.sdk.netlib blas 3.0.3
dev.sdk.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.2
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collettore 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna Jna 5.8.0
net.razorvine Sottaceto 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow formato freccia 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow freccia-vettore 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc orc-shim 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus annotazioni del gruppo di destinatari 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core maglia-comune 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Spessori 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatibile con scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten treten-extra 1.7.1
org.cortanaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1