Databricks Runtime 14.3 LTS

  • Articolo

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 14.3 LTS, con tecnologia Apache Spark 3.5.0.

Databricks ha rilasciato queste immagini nel febbraio 2024.

Miglioramenti e nuove funzionalità

Supporto per le ottimizzazioni dei vettori MERGE di eliminazione senza Photon

Photon non è più necessario per le operazioni per MERGE sfruttare le ottimizzazioni dei vettori di eliminazione. Vedere Che cosa sono i vettori di eliminazione?.

Api del catalogo Spark ora completamente supportate in modalità di accesso condiviso

È ora possibile usare tutte le funzioni nell'API spark.catalog sia in Python che in Scala nel calcolo configurato con la modalità di accesso condiviso.

Delta UniForm è ora disponibile a livello generale

UniForm è ora disponibile a livello generale e usa la IcebergCompatV2 funzionalità tabella. È ora possibile abilitare o aggiornare UniForm nelle tabelle esistenti. Vedere Usare UniForm per leggere Tabelle Delta con client Iceberg.

Nuova funzione SQL EXECUTE IMMEDIATE

È ora possibile usare la sintassi EXECUTE IMMEDIATE per supportare query con parametri in SQL. Vedere EXECUTE IMMEDIATE.

Ricompilare le statistiche di ignorare i dati per le tabelle Delta

È ora possibile ricompilare le statistiche archiviate nel log Delta dopo aver modificato le colonne usate per ignorare i dati. Vedere Specificare le colonne delle statistiche Delta.

Informazioni sullo stato delle query sullo stato per le query di streaming con stato

È ora possibile eseguire query sui dati e sui metadati dello stato structured streaming. Vedere Leggere le informazioni sullo stato di Structured Streaming.

Usare l'ID Microsoft Entra (in precedenza Azure Active Directory) per l'autenticazione Kafka nei cluster condivisi

È ora possibile autenticare i servizi di Hub eventi tramite OAuth con Microsoft Entra ID nel calcolo configurato con la modalità di accesso condiviso. Vedere Autenticazione dell'entità servizio con Microsoft Entra ID (in precedenza Azure Active Directory) e Hub eventi di Azure.

Aggiunta del supporto per l'eliminazione di file e partizioni per migliorare le prestazioni delle query

Per velocizzare alcune query che si basano sull'uguaglianza a tolleranza Null nelle condizioni JOIN, è ora supportato DynamicFilePruning e DynamicPartitionPruning per l'operatore EqualNullSafe in JOINs.

Dichiarare variabili temporanee in una sessione SQL

Questa versione introduce la possibilità di dichiarare variabili temporanee in una sessione che è possibile impostare e quindi fare riferimento all'interno delle query. Vedere Variabili.

Aggiornamenti thriftserver per rimuovere le funzionalità inutilizzate

Il codice Thriftserver è stato aggiornato per rimuovere il codice per le funzionalità obsolete. A causa di queste modifiche, le configurazioni seguenti non sono più supportate:

  • I file JAR ausiliari Hive, configurati usando la hive.aux.jars.path proprietà , non sono più supportati per hive-thriftserver le connessioni.
  • Il file init globale Hive (.hiverc), il cui percorso è configurato usando la proprietà o la hive.server2.global.init.file.locationHIVE_CONF_DIR variabile di ambiente, non è più supportato per hive-thriftserver le connessioni.

Usare i file truststore e keystore nei volumi del catalogo Unity

È ora possibile usare i file truststore e keystore nei volumi del catalogo Unity per eseguire l'autenticazione in un Registro schemi Confluent per i dati del buffer di protocollo o avro. Vedere la documentazione per buffer avro o protocol.

Supporto del formato di file XML nativo (anteprima pubblica)

Il supporto del formato di file XML nativo è ora disponibile in anteprima pubblica. Il supporto del formato di file XML consente l'inserimento, l'esecuzione di query e l'analisi dei dati XML per l'elaborazione batch o lo streaming. Può dedurre ed evolvere automaticamente schemi e tipi di dati, supporta espressioni SQL come from_xmle può generare documenti XML. Non richiede file JAR esterni e funziona perfettamente con il caricatore automatico, read_files, COPY INTOe le tabelle live Delta. Vedere Leggere e scrivere file XML.

Supporto per l'archiviazione Cloudflare R2 (anteprima pubblica)

È ora possibile usare Cloudflare R2 come archiviazione cloud per i dati registrati nel catalogo unity. Cloudflare R2 è destinato principalmente ai casi d'uso di condivisione delta in cui si vogliono evitare le tariffe di uscita dei dati addebitate dai provider di servizi cloud quando i dati attraversano aree. L'archiviazione R2 supporta tutti gli asset di dati e intelligenza artificiale di Databricks supportati in AWS S3, Azure Data Lake Archiviazione Gen2 e Google Cloud Archiviazione. Vedere Usare repliche Cloudflare R2 o eseguire la migrazione dell'archiviazione a R2 e Creare credenziali di archiviazione per la connessione a Cloudflare R2.

L'accesso a Spark e dbutils ai file dell'area di lavoro supporta i cluster del catalogo Unity con accesso condiviso

Spark, dbutils l'accesso in lettura e scrittura ai file dell'area di lavoro è ora supportato nei cluster del catalogo Unity in modalità di accesso condiviso. Vedere Usare i file dell'area di lavoro.

Script Init e supporto della libreria di cluster nei cluster del catalogo Unity con accesso condiviso

L'installazione di script init con ambito cluster e librerie Python e JAR nei cluster del catalogo Unity in modalità di accesso condiviso, inclusa l'installazione con i criteri del cluster, è ora disponibile a livello generale. Databricks consiglia di installare script e librerie init dai volumi di Unity Catalog.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • fastjsonschema da 2.19.0 a 2.19.1
    • filelock da 3.12.4 a 3.13.1
    • googleapis-common-protos da 1.61.0 a 1.62.0
    • imballaggio da 22.0 a 23.2
  • Librerie R aggiornate:
    • estero da 0,8-82 a 0,8-85
    • nlme da 3.1-162 a 3.1-163
    • rpart dalla versione 4.1.19 alla versione 4.1.21
  • Librerie Java aggiornate:
    • com.databricks.databricks-sdk-java da 0.7.0 a 0.13.0
    • org.apache.orc.orc-core da 1.9.1-shaded-protobuf a 1.9.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce da 1.9.1-shaded-protobuf a 1.9.2-shaded-protobuf
    • org.apache.orc.orc-shims da 1.9.1 a 1.9.2
    • org.scala-lang.modules.scala-collection-compat_2.12 da 2.9.0 a 2.11.0

Apache Spark

Databricks Runtime 14.3 include Apache Spark 3.5.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 14.2, nonché le correzioni di bug e i miglioramenti seguenti apportati a Spark:

  • [SPARK-46541] [SC-153546] [SQL] [CONNECT] Correggere il riferimento di colonna ambiguo in self join
  • [SPARK-45433] Ripristinare "[SC-145163][SQL] Correzione dell'inferenza dello schema CSV/JSON...
  • [SPARK-46723] [14.3] [SASP-2792] [SC-153425] [CONNECT] [SCALA] Rendere addArtifact riprovabile
  • [SPARK-46660] [SC-153391] [CONNECT] ReattachExecute richiede aggiornamenti dell'integrità del sessionholder
  • [SPARK-46670] [SC-153273] [PYTHON] [SQL] Rendere DataSourceManager auto clone-able separando origini dati Python statiche e di runtime
  • [SPARK-46720] [SC-153410] [SQL] [PYTHON] Effettuare il refactoring dell'origine dati Python per allinearsi ad altre origini dati predefinite DSv2
  • [SPARK-46684] [SC-153275] [PYTHON] [CONNECT] Correzione di CoGroup.applyInPandas/Arrow per passare correttamente gli argomenti
  • [SPARK-46667] [SC-153271] [SC-153263] [SQL] XML: genera un errore in più origini dati XML
  • [SPARK-46382] [SC-151881] [SQL] XML: valore predefinito ignoreSurroundingSpaces su true
  • [SPARK-46382] [SC-153178] [SQL] XML: documentazione di aggiornamento per ignoreSurroundingSpaces
  • [SPARK-45292] Ripristinare "[SC-151609][SQL][HIVE] Rimuovere Guava dalle classi condivise da IsolatedClientLoader"
  • [SPARK-45292] [SC-151609] [SQL] [HIVE] Rimuovere Guava dalle classi condivise da IsolatedClientLoader
  • [SPARK-46311] [SC-150137] [CORE] Registrare lo stato finale dei driver durante Master.removeDriver
  • [SPARK-46413] [SC-151052] [PYTHON] Convalidare returnType della funzione definita dall'utente python arrow
  • [SPARK-46633] [WARMFIX] [SC-153092] [SQL] Correzione del lettore Avro per gestire blocchi di lunghezza zero
  • [SPARK-46537] [SC-151286] [SQL] Convertire NPE e asserzioni da comandi a errori interni
  • [SPARK-46179] [SC-151678] [SQL] Aggiungere CrossDbmsQueryTestSuites, che esegue altri DBMS su file golden con altri DBMS, a partire da Postgres
  • [SPARK-44001] [SC-151413] [PROTOBUF] Aggiungere l'opzione per consentire il wrapping di tipi wrapper noti protobuf
  • [SPARK-40876] [SC-151786] [SQL] Innalzamento di livello dei tipi per i decimali con scalabilità maggiore nei lettori Parquet
  • [SPARK-46605] [SC-151769] [CONNECT] Supporto della lit/typedLit funzione in connect module s.c.immutable.ArraySeq
  • [SPARK-46634] [SC-153005] [SQL] La convalida dei valori letterali non deve eseguire il drill-down in campi Null
  • [SPARK-37039] [SC-153094] [PS] Correzione Series.astype per il corretto funzionamento con il valore mancante
  • [SPARK-46312] [SC-150163] [CORE] Usare lower_camel_case in store_types.proto
  • [SPARK-46630] [SC-153084] [SQL] XML: Convalidare il nome dell'elemento XML in scrittura
  • [SPARK-46627] [SC-152981] [SS] [interfaccia utente] Correzione del contenuto della descrizione comando della sequenza temporale nell'interfaccia utente di streaming
  • [SPARK-46248] [SC-151774] [SQL] XML: supporto per le opzioni ignoreCorruptFiles e ignoreMissingFiles
  • [SPARK-46386] [SC-150766] [PYTHON] Migliorare le asserzioni di osservazione (pyspark.sql.osservazione)
  • [SPARK-46581] [SC-151789] [CORE] Aggiornare il commento su isZero in AnalyzerV2
  • [SPARK-46601] [SC-151785] [CORE] Correzione dell'errore di log in handleStatusMessage
  • [SPARK-46568] [SC-151685] [PYTHON] Rendere le opzioni dell'origine dati Python un dizionario senza distinzione tra maiuscole e minuscole
  • [SPARK-46611] [SC-151783] [CORE] Rimuovere ThreadLocal sostituendo SimpleDateFormat con DateTimeFormatter
  • [SPARK-46604] [SC-151768] [SQL] Supporto Literal.applys.c.immuable.ArraySeq
  • [SPARK-46324] [SC-150223] [SQL] [PYTHON] Correggere il nome di output di pyspark.sql.functions.user e session_user
  • [SPARK-46621] [SC-151794] [PYTHON] Indirizzo Null da Exception.getMessage nell'eccezione acquisita py4J
  • [SPARK-46598] [SC-151767] [SQL] OrcColumnarBatchReader deve rispettare la modalità di memoria durante la creazione di vettori di colonna per la colonna mancante
  • [SPARK-46613] [SC-151778] [SQL] [PYTHON] Eccezione completa del log quando non è stato possibile cercare origini dati Python
  • [SPARK-46559] [SC-151364] [MLLIB] Eseguire il wrapping di export nel nome del pacchetto con i backtick
  • [SPARK-46522] [SC-151784] [PYTHON] Bloccare la registrazione dell'origine dati Python con conflitti di nomi
  • [SPARK-45580] [SC-149956] [SQL] Gestire il caso in cui una sottoquery nidificata diventa un join di esistenza
  • [SPARK-46609] [SC-151714] [SQL] Evitare l'esplosione esponenziale in PartitioningPreservingUnaryExecNode
  • [SPARK-46535] [SC-151288] [SQL] Correzione del server dei criteri di rete quando viene descritta una colonna estesa senza statistiche delle regole di confronto
  • [SPARK-46599] [SC-147661] [SC-151770] [SQL] XML: usare TypeCoercion.findTightestCommonType per il controllo della compatibilità
  • [SPARK-40876] [SC-151129] [SQL] Promozioni di tipi più ampliate nei lettori Parquet
  • [SPARK-46179] [SC-151069] [SQL] Estrarre il codice in funzioni riutilizzabili in SQLQueryTestSuite
  • [SPARK-46586] [SC-151679] [SQL] Supporto s.c.immutable.ArraySeq come customCollectionCls in MapObjects
  • [SPARK-46585] [SC-151622] [CORE] Costruito metricPeaks direttamente come invece immutable.ArraySeq di usare mutable.ArraySeq.toSeq in Executor
  • [SPARK-46488] [SC-151173] [SQL] Ignorare trimAll call durante l'analisi del timestamp
  • [SPARK-46231] [SC-149724] [PYTHON] Eseguire la migrazione di tutti gli altri NotImplementedError e TypeError nel framework di errore pySpark
  • [SPARK-46348] [SC-150281] [CORE] Supporto spark.deploy.recoveryTimeout
  • [SPARK-46313] [SC-150164] [CORE] Durata del ripristino del log Spark HA
  • [SPARK-46358] [SC-150307] [CONNECT] Semplificare il controllo della condizione in ResponseValidator#verifyResponse
  • [SPARK-46380] [SC-151078] [SQL] Sostituire l'ora/data corrente prima della valutazione delle espressioni di tabella inline.
  • [SPARK-46563] [SC-151441] [SQL] Visualizzare simpleString non seguire conf spark.sql.debug.maxToStringFields
  • [SPARK-46101] [SC-149211] [CORE] [SQL] [MLLIB] [SS] [R] [CONNCT] [GRAPHX] Ridurre la profondità dello stack sostituendo (string|array).size con (string|array).length
  • [SPARK-46539] [SC-151469] [SQL] edizione Standard LECT * EXCEPT(tutti i campi di uno struct) genera un errore di asserzione
  • [SPARK-46565] [SC-151414] [PYTHON] Perfezionare le classi di errore e i messaggi di errore per le origini dati Python
  • [SPARK-46576] [SC-151614] [SQL] Migliorare i messaggi di errore per la modalità di salvataggio dell'origine dati non supportata
  • [SPARK-46540] [SC-151355] [PYTHON] Rispettare i nomi delle colonne quando l'origine dati Python legge gli output delle funzioni denominate Oggetti Row
  • [SPARK-46577] [SC-151448] [SQL] HiveMetastoreLazyInitializationSuite perde SessionState di Hive
  • [SPARK-44556] [SC-151562] [SQL] Riutilizzare OrcTail quando si abilita vectorizedReader
  • [SPARK-46587] [SC-151618] [SQL] XML: Correzione della conversione di numeri interi grandi XSD
  • [SPARK-46382] [SC-151297] [SQL] XML: acquisisci valori intersperti tra gli elementi
  • [SPARK-46567] [SC-151447] [CORE] Rimuovere ThreadLocal per ReadAheadInputStream
  • [SPARK-45917] [SC-151269] [PYTHON] [SQL] Registrazione automatica dell'origine dati Python all'avvio
  • [SPARK-28386] [SC-151014] [SQL] Impossibile risolvere le colonne ORDER BY con GROUP BY e HAVING
  • [SPARK-46524] [SC-151446] [SQL] Migliorare i messaggi di errore per la modalità di salvataggio non valida
  • [SPARK-46294] [SC-150672] [SQL] Pulire la semantica di init rispetto al valore zero
  • [SPARK-46301] [SC-150100] [CORE] Supporto spark.worker.(initial|max)RegistrationRetries
  • [SPARK-46542] [SC-151324] [SQL] Rimuovere il controllo c>=0 da perché ExternalCatalogUtils#needsEscaping è sempre true
  • [SPARK-46553] [SC-151360] [PS] FutureWarning per interpolate con dtype oggetto
  • [SPARK-45914] [SC-151312] [PYTHON] Supporto del commit e dell'API di interruzione per la scrittura dell'origine dati Python
  • [SPARK-46543] [SC-151350] [PYTHON] [CONNECT] Creare json_tuple un'eccezione PySparkValueError per i campi vuoti
  • [SPARK-46520] [SC-151227] [PYTHON] Supporto della modalità di sovrascrittura per la scrittura dell'origine dati Python
  • [SPARK-46502] [SC-151235] [SQL] Supportare i tipi di timestamp in UnwrapCastInBinaryComparison
  • [SPARK-46532] [SC-151279] [CONNECT] Passare i parametri del messaggio nei metadati di ErrorInfo
  • [SPARK-46397] Ripristinare "[SC-151311][PYTHON][CONNECT] La funzione sha2 deve generare PySparkValueError per " non valido numBits
  • [SPARK-46170] [SC-149472] [SQL] Supporto dell'inserimento delle regole di strategia post planner query adattive in SparkSessionExtensions
  • [SPARK-46444] [SC-151195] [SQL] V2SessionCatalog#createTable non deve caricare la tabella
  • [SPARK-46397] [SC-151311] [PYTHON] [CONNECT] La funzione sha2 deve generare PySparkValueError per un errore non valido numBits
  • [SPARK-46145] [SC-149471] [SQL] spark.catalog.listTables non genera eccezioni quando la tabella o la vista non viene trovata
  • [SPARK-46272] [SC-151012] [SQL] Supportare CTAS usando origini DSv2
  • [SPARK-46480] [SC-151127] [CORE] [SQL] Correzione del server dei criteri di rete durante il tentativo di attività della cache delle tabelle
  • [SPARK-46100] [SC-149051] [CORE] [PYTHON] Ridurre la profondità dello stack sostituendo (string|array).size con (string|array).length
  • [SPARK-45795] [SC-150764] [SQL] DS V2 supporta la modalità push down
  • [SPARK-46485] [SC-151133] [SQL] V1Write non deve aggiungere l'ordinamento quando non è necessario
  • [SPARK-46468] [SC-151121] [SQL] Gestire il bug COUNT per le sottoquery EXISTS con Aggregazione senza raggruppare le chiavi
  • [SPARK-46246] [SC-150927] [SQL] Supporto DI EXECUTE IMMEDIATE SQL
  • [SPARK-46498] [SC-151199] [CORE] Rimuovi shuffleServiceEnabled da o.a.spark.util.Utils#getConfiguredLocalDirs
  • [SPARK-46440] [SC-150807] [SQL] Impostare le configurazioni di rebase sulla CORRECTED modalità per impostazione predefinita
  • [SPARK-45525] [SC-151120] [SQL] [PYTHON] Supporto per la scrittura dell'origine dati Python con DSv2
  • [SPARK-46505] [SC-151187] [CONNECT] Rendere configurabile la soglia byte in ProtoUtils.abbreviate
  • [SPARK-46447] [SC-151025] [SQL] Rimuovere le configurazioni SQL di ribasaggio datetime legacy
  • [SPARK-46443] [SC-151123] [SQL] La precisione decimale e la scala devono essere decise dal dialetto H2.
  • [SPARK-46384] [SC-150694] [SPARK-46404] [SS] [interfaccia utente] Correzione del grafico dello stack di durata dell'operazione nella pagina Structured Streaming
  • [SPARK-46207] [SC-151068] [SQL] Supporto di MergeInto in DataFrameWriterV2
  • [SPARK-46452] [SC-151018] [SQL] Aggiungere una nuova API in DataWriter per scrivere un iteratore di record
  • [SPARK-46273] [SC-150313] [SQL] Supporto di IN edizione Standard RT INTO/OVERWRITE con origini DSv2
  • [SPARK-46344] [SC-150267] [CORE] Avvisa correttamente quando un driver esiste correttamente, ma il master è disconnesso
  • [SPARK-46284] [SC-149944] [PYTHON] [CONNECT] Aggiungere session_user una funzione a Python
  • [SPARK-46043] [SC-149786] [SQL] Supporto per la creazione di una tabella con origini DSv2
  • [SPARK-46323] [SC-150191] [PYTHON] Correggere il nome di output di pyspark.sql.functions.now
  • [SPARK-46465] [SC-151059] [PYTHON] [CONNECT] Aggiungere Column.isNaN in PySpark
  • [SPARK-46456] [SC-151050] [CORE] Aggiungere spark.ui.jettyStopTimeout per impostare il timeout di arresto del server Jetty per sbloccare l'arresto di SparkContext
  • [SPARK-43427] [SC-150356] [PROTOBUF] spark protobuf: allow upcasting unsigned integer types
  • [SPARK-46399] [SC-151013] [14.x] [Core] Aggiungere lo stato di uscita all'evento Application End per l'uso del listener Spark
  • [SPARK-46423] [SC-150752] [PYTHON] [SQL] Impostare l'istanza dell'origine dati Python in DataSource.lookupDataSourceV2
  • [SPARK-46424] [SC-150765] [PYTHON] [SQL] Supportare le metriche Python nell'origine dati Python
  • [SPARK-46330] [SC-151015] Caricamento dei blocchi dell'interfaccia utente spark per molto tempo quando è abilitato HybridStore
  • [SPARK-46378] [SC-150397] [SQL] Rimuovere comunque l'ordinamento dopo la conversione dell'aggregazione in progetto
  • [SPARK-45506] [SC-146959] [CONNECT] Aggiungere il supporto dell'URI ivy a Spark Connessione addArtifact
  • [SPARK-45814] [SC-147871] [CONNECT] [SQL] Impostare ArrowConverters.createEmptyArrowBatch call close() per evitare perdite di memoria
  • [SPARK-46427] [SC-150759] [PYTHON] [SQL] Modificare la descrizione dell'origine dati Python in modo che sia abbastanza in spiegare
  • [SPARK-45597] [SC-150730] [PYTHON] [SQL] Supporto per la creazione di una tabella usando un'origine dati Python in SQL (DSv2 exec)
  • [SPARK-46402] [SC-150700] [PYTHON] Aggiungere getMessageParameters e il supporto getQueryContext
  • [SPARK-46453] [SC-150897] [CONNECT] Generare un'eccezione da internalError() in SessionHolder
  • [SPARK-45758] [SC-147454] [SQL] Introdurre un mapper per i codec di compressione hadoop
  • [SPARK-46213] [PYTHON] Introduzione PySparkImportError al framework degli errori
  • [SPARK-46230] [SC-149960] [PYTHON] Eseguire la migrazione RetriesExceeded in PySpark - errore
  • [SPARK-45035] [SC-145887] [SQL] Correzione ignoreCorruptFiles/ignoreMissingFiles con CSV/JSON su più righe segnala un errore
  • [SPARK-46289] [SC-150846] [SQL] Supporto dell'ordinamento dei tipi definiti dall'utente in modalità interpretata
  • [SPARK-46229] [SC-150798] [PYTHON] [CONNECT] Aggiungere applyInArrow a groupBy e cogroup in Spark Connessione
  • [SPARK-46420] [SC-150847] [SQL] Rimuovere il trasporto inutilizzato in SparkSQLCLIDriver
  • [SPARK-46226] [PYTHON] Eseguire la migrazione di tutti i file rimanenti RuntimeError nel framework degli errori pySpark
  • [SPARK-45796] [SC-150613] [SQL] SUPPORT MODE() WITHIN GROUP (ORDER BY col)
  • [SPARK-40559] [SC-149686] [PYTHON] [14.X] Aggiungere applyInArrow a groupBy e cogroup
  • [SPARK-46069] [SC-149672] [SQL] Supporto del tipo di timestamp di annullamento del wrapping nel tipo date
  • [SPARK-46406] [SC-150770] [SQL] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_1023
  • [SPARK-46431] [SC-150782] [SS] Converti IllegalStateException in internalError negli iteratori di sessione
  • [SPARK-45807] [SC-150751] [SQL] Migliorare l'API ViewCatalog
  • [SPARK-46009] [SC-149771] [SQL] [CONNECT] Unire la regola di analisi di PercentileCont e PercentileDisc in functionCall
  • [SPARK-46403] [SC-150756] [SQL] Decodificare il file binario parquet con il metodo getBytesUnsafe
  • [SPARK-46389] [SC-150779] [CORE] Chiudere manualmente l'istanza quando checkVersion si genera un'eccezione RocksDB/LevelDB
  • [SPARK-46360] [SC-150376] [PYTHON] Migliorare il debug dei messaggi di errore con la nuova getMessage API
  • [SPARK-46233] [SC-149766] [PYTHON] Eseguire la migrazione di tutti i file rimanenti AttributeError nel framework degli errori pySpark
  • [SPARK-46394] [SC-150599] [SQL] Correggere i problemi di spark.catalog.listDatabases() sugli schemi con caratteri speciali se spark.sql.legacy.keepCommandOutputSchema impostato su true
  • [SPARK-45964] [SC-148484] [SQL] Rimuovere la funzione di accesso SQL privata nel pacchetto XML e JSON nel pacchetto catalyst
  • [SPARK-45856] [SC-148691] Spostare ArtifactManager da Spark Connessione in SparkSession (sql/core)
  • [SPARK-46409] [SC-150714] [CONNECT] Correggere lo script di avvio spark-connect-scala-client
  • [SPARK-46416] [SC-150699] [CORE] Aggiungi @tailrec a HadoopFSUtils#shouldFilterOutPath
  • [SPARK-46115] [SC-149154] [SQL] Limitare i set di caratteri in encode()
  • [SPARK-46253] [SC-150416] [PYTHON] Pianificare la lettura dell'origine dati Python con MapInArrow
  • [SPARK-46339] [SC-150266] [SS] La directory con nome numero batch non deve essere considerata come log dei metadati
  • [SPARK-46353] [SC-150396] [CORE] Effettuare il refactoring per migliorare la RegisterWorker copertura degli unit test
  • [SPARK-45826] [SC-149061] [SQL] Aggiungere una configurazione SQL per le tracce dello stack nel contesto di query del dataframe
  • [SPARK-45649] [SC-150300] [SQL] Unificare il framework di preparazione per OffsetWindowFunctionFrame
  • [SPARK-46346] [SC-150282] [CORE] Correzione master per aggiornare un ruolo di lavoro da UNKNOWN a ALIVE in RegisterWorker msg
  • [SPARK-46388] [SC-150496] [SQL] HiveAnalysis manca la protezione del modello di query.resolved
  • [SPARK-46401] [SC-150609] [CORE] Usare !isEmpty() invece RoaringBitmap di getCardinality() > 0 in RemoteBlockPushResolver
  • [SPARK-46393] [SC-150603] [SQL] Classificare le eccezioni nel catalogo tabelle JDBC
  • [SPARK-45798] [SC-150513] [CONNECT] Completamento: aggiungere serverSessionId a SessionHolderInfo
  • [SPARK-46153] [SC-146564] [SC-150508] [SQL] XML: Aggiunta del supporto timestampNTZType
  • [SPARK-46075] [SC-150393] [CONNECT] Miglioramenti a Spark Connessione SessionManager
  • [SPARK-46357] [SC-150596] Sostituire l'uso errato della documentazione di setConf con conf.set
  • [SPARK-46202] [SC-150420] [CONNECT] Esporre nuove API ArtifactManager per supportare directory di destinazione personalizzate
  • [SPARK-45824] [SC-147648] [SQL] Applicare la classe di errore in ParseException
  • [SPARK-45845] [SC-148163] [SS] [interfaccia utente] Aggiungere il numero di righe di stato rimosse all'interfaccia utente di streaming
  • [SPARK-46316] [SC-150181] [CORE] Abilitare buf-lint-action il core modulo
  • [SPARK-45816] [SC-147656] [SQL] Restituisce NULL durante l'overflow durante il cast dal timestamp ai numeri interi
  • [SPARK-46333] [SC-150263] [SQL] Sostituire IllegalStateException con SparkException.internalError in catalizzatore
  • [SPARK-45762] [SC-148486] [CORE] Supportare i gestori casuali definiti nei file JAR utente modificando l'ordine di avvio
  • [SPARK-46239] [SC-149752] [CORE] Nascondi Jetty informazioni
  • [SPARK-45886] [SC-148089] [SQL] Traccia dello stack completo di output nel callSite contesto del dataframe
  • [SPARK-46290] [SC-150059] [PYTHON] Modificare saveMode in un flag booleano per DataSourceWriter
  • [SPARK-45899] [SC-148097] [CONNECT] Impostare errorClass in errorInfoToThrowable
  • [SPARK-45841] [SC-147657] [SQL] Esporre l'analisi dello stack tramite DataFrameQueryContext
  • [SPARK-45843] [SC-147721] [CORE] Supporto killall nell'API di invio REST
  • [SPARK-46234] [SC-149711] [PYTHON] Introduzione PySparkKeyError al framework degli errori PySpark
  • [SPARK-45606] [SC-147655] [SQL] Restrizioni di rilascio per il filtro di runtime multi-layer
  • [SPARK-45725] [SC-147006] [SQL] Rimuovere il filtro di runtime IN non predefinito nella sottoquery
  • [SPARK-45694] [SC-147314] [SPARK-45695] [SQL] Pulire l'utilizzo dell'API View.force deprecato e ScalaNumberProxy.signum
  • [SPARK-45805] [SC-147488] [SQL] Rendere withOrigin più generico
  • [SPARK-46292] [SC-150086] [CORE] [interfaccia utente] Visualizzare un riepilogo dei ruoli di lavoro in MasterPage
  • [SPARK-45685] [SC-146881] [CORE] [SQL] Usare LazyList invece di Stream
  • [SPARK-45888] [SC-149945] [SS] Applicare il framework della classe di errore all'origine dati State (Metadata)
  • [SPARK-46261] [SC-150111] [CONNECT] DataFrame.withColumnsRenamed deve mantenere l'ordine dict/map
  • [SPARK-46263] [SC-149933] [SQL] [SS] [ML] [MLLIB] [interfaccia utente] Eseguire la pulizia SeqOps.view e ArrayOps.view le conversioni
  • [SPARK-46029] [SC-149255] [SQL] Escape della virgoletta _ singola e % per il pushdown di DS V2
  • [SPARK-46275] [SC-150189] Protobuf: restituisce Null in modalità permissiva quando la deserializzazione non riesce.
  • [SPARK-46320] [SC-150187] [CORE] Supporto spark.master.rest.host
  • [SPARK-46092] [SC-149658] [SQL] Non eseguire il push dei filtri dei gruppi di righe Parquet che superano l'overflow
  • [SPARK-46300] [SC-150097] [PYTHON] [CONNECT] Corrispondenza dei comportamenti secondari nella colonna con copertura completa dei test
  • [SPARK-46298] [SC-150092] [PYTHON] [CONNECT] Trova la corrispondenza dell'avviso di deprecazione, del test case e dell'errore di Catalog.createExternalTable
  • [SPARK-45689] [SC-146898] [SPARK-45690] [SPARK-45691] [CORE] [SQL] Pulire l'utilizzo deprecato dell'API correlato all'uso e del StringContext/StringOps/RightProjection/LeftProjection/Either tipo di BufferedIterator/CanBuildFrom/Traversable
  • [SPARK-33393] [SC-148407] [SQL] Supporto di SHOW TABLE EXTENDED nella versione 2
  • [SPARK-45737] [SC-147011] [SQL] Rimuovere elementi non necessari .toArray[InternalRow] in SparkPlan#executeTake
  • [SPARK-46249] [SC-149797] [SS] Richiedere il blocco dell'istanza per l'acquisizione delle metriche rocksDB per impedire la corsa con le operazioni in background
  • [SPARK-46260] [SC-149940] [PYTHON] [SQL] DataFrame.withColumnsRenamed deve rispettare l'ordine dict
  • [SPARK-46274] [SC-150043] [SQL] Correzione dell'operatore Range computeStats() per verificare la validità prolungata prima della conversione
  • [SPARK-46040] [SC-149767] [SQL] [Python] Aggiornare l'API UDTF per il partizionamento o l'ordinamento delle colonne per supportare le espressioni generali
  • [SPARK-46287] [SC-149949] [PYTHON] [CONNECT] DataFrame.isEmpty deve funzionare con tutti i tipi di dati
  • [SPARK-45678] [SC-146825] [CORE] Cover BufferReleasingInputStream.available/reset in tryOrFetchFailedException
  • [SPARK-45667] [SC-146716] [CORE] [SQL] [CONNECT] Pulire l'utilizzo deprecato dell'API correlato a IterableOnceExtensionMethods.
  • [SPARK-43980] [SC-148992] [SQL] Introduzione della select * except sintassi
  • [SPARK-46269] [SC-149816] [PS] Abilitare altri test delle funzioni di compatibilità NumPy
  • [SPARK-45807] [SC-149851] [SQL] Aggiungere createOrReplaceView(..) / replaceView(..) a ViewCatalog
  • [SPARK-45742] [SC-147212] [CORE] [CONNECT] [MLLIB] [PYTHON] Introdurre una funzione implicita per Scala Array per eseguire il wrapping in immutable.ArraySeq.
  • [SPARK-46205] [SC-149655] [CORE] Migliorare le PersistenceEngine prestazioni con KryoSerializer
  • [SPARK-45746] [SC-149359] [Python] Restituisce messaggi di errore specifici se il metodo UDTF 'analyze' o 'eval' accetta o restituisce valori errati
  • [SPARK-46186] [SC-149707] [CONNECT] Correzione della transizione di stato non valida quando ExecuteThreadRunner è stato interrotto prima dell'avvio
  • [SPARK-46262] [SC-149803] [PS] Abilitare il test per l'oggetto np.left_shift Pandas-on-Spark.
  • [SPARK-45093] [SC-149679] [CONNECT] [PYTHON] Supporta correttamente la gestione e la conversione degli errori per AddArtifactHandler
  • [SPARK-46188] [SC-149571] [Doc] [3.5] Correggere il css delle tabelle generate dal documento Spark
  • [SPARK-45940] [SC-149549] [PYTHON] Aggiungere InputPartition all'interfaccia DataSourceReader
  • [SPARK-43393] [SC-148301] [SQL] Bug di overflow dell'espressione della sequenza di indirizzi.
  • [SPARK-46144] [SC-149466] [SQL] Errore IN edizione Standard RT INTO ... Istruzione REPLACE se la condizione contiene sottoquery
  • [SPARK-46118] [SC-149096] [SQL] [SS] [CONNECT] Usare SparkSession.sessionState.conf anziché SQLContext.conf e contrassegnare SQLContext.conf come deprecato
  • [SPARK-45760] [SC-147550] [SQL] Aggiungi con espressione per evitare la duplicazione di espressioni
  • [SPARK-43228] [SC-149670] [SQL] Le chiavi di join corrispondono anche a PartitioningCollection in CoalesceBucketsInJoin
  • [SPARK-46223] [SC-149691] [PS] Testare SparkPandasNotImplementedError con la pulizia del codice inutilizzato
  • [SPARK-46119] [SC-149205] [SQL] Eseguire l'override toString del metodo per UnresolvedAlias
  • [SPARK-46206] [SC-149674] [PS] Usare un'eccezione di ambito più ristretto per il processore SQL
  • [SPARK-46191] [SC-149565] [CORE] Migliorare il FileSystemPersistenceEngine.persist messaggio di errore nel caso del file esistente
  • [SPARK-46036] [SC-149356] [SQL] Rimozione della classe di errore dalla funzione raise_error
  • [SPARK-46055] [SC-149254] [SQL] Riscrivere l'implementazione delle API di database del catalogo
  • [SPARK-46152] [SC-149454] [SQL] XML: Aggiunta del supporto DecimalType nell'inferenza di XML Schema
  • [SPARK-45943] [SC-149452] [SQL] Spostare DetermineTableStats in regole di risoluzione
  • [SPARK-45887] [SC-148994] [SQL] Allineare l'implementazione codegen e non codegen di Encode
  • [SPARK-45022] [SC-147158] [SQL] Fornire il contesto per gli errori dell'API del set di dati
  • [SPARK-45469] [SC-145135] [CORE] [SQL] [CONNECT] [PYTHON] Sostituire toIterator con iterator per IterableOnce
  • [SPARK-46141] [SC-149357] [SQL] Modificare il valore predefinito per spark.sql.legacy.ctePrecedencePolicy su CORRETTO
  • [SPARK-45663] [SC-146617] [CORE] [MLLIB] Sostituire IterableOnceOps#aggregate con IterableOnceOps#foldLeft
  • [SPARK-45660] [SC-146493] [SQL] Riutilizzare gli oggetti Literal nella regola ComputeCurrentTime
  • [SPARK-45803] [SC-147489] [CORE] Rimuovere l'oggetto non più usato RpcAbortException
  • [SPARK-46148] [SC-149350] [PS] Correzione pyspark.pandas.mlflow.load_model test (Python 3.12)
  • [SPARK-46110] [SC-149090] [PYTHON] Usare classi di errore in catalog, conf, connect, osservazione, moduli pandas
  • [SPARK-45827] [SC-149203] [SQL] Correzioni varianti con codicegeno e lettore vettorializzato disabilitato
  • [SPARK-46080] Ripristinare "[SC-149012][PYTHON] Aggiornare Cloudpickle a 3.0.0"
  • [SPARK-45460] [SC-144852] [SQL] Sostituisci scala.collection.convert.ImplicitConversions in scala.jdk.CollectionConverters
  • [SPARK-46073] [SC-149019] [SQL] Rimuovere la risoluzione speciale di UnresolvedNamespace per determinati comandi
  • [SPARK-45600] [SC-148976] [PYTHON] Rendere il livello di sessione di registrazione dell'origine dati Python
  • [SPARK-46074] [SC-149063] [CONNECT] [SCALA] Dettagli insufficienti nel messaggio di errore in caso di errore della funzione definita dall'utente
  • [SPARK-46114] [SC-149076] [PYTHON] Aggiungere PySparkIndexError per il framework degli errori
  • [SPARK-46120] [SC-149083] [CONNECT] [PYTHON] Rimuovere la funzione helper DataFrame.withPlan
  • [SPARK-45927] [SC-148660] [PYTHON] Gestione del percorso di aggiornamento per l'origine dati Python
  • [SPARK-46062] [14.x] [SC-148991] [SQL] Sincronizzare il flag isStreaming tra la definizione CTE e il riferimento
  • [SPARK-45698] [SC-146736] [CORE] [SQL] [SS] Pulire l'utilizzo deprecato dell'API correlato a Buffer
  • [SPARK-46064] [SC-148984] [SQL] [SS] Spostare EliminaEventTimeWatermark nell'analizzatore e modificare in modo da rendere effettivo solo l'elemento figlio risolto
  • [SPARK-45922] [SC-149038] [CONNECT] [CLIENT] Tentativi secondari di refactoring (completamento di più criteri)
  • [SPARK-45851] [SC-148419] [CONNECT] [SCALA] Supportare più criteri nel client scala
  • [SPARK-45974] [SC-149062] [SQL] Aggiungere un giudizio non vuoto scan.filterAttributes per RowLevelOperationRuntimeGroupFiltering
  • [SPARK-46085] [SC-149049] [CONNECT] Dataset.groupingSets in Scala Spark Connessione client
  • [SPARK-45136] [SC-146607] [CONNECT] Migliorare ClosingCleaner con il supporto di Ammonite
  • [SPARK-46084] [SC-149020] [PS] Eseguire il refactoring dell'operazione di cast dei tipi di dati per il tipo categorico.
  • [SPARK-46083] [SC-149018] [PYTHON] Impostare SparkNoSuchElementException come API di errore canonica
  • [SPARK-46048] [SC-148982] [PYTHON] [CONNECT] Supporto di DataFrame.groupingSets in Python Spark Connessione
  • [SPARK-46080] [SC-149012] [PYTHON] Aggiornare Cloudpickle alla versione 3.0.0
  • [SPARK-46082] [SC-149015] [PYTHON] [CONNECT] Correzione della rappresentazione di stringa protobuf per l'API funzioni Pandas con Spark Connessione
  • [SPARK-46065] [SC-148985] [PS] Effettuare il refactoring (DataFrame|Series).factorize() per usare create_map.
  • [SPARK-46070] [SC-148993] [SQL] Compilare il modello regex in SparkDateTimeUtils.getZoneId all'esterno del ciclo critico
  • [SPARK-46063] [SC-148981] [PYTHON] [CONNECT] Migliorare i messaggi di errore correlati ai tipi di argomenti in cute, rollup, groupby e pivot
  • [SPARK-44442] [SC-144120] [MESOS] Rimuovere il supporto mesos
  • [SPARK-45555] [SC-147620] [PYTHON] Include un oggetto di cui è possibile eseguire il debug per un'asserzione non riuscita
  • [SPARK-46048] [SC-148871] [PYTHON] [SQL] Supporto di DataFrame.groupingSets in PySpark
  • [SPARK-45768] [SC-147304] [SQL] [PYTHON] Rendere faulthandler una configurazione di runtime per l'esecuzione di Python in SQL
  • [SPARK-45996] [SC-148586] [PYTHON] [CONNECT] Visualizzare i messaggi appropriati dei requisiti di dipendenza per Spark Connessione
  • [SPARK-45681] [SC-146893] [interfaccia utente] Clonare una versione js di UIUtils.errorMessageCell per il rendering coerente degli errori nell'interfaccia utente
  • [SPARK-45767] [SC-147225] [CORE] Eliminare TimeStampedHashMap e il relativo UT
  • [SPARK-45696] [SC-148864] [CORE] Correzione del metodo tryCompleteWith nel tratto Promise è deprecato
  • [SPARK-45503] [SC-146338] [SS] Aggiungere Conf per impostare la compressione rocksDB
  • [SPARK-45338] [SC-143934] [CORE] [SQL] Sostituisci scala.collection.JavaConverters in scala.jdk.CollectionConverters
  • [SPARK-44973] [SC-148804] [SQL] Correzione ArrayIndexOutOfBoundsException in conv()
  • [SPARK-45912] [SC-144982] [SC-148467] [SQL] Miglioramento dell'API XSDToSchema: passare all'API HDFS per l'accessibilità dell'archiviazione cloud
  • [SPARK-45819] [SC-147570] [CORE] Supporto clear nell'API di invio REST
  • [SPARK-45552] [14.x] [SC-146874] [PS] Introdurre parametri flessibili a assertDataFrameEqual
  • [SPARK-45815] [SC-147877] [SQL] [Streaming] [14.x] [CHERRY-PICK] Fornire un'interfaccia per altre origini di streaming per aggiungere _metadata colonne
  • [SPARK-45929] [SC-148692] [SQL] Supporto dell'operazione groupingSets nell'API del dataframe
  • [SPARK-46012] [SC-148693] [CORE] EventLogFileReader non deve leggere i log in sequenza se manca il file di stato dell'app
  • [SPARK-45965] [SC-148575] [SQL] Spostare espressioni di partizionamento DSv2 in functions.partitioning
  • [SPARK-45971] [SC-148541] [CORE] [SQL] Correggere il nome del pacchetto da SparkCollectionUtils a org.apache.spark.util
  • [SPARK-45688] [SC-147356] [SPARK-45693] [CORE] Pulire l'utilizzo deprecato dell'API correlato a MapOps & Correzione method += in trait Growable is deprecated
  • [SPARK-45962] [SC-144645] [SC-148497] [SQL] Rimuovere treatEmptyValuesAsNulls e usare nullValue l'opzione invece in XML
  • [SPARK-45988] [SC-148580] [SPARK-45989] [PYTHON] Correzione dei typehints per gestire list GenericAlias in Python 3.11+
  • [SPARK-45999] [SC-148595] [PS] Usare dedicato PandasProduct in cumprod
  • [SPARK-45986] [SC-148583] [ML] [PYTHON] Correzione pyspark.ml.torch.tests.test_distributor in Python 3.11
  • [SPARK-45994] [SC-148581] [PYTHON] Cambia description-file in description_file
  • [SPARK-45575] [SC-146713] [SQL] Opzioni di spostamento del tempo di supporto per l'API di lettura di df
  • [SPARK-45747] [SC-148404] [SS] Usare le informazioni sulla chiave di prefisso nei metadati dello stato per gestire lo stato di lettura per l'aggregazione della finestra di sessione
  • [SPARK-45898] [SC-148213] [SQL] Riscrivere le API della tabella del catalogo per usare un piano logico non risolto
  • [SPARK-45828] [SC-147663] [SQL] Rimuovere il metodo deprecato in dsl
  • [SPARK-45990] [SC-148576] [SPARK-45987] [PYTHON] [CONNECT] Eseguire l'aggiornamento protobuf alla versione 4.25.1 per supportare Python 3.11
  • [SPARK-45911] [SC-148226] [CORE] Impostare TLS1.3 come predefinito per RPC SSL
  • [SPARK-45955] [SC-148429] [interfaccia utente] Comprimere il supporto per i dettagli di flamegraph e thread dump
  • [SPARK-45936] [SC-148392] [PS] Ottimizzare Index.symmetric_difference
  • [SPARK-45389] [SC-144834] [SQL] [3.5] Correggere la regola di corrispondenza MetaException per ottenere i metadati della partizione
  • [SPARK-45655] [SC-148085] [SQL] [SS] Consenti espressioni non deterministiche all'interno di AggregateFunctions in CollectMetrics
  • [SPARK-45946] [SC-148448] [SS] Correzione dell'uso di fileutils deprecati per passare il set di caratteri predefinito in RocksDBSuite
  • [SPARK-45511] [SC-148285] [SS] Origine dati stato - Lettore
  • [SPARK-45918] [SC-148293] [PS] Ottimizzare MultiIndex.symmetric_difference
  • [SPARK-45813] [SC-148288] [CONNECT] [PYTHON] Restituire le metriche osservate dai comandi
  • [SPARK-45867] [SC-147916] [CORE] Supporto spark.worker.idPattern
  • [SPARK-45945] [SC-148418] [CONNECT] Aggiungere una funzione helper per parser
  • [SPARK-45930] [SC-148399] [SQL] Supportare funzioni definite dall'utente non deterministiche in MapInPandas/MapInArrow
  • [SPARK-45810] [SC-148356] [Python] Creare l'API UDTF python per interrompere l'utilizzo di righe dalla tabella di input
  • [SPARK-45731] [SC-147929] [SQL] Aggiornare anche le statistiche delle partizioni con ANALYZE TABLE il comando
  • [SPARK-45868] [SC-148355] [CONNECT] Assicurarsi di spark.table usare lo stesso parser con spark vanilla
  • [SPARK-45882] [SC-148161] [SQL] BroadcastHashJoinExec propaga il partizionamento deve rispettare CoalescedHashPartitioning
  • [SPARK-45710] [SC-147428] [SQL] Assegnare nomi agli errori _LEGACY_ERROR_TEMP_21[59,60,61,62]
  • [SPARK-45915] [SC-148306] [SQL] Considera decimal(x, 0) uguale a IntegralType in PromoteStrings
  • [SPARK-45786] [SC-147552] [SQL] Correzione di risultati di moltiplicazione decimale e divisione non accurati
  • [SPARK-45871] [SC-148084] [CONNECT] Conversioni di raccolte di ottimizzazioni correlate ai .toBufferconnect moduli
  • [SPARK-45822] [SC-147546] [CONNECT] Spark Connessione SessionManager potrebbe cercare un sparkcontext arrestato
  • [SPARK-45913] [SC-148289] [PYTHON] Rendere privati gli attributi interni dagli errori PySpark.
  • [SPARK-45827] [SC-148201] [SQL] Aggiungere il tipo di dati Variant in Spark.
  • [SPARK-44886] [SC-147876] [SQL] Introdurre la clausola CLUSTER BY per CREATE/REPLACE TABLE
  • [SPARK-45756] [SC-147959] [CORE] Supporto spark.master.useAppNameAsAppId.enabled
  • [SPARK-45798] [SC-147956] [CONNECT] Assert server-side session ID
  • [SPARK-45896] [SC-148091] [SQL] Costrutto ValidateExternalType con il tipo previsto corretto
  • [SPARK-45902] [SC-148123] [SQL] Rimuovere la funzione resolvePartitionColumns inutilizzata da DataSource
  • [SPARK-45909] [SC-148137] [SQL] Rimuovere NumericType il cast se può eseguire il cast in modo sicuro IsNotNull
  • [SPARK-42821] [SC-147715] [SQL] Rimuovere i parametri inutilizzati nei metodi splitFiles
  • [SPARK-45875] [SC-148088] [CORE] Rimuovi MissingStageTableRowData dal core modulo
  • [SPARK-45783] [SC-148120] [PYTHON] [CONNECT] Migliorare i messaggi di errore quando la modalità di Connessione Spark è abilitata ma l'URL remoto non è impostato
  • [SPARK-45804] [SC-147529] [interfaccia utente] Aggiungere spark.ui.threadDump.flamegraphEnabled config per attivare/disattivare il grafico di fiamma
  • [SPARK-45664] [SC-146878] [SQL] Introdurre un mapper per i codec di compressione orc
  • [SPARK-45481] [SC-146715] [SQL] Introdurre un mapper per i codec di compressione Parquet
  • [SPARK-45752] [SC-148005] [SQL] Semplificare il codice per controllare le relazioni CTE senza riferimenti
  • [SPARK-44752] [SC-146262] [SQL] XML: Aggiornare la documentazione spark
  • [SPARK-45752] [SC-147869] [SQL] Il CTE senza riferimenti deve essere controllato da CheckAnalysis0
  • [SPARK-45842] [SC-147853] [SQL] Refactoring delle API della funzione del catalogo per l'uso dell'analizzatore
  • [SPARK-45639] [SC-147676] [SQL] [PYTHON] Supporto del caricamento di origini dati Python in DataFrameReader
  • [SPARK-45592] [SC-146977] [SQL] Problema di correttezza in AQE con InMemoryTableScanExec
  • [SPARK-45794] [SC-147646] [SS] Introdurre l'origine dei metadati di stato per eseguire query sulle informazioni sui metadati dello stato di streaming
  • [SPARK-45739] [SC-147059] [PYTHON] Catch IOException invece di EOFException da solo per faulthandler
  • [SPARK-45677] [SC-146700] Migliore registrazione degli errori per l'API Di osservazione
  • [SPARK-45544] [SC-146873] [CORE] Integrare il supporto SSL in TransportContext
  • [SPARK-45654] [SC-147152] [PYTHON] Aggiungere l'API di scrittura dell'origine dati Python
  • [SPARK-45771] [SC-147270] [CORE] Abilita spark.eventLog.rolling.enabled per impostazione predefinita
  • [SPARK-45713] [SC-146986] [PYTHON] Supporto per la registrazione di origini dati Python
  • [SPARK-45656] [SC-146488] [SQL] Correggere l'osservazione quando le osservazioni denominate con lo stesso nome in set di dati diversi
  • [SPARK-45808] [SC-147571] [CONNECT] [PYTHON] Migliore gestione degli errori per le eccezioni SQL
  • [SPARK-45774] [SC-147353] [CORE] [interfaccia utente] Supporto spark.master.ui.historyServerUrl in ApplicationPage
  • [SPARK-45776] [SC-147327] [CORE] Rimuovere il controllo null difensivo per MapOutputTrackerMaster#unregisterShuffle l'aggiunta in SPARK-39553
  • [SPARK-45780] [SC-147410] [CONNECT] Propagare tutti i thread locali del client spark Connessione in InheritableThread
  • [SPARK-45785] [SC-147419] [CORE] Supporto spark.deploy.appNumberModulo per ruotare il numero dell'app
  • [SPARK-45793] [SC-147456] [CORE] Migliorare i codec di compressione predefiniti
  • [SPARK-45757] [SC-147282] [ML] Evitare il nuovo calcolo di NNZ in Binarizer
  • [SPARK-45209] [SC-146490] [CORE] [interfaccia utente] Supporto di Flame Graph per la pagina di dump del thread executor
  • [SPARK-45777] [SC-147319] [CORE] Supporto spark.test.appId in LocalSchedulerBackend
  • [SPARK-45523] [SC-146331] [PYTHON] Effettuare il refactoring del controllo null per avere collegamenti
  • [SPARK-45711] [SC-146854] [SQL] Introdurre un mapper per i codec di compressione avro
  • [SPARK-45523] [SC-146077] [Python] Restituisce un messaggio di errore utile se UDTF restituisce Nessuno per qualsiasi colonna non nullable
  • [SPARK-45614] [SC-146729] [SQL] Assegnare nomi all'errore _LEGACY_ERROR_TEMP_215[6,7,8]
  • [SPARK-45755] [SC-147164] [SQL] Migliorare Dataset.isEmpty() applicando il limite globale 1
  • [SPARK-45569] [SC-145915] [SQL] Assegnare il nome al _LEGACY_ERROR_TEMP_2153 di errore
  • [SPARK-45749] [SC-147153] [CORE] [WEBUI] Correzione Spark History Server per ordinare Duration correttamente la colonna
  • [SPARK-45754] [SC-147169] [CORE] Supporto spark.deploy.appIdPattern
  • [SPARK-45707] [SC-146880] [SQL] Semplificare DataFrameStatFunctions.countMinSketch con CountMinSketchAgg
  • [SPARK-45753] [SC-147167] [CORE] Supporto spark.deploy.driverIdPattern
  • [SPARK-45763] [SC-147177] [CORE] [interfaccia utente] Miglioramento MasterPage per visualizzare Resource la colonna solo quando esiste
  • [SPARK-45112] [SC-143259] [SQL] Usare la risoluzione basata su UnresolvedFunction nelle funzioni del set di dati SQL

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 14.3. Questa opzione è impostata come commento alla versione iniziale.

Ambiente di sistema

  • Sistema operativo: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.1.0

Librerie Python installate

Libreria Versione Libreria Versione Libreria Versione
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttoken 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 Clic 8.0.4 serv 0.1.2
contourpy 1.0.5 Crittografia 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 entrypoints 0,4
executing 0.8.3 facet-overview 1.1.1 fastjsonschema 2.19.1
filelock 3.13.1 fonttools 4.25.0 googleapis-common-protos 1.62.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Portachiavi 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 Mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notebook 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 creazione del pacchetto 23,2 pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,5 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pirsistente 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 Corda 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
Segreto Archiviazione 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
sei 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5,11 stack-data 0.2.0 statsmodels 0.13.5
tenacity 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 aggiornamenti automatici 0,1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Librerie R installate

Le librerie R vengono installate dallo snapshot Gestione pacchetti CRAN nel 2023-02-10.

Libreria Versione Libreria Versione Libreria Versione
freccia 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
boot 1.3-28 brew 1.0-8 Brio 1.1.3
Scopa 1.0.5 bslib 0.5.0 cachem 1.0.8
chiamante 3.7.3 caret 6.0-94 cellranger 1.1.0
Chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 spazio colori 2.1-0 segno comune 1.9.0
compilatore 4.3.1 config 0.3.1 Conflitto 1.2.0
cpp11 0.4.4 crayon 1.5.2 credentials 1.3.2
curl 5.0.1 data.table 1.14.8 datasets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 diagramma 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 puntini di sospensione 0.3.2
evaluate 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-85 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
Gargarismi 1.5.1 generics 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 Googlesheets4 1.1.1 Gower 1.0.1
grafica 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0,10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Iteratori 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 magliare 1,43
Etichettatura 0.4.2 later 1.3.1 Lattice 0.21-8
Java 1.7.2.1 lifecycle 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1,7
MASS 7.3-60 Con matrice 1.5-4.1 memoise 2.0.1
metodi 4.3.1 mgcv 1.8-42 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
Munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 Concetto fondamentale 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 Lode 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Avanzamento 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 ricette 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2,23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 Sass 0.4.6 Scalabilità 1.2.1
selettore 0.4-2 sessioninfo 1.2.2 Forma 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
spaziale 7.3-15 Spline 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 Sopravvivenza 3.5-5
sys 3.4.2 Systemfonts 1.0.4 tcltk 4.3.1
testatat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
cambio di tempo 0.2.0 timeDate 4022.108 tinytex 0,45
tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 UTF8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
Vroom 1.6.3 waldo 0.5.1 Whisker 0.4.1
withr 2.5.0 xfun 0,39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
zip 2.3.0

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-consultas 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeina Caffeina 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 nativi
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 nativi
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 nativi
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 nativi
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEA edizione Standard
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 3.0.3
dev.sdk.netlib blas 3.0.3
dev.sdk.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.3
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collettore 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna Jna 5.8.0
net.razorvine Sottaceto 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow formato freccia 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow freccia-vettore 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shim 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus annotazioni del gruppo di destinatari 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core maglia-comune 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Spessori 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatibile con scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten treten-extra 1.7.1
org.cortanaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1