Condividi tramite

Databricks Runtime 13.3 LTS

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 13.3 LTS, con tecnologia Apache Spark 3.4.1.

Databricks ha rilasciato questa versione nell'agosto 2023.

Nota

LTS indica che questa versione è supportata a lungo termine. Vedere Ciclo di vita della versione LTS di Databricks Runtime.

Suggerimento

Per visualizzare le note sulla versione per le versioni di Databricks Runtime che hanno raggiunto la fine del supporto (EoS), vedere Note sulla versione della fine del supporto di Databricks Runtime. Le versioni EoS di Databricks Runtime sono state ritirate e potrebbero non essere aggiornate.

Miglioramenti e nuove funzionalità

Supporto scala per i cluster condivisi

I cluster condivisi abilitati per Unity Catalog supportano ora Scala quando si utilizza Databricks Runtime 13.3 e versioni successive.

Allowlist per script init, JAR e coordinate Maven nei cluster standard di Unity Catalog (in precedenza cluster condivisi) è disponibile in anteprima pubblica

È ora possibile usare il catalogo allowlist, Unity Catalog, per controllare l'installazione di script init, JAR e coordinate Maven per il calcolo con la modalità di accesso standard che esegue Databricks Runtime 13.3 e versioni successive. Vedere librerie lista consentita e script di inizializzazione sulle risorse di calcolo con modalità di accesso standard (in precedenza modalità di accesso condiviso).

Il supporto dei volumi per script init e JAR è disponibile in anteprima pubblica

È ora possibile usare i volumi di Catalogo Unity per archiviare script init e JAR nel calcolo con modalità di accesso dedicate o standard che eseguono Databricks Runtime 13.3 e versioni successive. Vedere Dove è possibile installare gli script di inizializzazione? e le librerie a livello di calcolo.

Lanci sicuri abilitati in maniera predefinita per le operazioni di Delta Lake

Le operazioni delta UPDATE e MERGE ora generano un errore quando non è possibile effettuare un cast sicuro dei valori al tipo di schema della tabella di destinazione. Tutti i cast impliciti in Delta seguono spark.sql.storeAssignmentPolicy ora anziché spark.sql.ansi.enabled. Vedere Conformità ANSI in Databricks Runtime.

Introduzione ai tag con Unity Catalog

Con Databricks Runtime 13.3 LTS e versioni successive, è possibile applicare tag agli oggetti a protezione diretta. I tag consentono di organizzare gli oggetti a protezione diretta e semplificare la ricerca e l'individuazione degli asset di dati. Consulta Applicare tag agli oggetti proteggibili di Unity Catalog.

Databricks Runtime restituisce un errore se un file viene modificato tra la pianificazione delle query e la chiamata

Le query di Databricks Runtime ora restituiscono un errore se un file viene aggiornato tra la pianificazione delle query e la chiamata. Prima di questa modifica, Databricks Runtime leggeva un file tra queste fasi, che a volte causa risultati imprevedibili.

Sovrascrivere lo schema di blocco quando si usano sovrascrizioni di partizione dinamica

Non è possibile impostare overwriteSchema su true in combinazione con sovrascrizioni di partizione dinamica in Delta Lake. In questo modo si evita un possibile danneggiamento della tabella a causa della mancata corrispondenza dello schema. Vedi Partizione dinamica sovrascrive.

Integrare l'API copyFile in dbutils.fs.cp

Il comando dbutils.fs.cp dbutils copy è ora ottimizzato per una copia più veloce. Con questo miglioramento, le operazioni di copia possono essere fino a 100 volte più velocemente, a seconda delle dimensioni del file. La funzionalità è disponibile in tutti i file system accessibili in Azure Databricks, inclusi i volumi del catalogo Unity e i montaggi di Databricks File System.

Supporto del driver ODBC/JDBC di Databricks

Azure Databricks supporta i driver ODBC e JDBC rilasciati negli ultimi 2 anni. Scaricare il driver più recente in Scaricare il driver ODBC e scaricare il driver JDBC.

Supporto per marcatori di parametro senza nome (posizionale)

L'API SparkSession.sql() supporta ora query con parametri usando la ? sintassi oltre alle query con parametri usando la :parm sintassi . Vedere i marcatori di parametro.

Abilitare l'etichettatura delle colonne delle serie temporali

È ora possibile etichettare le colonne time series durante la creazione di vincoli di chiave primaria .

Nuove funzioni SQL bitmap

Azure Databricks ha ora fornito un set di funzioni che possono essere usate per eseguire il mapping dei valori numerici integrali in una bitmap e aggregarli. Può essere usato per pre-calcolare il numero di valori distinti.

Funzioni di crittografia migliorate

Le funzioni di aes_encrypt, aes_decrypt e try_aes_decrypt sono state migliorate grazie al supporto per i vettori di inizializzazione (IV) e i dati aggiuntivi autenticati (AAD).

Supporto di Unity Catalog per REFRESH FOREIGN

È ora possibile aggiornare cataloghi, schemi e tabelle esterne nel catalogo Unity usando REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMAe REFRESH FOREIGN TABLE. Vedere REFRESH FOREIGN (CATALOG, SCHEMAe TABLE).

INSERT PER NOME

Quando si inseriscono righe in una tabella, è ora possibile consentire ad Azure Databricks di eseguire automaticamente il mapping di colonne e campi nella query di origine alle colonne della tabella in base al nome. Vedere INSERT IN.

Condividere viste materializzate con Delta Sharing

L'istruzione ALTER SHARE supporta ora le viste materializzate.

Modifiche di rilievo

Modifiche al cast implicito durante il salvataggio di righe in una tabella con MERGE INTO e UPDATE

Azure Databricks segue ora la configurazione spark.sql.storeAssignmentPolicy per il cast implicito quando memorizza le righe in una tabella. Il valore predefinito ANSI genera un errore quando si archiviano valori che vanno in overflow. In precedenza, i valori verrebbero archiviati come NULL per impostazione predefinita.

Come nell'esempio seguente, è possibile risolvere gli overflow riscrivendo la tabella per usare un tipo più ampio per la colonna che causa l'errore.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Modifiche all'inferenza dello schema Parquet

Quando si deduceno schemi da file Parquet non scritti da Spark, int64 colonne timestamp annotate con isAdjustedToUTC=false ora verranno ora TIMESTAMP_NTZ tipo. In precedenza, questi sono stati dedotti come TIMESTAMP tipo. Questo aggiornamento migliora l'accuratezza della mappatura dei tipi Parquet ai tipi Spark SQL.

Di conseguenza, la lettura di dati da file Parquet esterni in una tabella Delta può causare un errore se la funzionalità timestampNtz non è abilitata. L'errore verrà visualizzato come segue:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Per mantenere il comportamento precedente e prevenire questo errore, è possibile impostare il parametro di configurazione spark spark.sql.parquet.inferTimestampNTZ.enabled su false.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • debugpy da 1.5.1 a 1.6.0
    • distlib da 0.3.6 a 0.3.7
    • fastjsonschema da 2.16.3 a 2.18.0
    • filelock da 3.12.0 a 3.12.2
  • Librerie R aggiornate:
    • SparkR dalla versione 3.4.0 alla versione 3.4.1
  • Librerie Java aggiornate:
    • org.apache.orc.orc-core da 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
    • org.apache.orc.orc-mapreduce da 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims da 1.8.3 a 1.8.4
    • org.eclipse.jetty.jetty-client da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-continuation da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet da 9.4.50.v20221201 a 9.4.51.v20230217
    • org.xerial.snappy.snappy-java da 1.1.8.4 a 1.1.10.1

Apache Spark

Databricks Runtime 13.3 include Apache Spark 3.4.1. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 13.2 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • È ora possibile impostare la variabile di ambiente del cluster SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 per usare il connettore Spark-snowflake v2.12.0.
  • [SPARK-43380] [DBRRM-383] Ripristinare "[SC-133100][sql] Correzione del tipo di dati Avro conver...
  • [SPARK-44504] [Backport][13.2][13.x][13.3] Scaricare il provider forzando così la chiusura e il rilascio delle risorse nell'errore dell'attività di manutenzione
  • [SPARK-44059] [SC-137023] Aggiungere il supporto dell'analizzatore degli argomenti denominati per le funzioni predefinite
  • [SPARK-44485] [SC-137653][sql] Optimize TreeNode.generateTreeString
  • [SPARK-42944] [SC-137164][ss][PYTHON] Streaming ForeachBatch in Python
  • [SPARK-44446] [SC-136994][python] Aggiungere controlli per i casi speciali relativi al tipo di elenco previsto
  • [SPARK-44439] [SC-136973][connect][SS]Fixed listListeners per inviare solo gli ID al client
  • [SPARK-44216] [SC-136941] [PYTHON] Rendere pubblica l'API assertSchemaEqual
  • [SPARK-44201] [SC-136778][connect][SS]Aggiungi supporto per Streaming Listener in Scala per Spark Connect
  • [SPARK-43915] [SC-134766][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43798] Ripristinare "[SC-133990][sql][PYTHON] Supportare le funzioni di tabella definite dall'utente python"
  • [SPARK-44398] [SC-136720][connect] API Scala foreachBatch
  • [SPARK-44476] [SC-137169][core][CONNECT] Correzione del popolamento di elementi per un oggetto JobArtifactState senza elementi associati
  • [SPARK-44269] [SC-135817][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2310-2314]
  • [SPARK-44395] [SC-136744][sql] Aggiornare gli argomenti TVF per richiedere parentesi intorno all'identificatore dopo TABLE la parola chiave
  • [SPARK-43915] [SC-134766][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43995] [SC-136794][spark-43996][CONNECT] Aggiungere il supporto per UDFRegistration al client Scala connect
  • [SPARK-44109] [SC-134755][core] Rimuovere posizioni preferite duplicate di ogni partizione RDD
  • [SPARK-44169] [SC-135497][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-41487] [SC-135636][sql] Assegnare il nome a _LEGACY_ERROR_TEMP_1020
  • [SPARK-44398] [SC-136720][connect] API Scala foreachBatch
  • [SPARK-44153] [SC-134977][core][UI] Supporto per la colonna Heap Histogram nella scheda Executors
  • [SPARK-44044] [SC-135695][ss] Miglioramento del messaggio di errore per le funzioni window con streaming
  • [SPARK-43914] [SC-135414][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2433-2437]
  • [SPARK-44217] [SC-136805][python] Consenti precisione personalizzata per l'uguaglianza approssimativa fp
  • [SPARK-44370] [SC-136575][connect] Eseguire la migrazione di Buf remote generation alpha a plug-in remoti
  • [SPARK-44410] [SC-136930][python][CONNECT] Impostare la sessione attiva in create, non solo getOrCreate
  • [SPARK-44348] [SAS-1910][sc-136644][13.X][core][CONNECT][python] Reenable test_artifact con modifiche rilevanti
  • [SPARK-44145] [SC-136698][sql] Callback quando è pronto per l'esecuzione
  • [SPARK-44264] [SC-136870][python][ML] Classe FunctionPickler
  • [SPARK-43986] [SC-135623][sql] Creare classi di errore per errori di chiamata di funzione HyperLogLog
  • [SPARK-44139] [SC-134967][sql] Scartare completamente i filtri push down nelle operazioni MERGE basate sui gruppi
  • [SPARK-44338] [SC-136718][sql] Correzione del messaggio di errore di mancata corrispondenza dello schema di visualizzazione
  • [SPARK-44208] [SC-135505][core][SQL] Assegnare nomi di classi di errore non crittografate per una logica che usa direttamente le eccezioni
  • [SPARK-44364] [SC-136773] [PYTHON] Aggiungere il supporto per il tipo di dati List[Row] atteso
  • [SPARK-44180] [SC-136792][sql] DistributionAndOrderingUtils dovrebbe applicare ResolveTimeZone
  • [SPARK-43389] [SC-136772][sql] Aggiunto un controllo null per l'opzione lineSep
  • [SPARK-44388] [SC-136695][connect] Correzione del problema di cast protobuf quando viene aggiornata l'istanza UDF
  • [SPARK-44352] [SC-136373][connect] Inserire sameType e gli amici in DataType.
  • [SPARK-43975] [SC-134265][sql] DataSource V2: Gestire UPDATE i comandi per le origini basate su gruppi
  • [SPARK-44360] [SC-136461][sql] Supporto dell'eliminazione dello schema nelle operazioni MERGE basate su delta
  • [SPARK-44138] [SC-134907][sql] Proibire espressioni non deterministiche, sottoquery e aggregazioni nelle condizioni MERGE
  • [SPARK-43321] [SC-136678][connect][Followup] Nomi migliori per le API usate in joinWith del client Scala
  • [SPARK-44263] [SC-136447][connect] Supporto di intercettori personalizzati
  • [SPARK-39851] [SC-123383][sql] Migliorare la stima delle statistiche di join se un lato può mantenere l'unicità
  • [SPARK-44390] [SC-136677][core][SQL] Rinomina SparkSerDerseUtils in SparkSerDeUtils
  • [SPARK-44004] [SC-134751][sql] Assegnare un nome e migliorare il messaggio di errore per errori frequenti di tipo LEGACY.
  • [SPARK-44322] [SC-136204][connect] Make parser use SqlApiConf invece di SQLConf.
  • [SPARK-44271] [SC-136347][sql] Spostare le funzioni dei valori predefiniti da StructType a ResolveDefaultColumns
  • [SPARK-44332] [SC-136413][core][WEBUI] Correggere l'errore di ordinamento della colonna ID Executor nella pagina UI degli Executor
  • [SPARK-44282] [SC-135948][connect] Preparare la conversione di tipo dati per l'utilizzo nel client Scala di Spark Connect.
  • [SPARK-44349] [SC-136581][r] Aggiungere funzioni matematiche a SparkR
  • [SPARK-44397] [SC-136647][python] Esporre assertDataFrameEqual in pyspark.testing.utils
  • [SPARK-42981] [SC-136620][connect] Aggiungere la serializzazione a freccia diretta
  • [SPARK-44373] [SC-136577][sql] Eseguire il wrapping con Active per l'API del set di dati con la logica di parsing per permettere il funzionamento della configurazione relativa al parser
  • [SPARK-44340] [SC-136574][sql] Definire la logica di calcolo tramite l'API PartitionEvaluator e usarla in WindowGroupLimitExec
  • [SPARK-43665] [SC-136573][connect][PS] Abilitare PandasSQLStringFormatter.vformat per l'uso con Spark Connect
  • [SPARK-44325] [SC-136572][sql] Usare l'API PartitionEvaluator in SortMergeJoinExec
  • [SPARK-44315] [SC-136171][sql][CONNECT] Spostare DefinedByConstructorParams in sql/api
  • [SPARK-44275] [SC-136184][connect] Aggiungere un meccanismo di ripetizione dei tentativi configurabile a Scala Spark Connect
  • [SPARK-44326] [SC-136208][sql][CONNECT] Spostare le utilità usate dal client Scala ai moduli comuni
  • [SPARK-43321] [SC-136156][connect] Dataset#Joinwith
  • [SPARK-44343] [SC-136372][connect] Preparare ScalaReflection al passaggio a SQL/API
  • [SPARK-44313] [SC-136081][sql] Correzione della convalida dell'espressione di colonna generata quando è presente una colonna char/varchar nello schema
  • [SPARK-43963] [SC-134145][sql] DataSource V2: Gestire i comandi MERGE per le origini basate su gruppi
  • [SPARK-44363] [SC-136433] [PYTHON] Visualizzare la percentuale di righe diverse nel confronto tra dataframe
  • [SPARK-44251] [SC-136432][sql] Impostare correttamente la proprietà Nullable sulla chiave di join coalescata in un full outer join USING
  • [SPARK-43948] [SC-133366][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326][connect][PYTHON] Aggiungere hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt a Scala e Python
  • [SPARK-44351] [SC-136353][sql] Rendere una semplificazione sintattica
  • [SPARK-44281] [SC-135963][sql] Spostare l'errore QueryCompilation usato da DataType in sql/api come DataTypeErrors
  • [SPARK-44283] [SC-136109][connect] Spostare l'origine in SQL/API
  • [SPARK-43926] [SC-135590][connect][PYTHON] Aggiungereagg, array_size, cardinalità, count_min_sketch, mask, named_struct, json* a Scala e Python
  • [SPARK-44327] [SC-136187][sql][CONNECT] Aggiungere funzioni any e len a Scala
  • [SPARK-44290] [SC-136300][connect] File e archivi basati su sessione in Spark Connect
  • [SPARK-44061] [SC-136299][python] Aggiungere la funzione assertDataFrameEqual util
  • [SPARK-44331] [SC-136324][connect][PYTHON] Aggiungere funzioni bitmap a Scala e Python
  • [SPARK-44342] [SC-136334][sql] Sostituire SQLContext con SparkSession per GenTPCDSData
  • [SPARK-42583] [SC-124190][sql] Rimuovere il outer join se sono tutte funzioni di aggregazione distinte
  • [SPARK-44333] [SC-136206][connect][SQL] Move EnhancedLogicalPlan out of ParserUtils
  • [SPARK-43824] [SC-132655][spark-43825] [SQL] Assegnare nomi alla classe di errore _LEGACY_ERROR_TEMP_128[1-2]
  • [SPARK-43939] [SC-134602][connect][PYTHON] Aggiungere try_* funzioni a Scala e Python
  • [SPARK-44193] [SC-135886][connect] Implementare l'intercettazione delle eccezioni GRPC per la conversione
  • [SPARK-44284] [SC-136107][connect] Creare un sistema conf semplice per sql/api
  • [SPARK-43913] [SC-133368][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2426-2432]
  • [SPARK-44291] Ripristina "[SC-135924][spark-43416][CONNECT] Correzione dello schema non corretto per la query di intervallo"
  • [SPARK-44312] [SC-136185][connect][PYTHON] Consenti di impostare un agente utente con una variabile di ambiente
  • [SPARK-44154] [SC-136060] Implementare funzioni bitmap
  • [SPARK-43885] [SC-133996][sql] DataSource V2: Gestire i comandi MERGE per le origini basate su delta
  • [SPARK-43924] [SC-135161][connect][PYTHON] Aggiungere funzioni misc a Scala e Python
  • [SPARK-43969] [SC-134556][sql] Rifattorizzare e assegnare nomi alla classe di errore _LEGACY_ERROR_TEMP_1170
  • [SPARK-44185] [SC-135730][sql] Correzione dell'incoerenza nella qualificazione del percorso tra operazioni di catalogo e dati
  • [SPARK-44073] [SC-134562][sql][PYTHON][connect] Aggiungere funzioni di data e ora a Scala, Python e Connect - parte 2
  • [SPARK-43942] [SC-134527][connect][PYTHON] Aggiungere funzioni stringa a Scala e Python - parte 1
  • [SPARK-44266] [SC-135813][sql] Spostare Util.truncatedString in sql/api
  • [SPARK-44195] [SC-135722][r] Aggiungere le API di JobTag nel contesto SparkR di SparkContext
  • [SPARK-44200] [SC-135736][sql] Supporto alla regola del parser degli argomenti per TableValuedFunction
  • [SPARK-44254] [SC-135709][sql] Spostare i QueryExecutionErrors che sono utilizzati da DataType in sql/api come DataTypeErrors
  • [SPARK-44291] [SC-135924][spark-43416][CONNECT] Correzione dello schema non corretto per la query di intervallo
  • [SPARK-43922] [SC-135612][sql] Aggiungere il supporto dei parametri denominati nel parser per le chiamate di funzione
  • [SPARK-44300] [SC-135882][connect] Correzione della pulizia degli elementi per limitare l'ambito di eliminazione agli artefatti specifici della sessione
  • [SPARK-44293] [SC-135849][connect] Correzione dell'URI non valido per jar personalizzati in Spark Connect
  • [SPARK-44215] [SC-135850][shuffle] Se i blocchi di num sono 0, il server deve generare un'eccezione RuntimeException
  • [SPARK-44245] [SC-135851][python] pyspark.sql.dataframe sample() doctests devono essere solo a scopo illustrativo.
  • [SPARK-44274] [SC-135814][connect] Spostare le funzioni di utilità usate da ArtifactManager in common/utils
  • [SPARK-44194] [SC-135815][python][CORE] Aggiungere API JobTag a PySpark SparkContext
  • [SPARK-42828] [SC-135733][python][SQL] Annotazioni di tipo Python più esplicite per GroupedData
  • [SPARK-44079] [SC-135486][sql] Correggi ArrayIndexOutOfBoundsException quando si analizza un array come una struttura utilizzando la modalità PERMISSIVE con un record corrotto
  • [SPARK-44255] [SC-135809][sql] Rilocare StorageLevel in common/utils
  • [SPARK-42169] [SC-135795] [SQL] Implementare la generazione di codice per la funzione to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719][sql][PYTHON] Effettuare il refactoring di PythonUDTFRunner per inviare il tipo restituito separatamente
  • [SPARK-43353] [SC-132734][python] Eseguire la migrazione degli errori di sessione rimanenti nella classe di errore
  • [SPARK-44211] [SC-135718][python][CONNECT] Implementare SparkSession.is_stopped
  • [SPARK-42784] [SC-135691] deve comunque creare subDir quando il numero di subDir in merge dir è minore di conf
  • [SPARK-41599] [SC-135616] Perdita di memoria in FileSystem.CACHE durante l'invio di app a un cluster sicuro tramite InProcessLauncher
  • [SPARK-44241] [SC-135613][core] Impostare erroneamente io.connectionTimeout/connectionCreationTimeout su zero o negativo porterà a continue creazioni e distruzioni degli executor.
  • [SPARK-44133] [SC-134795][13.x][PYTHON] Aggiornare MyPy da 0.920 a 0.982
  • [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Evento Serde in formato JSON
  • [SPARK-44188] [SC-135173][core] Rimuovere il metodo inutile resetAllPartitions in ActiveJob
  • [SPARK-43757] [SC-135418][connect] Modificare la compatibilità client dall'elenco consenti all'elenco di rifiuto
  • [SPARK-43474] [SC-135521] [SS] [CONNECT] Aggiungere un accesso spark connect ai dataframe di runtime in base all'ID.
  • [SPARK-44183] [SC-135209][python] Aumentare PyArrow la versione minima a 4.0.0
  • [SPARK-44248] [SC-135554][ss][SQL][kafka] Aggiungere una posizione preferita nella sorgente kafka v2
  • [SPARK-43929] [SC-134510][sql][PYTHON][connect] Aggiungere funzioni di data e ora all'API Scala, Python e Connect - parte 1
  • [SPARK-44161] [SC-135326][connect] Gestisci l'input di riga per le funzioni definite dall'utente
  • [SPARK-44227] [SC-135520][sql] Estrai SchemaUtils da StructField
  • [SPARK-44064] [SC-135116][core][SQL] Aggiungere una nuova apply funzione a NonFateSharingCache
  • [SPARK-44171] [SC-135269][sql] Assegnare nomi alla classe di errore LEGACY_ERROR_TEMP[2279-2282] & eliminare alcune classi di errore inutilizzate
  • [SPARK-44056] [SC-134758][sql] Includere il nome della funzione definita dall'utente nel messaggio di errore di esecuzione UDF quando disponibile
  • [SPARK-44205] [SC-135422][sql] Estrarre codice Catalyst da "DecimalType"
  • [SPARK-44220] [SC-135484][sql] Spostare StringConcat in sql/api
  • [SPARK-44146] [SC-135230][connect] Isolare i file jar e i file di classe della Sessione di Spark Connect
  • [SPARK-44206] [SC-135411][sql] DataSet.selectExpr scope Session.active
  • [SPARK-40850] [SC-135417][sql] Correzione delle query interpretate nei test case che possono eseguire il Codegen
  • [SPARK-44204] [SC-135253][sql][HIVE] Aggiungere il record mancante HiveCall per getPartitionNames
  • [SPARK-44237] [SC-135485][core] Semplificare la logica di ricerca del costruttore DirectByteBuffer
  • [SPARK-44189] [SC-135170][connect][PYTHON] Supporto dei parametri posizionali da sql()
  • [SPARK-44140] [SC-134893][sql][PYTHON] Supportare i parametri posizionali in Python sql()
  • [SPARK-44164] [SC-135158][sql] Estrarre il metodo toAttribute da StructField alla classe Util
  • [SPARK-44178] [SC-135113][connect] Consenti i parametri posizionali in sql()
  • [SPARK-43208] [SC-128955][sql][HIVE] IsolatedClassLoader deve chiudere la classe barriera InputStream dopo la lettura
  • [SPARK-43063] [SC-128382][sql] df.show handle null deve stampare NULL anziché null
  • [SPARK-42539] [SC-124464][sql][HIVE] Eliminare classloader separato quando si usa la versione Hive 'builtin' per il client di metadati
  • [SPARK-43992] [SC-133645][sql][PYTHON][connect] Aggiungere un modello facoltativo per Catalog.listFunctions
  • [SPARK-44066] [SC-134878][sql] Supportare i parametri posizionali in Scala/Java sql()
  • [SPARK-44078] [SC-134869][connect][CORE] Aggiungere il supporto per classloader/isolamento delle risorse
  • [SPARK-43470] [SC-135187][core] Aggiungere informazioni sul sistema operativo, Java, versione python al registro applicazioni
  • [SPARK-43136] [SC-135238][connect][Followup] Aggiunta di test per KeyA
  • [SPARK-39740] [SC-135093][ui]: Aggiornare "vis timeline" alla versione 7.7.2 per correggere CVE-2020-28487
  • [SPARK-42298] [SC-133952][sql] Assegnare il nome a _LEGACY_ERROR_TEMP_2132
  • [SPARK-43961] [SC-133459][sql][PYTHON][connect] Aggiungere un modello facoltativo per Catalog.listTables
  • [SPARK-44026] [SC-135181] Consenti di specificare il valore iniziale per SQLMetrics
  • [SPARK-44202] [SC-135244][core] Aggiungere API JobTag a JavaSparkContext
  • [SPARK-44030] [SC-135237][sql] Implementare DataTypeExpression per offrire unapply per l'espressione
  • [SPARK-43876] Ripristina “[SC-134603][sql] Abilitato l'hashmap rapido per query distinte”
  • [SPARK-40082] [SC-126437] Pianificare mergeFinalize quando si esegue il push di un'operazione di merge shuffleMapStage riprova ma non è in esecuzione alcuna attività
  • [SPARK-43888] [SC-132893][core] Rilocare la registrazione in common/utils
  • [SPARK-43474] [SC-134400] [SS] [CONNECT] Aggiungere sessionholder a SparkConnectPlanner
  • [SPARK-43944] [SC-134490][connect][PYTHON] Aggiungere funzioni stringa a Scala e Python - parte 2
  • [SPARK-44134] [SC-134954][core] Correzione dell'impostazione delle risorse (GPU/FPGA) su 0 quando vengono impostate in spark-defaults.conf
  • [SPARK-44142] [SC-134947][python] Sostituire il tipo con tpe nell'utilità per convertire i tipi Python in tipi spark
  • [SPARK-43952] [SC-134695][core][CONNECT][sql] Aggiungere API SparkContext per l'annullamento delle query in base al tag
  • [SPARK-44000] [SC-133634][sql] Aggiungere hint per disabilitare la trasmissione e la replica di uno dei lati del join
  • [SPARK-43937] [SC-134362][connect][PYTHON] Aggiungere ifnull,isnotnull,equal_null,nullif,nvl,nvl2 a Scala e Python
  • [SPARK-43624] [13.x][sc-134557][PS][connect] Aggiungere EWM a SparkConnectPlanner.
  • [SPARK-44040] [SC-134366][sql] Correggere le statistiche di calcolo quando il nodo AggregateExec si trova sopra QueryStageExec
  • [SPARK-43485] [SC-131264][sql] Correzione del messaggio di errore per l'argomento unit delle funzioni add/diff datetime
  • [SPARK-43794] [SC-132561][sql] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_1335
  • [SPARK-43511] [SC-134749][connect][SS]Implementate le API MapGroupsWithState e FlatMapGroupsWithState per Spark Connect
  • [SPARK-43529] [SQL] Supporto di espressioni CREATE/REPLACE TABLE OPTIONS e pulizia del codice
  • [SPARK-44106] [SC-134750][python][CONNECT] Aggiungi __repr__ per GroupedData
  • [SPARK-42299] [SC-133190] Assegnare un nome a _LEGACY_ERROR_TEMP_2206
  • [SPARK-43290] [SC-134388][sql] Aggiunge il supporto per aes_encrypt IV e AAD
  • [SPARK-43932] [SC-134138][sql][PYTHON][connect] Aggiungere current funzioni simili a Scala e Python
  • [SPARK-43934] [SC-134108][sql][PYTHON][connect] Aggiungere funzioni regexp_* a Scala e Python
  • [SPARK-44107] [SC-134746][connect][PYTHON] Nascondere i metodi column non supportati dal completamento automatico
  • [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Evento Serde in formato JSON
  • [SPARK-43773] [SC-132659][connect][PYTHON] Implementa levenshtein(str1, str2[, threshold])' funzioni nel client Python
  • [SPARK-44125] [SC-134745][r] Supporto di Java 21 in SparkR
  • [SPARK-43919] [SC-133374][sql] Estrarre funzionalità JSON fuori riga
  • [SPARK-43769] [SC-132520][connect] Implementare le funzioni 'levenshtein(str1, str2[, threshold])'
  • [SPARK-44012] [SC-134662][ss] KafkaDataConsumer per stampare alcuni stati di lettura
  • [SPARK-43876] [SC-134603][sql] Attivare una hashmap veloce per le query distintive
  • [SPARK-44024] [SC-134497][sql] Modifica da usare map quando unzip viene usato solo per estrarre un singolo elemento
  • [SPARK-43928] [SC-134467][sql][PYTHON][connect] Aggiungere operazioni di bit all'API Scala, Python e Connect
  • [SPARK-44092] [SC-134506][core] Aggiungere Utils.isJavaVersionAtLeast21 ed eseguire core il passaggio del modulo con Java 21
  • [SPARK-44018] [SC-134512][sql] Migliorare hashCode e toString per alcune espressioni DS V2
  • [SPARK-44105] [SC-134582][sql] LastNonNull deve essere risolto in modo pigro
  • [SPARK-44081] [SC-134434] Semplificare l'API PartitionedFileUtil
  • [SPARK-43791] [SC-132531][sql] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_1336
  • [SPARK-44071] [SC-134435] Definire e usare Unresolved[Leaf|Tratti di nodo unario.
  • [SPARK-43852] [SC-132890][spark-43853][SPARK-43854][spark-43855][SPARK-43856] Assegnare nomi alla classe di errore _LEGACY_ERROR_TEMP_2418-2425
  • [SPARK-43742] [SC-132684][sql] Refattorizzazione della risoluzione del valore di default della colonna
  • [SPARK-43493] [SC-132063][sql] Aggiungere un argomento per la distanza massima alla funzione levenshtein()
  • [SPARK-44075] [SC-134382][connect] Rendi transformStatCorr pigro
  • [SPARK-43925] [SC-134381][sql][PYTHON][connect] Aggiungere alcuni, bool_or, bool_and,ogni a Scala, Python e Connetti
  • [SPARK-43931] [SC-134158][sql][PYTHON][connect] Aggiungere funzioni make_* a Scala e Python
  • [SPARK-43762] [SC-132602][spark-43763][SPARK-43764][spark-43765][SPARK-43766][sql] Assegnare nomi alla classe di errore _LEGACY_ERROR_TEMP_24[06-10]
  • [SPARK-43962] [SC-133367][sql] Miglioramento dei messaggi di errore: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
  • [SPARK-43938] [SC-133887][connect][PYTHON] Aggiungere to_* funzioni a Scala e Python
  • [SPARK-44055] [SC-134321][core] Rimuovere le funzioni ridondanti override da CheckpointRDD
  • [SPARK-43802] [SC-132597][sql] Correzione del codegen per unhex e unbase64 con failOnError=true
  • [SPARK-43798] [SC-133990][sql][PYTHON] Supportare le funzioni di tabella definite dall'utente python
  • [SPARK-43941] [SC-134286][sql][PYTHON][connect] Aggiungere any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, ridurre l'API Scala, Python e Connect
  • [SPARK-43380] [SC-133100][sql] Correggere i problemi di conversione dei tipi di dati Avro per evitare di produrre risultati non corretti
  • [SPARK-43803] [SC-133729] [SS] [CONNECT] Migliorare awaitTermination() per gestire le disconnessioni client
  • [SPARK-43179] [SC-129070][shuffle] Consenti alle app di controllare se i metadati vengono salvati nel database dal servizio shuffle esterno

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Vedere Aggiornamenti della manutenzione di Databricks Runtime 13.3.

Ambiente di sistema

  • Sistema operativo: Ubuntu 22.04.2 LTS
    • Nota: questa è la versione ubuntu usata dai contenitori di Databricks Runtime. I contenitori DBR vengono eseguiti nelle macchine virtuali del provider di servizi cloud, che potrebbero usare una versione ubuntu diversa o una distribuzione Linux diversa.
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

Librerie Python installate

Libreria Versione Libreria Versione Libreria Versione
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttoken 2.2.1 att. 21.4.0 chiamata di ritorno 0.2.0
beautifulsoup4 4.11.1 nero 22.6.0 candeggiare 4.1.0
indicatore di direzione 1.4 boto3 1.24.28 botocore 1.27.28
certificato 2022.9.14 cffi 1.15.1 chardet 4.0.0
normalizzatore di set di caratteri 2.0.4 fai clic 8.0.4 criptografia 37.0.1
ciclista 0.11.0 Cython, un linguaggio di programmazione 0.29.32 Databricks SDK 0.1.6
dbus-python 1.2.18 debugpy 1.6.0 Decoratore 5.1.1
defusedxml (una libreria per migliorare la sicurezza nell'elaborazione di XML) 0.7.1 distlib 0.3.7 Conversione da docstring a markdown 0.12
punti di ingresso 0.4 esecuzione 1.2.0 facet-overview 1.0.3
fastjsonschema (Una libreria per la convalida veloce dei dati JSON) 2.18.0 blocco dei file 3.12.2 fonttools (strumenti per caratteri) 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 IDNA 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets (una libreria Python per widget interattivi) 7.7.2 jedi 0.18.1 Jeepney (mezzo di trasporto pubblico tipico delle Filippine) 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 portachiavi 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 Mccabe 0.7.0 Mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 taccuino 6.4.12 numpy 1.21.5
oauthlib 3.2.0 imballaggio 21,3 Panda 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
vittima 0.5.2 pexpect 4.8.0 pickleshare (libreria di software Python) 0.7.5
Cuscino 9.2.0 seme 22.2.2 platformdirs 2.5.2
plotly (software di visualizzazione dati) 5.9.0 connettivita 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser (un parser scritto in Python) 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pirsistente 0.18.0 python-dateutil (libreria Python per la gestione delle date) 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 richieste 2.28.1
corda 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 Seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools (pacchetto Python per gestire la configurazione e la distribuzione) 63.4.1 sei 1.16.0
colino per la zuppa 2.3.1 ssh-import-id (comando per l'importazione di chiavi SSH) 5.11 dati accatastati 0.6.2
statsmodels 0.13.2 tenacità 8.1.0 finito 0.13.1
percorso di prova 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets (una libreria per la configurazione dei parametri nei programmi Python) 5.1.1
typing_extensions 4.3.0 ujson (una libreria per la gestione di JSON in Python) 5.4.0 aggiornamenti non supervisionati 0,1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth (funzione per determinare la larghezza dei caratteri) 0.2.5 codifiche web 0.5.1 Che cosa è la patch 1.0.2
ruota 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
Zipp 1.0.0

Librerie R installate

Le librerie R vengono installate dallo snapshot CRAN del Gestore pacchetti Posit al 2023-02-10: https://packagemanager.posit.co/cran/__linux__/jammy/2023-02-10/.

Libreria Versione Libreria Versione Libreria Versione
freccia 10.0.1 askpass 1.1 assicura che 0.2.1
retroportazioni 1.4.1 base 4.2.2 base64enc 0.1-3
pezzo 4.0.5 bit 64 4.0.5 massa amorfa 1.2.3
stivale 1.3-28 fermentare 1.0-8 Brio 1.1.3
Scopa 1.0.3 bslib 0.4.2 cashmere 1.0.6
chiamante 3.7.3 Interpunzione 6.0-93 cellranger 1.1.0
cronometro 2.3-59 classe 7.3-21 CLI 3.6.0
Clipr 0.8.0 orologio 0.6.1 raggruppamento 2.1.4
strumenti per la codifica 0,2-19 spazio di colore 2.1-0 segno comune 1.8.1
compilatore 4.2.2 configurazione 0.3.1 cpp11 0.4.3
pastello 1.5.2 credenziali 1.3.2 curva 5.0.0
tabella di dati 1.14.6 Insiemi di dati 4.2.2 DBI 1.1.3
dbplyr 2.3.0 descrizione 1.4.2 strumenti per sviluppatori 2.4.5
diffobj 0.3.5 digerire 0.6.31 illuminazione rivolta verso il basso 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
puntini di sospensione 0.3.2 valutare 0,20 fan 1.0.4
colori 2.1.1 mappatura veloce 1.1.0 fontawesome 0.5.0
forzati 1.0.0 foreach 1.5.2 straniero 0.8-82
forgiare 0.2.0 Fs 1.6.1 futuro 1.31.0
futuro.applicare 1.10.0 fare gargarismi 1.3.0 elementi generici 0.1.3
Gert 1.9.2 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 elementi globali 0.16.2
colla 1.6.2 Google Drive 2.0.0 Googlesheets4 1.0.1
Gower 1.0.1 grafica 4.2.2 grDispositivi 4.2.2
griglia 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 casco protettivo 1.2.0 rifugio 2.5.1
più alto 0,10 HMS 1.1.2 strumenti HTML 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
documenti di identità 1.0.1 ini 0.3.1 ipred 0.9-13
banderelle isografiche 0.2.7 Iteratori 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 magliare 1.42
Etichettatura 0.4.2 più tardi 1.3.0 Lattice 0.20-45
Java 1.7.1 ciclo di vita 1.0.3 ascolta 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Markdown 1,5
Massa 7.3-58.2 Matrice 1.5-1 memorizza 2.0.1
metodi 4.2.2 mgcv 1.8-41 mimo 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
Derivazione numerica 2016.8-1.1 openssl 2.0.5 parallelo 4.2.2
parallelamente 1.34.0 Concetto fondamentale 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 elogio 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Avanzamento 1.2.2
progressr 0.13.0 promesse 1.2.0.1 proto / prototipo 1.0.0
intermediario 0,4–27 P.S. 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp (una libreria per il linguaggio di programmazione R) 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl (software per leggere documenti Excel) 1.4.2 ricette 1.0.4
nuovo incontro 1.0.1 rematch2 2.1.2 Telecomandi 2.4.2
esempio riproducibile (reprex) 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 insolenza 0.4.5 Scalabilità 1.2.1
selettore 0,4-2 informazioni sulla sessione 1.2.2 Forma 1.4.6
brillante 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.1 spaziale 7.3-15 Spline 4.2.2
sqldf 0,4-11 SQUAREM 2021.1 statistiche 4.2.2
statistiche4 4.2.2 perizoma 1.7.12 stringr 1.5.0
Sopravvivenza 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testatat 3.1.6 modellazione del testo 0.3.6
Tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 cambio d'ora 0.2.0 data e ora 4022.108
tinytex 0.44 strumenti 4.2.2 tzdb 0.3.0
verificatore di URL 1.0.1 Usa questo 2.1.6 UTF8 1.2.3
Utilità 4.2.2 UUID (Identificatore Unico Universale) 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vrooom 1.6.1 Waldo 0.4.0
baffi 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 formato zip 2.2.2

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (configurazione SDK Java per AWS) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect (strumento per la connessione diretta in Java di AWS) 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws AWS Java SDK per Glacier 1.12.390
com.amazonaws aws-java-sdk-glue (collegamento SDK Java AWS) 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-consultas 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws AWS Java SDK Machine Learning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway (SDK di AWS per Java per Storage Gateway) 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support (supporto del kit di sviluppo software Java per AWS) 1.12.390
com.amazonaws Librerie aws-java-sdk-swf 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics torrente 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware ombreggiato criogenico 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeina caffeina 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib riferimento_nativo-java 1.1
com.github.fommil.netlib riferimento_nativo-java 1.1-indigeni
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java 1.1-indigeni
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-indigeni
com.github.fommil.netlib netlib-sistema_nativo-linux-x86_64 1.1-indigeni
com.github.luben zstd-jni (libreria open-source per compressione con Java Native Interface) 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink Tink 1.7.0
com.google.errorprone annotazioni soggette a errori 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guaiava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profilatore 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RILASCIO
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (algoritmo di compressione) 1.1.2
com.sun.mail javax.mail (package Java per la gestione della posta elettronica) 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenti_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configurazione 1.2.1
com.typesafe.scala-logging scala-logging_2.12 (libreria per la gestione dei log in Scala, versione 2.12) 3.7.2
com.uber h3 3.7.0
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec (libreria per la codifica comune) commons-codec (libreria per la codifica comune) 1.15
collezioni-comuni collezioni-comuni 3.2.2
commons-dbcp commons-dbcp 1.4
funzione di caricamento file dei Commons funzione di caricamento file dei Commons 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging (no translation needed) commons-logging (no translation needed) 1.1.3
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 3.0.3
dev.sdk.netlib Blas 3.0.3
dev.sdk.netlib LAPACK 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressore d'aria 0.21
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics nucleo delle metriche 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metriche-controlli di salute 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json (Specificare ulteriormente se necessario a seconda del contesto) 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metriche-servlet 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http (codec HTTP di Netty) 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-comune 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus sempliceclient_comune 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation attivazione 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction API per le transazioni 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine sottaceto 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv (formato CSV avanzato) 2.2.0
net.snowflake snowflake-ingest-sdk (kit di sviluppo software per l'ingestione dati) 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combinato_tutto 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr modello di stringa 3.2.1
org.apache.ant formica 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant launcher 1.9.16
org.apache.arrow formato freccia 11.0.0
org.apache.arrow arrow-nucleo-di-memoria 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow freccia-vettore 11.0.0
org.apache.avro Avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons testo comune 1.10.0
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby sportivo 10.14.2.0
org.apache.hadoop runtime del client Hadoop 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive Hive-JDBC 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive spessori del sistema Hive 2.3.9
org.apache.hive API di archiviazione Hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims Hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Edera 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos Mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.4-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.4-shaded-protobuf
org.apache.orc orc-shim 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus annotazioni del gruppo di destinatari 0.13.0
org.apache.zookeeper guardiano dello zoo 3.6.3
org.apache.zookeeper guardiano dello zoo-juta 3.6.3
org.checkerframework verificatore qualità 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino Commons-Compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty continuazione di jetty 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty Jetty Plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty sicurezza del molo 9.4.51.v20230217
org.eclipse.jetty Jetty Server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty applicazione web di Jetty 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket WebSocket-API 9.4.51.v20230217
org.eclipse.jetty.websocket cliente WebSocket 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-comune 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-localizzatore 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 localizzatore di risorse OSGi 1.0.3
org.glassfish.hk2.external aopalliance-repackaged (riconfezionato) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (servlet del contenitore Jersey) 2.36
org.glassfish.jersey.containers modulo-nucleo-servlet-contenitore-jersey (if a translation is required as per the context) 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core maglia-comune 2.36
org.glassfish.jersey.core Jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator validatore di Hibernate 6.1.7.Versione finale
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging (strumento di registrazione per JBoss) 3.3.2.Finale
org.jdbi jdbi 2.63.1
org.jetbrains annotazioni 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client - Libreria Java per MariaDB 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap Spessori 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfaccia di prova 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatibile con scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten treten-extra 1.7.1
org.cortanaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml snakeyaml 1,33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on