Condividi tramite

Aggiornamenti di manutenzione per Databricks Runtime (archiviato)

  • Articolo

Questa pagina archiviata elenca gli aggiornamenti di manutenzione rilasciati per le versioni di Databricks Runtime non più supportate. Per aggiungere un aggiornamento di manutenzione a un cluster esistente, riavviare il cluster.

Importante

Questa documentazione è stata ritirata e potrebbe non essere aggiornata. I prodotti, i servizi o le tecnologie citati in questo contenuto hanno raggiunto il termine del supporto. Si veda Versioni e compatibilità delle note sulla versione di Databricks Runtime.

Nota

Questo articolo contiene riferimenti al termine elenco elementi consentiti, che Azure Databricks non utilizza. Quando il termine verrà rimosso dal software, verrà rimosso anche dall'articolo.

Versioni di Databricks Runtime

Aggiornamenti della manutenzione in base al rilascio:

Per gli aggiornamenti della manutenzione nelle versioni di Databricks Runtime supportate, vedere Aggiornamenti della manutenzione di Databricks Runtime.

Databricks Runtime 15.0

Si veda Databricks Runtime 15.0 (EoS).

  • 30 maggio 2024
  • 25 aprile 2024
    • [SPARK-47786] SELECT DISTINCT () non deve diventare SELECT DISTINCT struct() (ripristinare il comportamento precedente)
    • [SPARK-47802][SQL] Ripristina al significato *() dal significato della struttura()
    • [SPARK-47509][SQL] Blocca le espressioni di sottoquery nelle funzioni lambda e di ordine superiore
    • [SPARK-47722] Attendere il completamento del lavoro in background di RocksDB prima della chiusura
    • [SPARK-47081][CONNECT] [FOLLOW] Miglioramento dell'utilizzabilità del gestore di stato
    • [SPARK-47694][CONNECT] Rendere configurabili le dimensioni massime dei messaggi sul lato client
    • [SPARK-47669][SQL] [CONNECT] [PYTHON] Aggiungere Column.try_cast
    • [SPARK-47664][PYTHON] [CONNECT] [Cherry-pick-15.0] Convalidare il nome della colonna con lo schema memorizzato nella cache
    • [SPARK-47818][CONNECT] [Cherry-pick-15.0] Introdurre la cache dei piani in SparkConnectPlanner per migliorare le prestazioni delle richieste di analisi
    • [SPARK-47704][SQL] L'analisi JSON ha esito negativo con "java.lang.ClassCastException" quando spark.sql.json.enablePartialResults è abilitato
    • [SPARK-47755][CONNECT] Pivot deve avere esito negativo quando il numero di valori distinti è troppo grande
    • [SPARK-47713][SQL] [CONNECT] Correzione di un errore di self-join
    • [SPARK-47812][CONNECT] Supporto della serializzazione di SparkSession per il ruolo di lavoro ForEachBatch
    • [SPARK-47828][CONNECT] [PYTHON] DataFrameWriterV2.overwrite ha esito negativo con piano non valido
    • [SPARK-47862][PYTHON] [CONNECT] Correzione della generazione di file proto
    • [SPARK-47800][SQL] Creare un nuovo metodo per l'identificatore nella conversione tableIdentifier
    • Aggiornamenti della sicurezza del sistema operativo
  • 3 aprile 2024
    • (Modifica del comportamento) Per garantire un comportamento coerente tra i vari tipi di calcolo, le UDF di PySpark su cluster condivisi ora corrispondono al comportamento delle UDF su cluster non isolati e assegnati. Questo aggiornamento include le seguenti modifiche che potrebbero interrompere il codice esistente:
      • Le funzioni definite dall'utente con un tipo restituito string non convertono più in modo implicito i valori non string in valori string. In precedenza, le UDF con un tipo restituito di str avrebbero eseguito il wrapping del valore restituito con una funzione str() indipendentemente dal tipo di dati effettivo del valore restituito.
      • Le funzioni definite dall'utente con tipi restituiti timestamp non applicano più in modo implicito una conversione a timestamp con timezone.
      • Le configurazioni spark.databricks.sql.externalUDF.* del cluster Spark non si applicano più alle funzioni definite dall'utente PySpark nei cluster condivisi.
      • La configurazione spark.databricks.safespark.externalUDF.plan.limit del cluster Spark nnon interessa più le UDF di PySpark, eliminando la limitazione dell'Anteprima pubblica di 5 UDF per query per le UDF di PySpark.
      • La configurazione spark.databricks.safespark.sandbox.size.default.mib del cluster Spark non si applica più alle UDF di PySpark nei cluster condivisi. Viene invece utilizzata la memoria disponibile nel sistema. Per limitare la memoria delle UDF di PySpark, usare spark.databricks.pyspark.udf.isolation.memoryLimit con un valore minimo di 100m.
    • Il tipo di dati TimestampNTZ è ora supportato come colonna di clustering con clustering liquido. Vedere Usare il clustering liquido per le tabelle Delta.
    • [SPARK-47218][SQL] XML: ignorare i tag di riga commentati nel tokenizer XML
    • [SPARK-46990][SQL] Correzione del caricamento di file Avro vuoti generati da hub eventi
    • [SPARK-47033][SQL] Correzione di EXECUTE IMMEDIATE USING non riconosce i nomi delle variabili di sessione
    • [SPARK-47368][SQL] Rimuovere il controllo di configurazione inferTimestampNTZ in ParquetRowConverter
    • [SPARK-47561][SQL] Risolvere i problemi relativi all'ordine delle regole dell'analizzatore relativi all'alias
    • [SPARK-47638][PS] [CONNECT] Ignorare la convalida del nome della colonna in PS
    • [SPARK-46906][BACKPORT][SS] Aggiungere un controllo per la modifica dell'operatore con stato per lo streaming
    • [SPARK-47569][SQL] Non consentire il confronto tra varianti.
    • [SPARK-47241][SQL] Risolvere i problemi relativi all'ordine delle regole per ExtractGenerator
    • [SPARK-47218] [SQL] XML: Modifica di SchemaOfXml in modo che non riesca in modalità DROPMALFORMED
    • [SPARK-47300][SQL] quoteIfNeeded l'identificatore di virgolette deve iniziare con le cifre
    • [SPARK-47009][SQL] [Regole di confronto] Abilitare il supporto per la creazione di tabelle per le regole di confronto
    • [SPARK-47322][PYTHON] [CONNECT] Rendere la gestione della duplicazione dei nomi delle colonne withColumnsRenamed coerente con withColumnRenamed
    • [SPARK-47544][PYTHON] Il metodo del generatore SparkSession non è compatibile con IntelliSense per visual Studio Code
    • [SPARK-47511][SQL] Canonizzare le espressioni With assegnando nuovamente gli ID
    • [SPARK-47385] Correggere i codificatori di tupla con input di opzione.
    • [SPARK-47200][SS] Classe di errore per l'errore della funzione utente del sink batch Foreach
    • [SPARK-47135][SS] Implementare classi di errore per le eccezioni di perdita di dati Kafka
    • [SPARK-38708][SQL] Aggiornare il client Metastore Hive alla versione 3.1.3 per Hive 3.1
    • [SPARK-47305][SQL] Correzione di PruneFilters per contrassegnare correttamente il flag isStreaming di LocalRelation quando il piano ha sia batch sia streaming
    • [SPARK-47380][CONNECT] Verificare sul lato server che SparkSession sia lo stesso
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 14.0

Si veda Databricks Runtime 14.0 (EoS).

  • 8 febbraio 2024
    • [SPARK-46396] L'inferenza timestamp non deve generare un'eccezione.
    • [SPARK-46794] Rimuovere sottoquery dai vincoli LogicalRDD.
    • [SPARK-45182] Ignorare il completamento dell'attività dalla fase precedente dopo aver rieseguito la fase padre-indeterminato come determinato dal checksum.
    • [SPARK-46933] Aggiungere la metrica relativa al tempo di esecuzione delle query ai connettori che usano JDBCRDD.
    • [SPARK-45957] Evitare di generare un piano di esecuzione per i comandi non eseguibili.
    • [SPARK-46861] Evitare deadlock in DAGScheduler.
    • [SPARK-46930] Aggiungere il supporto per un prefisso personalizzato per i campi tipo unione in Avro.
    • [SPARK-46941] Non è possibile inserire il nodo limite del gruppo di finestre per il calcolo top-k se contiene SizeBasedWindowFunction.
    • [SPARK-45582] Assicurarsi che l'istanza dell'archivio non venga utilizzata dopo aver chiamato il commit all'interno dell'aggregazione di streaming in modalità output.
    • Aggiornamenti della sicurezza del sistema operativo
  • 31 gennaio 2024
    • [SPARK-46541] Correggere il riferimento di colonna ambiguo in self join.
    • [SPARK-46676] dropDuplicatesWithinWatermark non deve avere esito negativo sulla canonizzazione del piano.
    • [SPARK-46769] Ridefinire l'inferenza dello schema correlata al timestamp.
    • [SPARK-45498] Completamento: ignorare il completamento dell'attività dai tentativi di fase precedente.
    • Ripristinare [SPARK-46769] Ridefinire l'inferenza dello schema correlata al timestamp.
    • [SPARK-46383] Ridurre l'utilizzo dell'heap del driver riducendo la durata di TaskInfo.accumulables().
    • [SPARK-46633] Correzione del lettore Avro per gestire blocchi di lunghezza zero.
    • [SPARK-46677] Correzione della risoluzione dataframe["*"].
    • [SPARK-46684] Correzione di CoGroup.applyInPandas/Arrow per passare correttamente gli argomenti.
    • [SPARK-46763] Correzione dell'errore di asserzione in ReplaceDeduplicateWithAggregate per gli attributi duplicati.
    • [SPARK-46610] La creazione di una tabella deve generare un'eccezione quando non viene restituito alcun valore per una chiave nelle opzioni.
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 gennaio 2024
    • Il nodo shuffle del piano di spiegazione restituito da una query Photon viene aggiornato per aggiungere il flag causedBroadcastJoinBuildOOM=truequando si verifica un errore di memoria insufficiente durante una sequenza casuale che fa parte di un join di trasmissione.
    • Per evitare una maggiore latenza durante la comunicazione tramite TLSv1.3, questa versione di manutenzione include una patch per l'installazione di JDK 8 per correggere il bug JDK JDK-8293562.
    • [SPARK-46394] Correggere i problemi di spark.catalog.listDatabases() sugli schemi con caratteri speciali quando spark.sql.legacy.keepCommandOutputSchema è impostato su true.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-45814] Impostare ArrowConverters.createEmptyArrowBatch call close() per evitare perdite di memoria.
    • [SPARK-46173] Ignorare trimAll call durante l'analisi della data.
    • [SPARK-46484] Rendere resolveOperators le funzioni helper mantenere l'ID del piano.
    • [SPARK-46466] Il lettore Parquet vettorializzato non deve mai eseguire il rebase per timestamp ntz.
    • [SPARK-46056] Correzione del valore predefinito di NpE in lettura con valore predefinito byteArrayDecimalType.
    • [SPARK-46058] Aggiungere un flag separato per privateKeyPassword.
    • [SPARK-46478] Ripristinare SPARK-43049 per usare oracle varchar(255) per la stringa.
    • [SPARK-46132] Supporto della password della chiave per le chiavi JKS per SSL RPC.
    • [SPARK-46417] Non fallire quando si chiama hive.getTable e throwException è false.
    • [SPARK-46261] DataFrame.withColumnsRenamed deve mantenere l'ordine dict/map.
    • [SPARK-46370] Correzione di un bug durante l'esecuzione di query dalla tabella dopo la modifica delle impostazioni predefinite della colonna.
    • [SPARK-46609] Evitare l'esplosione esponenziale in PartitioningPreservingUnaryExecNode.
    • [SPARK-46600] Spostare il codice condiviso tra SqlConf e SqlApiConf in SqlApiConfHelper.
    • [SPARK-46538] Correggere il problema di riferimento di colonna ambiguo in ALSModel.transform.
    • [SPARK-46337] Far mantenere a CTESubstitution l'oggetto PLAN_ID_TAG.
    • [SPARK-46602] Propagare allowExisting nella creazione della vista quando la vista o la tabella non esiste.
    • [SPARK-46260] DataFrame.withColumnsRenamed deve mantenere l'ordine dict.
    • [SPARK-46145] spark.catalog.listTables non genera eccezioni quando la tabella o la vista non viene trovata.
  • 14 dicembre 2023
    • È stato risolto un problema per cui i caratteri di sottolineatura preceduti da escape nelle operazioni getColumns provenienti da client JDBC o ODBC venivano gestiti in modo non corretto e interpretati come caratteri jolly.
    • [SPARK-46255] Supporto del tipo complesso - conversione di stringhe >.
    • [SPARK-46028] Far accettare a Column.__getitem__ la colonna di input.
    • [SPARK-45920] il gruppo per ordinale deve essere idempotente.
    • [SPARK-45433] Correzione dell'inferenza dello schema CSV/JSON quando i timestamp non corrispondono a timestampFormat specificati.
    • [SPARK-45509] Correzione del comportamento di riferimento della colonna df per Spark Connect.
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 novembre 2023
    • È stato installato un nuovo pacchetto pyarrow-hotfix per correggere una vulnerabilità PyArrow RCE.
    • È stato risolto un problema per cui i caratteri di sottolineatura preceduti da escape nelle operazioni getColumns provenienti da client JDBC o ODBC interpretati erroneamente come caratteri jolly.
    • Quando si inseriscono dati CSV utilizzando il caricatore automatico o le tabelle di streaming, adesso i file CSV di grandi dimensioni sono suddivisibili e possono essere elaborati in parallelo sia durante l'inferenza dello schema sia durante l'elaborazione dei dati.
    • Il connettore Spark-snowflake viene aggiornato alla versione 2.12.0.
    • [SPARK-45859] Oggetti UDF creati in ml.functions differita.
    • Ripristinare [SPARK-45592].
    • [SPARK-45892] Eseguire il refactoring della convalida del piano per separare validateSchemaOutput e validateExprIdUniqueness.
    • [SPARK-45592] Correzione del problema di correttezza in AQE con InMemoryTableScanExec.
    • [SPARK-45620] Le API correlate alla funzione definita dall'utente Python adeo usano camelCase.
    • [SPARK-44784] Ha reso ermetici i test SBT.
    • [SPARK-45770] Correzione della risoluzione delle colonne con DataFrameDropColumns per Dataframe.drop.
    • [SPARK-45544] Supporto SSL integrato in TransportContext.
    • [SPARK-45730] Vincoli temporali migliorati per ReloadingX509TrustManagerSuite.
    • Aggiornamenti della sicurezza del sistema operativo
  • 10 novembre 2023
    • Query di feed di dati modificate nelle tabelle di streaming del catalogo Unity e nelle viste materializzate per visualizzare i messaggi di errore.
    • [SPARK-45545] SparkTransportConf eredita SSLOptions al momento della creazione.
    • [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con TakeOrderedAndProjectExec.
    • [SPARK-45427] Aggiunta delle impostazioni SSL RPC a SSLOptions e SparkTransportConf.
    • [SPARK-45541] Aggiunta di SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction non ha più esito negativo quando IGNORE NULLS e offset > rowCount.
    • [SPARK-45429] Aggiunta di classi helper per la comunicazione RPC SSL.
    • [SPARK-44219] Sono state aggiunte altre convalide per regola per le riscritture di ottimizzazione.
    • [SPARK-45543] È stato risolto un problema per cui InferWindowGroupLimit generava un errore se le altre funzioni della finestra non hanno lo stesso frame della finestra delle funzioni di rango.
    • Aggiornamenti della sicurezza del sistema operativo
  • 23 ottobre 2023
    • [SPARK-45426] Aggiunta del supporto per ReloadingX509TrustManager.
    • [SPARK-45396] Aggiunta della voce doc per il modulo PySpark.ml.connect e aggiunta di Evaluator a __all__ in ml.connect.
    • [SPARK-45256] È stato risolto un problema a causa del quale DurationWriter falliva quando si scrivevano più valori della capacità iniziale.
    • [SPARK-45279] Collegato plan_id a tutti i piani logici.
    • [SPARK-45250] Aggiunta del supporto per il profilo delle risorse delle attività a livello di fase per i cluster yarn quando l'allocazione dinamica è disattivata.
    • [SPARK-45182] Aggiunta del supporto per il rollback della fase di riproduzione casuale della mappa in modo che tutte le attività di fase possano essere ritentate quando l'output della fase è indeterminato.
    • [SPARK-45419] Evitare di riutilizzare i file rocksdb sst in un'istanza diversa da rocksdb rimuovendo le voci della mappa delle versioni dei file di versioni più grandi.
    • [SPARK-45386] È stato risolto un problema per cui StorageLevel.NONE restituiva erroneamente 0.
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 ottobre 2023
    • Dipendenza snowflake-jdbc aggiornata dalla versione 3.13.29 alla versione 3.13.33.
    • La funzione array_insert è basata su 1 per gli indici positivi e negativi, mentre prima era basata su 0 per gli indici negativi. Adesso inserisce un nuovo elemento alla fine delle matrici di input per l'indice -1. Per ripristinare il comportamento precedente, impostare spark.sql.legacy.negativeIndexInArrayInsert su true.
    • Azure Databricks non ignora più i file danneggiati quando un'inferenza dello schema CSV con il caricatore automatico ha abilitato ignoreCorruptFiles.
    • [SPARK-45227] È stato risolto un problema delicato di thread-safety con CoarseGrainedExecutorBackend.
    • [SPARK-44658] ShuffleStatus.getMapStatus deve restituire None anziché Some(null).
    • [SPARK-44910] Encoders.bean non supporta le superclassi con argomenti di tipo generico.
    • [SPARK-45346] L'inferenza dello schema Parquet rispetta i flag con distinzione tra maiuscole e minuscole durante l'unione dello schema.
    • Ripristinare [SPARK-42946].
    • [SPARK-42205] Aggiornato il protocollo JSON per rimuovere la registrazione degli accumulabili negli eventi di avvio di un'attività o di una fase.
    • [SPARK-45360] Il generatore di sessioni Spark supporta l'inizializzazione da SPARK_REMOTE.
    • [SPARK-45316] Aggiungere nuovi parametri ignoreCorruptFiles/ignoreMissingFiles a HadoopRDD e NewHadoopRDD.
    • [SPARK-44909] Ignorare l'esecuzione del server di streaming dei log del server di distribuzione torch quando non è disponibile.
    • [SPARK-45084] StateOperatorProgress ora usa un numero di partizione casuale accurato.
    • [SPARK-45371] Correzione dei problemi di ombreggiatura nel client Scala di Spark Connect.
    • [SPARK-45178] Eseguire il fallback per l'esecuzione di un singolo batch per Trigger.AvailableNow con origini non supportate anziché usare il wrapper.
    • [SPARK-44840] Rendere array_insert() in base 1 per gli indici negativi.
    • [SPARK-44551] Commenti modificati per la sincronizzazione con OSS.
    • [SPARK-45078] La funzione ArrayInsert ora esegue il casting esplicito quando il tipo di elemento non è uguale al tipo di componente derivato.
    • [SPARK-45339] PySpark ora registra gli errori di ripetizione dei tentativi.
    • [SPARK-45057] Evitare di acquisire il blocco di lettura quando keepReadLock è false.
    • [SPARK-44908] Correzione della funzionalità param di convalida incrociata foldCol .
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 13.1

Si veda Databricks Runtime 13.1 (EoS).

  • 29 novembre 2023
    • È stato risolto un problema per cui i caratteri di sottolineatura preceduti da escape nelle operazioni getColumns provenienti da client JDBC o ODBC interpretati erroneamente come caratteri jolly.
    • [SPARK-44846] Rimosse espressioni di raggruppamento complesse dopo RemoveRedundantAggregates.
    • [SPARK-43802] È stato risolto un problema a causa del quale codegen per espressioni unhex e unbase64 avrebbe esito negativo.
    • [SPARK-43718] Correzione del supporto dei valori Null per le chiavi nei join USING.
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 novembre 2023
    • I filtri di partizione per le query di streaming Delta Lake vengono sottoposti a push prima della limitazione della frequenza per ottenere un utilizzo migliore.
    • Query di feed di dati modificate nelle tabelle di streaming del catalogo Unity e nelle viste materializzate per visualizzare i messaggi di errore.
    • [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con TakeOrderedAndProjectExec.
    • [SPARK-45430] FramelessOffsetWindowFunction non ha più esito negativo quando IGNORE NULLS e offset > rowCount.
    • [SPARK-45543] È stato risolto un problema per cui InferWindowGroupLimit generava un errore un problema se le altre funzioni della finestra non avevano lo stesso frame delle funzioni delle funzioni di rango.
    • Aggiornamenti della sicurezza del sistema operativo
  • 24 ottobre 2023
    • [SPARK-43799] Aggiunta dell'opzione binaria del descrittore all'API PySpark Protobuf.
    • Ripristinare [SPARK-42946].
    • [SPARK-45346] L'inferenza dello schema Parquet ora rispetta i flag con distinzione tra maiuscole e minuscole durante l'unione di uno schema.
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 ottobre 2023
    • Dipendenza snowflake-jdbc aggiornata dalla versione 3.13.29 alla versione 3.13.33.
    • Non vengono più ignorati i file corrotti quando è abilitato ignoreCorruptFiles durante l'inferenza dello schema CSV con il caricatore automatico.
    • [SPARK-44658] ShuffleStatus.getMapStatus restituisce None anziché Some(null).
    • [SPARK-45178] Eseguire il fallback per l'esecuzione di un singolo batch per Trigger.AvailableNow con origini non supportate anziché usare il wrapper.
    • [SPARK-42205] Aggiornato il protocollo JSON per rimuovere la registrazione degli accumulabili negli eventi di avvio di un'attività o di una fase.
    • Aggiornamenti della sicurezza del sistema operativo
  • 12 settembre 2023
    • [SPARK-44718] Per impostazione predefinita, la configurazione in modalità memoria ColumnVector corrisponde al valore di configurazione OffHeapMemoryMode.
    • SPARK-44878 Disattivato limite rigido per la gestione scrittura RocksDB per evitare l'inserimento di eccezioni al completamento della cache.
    • Correzioni varie.
  • 30 agosto 2023
    • [SPARK-44871] Correzione del comportamento percentile_disc.
    • [SPARK-44714] Limitazione della risoluzione LCA relativa alle query.
    • [SPARK-44245] I test della documentazione PySpark.sql.dataframe sample() sono ora solo illustrativi.
    • [SPARK-44818] Correzione della gara per l'interruzione dell'attività in sospeso rilasciata prima dell'inizializzazione di taskThread.
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 agosto 2023
    • [SPARK-44485] TreeNode.generateTreeString ottimizzato.
    • [SPARK-44643] Corretto Row.__repr__ quando la riga è vuota.
    • [SPARK-44504] L'attività di manutenzione ora pulisce i provider caricati in caso di errore di arresto.
    • [SPARK-44479] Corretta la conversione protobuf da un tipo di struttura vuota.
    • [SPARK-44464] Corretto applyInPandasWithStatePythonRunner delle righe di output che hanno Null come primo valore di colonna.
    • Correzioni varie.
  • 27 luglio 2023
    • È stato risolto un problema per cui dbutils.fs.ls() viene restituito INVALID_PARAMETER_VALUE.LOCATION_OVERLAP quando viene chiamato per un percorso di posizione di archiviazione che si è scontrato con un altro percorso di archiviazione esterno o gestito.
    • [SPARK-44199] CacheManager non aggiorna più fileIndex inutilmente.
    • [SPARK-44448] Correzione del bug relativo ai risultati errati da DenseRankLimitIterator e InferWindowGroupLimit.
    • Aggiornamenti della sicurezza del sistema operativo
  • 24 luglio 2023
    • Ripristinare [SPARK-42323].
    • [SPARK-41848] È stato risolto un problema di pianificazione eccessiva dell'attività con TaskResourceProfile.
    • [SPARK-44136] È stato risolto un problema per cui StateManager si materializzava in un executor anziché il driver in FlatMapGroupsWithStateExec.
    • [SPARK-44337] È stato risolto un problema per cui qualsiasi set di campi causava errori di analisi Any.getDefaultInstance.
    • Aggiornamenti della sicurezza del sistema operativo
  • 27 giugno 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 giugno 2023
    • approx_count_distinct fotonizzato.
    • Il parser JSON in modalità failOnUnknownFields ora elimina il record in modalità DROPMALFORMED e non riesce direttamente in modalità FAILFAST.
    • La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
    • Il campo PubSubRecord degli attributi viene archiviato come JSON anziché come stringa da una mappa Scala per una serializzazione e deserializzazione più semplici.
    • Il comando EXPLAIN EXTENDED restituisce ora l'idoneità della cache dei risultati della query.
    • Migliorare le prestazioni degli aggiornamenti incrementali con SHALLOW CLONE Iceberg e Parquet.
    • [SPARK-43032] Correzione di bug di Python SQM.
    • [SPARK-43404]Ignorare il riutilizzo del file sst per la stessa versione dell'archivio stati di RocksDB per evitare l'errore di mancata corrispondenza dell'ID.
    • [SPARK-43340] Gestire il campo di analisi dello stack mancante nei log eventi.
    • [SPARK-43527] Corretto catalog.listCatalogs in PySpark.
    • [SPARK-43541] Propagare tutti i tag Project nella risoluzione delle espressioni e delle colonne mancanti.
    • [SPARK-43300] Wrapper NonFateSharingCacheper Guava Cache.
    • [SPARK-43378] Chiudere correttamente gli oggetti flusso in deserializeFromChunkedBuffer.
    • [SPARK-42852] Ripristinare le modifiche correlate a NamedLambdaVariable da EquivalentExpressions.
    • [SPARK-43779] ParseToDate ora carica EvalMode nel thread principale.
    • [SPARK-43413] Correzione del valore che ammette i valori Null IN nella sottoquery ListQuery.
    • [SPARK-43889] Aggiungere il controllo per il nome della colonna per far ì che __dir__() escluda i nomi delle colonne soggette a errori.
    • [SPARK-43043] Miglioramento delle prestazioni di MapOutputTracker.updateMapOutput
    • [SPARK-43522] Correzione della creazione del nome della colonna della struttura con indice della matrice.
    • [SPARK-43457] Agente utente di augument con versioni del sistema operativo, Python e Spark.
    • [SPARK-43286] Aggiornamento della modalità CBC aes_encrypt per generare IV casuali.
    • [SPARK-42851] Proteggere EquivalentExpressions.addExpr() con supportedExpression().
    • Ripristinare [SPARK-43183].
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 12.2 LTS

Si veda Databricks Runtime 12.2 LTS.

  • 29 novembre 2023
    • È stato risolto un problema per cui i caratteri di sottolineatura preceduti da escape nelle operazioni getColumns provenienti da client JDBC o ODBC interpretati erroneamente come caratteri jolly.
    • [SPARK-42205] Rimozione degli accumuli di registrazione negli eventi di avvio Stage e Task.
    • [SPARK-44846] Rimosse espressioni di raggruppamento complesse dopo RemoveRedundantAggregates.
    • [SPARK-43718] Correzione del supporto dei valori Null per le chiavi nei join USING.
    • [SPARK-45544] Supporto SSL integrato in TransportContext.
    • [SPARK-43973] L'interfaccia utente di Structured Streaming ora visualizza correttamente le query non riuscite.
    • [SPARK-45730] Vincoli temporali migliorati per ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Oggetti UDF creati in ml.functions differita.
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 novembre 2023
    • I filtri di partizione per le query di streaming Delta Lake vengono sottoposti a push prima della limitazione della frequenza per ottenere un utilizzo migliore.
    • [SPARK-45545] SparkTransportConf eredita SSLOptions al momento della creazione.
    • [SPARK-45427] Aggiunta delle impostazioni SSL RPC a SSLOptions e SparkTransportConf.
    • [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con TakeOrderedAndProjectExec.
    • [SPARK-45541] Aggiunta di SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction non ha più esito negativo quando IGNORE NULLS e offset > rowCount.
    • [SPARK-45429] Aggiunta di classi helper per la comunicazione RPC SSL.
    • Aggiornamenti della sicurezza del sistema operativo
  • 24 ottobre 2023
    • [SPARK-45426] Aggiunta del supporto per ReloadingX509TrustManager.
    • Correzioni varie.
  • 13 ottobre 2023
    • Dipendenza snowflake-jdbc aggiornata dalla versione 3.13.29 alla versione 3.13.33.
    • [SPARK-42553] Verificare almeno un'unità di tempo dopo l'intervallo.
    • [SPARK-45346] L'inferenza dello schema Parquet rispetta i flag con distinzione tra maiuscole e minuscole durante l'unione dello schema.
    • [SPARK-45178] Eseguire il fallback per l'esecuzione di un singolo batch per Trigger.AvailableNow con origini non supportate anziché usare il wrapper.
    • [SPARK-45084] StateOperatorProgress per usare un numero di partizione casuale accurato e adeguato.
  • 12 settembre 2023
    • [SPARK-44873] Aggiunta del supporto per alter view con colonne annidate nel client Hive.
    • [SPARK-44718] Per impostazione predefinita, la configurazione in modalità memoria ColumnVector corrisponde al valore di configurazione OffHeapMemoryMode.
    • [SPARK-43799] Aggiunta dell'opzione binaria del descrittore all'API PySpark Protobuf.
    • Correzioni varie.
  • 30 agosto 2023
    • [SPARK-44485] TreeNode.generateTreeString ottimizzato.
    • [SPARK-44818] Correzione della gara per l'interruzione dell'attività in sospeso rilasciata prima dell'inizializzazione di taskThread.
    • [SPARK-44871][11.3-13.0] Corretto comportamentopercentile_disc.
    • [SPARK-44714] Riduzione delle limitazioni alla risoluzione LCA relativa alle query.
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 agosto 2023
    • [SPARK-44504] L'attività di manutenzione pulisce i provider caricati in caso di errore di arresto.
    • [SPARK-44464] Corretto applyInPandasWithStatePythonRunner delle righe di output che hanno Null come primo valore di colonna.
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 luglio 2023
    • È stato risolto un problema per cui dbutils.fs.ls() viene restituito INVALID_PARAMETER_VALUE.LOCATION_OVERLAP quando viene chiamato per un percorso di posizione di archiviazione che si è scontrato con un altro percorso di archiviazione esterno o gestito.
    • [SPARK-44199] CacheManager non aggiorna più fileIndex inutilmente.
    • Aggiornamenti della sicurezza del sistema operativo
  • 24 luglio 2023
    • [SPARK-44337] È stato risolto un problema per cui qualsiasi set di campi causava errori di analisi Any.getDefaultInstance.
    • [SPARK-44136] È stato risolto un problema per cui StateManager si materializzava in un executor anziché il driver in FlatMapGroupsWithStateExec.
    • Aggiornamenti della sicurezza del sistema operativo
  • 23 giugno 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 giugno 2023
    • approx_count_distinct fotonizzato.
    • La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
    • [SPARK-43779] ParseToDate ora carica EvalMode nel thread principale.
    • [SPARK-43156][SPARK-43098] Test di errore del conteggio delle sottoquery scalari esteso con decorrelateInnerQuery disattivato.
    • Aggiornamenti della sicurezza del sistema operativo
  • 2 giugno 2023
    • Il parser JSON in modalità failOnUnknownFields elimina un record in modalità DROPMALFORMED e non riesce direttamente in modalità FAILFAST.
    • Migliorare le prestazioni degli aggiornamenti incrementali con SHALLOW CLONE Iceberg e Parquet.
    • È stato risolto un problema nel caricatore automatico in cui diversi formati di file di origine erano incoerenti quando lo schema fornito non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
    • [SPARK-43404] Ignorare il riutilizzo del file sst per la stessa versione dell'archivio stati di RocksDB per evitare l'errore di mancata corrispondenza dell'ID.
    • [SPARK-43413][11.3-13.0] Correzione IN di valori Null della sottoquery ListQuery.
    • [SPARK-43522] Correzione della creazione del nome della colonna della struttura con indice della matrice.
    • [SPARK-43541] Propagare tutti i tag Project nella risoluzione delle espressioni e delle colonne mancanti.
    • [SPARK-43527] Corretto catalog.listCatalogs in PySpark.
    • [SPARK-43123] I metadati dei campi interni non vengono più perdite nei cataloghi.
    • [SPARK-43340] Corretto il campo di analisi dello stack mancante nei log eventi.
    • [SPARK-42444] DataFrame.drop adesso gestisce correttamente le colonne duplicate.
    • [SPARK-42937] PlanSubqueries adesso imposta InSubqueryExec#shouldBroadcast su true.
    • [SPARK-43286] Aggiornamento della modalità CBC aes_encrypt per generare IV casuali.
    • [SPARK-43378] Chiudere correttamente gli oggetti flusso in deserializeFromChunkedBuffer.
  • 17 maggio 2023
    • Le analisi Parquet sono ora affidabili in caso di OOM durante l'analisi di file eccezionalmente strutturati regolando dinamicamente le dimensioni del batch. I metadati dei file vengono analizzati per abbassare preventivamente le dimensioni dei batch e vengono nuovamente abbassate durante i tentativi di esecuzione di attività come rete di sicurezza finale.
    • Se un file Avro è stato letto solo con l'opzione failOnUnknownFields\ o con il caricatore automatico nella modalità di evoluzione dello schema failOnNewColumns\, le colonne con tipi di dati diversi verranno lette come null\ anziché generare un errore che indica che il file non può essere letto. Queste letture ora hanno esito negativo e consigliano agli utenti di usare l'opzione rescuedDataColumn\.
    • Il caricatore automatico adesso esegue le seguenti operazioni.
      • Legge correttamente e non salva più i tipi Integer, Short e Byte se viene fornito uno di questi tipi di dati, ma il file Avro suggerisce uno degli altri due tipi.
      • Impedisce la lettura dei tipi di intervallo come tipi di data o timestamp per evitare di ottenere date danneggiate.
      • Impedisce la lettura dei tipi Decimal con minore precisione.
    • [SPARK-43172] Espone l'host e il token dal client di connessione Spark.
    • [SPARK-43293] __qualified_access_only viene ignorato nelle colonne normali.
    • [SPARK-43098] Correzione del bug di correzione COUNT quando la sottoquery scalare è raggruppata per clausola.
    • [SPARK-43085] Supporto per l'assegnazione di colonne DEFAULT per i nomi di tabella in più parti.
    • [SPARK-43190] ListQuery.childOutput è ora coerente con l'output secondario.
    • [SPARK-43192] Rimozione della convalida del set di caratteri dell'agente utente.
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 aprile 2023
    • Se un file Parquet è stato letto solo con l'opzione failOnUnknownFields o con il caricatore automatico nella modalità di evoluzione dello schema failOnNewColumns, le colonne con tipi di dati diversi verranno lette come null anziché generare un errore che indica che il file non può essere letto. Queste letture ora hanno esito negativo e consigliano agli utenti di usare l'opzione rescuedDataColumn.
    • Il caricatore automatico ora legge correttamente e non salva più i tipi Integer, Short e Byte se viene fornito uno di questi tipi di dati. Il file Parquet suggerisce uno degli altri due tipi. Quando la colonna di dati salvata è stata abilitata in precedenza, la mancata corrispondenza del tipo di dati causerebbe il salvataggio delle colonne anche se erano leggibili.
    • [SPARK-43009] Parametrizzato sql() con costanti Any
    • [SPARK-42406] Terminare i campi ricorsivi Protobuf eliminando il campo
    • [SPARK-43038] Supportare la modalità CBC tramite aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Modifica per la stampa workdir se appDirs è Null quando il ruolo di lavoro gestisce l’evento WorkDirCleanup
    • [SPARK-43018] Correzione del bug per i comandi INSERT con valori letterali timestamp.
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 aprile 2023
    • Supportare i formati di origine dati legacy nel comando SYNC.
    • Risolve un problema nel comportamento di %autoload nei notebook all'esterno di un repository.
    • È stato risolto un problema per cui l'evoluzione dello schema del caricatore automatico può passare a un ciclo di errore infinito quando viene rilevata una nuova colonna nello schema di un oggetto JSON annidato.
    • [SPARK-42928] Esegue la sincronizzazione resolvePersistentFunction.
    • [SPARK-42936] Risolve il problema LCan quando la clausola può essere risolta direttamente dall'aggregazione figlio.
    • [SPARK-42967] Corregge SparkListenerTaskStart.stageAttemptId quando l’attività viene avviata dopo l'annullamento della fase.
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 marzo 2023

    • Databricks SQL supporta ora la specifica dei valori predefiniti per le colonne delle tabelle Delta Lake, in fase di creazione della tabella o successiva. I comandi sequenziali INSERT, UPDATE, DELETE e MERGE possono fare riferimento al valore predefinito di qualsiasi colonna usando la parola chiave esplicita DEFAULT. Inoltre, se un'assegnazione INSERT include un elenco esplicito di meno colonne rispetto alla tabella di destinazione, i valori predefiniti della colonna corrispondenti vengono sostituiti per le colonne rimanenti (o NULL se non è specificato alcun valore predefinito).

      Ad esempio:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • Il caricatore automatico avvia ora almeno una pulizia sincrona del log RocksDB per i flussi Trigger.AvailableNow per verificare che il checkpoint possa essere pulito regolarmente per i flussi a esecuzione rapida del caricatore automatico. Ciò può richiedere più tempo prima dell'arresto di alcuni flussi, ma consente di risparmiare sui costi di archiviazione e di migliorare l'esperienza di caricamento automatico nelle esecuzioni future.

    • È ora possibile modificare una tabella Delta per aggiungere il supporto alle funzionalità di tabella usando DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Aumentare il lockAcquireTimeoutMs a 2 minuti per l'acquisizione dell'archivio di stato RocksDB in Structure Streaming

    • [SPARK-42521] Aggiungere valori NULL per INSERT con elenchi specificati dall'utente con un numero inferiore di colonne rispetto alla tabella di destinazione

    • [SPARK-42702][SPARK-42623] Supportare query con parametri in sottoquery e CTE

    • [SPARK-42668] Intercettare l'eccezione durante il tentativo di chiudere il flusso compresso in HDFSStateStoreProvider stop

    • [SPARK-42403] JsonProtocol deve gestire stringhe JSON null

  • 8 marzo 2023
    • Il messaggio di errore "Errore di inizializzazione della configurazione" è stato migliorato per fornire maggiore contesto per il cliente.
    • Esiste una modifica della terminologia per l'aggiunta di caratteristiche a una tabella Delta usando la proprietà della tabella. La sintassi preferita adesso è 'delta.feature.featureName'='supported' anziché 'delta.feature.featureName'='enabled'. Per garantire la compatibilità con le versioni precedenti, l'uso di 'delta.feature.featureName'='enabled' continua a funzionare e continuerà a funzionare.
    • A partire da questa versione, è possibile creare/sostituire una tabella con una proprietà delta.ignoreProtocolDefaults di tabella aggiuntiva per ignorare le configurazioni spark correlate al protocollo, che comprende le versioni predefinite del lettore e del writer e le funzionalità di tabella supportate per impostazione predefinita.
    • [SPARK-42070] Modificare il valore predefinito dell'argomento della funzione maschera da -1 a NULL
    • [SPARK-41793] Risultato non corretto per i fotogrammi finestra definiti da una clausola di intervallo in decimali significativi
    • [SPARK-42484] Messaggio di errore migliore per unsafeRowUtils
    • [SPARK-42516] Acquisire sempre la configurazione del fuso orario della sessione durante la creazione di visualizzazioni
    • [SPARK-42635] Correggere l'espressione TimestampAdd.
    • [SPARK-42622] Disattivata la sostituzione nei valori
    • [SPARK-42534] Correzione della clausola DB2Dialect Limit
    • [SPARK-42121] Aggiungere funzioni predefinite con valori di tabella posexplode, posexplode_outer, json_tuple e stack
    • [SPARK-42045] Modalità ANSI SQL: Round/Bround dovrebbe restituire un errore in caso di overflow di numeri interi piccoli o significativi
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 11.3 LTS

Si veda Databricks Runtime 11.3 LTS.

  • 29 novembre 2023
    • È stato risolto un problema per cui i caratteri di sottolineatura preceduti da escape nelle operazioni getColumns provenienti da client JDBC o ODBC interpretati erroneamente come caratteri jolly.
    • [SPARK-43973] L'interfaccia utente di Structured Streaming ora visualizza correttamente le query non riuscite.
    • [SPARK-45730] Vincoli temporali migliorati per ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Supporto SSL integrato in TransportContext.
    • [SPARK-45859] Oggetti UDF creati in ml.functions differita.
    • [SPARK-43718] Correzione del supporto dei valori Null per le chiavi nei join USING.
    • [SPARK-44846] Rimosse espressioni di raggruppamento complesse dopo RemoveRedundantAggregates.
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 novembre 2023
    • I filtri di partizione per le query di streaming Delta Lake vengono sottoposti a push prima della limitazione della frequenza per ottenere un utilizzo migliore.
    • [SPARK-42205] Rimozione degli accumuli di registrazione negli eventi di avvio Fase e Task.
    • [SPARK-45545] SparkTransportConf eredita SSLOptions al momento della creazione.
    • Ripristinare [SPARK-33861].
    • [SPARK-45541] Aggiunta di SSLFactory.
    • [SPARK-45429] Aggiunta di classi helper per la comunicazione RPC SSL.
    • [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con TakeOrderedAndProjectExec.
    • [SPARK-45430] FramelessOffsetWindowFunction non ha più esito negativo quando IGNORE NULLS e offset > rowCount.
    • [SPARK-45427] Aggiunta delle impostazioni SSL RPC a SSLOptions e SparkTransportConf.
    • Aggiornamenti della sicurezza del sistema operativo
  • 24 ottobre 2023
    • [SPARK-45426] Aggiunta del supporto per ReloadingX509TrustManager.
    • Correzioni varie.
  • 13 ottobre 2023
    • Dipendenza snowflake-jdbc aggiornata dalla versione 3.13.29 alla versione 3.13.33.
    • [SPARK-45178] Eseguire il fallback per l'esecuzione di un singolo batch per Trigger.AvailableNow con origini non supportate anziché usare il wrapper.
    • [SPARK-45084] StateOperatorProgress per usare un numero di partizione casuale accurato e adeguato.
    • [SPARK-45346] L'inferenza dello schema Parquet ora rispetta i flag con distinzione tra maiuscole e minuscole durante l'unione di uno schema.
    • Aggiornamenti della sicurezza del sistema operativo
  • 10 settembre 2023
    • Correzioni varie.
  • 30 agosto 2023
    • [SPARK-44818] Correzione della gara per l'interruzione dell'attività in sospeso rilasciata prima dell'inizializzazione di taskThread.
    • [SPARK-44871][11.3-13.0] Corretto comportamentopercentile_disc.
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 agosto 2023
    • [SPARK-44485] TreeNode.generateTreeString ottimizzato.
    • [SPARK-44504] L'attività di manutenzione pulisce i provider caricati in caso di errore di arresto.
    • [SPARK-44464] Corretto applyInPandasWithStatePythonRunner delle righe di output che hanno Null come primo valore di colonna.
    • Aggiornamenti della sicurezza del sistema operativo
  • 27 luglio 2023
    • È stato risolto un problema per cui dbutils.fs.ls() viene restituito INVALID_PARAMETER_VALUE.LOCATION_OVERLAP quando viene chiamato per un percorso di posizione di archiviazione che si è scontrato con un altro percorso di archiviazione esterno o gestito.
    • [SPARK-44199] CacheManager non aggiorna più fileIndex inutilmente.
    • Aggiornamenti della sicurezza del sistema operativo
  • 24 luglio 2023
    • [SPARK-44136] È stato risolto un problema per cui StateManager mateerializzarsi nell'executor anziché nel driver in FlatMapGroupsWithStateExec.
    • Aggiornamenti della sicurezza del sistema operativo
  • 23 giugno 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 giugno 2023
    • approx_count_distinct fotonizzato.
    • La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
    • [SPARK-43779] ParseToDate ora carica EvalMode nel thread principale.
    • [SPARK-40862] Supportare sottoquery non aggregate in RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Test del bug di conteggio delle sottoquery scalari esteso con decorrelateInnerQuery disattivato.
    • [SPARK-43098] Correzione del bug COUNT di correzione quando la sottoquery scalare è raggruppata per clausola.
    • Aggiornamenti della sicurezza del sistema operativo
  • 2 giugno 2023
    • Il parser JSON in modalità failOnUnknownFields elimina un record in modalità DROPMALFORMED e non riesce direttamente in modalità FAILFAST.
    • Migliorare le prestazioni degli aggiornamenti incrementali con SHALLOW CLONE Iceberg e Parquet.
    • È stato risolto un problema nel caricatore automatico in cui diversi formati di file di origine erano incoerenti quando lo schema fornito non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
    • [SPARK-43404]Ignorare il riutilizzo del file sst per la stessa versione dell'archivio stati di RocksDB per evitare l'errore di mancata corrispondenza dell'ID.
    • [SPARK-43527] Corretto catalog.listCatalogs in PySpark.
    • [SPARK-43413][11.3-13.0] Correzione IN di valori Null della sottoquery ListQuery.
    • [SPARK-43340] Corretto il campo di analisi dello stack mancante nei log eventi.

Databricks Runtime 10.4 LTS

Si veda Databricks Runtime 10.4 LTS.

  • 29 novembre 2023
    • [SPARK-45544] Supporto SSL integrato in TransportContext.
    • [SPARK-45859] Oggetti UDF creati in ml.functions differita.
    • [SPARK-43718] Correzione del supporto dei valori Null per le chiavi nei join USING.
    • [SPARK-45730] Vincoli temporali migliorati per ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Rimozione degli accumuli di registrazione negli eventi di avvio Fase e Task.
    • [SPARK-44846] Rimosse espressioni di raggruppamento complesse dopo RemoveRedundantAggregates.
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 novembre 2023
    • [SPARK-45541] Aggiunta di SSLFactory.
    • [SPARK-45545] SparkTransportConf eredita SSLOptions al momento della creazione.
    • [SPARK-45427] Aggiunta delle impostazioni SSL RPC a SSLOptions e SparkTransportConf.
    • [SPARK-45429] Aggiunta di classi helper per la comunicazione RPC SSL.
    • [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con TakeOrderedAndProjectExec.
    • Ripristinare [SPARK-33861].
    • Aggiornamenti della sicurezza del sistema operativo
  • 24 ottobre 2023
    • [SPARK-45426] Aggiunta del supporto per ReloadingX509TrustManager.
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 ottobre 2023
    • [SPARK-45084] StateOperatorProgress per usare un numero di partizione casuale accurato e adeguato.
    • [SPARK-45178] Eseguire il fallback per l'esecuzione di un singolo batch per Trigger.AvailableNow con origini non supportate anziché usare il wrapper.
    • Aggiornamenti della sicurezza del sistema operativo
  • 10 settembre 2023
    • Correzioni varie.
  • 30 agosto 2023
    • [SPARK-44818] Correzione della gara per l'interruzione dell'attività in sospeso rilasciata prima dell'inizializzazione di taskThread.
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 agosto 2023
    • [SPARK-44504] L'attività di manutenzione pulisce i provider caricati in caso di errore di arresto.
    • [SPARK-43973] L'interfaccia utente di Structured Streaming ora viene visualizzata correttamente nelle query non riuscite.
    • Aggiornamenti della sicurezza del sistema operativo
  • 23 giugno 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 giugno 2023
    • La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
    • [SPARK-43098] Correzione del bug COUNT di correzione quando la sottoquery scalare è raggruppata per clausola.
    • [SPARK-40862] Supportare sottoquery non aggregate in RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Test di conteggio delle sottoquery scalari esteso con decorrelateInnerQuery disattivato.
    • Aggiornamenti della sicurezza del sistema operativo
  • 2 giugno 2023
    • Il parser JSON in modalità failOnUnknownFields elimina un record in modalità DROPMALFORMED e non riesce direttamente in modalità FAILFAST.
    • È stato risolto un problema nell'analisi dei dati salvati in JSON per evitare UnknownFieldException.
    • È stato risolto un problema nel caricatore automatico in cui diversi formati di file di origine erano incoerenti quando lo schema fornito non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
    • [SPARK-43404] Ignorare il riutilizzo del file sst per la stessa versione dell'archivio stati di RocksDB per evitare l'errore di mancata corrispondenza dell'ID.
    • [SPARK-43413] Correzione IN di valori Null della sottoquery ListQuery.
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 maggio 2023
    • Le analisi Parquet sono ora affidabili in caso di OOM durante l'analisi di file eccezionalmente strutturati regolando dinamicamente le dimensioni del batch. I metadati dei file vengono analizzati per abbassare preventivamente le dimensioni dei batch e vengono nuovamente abbassate durante i tentativi di esecuzione di attività come rete di sicurezza finale.
    • [SPARK-41520] Dividere il modello di albero AND_OR in modo da separare AND e OR.
    • [SPARK-43190] ListQuery.childOutput è ora coerente con l'output secondario.
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 aprile 2023
    • [SPARK-42928] Eseguire la sincronizzazione resolvePersistentFunction.
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 aprile 2023
    • È stato risolto un problema per cui l'evoluzione dello schema del caricatore automatico può passare a un ciclo di errore infinito quando viene rilevata una nuova colonna nello schema di un oggetto JSON annidato.
    • [SPARK-42937] PlanSubqueries adesso imposta InSubqueryExec#shouldBroadcast su true.
    • [SPARK-42967] Correzione di SparkListenerTaskStart.stageAttemptId quando un'attività viene avviata dopo l'annullamento della fase.
  • 29 marzo 2023
    • [SPARK-42668] Intercettare l'eccezione durante il tentativo di chiudere il flusso compresso in HDFSStateStoreProvider stop
    • [SPARK-42635] Correggere il ...
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 marzo 2023
    • [SPARK-41162] Correzione di anti-join e semi-join per il self-join con le aggregazioni
    • [SPARK-33206] Correzione del calcolo del peso della cache dell'indice casuale per i file di indice di piccole dimensioni
    • [SPARK-42484] Miglioramento del messaggio di errore UnsafeRowUtils
    • Correzioni varie.
  • 28 febbraio 2023
    • Supporto della colonna generata per date_format aaaa-MM-gg. Questa modifica supporta l'eliminazione della partizione per aaaa-MM-gg come date_format nelle colonne generate.
    • Gli utenti adesso possono leggere e scrivere tabelle Delta specifiche che richiedono Reader versione 3 e Writer versione 7, usando Databricks Runtime 9.1 LTS o versioni successive. Per avere esito positivo, le funzionalità di tabella elencate nel protocollo delle tabelle devono essere supportate dalla versione corrente di Databricks Runtime.
    • Supporto della colonna generata per date_format aaaa-MM-gg. Questa modifica supporta l'eliminazione della partizione per aaaa-MM-gg come date_format nelle colonne generate.
    • Aggiornamenti della sicurezza del sistema operativo
  • 16 febbraio 2023
    • [SPARK-30220] Abilitare l'uso di sottoquery Exists/In all'esterno del nodo Filtro
    • Aggiornamenti della sicurezza del sistema operativo
  • 31 gennaio 2023
    • Per impostazione predefinita, i tipi di tabella delle tabelle JDBC sono EXTERNAL.
  • 18 gennaio 2023
    • Il connettore Azure Synapse restituisce un messaggio di errore più descrittivo quando il nome di una colonna contiene caratteri non validi come spazi bianchi o punti e virgola. In questi casi, verrà restituito il seguente messaggio: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Cancellare il batch di scrittura dopo il commit dell'archivio stati di RocksDB
    • [SPARK-41199] Correzione del problema relativo alle metriche quando l'origine di streaming DSv1 e l'origine di streaming DSv2 vengono co-utilizzate
    • [SPARK-41198] Correzione delle metriche nella query di streaming con origine di streaming CTE e DSv1
    • [SPARK-41339] Chiudere e ricreare il batch di scrittura di RocksDB anziché semplicemente cancellarlo
    • [SPARK-41732] Applicare l'eliminazione basata su pattern ad albero per la regola SessionWindowing
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 novembre 2022
    • Gli utenti possono configurare il comportamento degli spazi vuoti iniziali e finali durante la scrittura dei dati usando il connettore Redshift. Sono state aggiunte le seguenti opzioni per controllare la gestione degli spazi vuoti:
      • csvignoreleadingwhitespace, se impostato su true, rimuove gli spazi vuoti iniziali dai valori durante le scritture quando tempformat è impostato su CSV o CSV GZIP. Gli spazi vuoti vengono mantenuti quando la configurazione è impostata su false. Per impostazione predefinita, il valore è true.
      • csvignoretrailingwhitespace, se impostato su true, rimuove gli spazi vuoti finali dai valori durante le scritture quando tempformat è impostato su CSV o CSV GZIP. Gli spazi vuoti vengono mantenuti quando la configurazione è impostata su false. Per impostazione predefinita, il valore è true.
    • È stato risolto un problema relativo all'analisi JSON nel caricatore automatico quando tutte le colonne venivano lasciate come stringhe (cloudFiles.inferColumnTypes non erano impostate o erano impostate su false) e gli oggetti annidati contenuti in JSON.
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 novembre 2022
    • Aggiornamento di Apache commons-text alla versione 1.10.0.
    • [SPARK-40646] L'analisi JSON per le strutture, le mappe e le matrici è stata corretta, in modo che quando una parte di un record non corrisponde allo schema, il resto del record possa essere analizzato correttamente anziché restituire valori null. Per acconsentire esplicitamente al comportamento migliorato, impostare spark.sql.json.enablePartialResults su true. Il flag è disattivato per impostazione predefinita per mantenere il comportamento originale.
    • [SPARK-40292] Correggere i nomi delle colonne nella arrays_zip funzione quando si fa riferimento alle matrici da strutture annidate
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 novembre 2022
    • È stato risolto un problema per cui se una tabella Delta aveva una colonna definita dall'utente denominata _change_type, ma il feed di dati di modifica era disattivato per quella tabella, i dati nella colonna venivano inseriti in modo non corretto con valori NULL durante l'esecuzione di MERGE.
    • È stato risolto un problema relativo al caricatore automatico dove un file può essere duplicato nello stesso micro batch quando allowOverwrites è abilitato
    • [SPARK-40697] Aggiungere la spaziatura interna dei caratteri in lettura per coprire i file di dati esterni
    • [SPARK-40596] Popolare ExecutorDecommission con messaggi in ExecutorDecommissionInfo
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 ottobre 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 ottobre 2022
    • [SPARK-40468] Correzione dell'eliminazione delle colonne in CSV quando _corrupt_record è selezionata.
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 settembre 2022
    • Gli utenti possono impostare spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) per riabilitare l'elenco predefinito per il caricatore automatico in ADLS Gen2. L'elenco incorporato è stato precedentemente disattivato per problemi di prestazioni, ma può aver comportato un aumento dei costi di archiviazione per i clienti.
    • [SPARK-40315] Aggiungere hashCode() per valore letterale di ArrayBasedMapData
    • [SPARK-40213] Supportare la conversione di valori ASCII per i caratteri Latin-1
    • [SPARK-40380] Correzione della riduzione costante di InvokeLike per evitare valori letterali non serializzabili incorporati nel piano
    • [SPARK-38404] Migliorare la risoluzione CTE quando un CTE annidato fa riferimento a un CTE esterno
    • [SPARK-40089] Correzione dell'ordinamento per alcuni tipi decimali
    • [SPARK-39887] RemoveRedundantAliases deve mantenere gli alias che rendono univoco l'output dei nodi di proiezione
  • 6 settembre 2022
    • [SPARK-40235] Usare il blocco interrompibile anziché quello sincronizzato in Executor.updateDependencies()
    • [SPARK-40218] GROUPING SETS deve mantenere le colonne di raggruppamento
    • [SPARK-39976] ArrayIntersect deve gestire correttamente valori null nell'espressione a sinistra
    • [SPARK-40053] Aggiungere assume a casi di annullamento dinamici che richiedono l'ambiente di runtime Python
    • [SPARK-35542] Correzione: Il Bucketizer creato per colonne multiple con i parametri splitsArray, inputCols e outputCols non può essere caricato dopo il suo salvataggio
    • [SPARK-40079] Aggiungere la convalida inputCols dell'input del computer per un caso di input vuoto
  • 24 agosto 2022
    • [SPARK-39983] Non memorizzare nella cache le relazioni di trasmissione non serializzate sul driver
    • [SPARK-39775] Disabilitare la convalida dei valori predefiniti durante l'analisi degli schemi Avro
    • [SPARK-39962] Applicare la proiezione quando gli attributi del gruppo sono vuoti
    • [SPARK-37643] quando charVarcharAsString è true, per la query del predicato del tipo di dati char deve ignorare la regola rpadding
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 agosto 2022
    • [SPARK-39847] Correzione della race condition in RocksDBLoader.loadLibrary() se il thread del chiamante viene interrotto
    • [SPARK-39731] Correzione del problema nelle origini dati CSV e JSON durante l'analisi delle date nel formato "aaaaMMdd" con i criteri del parser temporale CORRETTI
    • Aggiornamenti della sicurezza del sistema operativo
  • 27 luglio 2022
    • [SPARK-39625] Aggiungere Dataset.as(StructType)
    • [SPARK-39689]Supporto di lineSep di 2 caratteri nell'origine dati CSV
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded deve essere thread-safe
    • [SPARK-39570] La tabella inline deve consentire espressioni con alias
    • [SPARK-39702] Ridurre il sovraccarico di memoria di TransportCipher$EncryptedMessage usando un byteRawChannel condiviso
    • [SPARK-39575] Aggiungere ByteBuffer#rewind dopo ByteBuffer#get in AvroDeserializer
    • [SPARK-39476] Disabilitare l'ottimizzazione del cast di annullamento del wrapping durante il cast da Long a Float/ Doppio o da numero intero a Float
    • [SPARK-38868] Non propagare eccezioni dal predicato del filtro quando si ottimizzano outer join
    • Aggiornamenti della sicurezza del sistema operativo
  • 20 luglio 2022
    • Rendere coerenti i risultati dell'operazione Delta MERGE quando l'origine non è deterministica.
    • [SPARK-39355] La colonna singola usa virgolette per costruire UnresolvedAttribute
    • [SPARK-39548] Comando CreateView con una query di clausola della finestra, premere su un problema di definizione della finestra errata non trovata
    • [SPARK-39419] Correzione di ArraySort per generare un'eccezione quando il confronto restituisce Null
    • Disattivato l'uso del caricatore automatico delle API cloud predefinite per l'elenco di directory in Azure.
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 luglio 2022
    • [SPARK-39376] Nascondere le colonne duplicate nell'espansione a stella dell'alias di sottoquery da NATURAL/USING JOIN
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 giugno 2022
    • [SPARK-39283] Correzione del deadlock tra TaskMemoryManager e UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285] Spark non deve controllare i nomi dei campi durante la lettura dei file
    • [SPARK-34096] Migliorare le prestazioni per nth_value ignorare i valori Null rispetto alla finestra di offset
    • [SPARK-36718] Correggere il controllo isExtractOnly in CollapseProject
  • 2 giugno 2022
    • [SPARK-39093] Evitare l'errore di compilazione codegen durante la divisione di intervalli di mese o di giorno per un integrale
    • [SPARK-38990] Evitare NullPointerException durante la valutazione del formato date_trunc/troncamento come riferimento associato
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 maggio 2022
    • Corregge una potenziale perdita di memoria incorporata nel caricatore automatico.
    • [SPARK-38918] L’eliminazione delle colonne annidate deve filtrare gli attributi che non appartengono alla relazione corrente.
    • [SPARK-37593] Ridurre le dimensioni predefinite della pagina LONG_ARRAY_OFFSET se vengono usati G1GC e ON_HEAP
    • [SPARK-39084] Correggere df.rdd.isEmpty() utilizzando TaskContext per arrestare l'iteratore al completamento dell'attività
    • [SPARK-32268] Aggiungere ColumnPruning in injectBloomFilter
    • [SPARK-38974] Filtrare le funzioni registrate con un determinato nome di database nelle funzioni elenco
    • [SPARK-38931] Creare la directory dfs radice per RocksDBFileManager con un numero sconosciuto di chiavi nel 1° checkpoint
    • Aggiornamenti della sicurezza del sistema operativo
  • 19 aprile 2022
    • Aggiornamento di Java AWS SDK dalla versione 1.11.655 alla 1.12.1899.
    • È stato risolto un problema relativo alle librerie con ambito notebook che non funzionano nei processi di streaming batch.
    • [SPARK-38616] Tenere traccia del testo della query SQL in Catalyst TreeNode
    • Aggiornamenti della sicurezza del sistema operativo
  • 6 aprile 2022
    • Con questa versione sono ora disponibili le seguenti funzioni SPARK SQL:
      • timestampadd() e dateadd(): aggiungere una durata temporale in un'unità specificata a un'espressione timestamp.
      • timestampdiff() e datediff(): calcola la differenza temporale tra due espressioni timestamp in un'unità specificata.
    • Parquet-MR è stato aggiornato alla versione 1.12.2
    • Supporto migliorato per schemi completi nei file Parquet
    • [SPARK-38631] Utilizza un'implementazione basata su Java per lo scompattamento in Utils.unpack
    • [SPARK-38509][SPARK-38481] Cherry-pick tre modifiche timestmapadd/diff.
    • [SPARK-38523] Correzione del riferimento alla colonna di record danneggiata da CSV
    • [SPARK-38237] Consentire a ClusteredDistribution di richiedere chiavi di clustering complete
    • [SPARK-38437] Serializzazione non vincolante di datetime da un’origine dati
    • [SPARK-38180] Consentire espressioni up-cast sicure nei predicati di uguaglianza correlati
    • [SPARK-38155] Non consentire un'aggregazione distinta nelle sottoquery laterali con predicati non supportati
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 9.1 LTS

Si veda Databricks Runtime 9.1 LTS.

  • 29 novembre 2023
    • [SPARK-45859] Oggetti UDF creati in ml.functions differita.
    • [SPARK-45544] Supporto SSL integrato in TransportContext.
    • [SPARK-45730] Vincoli temporali migliorati per ReloadingX509TrustManagerSuite.
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 novembre 2023
    • [SPARK-45545] SparkTransportConf eredita SSLOptions al momento della creazione.
    • [SPARK-45429] Aggiunta di classi helper per la comunicazione RPC SSL.
    • [SPARK-45427] Aggiunta delle impostazioni SSL RPC a SSLOptions e SparkTransportConf.
    • [SPARK-45584] Correzione dell'errore di esecuzione della sottoquery con TakeOrderedAndProjectExec.
    • [SPARK-45541] Aggiunta di SSLFactory.
    • [SPARK-42205] Rimozione degli accumuli di registrazione negli eventi di avvio Fase e Task.
    • Aggiornamenti della sicurezza del sistema operativo
  • 24 ottobre 2023
    • [SPARK-45426] Aggiunta del supporto per ReloadingX509TrustManager.
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 ottobre 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 10 settembre 2023
    • Correzioni varie.
  • 30 agosto 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 agosto 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 23 giugno 2023
    • La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 giugno 2023
    • [SPARK-43098] Correzione del bug COUNT di correzione quando la sottoquery scalare è raggruppata per clausola.
    • [SPARK-43156][SPARK-43098] Estendere il test del bug di conteggio delle sottoquery scalari con decorrelateInnerQuery disattivato.
    • [SPARK-40862] Supportare sottoquery non aggregate in RewriteCorrelatedScalarSubquery
    • Aggiornamenti della sicurezza del sistema operativo
  • 2 giugno 2023
    • Il parser JSON in modalità failOnUnknownFields elimina un record in modalità DROPMALFORMED e non riesce direttamente in modalità FAILFAST.
    • È stato risolto un problema nell'analisi dei dati salvati in JSON per evitare UnknownFieldException.
    • È stato risolto un problema nel caricatore automatico in cui diversi formati di file di origine erano incoerenti quando lo schema fornito non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
    • [SPARK-37520] Aggiungere le funzioni stringa startswith() e endswith()
    • [SPARK-43413] Correzione IN di valori Null della sottoquery ListQuery.
    • Aggiornamenti della sicurezza del sistema operativo
  • 17 maggio 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 25 aprile 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 11 aprile 2023
    • È stato risolto un problema per cui l'evoluzione dello schema del caricatore automatico può passare a un ciclo di errore infinito quando viene rilevata una nuova colonna nello schema di un oggetto JSON annidato.
    • [SPARK-42967] Correzione di SparkListenerTaskStart.stageAttemptId quando un'attività viene avviata dopo l'annullamento della fase.
  • 29 marzo 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 14 marzo 2023
    • [SPARK-42484] Messaggio di errore migliorato per UnsafeRowUtils.
    • Correzioni varie.
  • 28 febbraio 2023
    • Gli utenti adesso possono leggere e scrivere tabelle Delta specifiche che richiedono Reader versione 3 e Writer versione 7, usando Databricks Runtime 9.1 LTS o versioni successive. Per avere esito positivo, le funzionalità di tabella elencate nel protocollo delle tabelle devono essere supportate dalla versione corrente di Databricks Runtime.
    • Aggiornamenti della sicurezza del sistema operativo
  • 16 febbraio 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 31 gennaio 2023
    • Per impostazione predefinita, i tipi di tabella delle tabelle JDBC sono EXTERNAL.
  • 18 gennaio 2023
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 novembre 2022
    • È stato risolto un problema relativo all'analisi JSON nel caricatore automatico quando tutte le colonne venivano lasciate come stringhe (cloudFiles.inferColumnTypes non erano impostate o erano impostate su false) e gli oggetti annidati contenuti in JSON.
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 novembre 2022
    • Aggiornamento di Apache commons-text alla versione 1.10.0.
    • Aggiornamenti della sicurezza del sistema operativo
    • Correzioni varie.
  • 1 novembre 2022
    • È stato risolto un problema per cui se una tabella Delta aveva una colonna definita dall'utente denominata _change_type, ma il feed di dati di modifica era disattivato per quella tabella, i dati nella colonna venivano inseriti in modo non corretto con valori NULL durante l'esecuzione di MERGE.
    • È stato risolto un problema relativo al caricatore automatico dove un file può essere duplicato nello stesso micro batch quando allowOverwrites è abilitato
    • [SPARK-40596] Popolare ExecutorDecommission con messaggi in ExecutorDecommissionInfo
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 ottobre 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 ottobre 2022
    • Correzioni varie.
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 settembre 2022
    • Gli utenti possono impostare spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") per riabilitare l'elenco predefinito per il caricatore automatico in ADLS Gen2. L'elenco incorporato è stato precedentemente disattivato per problemi di prestazioni, ma può aver comportato un aumento dei costi di archiviazione per i clienti.
    • [SPARK-40315] Aggiungere hashCode() per valore letterale di ArrayBasedMapData
    • [SPARK-40089] Correzione dell'ordinamento per alcuni tipi decimali
    • [SPARK-39887] RemoveRedundantAliases deve mantenere gli alias che rendono univoco l'output dei nodi di proiezione
  • 6 settembre 2022
    • [SPARK-40235] Usare il blocco interrompibile anziché quello sincronizzato in Executor.updateDependencies()
    • [SPARK-35542] Correzione: Il Bucketizer creato per colonne multiple con i parametri splitsArray, inputCols e outputCols non può essere caricato dopo il suo salvataggio
    • [SPARK-40079] Aggiungere la convalida inputCols dell'input del computer per un caso di input vuoto
  • 24 agosto 2022
    • [SPARK-39666] Usare UnsafeProjection.create per rispettare spark.sql.codegen.factoryMode expressionEncoder
    • [SPARK-39962] Applicare la proiezione quando gli attributi del gruppo sono vuoti
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 agosto 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 27 luglio 2022
    • Rendere coerenti i risultati dell'operazione Delta MERGE quando l'origine non è deterministica.
    • [SPARK-39689] Supporto per lineSep di 2 caratteri nell'origine dati CSV
    • [SPARK-39575] Aggiunto ByteBuffer#rewind dopo ByteBuffer#get in AvroDeserializer.
    • [SPARK-37392] Correzione dell'errore di prestazioni per l'utilità di ottimizzazione catalizzatore.
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 luglio 2022
    • [SPARK-39419] ArraySort genera un'eccezione quando il comparatore restituisce null.
    • Disattivato l'uso del caricatore automatico delle API cloud predefinite per l'elenco di directory in Azure.
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 luglio 2022
    • Aggiornamenti della sicurezza del sistema operativo
    • Correzioni varie.
  • 15 giugno 2022
    • [SPARK-39283] Correzione del deadlock tra TaskMemoryManager e UnsafeExternalSorter.SpillableIterator.
  • 2 giugno 2022
    • [SPARK-34554] Implementare il metodo copy() in ColumnarMap.
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 maggio 2022
    • Corretta una potenziale perdita di memoria incorporata nel caricatore automatico.
    • Aggiornamento di AWS SDK dalla versione 1.11.655 alla 1.11.678.
    • [SPARK-38918] L’eliminazione delle colonne annidate deve filtrare gli attributi che non appartengono alla relazione corrente.
    • [SPARK-39084] Correzione di df.rdd.isEmpty() tramite TaskContext per arrestare l'iteratore al completamento dell'attività
    • Aggiornamenti della sicurezza del sistema operativo
  • 19 aprile 2022
    • Aggiornamenti della sicurezza del sistema operativo
    • Correzioni varie.
  • 6 aprile 2022
    • [SPARK-38631] Utilizza un'implementazione basata su Java per lo scompattamento in Utils.unpack
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 marzo 2022
    • È stata modificata la directory di lavoro corrente dei notebook nei cluster a concorrenza elevata con il controllo di accesso alla tabella o il pass-through delle credenziali abilitato nella home directory dell'utente. In precedenza, active directory era /databricks/driver.
    • [SPARK-38437] Serializzazione non vincolante di datetime da un’origine dati
    • [SPARK-38180] Consentire espressioni up-cast sicure nei predicati di uguaglianza correlati
    • [SPARK-38155] Non consentire un'aggregazione distinta nelle sottoquery laterali con predicati non supportati
    • [SPARK-27442] È stato rimosso un campo di controllo durante la lettura o la scrittura di dati in un parquet.
  • 14 marzo 2022
    • [SPARK-38236] I percorsi di file assoluti specificati nella tabella CREATE/ALTER vengono considerati come relativi
    • [SPARK-34069] Interrompere il thread dell'attività se la proprietà SPARK_JOB_INTERRUPT_ON_CANCEL locale è impostata su true.
  • 23 febbraio 2022
    • [SPARK-37859] Le tabelle SQL create con JDBC con Spark 3.1 non sono leggibili con Spark 3.2.
  • 8 febbraio 2022
    • [SPARK-27442] È stato rimosso un campo di controllo durante la lettura o la scrittura di dati in un parquet.
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 febbraio 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 26 gennaio 2022
    • È stato risolto un problema a causa del quale in alcune rare condizioni le transazioni concorrenti sulle tabelle Delta potevano eseguire il commit in un ordine non serializzabile.
    • È stato risolto un problema a causa del quale il OPTIMIZE comando poteva fallire quando il dialetto SQL ANSI era abilitato.
  • 19 gennaio 2022
    • Correzioni secondarie e miglioramenti per la sicurezza.
    • Aggiornamenti della sicurezza del sistema operativo
  • 4 novembre 2021
    • Corretto un problema che poteva causare il fallimento dei flussi di Streaming strutturato con un errore ArrayIndexOutOfBoundsException.
    • Correzione di una race condition che potrebbe causare un errore di query con un'eccezione IOException simile java.io.IOException: No FileSystem for scheme o che potrebbe causare modifiche a sparkContext.hadoopConfiguration che non hanno effetto nelle query.
    • Il connettore Apache Spark per la condivisione delta è stato aggiornato alla versione 0.2.0.
  • 20 ottobre 2021
    • Aggiornamento del connettore BigQuery da 0.18.1 a 0.22.2. In questo modo viene aggiunto il supporto per il tipo BigNumeric.

Databricks Runtime 13.0 (EoS)

Vedere Databricks Runtime 13.0 (EoS).

  • 13 ottobre 2023

    • Dipendenza snowflake-jdbc aggiornata dalla versione 3.13.29 alla versione 3.13.33.
    • [SPARK-42553][SQL] Verificare almeno un'unità di tempo dopo l'intervallo.
    • [SPARK-45178] Eseguire il fallback per l'esecuzione di un singolo batch per Trigger.AvailableNow con origini non supportate anziché usare wrapper.
    • [SPARK-44658][MEMORIA CENTRALE] ShuffleStatus.getMapStatus restituisce None anziché Some(null).
    • [SPARK-42205][MEMORIA CENTRALE] Rimozione della registrazione degli accumulabili negli eventi di avvio di task/fasi in JsonProtocol.
    • Aggiornamenti della sicurezza del sistema operativo

  • 12 settembre 2023

    • [SPARK-44485][SQL] Ottimizzare TreeNode.generateTreeString.
    • [SPARK-44718][SQL] Per impostazione predefinita, la configurazione in modalità memoria ColumnVector corrisponde al valore di configurazione OffHeapMemoryMode.
    • Varie correzioni di bug.

  • 30 agosto 2023

    • [SPARK-44818][Backport] Correzione della gara per l'interruzione dell'attività in sospeso rilasciata prima dell'inizializzazione di taskThread.
    • [SPARK-44714] Limitazione della risoluzione LCA relativa alle query.
    • [SPARK-44245][PYTHON] pyspark.sql.dataframe sample() doctest adesso è solo illustrativo.
    • [SPARK-44871][11.3-13.0][SQL] Correzione del comportamento percentile_disc.
    • Aggiornamenti della sicurezza del sistema operativo

  • 15 agosto 2023

    • [SPARK-44643][SQL][PYTHON] Correzione di Row.__repr__ quando la riga è vuota.
    • [SPARK-44504][Backport] L'attività di manutenzione pulisce i provider caricati in caso di errore di arresto.
    • [SPARK-44479][CONNECT][PYTHON] Corretta la conversione protobuf da un tipo di struttura vuota.
    • [SPARK-44464][SS] Corretto applyInPandasWithStatePythonRunner delle righe di output che hanno Null come primo valore di colonna.
    • Varie correzioni di bug.

  • 29 luglio 2023

    • È stato risolto un bug a causa del quale dbutils.fs.ls() viene restituito INVALID_PARAMETER_VALUE.LOCATION_OVERLAP quando viene chiamato per un percorso di posizione di archiviazione che si è scontrato con un altro percorso di archiviazione esterno o gestito.
    • [SPARK-44199] CacheManager non aggiorna più fileIndex inutilmente.
    • Aggiornamenti della sicurezza del sistema operativo

  • 24 luglio 2023

    • [SPARK-44337][PROTOBUF] È stato risolto un problema per cui qualsiasi set di campi causava errori di analisi Any.getDefaultInstance.
    • [SPARK-44136] [SS] È stato risolto un problema per cui StateManager si materializzava in un executor anziché il driver in FlatMapGroupsWithStateExec.
    • Ripristinare [SPARK-42323][SQL] Assegnare il nome a _LEGACY_ERROR_TEMP_2332.
    • Aggiornamenti della sicurezza del sistema operativo

  • 23 giugno 2023

    • Aggiornamenti della sicurezza del sistema operativo

  • 15 giugno 2023

    • approx_count_distinct fotonizzato.
    • La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
    • [SPARK-43156][SPARK-43098][SQL] Estendere il test di bug del conteggio delle sottoquery scalari con decorrelateInnerQuery disabilitato
    • [SPARK-43779][SQL] ParseToDate ora carica EvalMode nel thread principale.
    • [SPARK-42937][SQL] PlanSubqueries deve impostare InSubqueryExec#shouldBroadcast su true
    • Aggiornamenti della sicurezza del sistema operativo

  • 2 giugno 2023

    • Il parser JSON in modalità failOnUnknownFields elimina un record in modalità DROPMALFORMED e non riesce direttamente in modalità FAILFAST.
    • Migliorare le prestazioni degli aggiornamenti incrementali con SHALLOW CLONE Iceberg e Parquet.
    • È stato risolto un problema nel caricatore automatico in cui diversi formati di file di origine erano incoerenti quando lo schema fornito non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
    • [SPARK-43404][Backport] Ignorare il riutilizzo del file sst per la stessa versione dell'archivio stati di RocksDB per evitare errori di mancata corrispondenza dell'ID.
    • [SPARK-43340][MEMORIA CENTRALE] Corretto il campo di analisi dello stack mancante nei log eventi.
    • [SPARK-43300][MEMORIA CENTRALE] Wrapper NonFateSharingCacheper Guava Cache.
    • [SPARK-43378][MEMORIA CENTRALE] Chiudere correttamente gli oggetti flusso in deserializeFromChunkedBuffer.
    • [SPARK-16484][SQL] Utilizzare registri a 8 bit per rappresentare DataSketches.
    • [SPARK-43522][SQL] Correzione della creazione del nome della colonna della struttura con indice della matrice.
    • [SPARK-43413][11.3-13.0][SQL] Correzione IN di valori Null della sottoquery ListQuery.
    • [SPARK-43043][MEMORIA CENTRALE] Prestazioni MapOutputTracker.updateMapOutput migliorate.
    • [SPARK-16484][SQL] Aggiunta del supporto per DataSketches HllSketch.
    • [SPARK-43123][SQL] I metadati dei campi interni non vengono più perdite nei cataloghi.
    • [SPARK-42851][SQL] Proteggere EquivalentExpressions.addExpr() con supportedExpression().
    • [SPARK-43336][SQL] Il cast tra Timestamp e TimestampNTZ richiede il fuso orario.
    • [SPARK-43286][SQL] Aggiornamento della modalità CBC aes_encrypt per generare IV casuali.
    • [SPARK-42852][SQL] Ripristinate le modifiche correlate a NamedLambdaVariable da EquivalentExpressions.
    • [SPARK-43541][SQL] Propagare tutti i tag Project nella risoluzione delle espressioni e delle colonne mancanti.
    • [SPARK-43527][PYTHON] Correzione di catalog.listCatalogs in PySpark.
    • Aggiornamenti della sicurezza del sistema operativo

  • 31 maggio 2023

    • Il supporto predefinito per la scrittura ottimizzata per le tabelle Delta registrate nel catalogo Unity è stato espanso in modo da includere istruzioni CTAS e operazioni INSERT per le tabelle partizionate. Questo comportamento è allineato alle impostazioni predefinite nei warehouse SQL. Si veda Scritture ottimizzate per Delta Lake in Azure Databricks.

  • 17 maggio 2023

    • Correzione di una regressione in cui _metadata.file_path e _metadata.file_name restituirebbero stringhe formattate in modo non corretto. Ad esempio, un percorso con spazi viene rappresentato come s3://test-bucket/some%20directory/some%20data.csv anziché s3://test-bucket/some directory/some data.csv.
    • Le analisi Parquet sono ora affidabili in caso di OOM durante l'analisi di file eccezionalmente strutturati regolando dinamicamente le dimensioni del batch. I metadati dei file vengono analizzati per abbassare preventivamente le dimensioni dei batch e vengono nuovamente abbassate durante i tentativi di esecuzione di attività come rete di sicurezza finale.
      • Se un file Avro è stato letto solo con l'opzione failOnUnknownFields\ o con il caricatore automatico nella modalità di evoluzione dello schema failOnNewColumns\, le colonne con tipi di dati diversi verranno lette come null\ anziché generare un errore che indica che il file non può essere letto. Queste letture ora hanno esito negativo e consigliano agli utenti di usare l'opzione rescuedDataColumn\.
    • Il caricatore automatico adesso esegue le seguenti operazioni.
      • Legge correttamente e non salva più i tipi Integer, Short, Byte se viene specificato uno di questi tipi di dati, ma il file Avro suggerisce uno degli altri due tipi.
      • Impedisce la lettura dei tipi di intervallo come tipi di data o timestamp per evitare di ottenere date danneggiate.
      • Impedisce la lettura dei tipi Decimal con minore precisione.
    • [SPARK-43172] [CONNECT] Espone l'host e il token dal client di connessione Spark.
    • [SPARK-43293][SQL] __qualified_access_only viene ignorato nelle colonne normali.
    • [SPARK-43098][SQL] Correzione del bug di correzione COUNT quando la sottoquery scalare è raggruppata per clausola.
    • [SPARK-43085][SQL] Supporto per l'assegnazione di colonne DEFAULT per i nomi di tabella in più parti.
    • [SPARK-43190][SQL] ListQuery.childOutput è ora coerente con l'output secondario.
    • [SPARK-43192] [CONNECT] Rimozione della convalida del set di caratteri dell'agente utente.

  • 25 aprile 2023

    • È ora possibile modificare una tabella Delta in modo da aggiungere il supporto alle funzionalità di tabella Delta usando DeltaTable.addFeatureSupport(feature_name).
    • Il comando SYNC adesso supporta i formati di origine dati legacy.
    • È stato risolto un problema a causa del quale l'utilizzo del formattatore Python prima dell'esecuzione di qualsiasi altro comando in un blocco note Python poteva causare la mancanza del percorso del notebook da sys.path.
    • Azure Databricks supporta ora la specifica dei valori predefiniti per le colonne delle tabelle Delta. INSERT, UPDATE, DELETE e MERGE possono fare riferimento al valore predefinito di una colonna usando la parola chiave esplicita DEFAULT. Per i comandi INSERT con un elenco esplicito di meno colonne rispetto alla tabella di destinazione, i valori predefiniti della colonna corrispondenti vengono sostituiti per le colonne rimanenti (o NULL se non è specificato alcun valore predefinito).

  • Corregge un bug in cui non è stato possibile usare il terminale Web per accedere ai file in /Workspace per alcuni utenti.

    • Se un file Parquet è stato letto solo con l'opzione failOnUnknownFields o con il caricatore automatico nella modalità di evoluzione dello schema failOnNewColumns, le colonne con tipi di dati diversi verranno lette come null anziché generare un errore che indica che il file non può essere letto. Queste letture ora hanno esito negativo e consigliano agli utenti di usare l'opzione rescuedDataColumn.
    • Il caricatore automatico ora legge correttamente e non salva più i tipi Integer, Short, Byte se viene fornito uno di questi tipi di dati. Il file Parquet suggerisce uno degli altri due tipi. Quando la colonna di dati salvata è stata abilitata in precedenza, la mancata corrispondenza del tipo di dati causerebbe il salvataggio delle colonne anche se erano leggibili.
    • È stato risolto un bug per cui l'evoluzione dello schema del caricatore automatico può passare a un ciclo di errore infinito quando viene rilevata una nuova colonna nello schema di un oggetto JSON annidato.
    • [SPARK-42794][SS] Aumentare il lockAcquireTimeoutMs a 2 minuti per l'acquisizione dell'archivio di stato RocksDB in Structure Streaming.
    • [SPARK-39221][SQL] Rendere corrette le informazioni riservate per la scheda server thrift processo/fase.
    • [SPARK-42971] [MEMORIA CENTRALE] Modifica per la stampa workdir se appDirs è Null quando il ruolo di lavoro gestisce l’evento WorkDirCleanup.
    • [SPARK-42936][SQL] Risolve il bug LCan quando la clausola può essere risolta direttamente dall'aggregazione figlio.
    • [SPARK-43018][SQL] Correzione del bug per i comandi INSERT con valori letterali timestamp.
    • Ripristinare [SPARK-42754][SQL][Interfaccia utente] Correzione del problema di compatibilità con le versioni precedenti nell'esecuzione dI SQL annidata.
    • Ripristinare [SPARK-41498] Propagare i metadati tramite Union.
    • [SPARK-43038][SQL] Supportare la modalità CBC tramite aes_encrypt()/aes_decrypt().
    • [SPARK-42928][SQL] Eseguire la sincronizzazione resolvePersistentFunction.
    • [SPARK-42521][SQL] Aggiunta di valori NULL per INSERT con elenchi specificati dall'utente con un numero inferiore di colonne rispetto alla tabella di destinazione.
    • [SPARK-41391][SQL] Il nome della colonna di output di groupBy.agg(count_distinct) non è corretto.
    • [SPARK-42548][SQL] Aggiungere ReferenceAllColumns per ignorare la riscrittura degli attributi.
    • [SPARK-42423][SQL] Aggiungere l'inizio e la lunghezza del blocco di file di colonna dei metadati.
    • [SPARK-42796][SQL] Supporto per l'accesso alle colonne TimestampNTZ in CachedBatch.
    • [SPARK-42266][PYTHON] Rimuovere la directory padre in shell.py eseguire quando viene usato IPython.
    • [SPARK-43011][SQL] array_insert deve avere esito negativo con indice 0.
    • [SPARK-41874][CONNECT] [PYTHON] Supporto SameSemantics in Spark Connect.
    • [SPARK-42702][SPARK-42623][SQL] Supportare query con parametri in sottoquery e CTE.
    • [SPARK-42967] [MEMORIA CENTRALE] Corregge SparkListenerTaskStart.stageAttemptId quando l’attività viene avviata dopo l'annullamento della fase.
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 12.1 (EoS)

Si veda Databricks Runtime 12.1 (EoS).

  • 23 giugno 2023

    • Aggiornamenti della sicurezza del sistema operativo

  • 15 giugno 2023

    • approx_count_distinct fotonizzato.
    • La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
    • [SPARK-43779][SQL] ParseToDate ora carica EvalMode nel thread principale.
    • [SPARK-43156][SPARK-43098][SQL] Estendere il test di bug del conteggio delle sottoquery scalari con decorrelateInnerQuery disabilitato
    • Aggiornamenti della sicurezza del sistema operativo

  • 2 giugno 2023

    • Il parser JSON in modalità failOnUnknownFields elimina un record in modalità DROPMALFORMED e non riesce direttamente in modalità FAILFAST.
    • Migliorare le prestazioni degli aggiornamenti incrementali con SHALLOW CLONE Iceberg e Parquet.
    • È stato risolto un problema nel caricatore automatico in cui diversi formati di file di origine erano incoerenti quando lo schema fornito non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
    • [SPARK-43404][Backport] Ignorare il riutilizzo del file sst per la stessa versione dell'archivio stati di RocksDB per evitare errori di mancata corrispondenza dell'ID.
    • [SPARK-43413][11.3-13.0][SQL] Correzione IN di valori Null della sottoquery ListQuery.
    • [SPARK-43522][SQL] Correzione della creazione del nome della colonna della struttura con indice della matrice.
    • [SPARK-42444][PYTHON] DataFrame.drop ora gestisce correttamente le colonne duplicate.
    • [SPARK-43541][SQL] Propagare tutti i tag Project nella risoluzione delle espressioni e delle colonne mancanti.
    • [SPARK-43340][MEMORIA CENTRALE] Corretto il campo di analisi dello stack mancante nei log eventi.
    • [SPARK-42937][SQL] PlanSubqueries adesso imposta InSubqueryExec#shouldBroadcast su true.
    • [SPARK-43527][PYTHON] Correzione di catalog.listCatalogs in PySpark.
    • [SPARK-43378][MEMORIA CENTRALE] Chiudere correttamente gli oggetti flusso in deserializeFromChunkedBuffer.

  • 17 maggio 2023

    • Le analisi Parquet sono ora affidabili in caso di OOM durante l'analisi di file eccezionalmente strutturati regolando dinamicamente le dimensioni del batch. I metadati dei file vengono analizzati per abbassare preventivamente le dimensioni dei batch e vengono nuovamente abbassate durante i tentativi di esecuzione di attività come rete di sicurezza finale.
    • Se un file Avro è stato letto solo con l'opzione failOnUnknownFields\ o con il caricatore automatico nella modalità di evoluzione dello schema failOnNewColumns\, le colonne con tipi di dati diversi verranno lette come null\ anziché generare un errore che indica che il file non può essere letto. Queste letture ora hanno esito negativo e consigliano agli utenti di usare l'opzione rescuedDataColumn\.
    • Il caricatore automatico adesso esegue le seguenti operazioni.
      • Legge correttamente e non salva più i tipi Integer, Short, Byte se viene specificato uno di questi tipi di dati, ma il file Avro suggerisce uno degli altri due tipi.
      • Impedisce la lettura dei tipi di intervallo come tipi di data o timestamp per evitare di ottenere date danneggiate.
      • Impedisce la lettura dei tipi Decimal con minore precisione.
    • [SPARK-43098][SQL] Correzione del bug di correzione COUNT quando la sottoquery scalare è raggruppata per clausola.
    • [SPARK-43190][SQL] ListQuery.childOutput è ora coerente con l'output secondario.
    • Aggiornamenti della sicurezza del sistema operativo

  • 25 aprile 2023

    • Se un file Parquet è stato letto solo con l'opzione failOnUnknownFields o con il caricatore automatico nella modalità di evoluzione dello schema failOnNewColumns, le colonne con tipi di dati diversi verranno lette come null anziché generare un errore che indica che il file non può essere letto. Queste letture ora hanno esito negativo e consigliano agli utenti di usare l'opzione rescuedDataColumn.
    • Il caricatore automatico ora legge correttamente e non salva più i tipi Integer, Short, Byte se viene fornito uno di questi tipi di dati. Il file Parquet suggerisce uno degli altri due tipi. Quando la colonna di dati salvata è stata abilitata in precedenza, la mancata corrispondenza del tipo di dati causerebbe il salvataggio delle colonne anche se erano leggibili.
    • [SPARK-43009][SQL] Parametrizzato sql() con Any costanti.
    • [SPARK-42971] [MEMORIA CENTRALE] Modifica per la stampa workdir se appDirs è Null quando il ruolo di lavoro gestisce l’evento WorkDirCleanup.
    • Aggiornamenti della sicurezza del sistema operativo

  • 11 aprile 2023

    • Supportare i formati di origine dati legacy nel comando SYNC.
    • Risolve un bug nel comportamento di %autoload nei notebook all'esterno di un repository.
    • È stato risolto un bug per cui l'evoluzione dello schema del caricatore automatico può passare a un ciclo di errore infinito quando viene rilevata una nuova colonna nello schema di un oggetto JSON annidato.
    • [SPARK-42928][SQL] Esegue la sincronizzazione resolvePersistentFunction.
    • [SPARK-42967][MEMORIA CENTRALE] Corregge SparkListenerTaskStart.stageAttemptId quando l’attività viene avviata dopo l'annullamento della fase.
    • Aggiornamenti della sicurezza del sistema operativo

  • 29 marzo 2023

    • Il caricatore automatico innesca ora almeno una pulizia sincrona del log RocksDB per i flussi Trigger.AvailableNow per assicurare che il checkpoint possa essere pulito regolarmente per i flussi a esecuzione rapida del caricatore automatico. Ciò può richiedere più tempo prima dell'arresto di alcuni flussi, ma consente di risparmiare sui costi di archiviazione e di migliorare l'esperienza di caricamento automatico nelle esecuzioni future.
    • È ora possibile modificare una tabella Delta per aggiungere il supporto alle funzionalità di tabella usando DeltaTable.addFeatureSupport(feature_name).
    • [SPARK-42702][SPARK-42623][SQL] Supportare query con parametri in sottoquery e CTE
    • [SPARK-41162][SQL] Correzione di anti-join e semi-join per il self-join con le aggregazioni
    • [SPARK-42403][MEMORIA CENTRALE] JsonProtocol deve gestire stringhe JSON null
    • [SPARK-42668][SS] Intercettare l'eccezione durante il tentativo di chiudere il flusso compresso in HDFSStateStoreProvider interruzione
    • [SPARK-42794][SS] Aumentare il lockAcquireTimeoutMs a 2 minuti per l'acquisizione dell'archivio di stato RocksDB in Structure Streaming

  • 14 marzo 2023

    • Esiste una modifica della terminologia per l'aggiunta di caratteristiche a una tabella Delta usando la proprietà della tabella. La sintassi preferita adesso è 'delta.feature.featureName'='supported' anziché 'delta.feature.featureName'='enabled'. Per garantire la compatibilità con le versioni precedenti, l'uso di 'delta.feature.featureName'='enabled' continua a funzionare e continuerà a funzionare.
    • [SPARK-42622][MEMORIA CENTRALE] Disabilitare la sostituzione nei valori
    • [SPARK-42534][SQL] Correzione della clausola DB2Dialect Limit
    • [SPARK-42635][SQL] Correggere l'espressione TimestampAdd.
    • [SPARK-42516][SQL] Acquisire sempre la configurazione del fuso orario della sessione durante la creazione di visualizzazioni
    • [SPARK-42484] [SQL] Messaggio di errore unsafeRowUtils migliore
    • [SPARK-41793][SQL] Risultato non corretto per i fotogrammi finestra definiti da una clausola di intervallo in decimali grandi
    • Aggiornamenti della sicurezza del sistema operativo

  • 24 febbraio 2023

    • È ora possibile usare un set unificato di opzioni (host, port, database, user, password) per la connessione alle origini dati supportate nella federazione di query (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Si noti che port è facoltativo e usa il numero di porta predefinito per ogni origine dati, se non specificato.

    Esempio di configurazione della connessione PostgreSQL

    CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

    Esempio di configurazione della connessione Snowflake

    CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);
    • [SPARK-41989][PYTHON] Evitare l'interruzione della configurazione della registrazione da pyspark.pandas
    • [SPARK-42346][SQL] Riscrivere aggregazioni distinte dopo l'unione di sottoquery
    • [SPARK-41990][SQL] Usare FieldReference.column invece di nella conversione da apply V1 a V2 del filtro
    • Ripristinare [SPARK-41848][MEMORIA CENTRALE] Correzione dell'attività over-scheduled con TaskResourceProfile
    • [SPARK-42162] Introdurre l'espressione MultiCommutativeOp come ottimizzazione della memoria per la canonizzazione di grandi alberi di espressioni commutative
    • Aggiornamenti della sicurezza del sistema operativo

  • 16 febbraio 2023

    • Il comando SYNC supporta la sincronizzazione delle tabelle metastore Hive ricreate. Se una tabella HMS è stata sincronizzata in precedenza in Unity Catalog ma poi eliminata e ricreata, una successiva sincronizzazione funzionerà invece di generare TABLE_ALREADY_EXISTS codice di stato.
    • [SPARK-41219][SQL] IntegralDivide utilizza decimal(1, 0) per rappresentare 0
    • [SPARK-36173][MEMORIA CENTRALE] Supporto per il recupero del numero di CPU in TaskContext
    • [SPARK-41848][MEMORIA CENTRALE] Correzione dell'attività over-scheduled con TaskResourceProfile
    • [SPARK-42286][SQL] Eseguire il fallback al percorso del codice codegen per le espressioni complesse con CAST

  • 31 gennaio 2023

    • La creazione di uno schema con un percorso definito ora richiede che l'utente disponga dei privilegi SELECT e MODIFY per ANY FILE.
    • [SPARK-41581][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_1230
    • [SPARK-41996][SQL] [SS] Correggere il test kafka per verificare le partizioni perse per tenere conto delle operazioni Kafka lente
    • [SPARK-41580][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_2137
    • [SPARK-41666][PYTHON] Supporto ddi SQL parametrizzato da sql()
    • [SPARK-41579][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_1249
    • [SPARK-41573][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_2136
    • [SPARK-41574][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_2009
    • [SPARK-41049][Followup] Correzione di una regressione di sincronizzazione del codice per ConvertToLocalRelation
    • [SPARK-41576][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_2051
    • [SPARK-41572][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_2149
    • [SPARK-41575][SQL] Assegnare un nome a _LEGACY_ERROR_TEMP_2054
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 12.0 (EoS)

Si veda Databricks Runtime 12.0 (EoS).

  • 15 giugno 2023

    • approx_count_distinct fotonizzato.
    • La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
    • [SPARK-43156][SPARK-43098][SQL] Estendere il test di bug del conteggio delle sottoquery scalari con decorrelateInnerQuery disabilitato
    • [SPARK-43779][SQL] ParseToDate ora carica EvalMode nel thread principale.
    • Aggiornamenti della sicurezza del sistema operativo

  • 2 giugno 2023

    • Il parser JSON in modalità failOnUnknownFields elimina un record in modalità DROPMALFORMED e non riesce direttamente in modalità FAILFAST.
    • Migliorare le prestazioni degli aggiornamenti incrementali con SHALLOW CLONE Iceberg e Parquet.
    • È stato risolto un problema nel caricatore automatico in cui diversi formati di file di origine erano incoerenti quando lo schema fornito non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.
    • [SPARK-42444][PYTHON] DataFrame.drop ora gestisce correttamente le colonne duplicate.
    • [SPARK-43404][Backport] Ignorare il riutilizzo del file sst per la stessa versione dell'archivio stati di RocksDB per evitare errori di mancata corrispondenza dell'ID.
    • [SPARK-43413][11.3-13.0][SQL] Correzione IN di valori Null della sottoquery ListQuery.
    • [SPARK-43527][PYTHON] Correzione di catalog.listCatalogs in PySpark.
    • [SPARK-43522][SQL] Correzione della creazione del nome della colonna della struttura con indice della matrice.
    • [SPARK-43541][SQL] Propagare tutti i tag Project nella risoluzione delle espressioni e delle colonne mancanti.
    • [SPARK-43340][MEMORIA CENTRALE] Corretto il campo di analisi dello stack mancante nei log eventi.
    • [SPARK-42937][SQL] PlanSubqueries imposta InSubqueryExec#shouldBroadcast su true.

  • 17 maggio 2023

    • Le analisi Parquet sono ora affidabili in caso di OOM durante l'analisi di file eccezionalmente strutturati regolando dinamicamente le dimensioni del batch. I metadati dei file vengono analizzati per abbassare preventivamente le dimensioni dei batch e vengono nuovamente abbassate durante i tentativi di esecuzione di attività come rete di sicurezza finale.
    • Se un file Avro è stato letto solo con l'opzione failOnUnknownFields\ o con il caricatore automatico nella modalità di evoluzione dello schema failOnNewColumns\, le colonne con tipi di dati diversi verranno lette come null\ anziché generare un errore che indica che il file non può essere letto. Queste letture ora hanno esito negativo e consigliano agli utenti di usare l'opzione rescuedDataColumn\.
    • Il caricatore automatico adesso esegue le seguenti operazioni.
      • Legge correttamente e non salva più i tipi Integer, Short, Byte se viene specificato uno di questi tipi di dati, ma il file Avro suggerisce uno degli altri due tipi.
      • Impedisce la lettura dei tipi di intervallo come tipi di data o timestamp per evitare di ottenere date danneggiate.
      • Impedisce la lettura dei tipi Decimal con minore precisione.
    • [SPARK-43172] [CONNECT] Espone l'host e il token dal client di connessione Spark.
    • [SPARK-41520][SQL] Dividere il modello di albero AND_ORin modo da separare AND e OR.
    • [SPARK-43098][SQL] Correzione del bug di correzione COUNT quando la sottoquery scalare è raggruppata per clausola.
    • [SPARK-43190][SQL] ListQuery.childOutput è ora coerente con l'output secondario.
    • Aggiornamenti della sicurezza del sistema operativo

  • 25 aprile 2023

    • Se un file Parquet è stato letto solo con l'opzione failOnUnknownFields o con il caricatore automatico nella modalità di evoluzione dello schema failOnNewColumns, le colonne con tipi di dati diversi verranno lette come null anziché generare un errore che indica che il file non può essere letto. Queste letture ora hanno esito negativo e consigliano agli utenti di usare l'opzione rescuedDataColumn.
    • Il caricatore automatico ora legge correttamente e non salva più i tipi Integer, Short, Byte se viene fornito uno di questi tipi di dati. Il file Parquet suggerisce uno degli altri due tipi. Quando la colonna di dati salvata è stata abilitata in precedenza, la mancata corrispondenza del tipo di dati causerebbe il salvataggio delle colonne anche se erano leggibili.
    • [SPARK-42971][CORE] Modifica per la stampa workdir se appDirs è Null quando l'evento handle del WorkDirCleanup ruolo di lavoro
    • Aggiornamenti della sicurezza del sistema operativo

  • 11 aprile 2023

    • Supportare i formati di origine dati legacy nel comando SYNC.
    • Risolve un bug nel comportamento di %autoload nei notebook all'esterno di un repository.
    • È stato risolto un bug per cui l'evoluzione dello schema del caricatore automatico può passare a un ciclo di errore infinito quando viene rilevata una nuova colonna nello schema di un oggetto JSON annidato.
    • [SPARK-42928][SQL] Esegue la sincronizzazione resolvePersistentFunction.
    • [SPARK-42967][MEMORIA CENTRALE] Corregge SparkListenerTaskStart.stageAttemptId quando l’attività viene avviata dopo l'annullamento della fase.
    • Aggiornamenti della sicurezza del sistema operativo

  • 29 marzo 2023

    • [SPARK-42794][SS] Aumentare il lockAcquireTimeoutMs a 2 minuti per l'acquisizione dell'archivio di stato RocksDB in Structure Streaming
    • [SPARK-41162][SQL] Correzione di anti-join e semi-join per il self-join con le aggregazioni
    • [SPARK-42403][MEMORIA CENTRALE] JsonProtocol deve gestire stringhe JSON null
    • [SPARK-42668][SS] Intercettare l'eccezione durante il tentativo di chiudere il flusso compresso in HDFSStateStoreProvider interruzione
    • Varie correzioni di bug.

  • 14 marzo 2023

    • [SPARK-42534][SQL] Correzione della clausola DB2Dialect Limit
    • [SPARK-42622][MEMORIA CENTRALE] Disabilitare la sostituzione nei valori
    • [SPARK-41793][SQL] Risultato non corretto per i fotogrammi finestra definiti da una clausola di intervallo in decimali grandi
    • [SPARK-42484] [SQL] Messaggio di errore unsafeRowUtils migliore
    • [SPARK-42635][SQL] Correggere l'espressione TimestampAdd.
    • [SPARK-42516][SQL] Acquisire sempre la configurazione del fuso orario della sessione durante la creazione di visualizzazioni
    • Aggiornamenti della sicurezza del sistema operativo

  • 24 febbraio 2023

    • Opzioni di connessione standardizzate per la federazione di query

      È ora possibile usare un set unificato di opzioni (host, port, database, user, password) per la connessione alle origini dati supportate nella federazione di query (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Si noti che port è facoltativo e userà il numero di porta predefinito per ogni origine dati, se non specificato.

      Esempio di configurazione della connessione PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Esempio di configurazione della connessione Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • Ripristinare [SPARK-41848][MEMORIA CENTRALE] Correzione dell'attività over-scheduled con TaskResourceProfile

    • [SPARK-42162] Introdurre l'espressione MultiCommutativeOp come ottimizzazione della memoria per la canonizzazione di grandi alberi di espressioni commutative

    • [SPARK-41990][SQL] Usare FieldReference.column invece di nella conversione da apply V1 a V2 del filtro

    • [SPARK-42346][SQL] Riscrivere aggregazioni distinte dopo l'unione di sottoquery

    • Aggiornamenti della sicurezza del sistema operativo

  • 16 febbraio 2023

    • Gli utenti adesso possono leggere e scrivere determinate tabelle Delta che richiedono Reader versione 3 e Writer versione 7, usando Databricks Runtime 9.1 o versioni successive. Per avere esito positivo, le funzionalità di tabella elencate nel protocollo delle tabelle devono essere supportate dalla versione corrente di Databricks Runtime.
    • Il comando SYNC supporta la sincronizzazione delle tabelle metastore Hive ricreate. Se una tabella HMS è stata sincronizzata in precedenza in Unity Catalog ma poi eliminata e ricreata, una successiva sincronizzazione funzionerà invece di generare TABLE_ALREADY_EXISTS codice di stato.
    • [SPARK-36173][MEMORIA CENTRALE] Supporto per il recupero del numero di CPU in TaskContext
    • [SPARK-42286][SQL] Eseguire il fallback al percorso del codice codegen per le espressioni complesse con CAST
    • [SPARK-41848][MEMORIA CENTRALE] Correzione dell'attività over-scheduled con TaskResourceProfile
    • [SPARK-41219][SQL] IntegralDivide utilizza decimal(1, 0) per rappresentare 0

  • 25 genn. 2023

    • [SPARK-41660][SQL] Propagare solo le colonne di metadati se vengono usate
    • [SPARK-41379][SS] [PYTHON] Fornire una sessione Spark clonata nel dataframe nella funzione utente per il sink foreachBatch in PySpark
    • [SPARK-41669][SQL] Eliminazione anticipata in canCollapseExpressions
    • Aggiornamenti della sicurezza del sistema operativo

  • 18 gennaio 2023

    • REFRESH FUNCTION Il comando SQL ora supporta funzioni SQL e funzioni di tabella SQL. Ad esempio, il comando può essere usato per aggiornare una funzione SQL persistente aggiornata in un'altra sessione SQL.
    • L'origine dati JDBC (Java Database Connectivity) v1 supporta ora il pushdown delle clausole LIMIT per migliorare le prestazioni nelle query. Questa funzionalità è abilitata per impostazione predefinita e può essere disabilitata con spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled impostato su false.
    • Nei cluster ACL tabella legacy la creazione di funzioni che fanno riferimento alle classi JVM richiede ora il privilegio MODIFY_CLASSPATH.
    • L'origine dati JDBC (Java Database Connectivity) v1 supporta ora il pushdown delle clausole LIMIT per migliorare le prestazioni nelle query. Questa funzionalità è abilitata per impostazione predefinita e può essere disabilitata con spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled impostata su false.
    • Il connettore Azure Synapse ora restituisce un messaggio di errore più descrittivo quando il nome di una colonna contiene caratteri non validi come spazi bianchi o punti e virgola. In questi casi, verrà restituito il seguente messaggio: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • Il flusso strutturato Spark ora funziona con format("deltasharing") in una tabella di condivisione differenziale come origine.
    • [SPARK-38277][SS] Cancellare il batch di scrittura dopo il commit dell'archivio stati di RocksDB
    • [SPARK-41733][SQL] [SS] Applicare l'eliminazione basata su pattern ad albero per la regola ResolveWindowTime
    • [SPARK-39591][SS] Rilevamento dello stato asincrono
    • [SPARK-41339][SQL] Chiudere e ricreare il batch di scrittura di RocksDB anziché semplicemente cancellarlo
    • [SPARK-41198][SS] Correzione delle metriche nella query di streaming con origine di streaming CTE e DSv1
    • [SPARK-41539][SQL] Modificare il mapping delle statistiche e dei vincoli rispetto all'output nel piano logico per LogicalRDD
    • [SPARK-41732][SQL][SS] Applicare l'eliminazione basata su pattern ad albero per la regola SessionWindowing
    • [SPARK-41862][SQL] Correzione del bug di correzione relativo ai valori PREDEFINITI nel lettore Orc
    • [SPARK-41199][SS] Correzione del problema relativo alle metriche quando l'origine di streaming DSv1 e l'origine di streaming DSv2 vengono co-utilizzate
    • [SPARK-41261][PYTHON] [SS] Correzione del problema relativo a applyInPandasWithState quando le colonne delle chiavi di raggruppamento non vengono inserite in ordine dalla prima
    • Aggiornamenti della sicurezza del sistema operativo

  • 17 maggio 2023

    • Le analisi Parquet sono ora affidabili in caso di OOM durante l'analisi di file eccezionalmente strutturati regolando dinamicamente le dimensioni del batch. I metadati dei file vengono analizzati per abbassare preventivamente le dimensioni dei batch e vengono nuovamente abbassate durante i tentativi di esecuzione di attività come rete di sicurezza finale.
    • Correzione di una regressione che causava la persistenza dei processi di Azure Databricks dopo la mancata connessione al metastore durante l'inizializzazione del cluster.
    • [SPARK-41520][SQL] Dividere il modello di albero AND_ORin modo da separare AND e OR.
    • [SPARK-43190][SQL] ListQuery.childOutput è ora coerente con l'output secondario.
    • Aggiornamenti della sicurezza del sistema operativo

  • 25 aprile 2023

    • Se un file Parquet è stato letto solo con l'opzione failOnUnknownFields o con il caricatore automatico nella modalità di evoluzione dello schema failOnNewColumns, le colonne con tipi di dati diversi verranno lette come null anziché generare un errore che indica che il file non può essere letto. Queste letture ora hanno esito negativo e consigliano agli utenti di usare l'opzione rescuedDataColumn.
    • Il caricatore automatico ora legge correttamente e non salva più i tipi Integer, Short, Byte se viene fornito uno di questi tipi di dati. Il file Parquet suggerisce uno degli altri due tipi. Quando la colonna di dati salvata è stata abilitata in precedenza, la mancata corrispondenza del tipo di dati causerebbe il salvataggio delle colonne anche se erano leggibili.
    • [SPARK-42937][SQL] PlanSubqueries adesso imposta InSubqueryExec#shouldBroadcast su true.
    • Aggiornamenti della sicurezza del sistema operativo

  • 11 aprile 2023

    • Supportare i formati di origine dati legacy nel comando SYNC.
    • Risolve un bug nel comportamento di %autoload nei notebook all'esterno di un repository.
    • È stato risolto un bug per cui l'evoluzione dello schema del caricatore automatico può passare a un ciclo di errore infinito quando viene rilevata una nuova colonna nello schema di un oggetto JSON annidato.
    • [SPARK-42928][SQL] Impostare resolvePersistentFunction sincronizzato.
    • [SPARK-42967][MEMORIA CENTRALE] Correzione di SparkListenerTaskStart.stageAttemptId quando un'attività viene avviata dopo l'annullamento della fase.

  • 29 marzo 2023

    • [SPARK-42794][SS] Aumentare il lockAcquireTimeoutMs a 2 minuti per l'acquisizione dell'archivio di stato RocksDB in Structure Streaming
    • [SPARK-42403][MEMORIA CENTRALE] JsonProtocol deve gestire stringhe JSON null
    • [SPARK-42668][SS] Intercettare l'eccezione durante il tentativo di chiudere il flusso compresso in HDFSStateStoreProvider interruzione
    • Aggiornamenti della sicurezza del sistema operativo

  • 14 marzo 2023

    • [SPARK-42635][SQL] Correggere l'espressione TimestampAdd.
    • [SPARK-41793][SQL] Risultato non corretto per i fotogrammi finestra definiti da una clausola di intervallo in decimali grandi
    • [SPARK-42484] [SQL] Messaggio di errore unsafeRowUtils migliore
    • [SPARK-42534][SQL] Correzione della clausola DB2Dialect Limit
    • [SPARK-41162][SQL] Correzione di anti-join e semi-join per il self-join con le aggregazioni
    • [SPARK-42516][SQL] Acquisire sempre la configurazione del fuso orario della sessione durante la creazione di visualizzazioni
    • Varie correzioni di bug.

  • 28 febbraio 2023

    • Opzioni di connessione standardizzate per la federazione di query

      È ora possibile usare un set unificato di opzioni (host, port, database, user, password) per la connessione alle origini dati supportate nella federazione di query (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Si noti che port è facoltativo e usa il numero di porta predefinito per ogni origine dati, se non specificato.

      Esempio di configurazione della connessione PostgreSQL

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Esempio di configurazione della connessione Snowflake

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • [SPARK-42286][SQL] Eseguire il fallback al percorso del codice codegen per le espressioni complesse con CAST

    • [SPARK-41989][PYTHON] Evitare l'interruzione della configurazione della registrazione da pyspark.pandas

    • [SPARK-42346][SQL] Riscrivere aggregazioni distinte dopo l'unione di sottoquery

    • [SPARK-41360][MEMORIA CENTRALE] Evitare la ripetizione della registrazione di BlockManager se l'executor è stato perso

    • [SPARK-42162] Introdurre l'espressione MultiCommutativeOp come ottimizzazione della memoria per la canonizzazione di grandi alberi di espressioni commutative

    • [SPARK-41990][SQL] Usare FieldReference.column invece di nella conversione da apply V1 a V2 del filtro

    • Aggiornamenti della sicurezza del sistema operativo

  • 16 febbraio 2023

    • Gli utenti adesso possono leggere e scrivere determinate tabelle Delta che richiedono Reader versione 3 e Writer versione 7, usando Databricks Runtime 9.1 o versioni successive. Per avere esito positivo, le funzionalità di tabella elencate nel protocollo delle tabelle devono essere supportate dalla versione corrente di Databricks Runtime.
    • Il comando SYNC supporta la sincronizzazione delle tabelle metastore Hive ricreate. Se una tabella HMS è stata sincronizzata in precedenza in Unity Catalog ma poi eliminata e ricreata, una successiva sincronizzazione funzionerà invece di generare TABLE_ALREADY_EXISTS codice di stato.
    • [SPARK-41219][SQL] IntegralDivide utilizza decimal(1, 0) per rappresentare 0
    • [SPARK-40382][SQL] Raggruppare espressioni di aggregazione distinte per elementi figlio semanticamente equivalenti in RewriteDistinctAggregates
    • Aggiornamenti della sicurezza del sistema operativo

  • 25 genn. 2023

    • [SPARK-41379][SS] [PYTHON] Fornire una sessione Spark clonata nel dataframe nella funzione utente per il sink foreachBatch in PySpark
    • [SPARK-41660][SQL] Propagare solo le colonne di metadati se vengono usate
    • [SPARK-41669][SQL] Eliminazione anticipata in canCollapseExpressions
    • Varie correzioni di bug.

  • 18 gennaio 2023

    • REFRESH FUNCTION Il comando SQL ora supporta funzioni SQL e funzioni di tabella SQL. Ad esempio, il comando può essere usato per aggiornare una funzione SQL persistente aggiornata in un'altra sessione SQL.
    • L'origine dati JDBC (Java Database Connectivity) v1 supporta ora il pushdown delle clausole LIMIT per migliorare le prestazioni nelle query. Questa funzionalità è abilitata per impostazione predefinita e può essere disabilitata con spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled impostato su false.
    • L'origine dati JDBC (Java Database Connectivity) v1 supporta ora il pushdown delle clausole LIMIT per migliorare le prestazioni nelle query. Questa funzionalità è abilitata per impostazione predefinita e può essere disabilitata con spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled impostata su false.
    • Il connettore Azure Synapse ora restituisce un messaggio di errore più descrittivo quando il nome di una colonna contiene caratteri non validi come spazi bianchi o punti e virgola. In questi casi, verrà restituito il seguente messaggio: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Correzione delle metriche nella query di streaming con origine di streaming CTE e DSv1
    • [SPARK-41862][SQL] Correzione del bug di correzione relativo ai valori PREDEFINITI nel lettore Orc
    • [SPARK-41539][SQL] Modificare il mapping delle statistiche e dei vincoli rispetto all'output nel piano logico per LogicalRDD
    • [SPARK-39591][SS] Rilevamento dello stato asincrono
    • [SPARK-41199][SS] Correzione del problema relativo alle metriche quando l'origine di streaming DSv1 e l'origine di streaming DSv2 vengono co-utilizzate
    • [SPARK-41261][PYTHON] [SS] Correzione del problema relativo a applyInPandasWithState quando le colonne delle chiavi di raggruppamento non vengono inserite in ordine dalla prima
    • [SPARK-41339][SQL] Chiudere e ricreare il batch di scrittura di RocksDB anziché semplicemente cancellarlo
    • [SPARK-41732][SQL][SS] Applicare l'eliminazione basata su pattern ad albero per la regola SessionWindowing
    • [SPARK-38277][SS] Cancellare il batch di scrittura dopo il commit dell'archivio stati di RocksDB
    • Aggiornamenti della sicurezza del sistema operativo

  • 29 novembre 2022

    • Gli utenti possono configurare il comportamento degli spazi vuoti iniziali e finali durante la scrittura dei dati usando il connettore Redshift. Sono state aggiunte le seguenti opzioni per controllare la gestione degli spazi vuoti:
      • csvignoreleadingwhitespace, se impostato su true, rimuove gli spazi vuoti iniziali dai valori durante le scritture quando tempformat è impostato su CSV o CSV GZIP. Gli spazi vuoti vengono mantenuti quando la configurazione è impostata su false. Per impostazione predefinita, il valore è true.
      • csvignoretrailingwhitespace, se impostato su true, rimuove gli spazi vuoti finali dai valori durante le scritture quando tempformat è impostato su CSV o CSV GZIP. Gli spazi vuoti vengono mantenuti quando la configurazione è impostata su false. Per impostazione predefinita, il valore è true.
    • È stato risolto un bug relativo all'analisi JSON nel caricatore automatico quando tutte le colonne venivano lasciate come stringhe (cloudFiles.inferColumnTypes non erano impostate o erano impostate su false) e gli oggetti annidati contenuti in JSON.
    • Aggiornare la dipendenza snowflake-jdbc alla versione 3.13.22.
    • Per impostazione predefinita, i tipi di tabella delle tabelle JDBC sono EXTERNAL.
    • [SPARK-40906][SQL] Mode deve copiare le chiavi prima dell'inserimento nella mappa
    • Aggiornamenti della sicurezza del sistema operativo

  • 15 novembre 2022

    • Gli ACL di tabella e i cluster condivisi UC ora consentono il metodo Dataset.toJSON da Python.
    • [SPARK-40646] L'analisi JSON per le strutture, le mappe e le matrici è stata corretta, in modo che quando una parte di un record non corrisponde allo schema, il resto del record possa essere analizzato correttamente anziché restituire valori null. Per acconsentire esplicitamente al set di comportamenti migliorato, impostare spark.sql.json.enablePartialResults su true. Il flag è disabilitato per impostazione predefinita per mantenere il comportamento originale
    • [SPARK-40903][SQL] Evitare di riordinare l'aggiunta decimale per la canonizzazione se il tipo di dati viene modificato
    • [SPARK-40618][SQL] Correzione di un bug nella regola MergeScalarSubqueries con sottoquery annidate usando il rilevamento dei riferimenti
    • [SPARK-40697][SQL] Aggiungere la spaziatura interna dei caratteri in lettura per coprire i file di dati esterni
    • Aggiornamenti della sicurezza del sistema operativo

  • 1 novembre 2022

    • Il flusso strutturato nel catalogo Unity ora supporta l'aggiornamento dei token di accesso temporanei. I carichi di lavoro di streaming in esecuzione con il catalogo Unity tutti gli scopi o i cluster di processi non hanno più esito negativo dopo la scadenza del token iniziale.
    • È stato risolto un problema per cui se una tabella Delta aveva una colonna definita dall'utente denominata _change_type, ma il feed di dati di modifica era disabilitato per quella tabella, i dati nella colonna venivano inseriti in modo non corretto con valori NULL durante l'esecuzione di MERGE.
    • È stato risolto un problema a causa del quale l'esecuzione MERGE e l'uso di 99 esattamente colonne dell'origine nella condizione poteva generare java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • È stato risolto un problema relativo al caricatore automatico dove un file può essere duplicato nello stesso micro batch quando allowOverwrites è abilitato.
    • Aggiornamento di Apache commons-text alla versione 1.10.0.
    • [SPARK-38881]DSTREAMS][KINESIS][PYSPARK] Aggiunta del supporto per la configurazione di CloudWatch MetricsLevel
    • [SPARK-40596][MEMORIA CENTRALE] Popolare ExecutorDecommission con messaggi in ExecutorDecommissionInfo
    • [SPARK-40670][SS] [PYTHON] Correzione di NPE in applyInPandasWithState quando lo schema di input ha colonne "che non ammettono i valori Null"
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 11.2 (EoS)

Si veda Databricks Runtime 11.2 (EoS).

  • 28 febbraio 2023
    • [SPARK-42286][SQL] Eseguire il fallback al percorso del codice codegen per le espressioni complesse con CAST
    • [SPARK-42346][SQL] Riscrivere aggregazioni distinte dopo l'unione di sottoquery
    • Aggiornamenti della sicurezza del sistema operativo
  • 16 febbraio 2023
    • Gli utenti adesso possono leggere e scrivere determinate tabelle Delta che richiedono Reader versione 3 e Writer versione 7, usando Databricks Runtime 9.1 o versioni successive. Per avere esito positivo, le funzionalità di tabella elencate nel protocollo delle tabelle devono essere supportate dalla versione corrente di Databricks Runtime.
    • Il comando SYNC supporta la sincronizzazione delle tabelle metastore Hive ricreate. Se una tabella HMS è stata sincronizzata in precedenza in Unity Catalog ma poi eliminata e ricreata, una successiva sincronizzazione funzionerà invece di generare TABLE_ALREADY_EXISTS codice di stato.
    • [SPARK-41219][SQL] IntegralDivide utilizza decimal(1, 0) per rappresentare 0
    • Aggiornamenti della sicurezza del sistema operativo
  • 31 gennaio 2023
    • Per impostazione predefinita, i tipi di tabella delle tabelle JDBC sono EXTERNAL.
    • [SPARK-41379][SS] [PYTHON] Fornire una sessione Spark clonata nel dataframe nella funzione utente per il sink foreachBatch in PySpark
  • 18 gennaio 2023
    • Il connettore Azure Synapse ora restituisce un messaggio di errore più descrittivo quando il nome di una colonna contiene caratteri non validi come spazi bianchi o punti e virgola. In questi casi, verrà restituito il seguente messaggio: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Correzione delle metriche nella query di streaming con origine di streaming CTE e DSv1
    • [SPARK-41862][SQL] Correzione del bug di correzione relativo ai valori PREDEFINITI nel lettore Orc
    • [SPARK-41539][SQL] Modificare il mapping delle statistiche e dei vincoli rispetto all'output nel piano logico per LogicalRDD
    • [SPARK-41199][SS] Correzione del problema relativo alle metriche quando l'origine di streaming DSv1 e l'origine di streaming DSv2 vengono co-utilizzate
    • [SPARK-41339][SQL] Chiudere e ricreare il batch di scrittura di RocksDB anziché semplicemente cancellarlo
    • [SPARK-41732][SQL][SS] Applicare l'eliminazione basata su pattern ad albero per la regola SessionWindowing
    • [SPARK-38277][SS] Cancellare il batch di scrittura dopo il commit dell'archivio stati di RocksDB
    • Aggiornamenti della sicurezza del sistema operativo
  • 29 novembre 2022
    • Gli utenti possono configurare il comportamento degli spazi vuoti iniziali e finali durante la scrittura dei dati usando il connettore Redshift. Sono state aggiunte le seguenti opzioni per controllare la gestione degli spazi vuoti:
      • csvignoreleadingwhitespace, se impostato su true, rimuove gli spazi vuoti iniziali dai valori durante le scritture quando tempformat è impostato su CSV o CSV GZIP. Gli spazi vuoti vengono mantenuti quando la configurazione è impostata su false. Per impostazione predefinita, il valore è true.
      • csvignoretrailingwhitespace, se impostato su true, rimuove gli spazi vuoti finali dai valori durante le scritture quando tempformat è impostato su CSV o CSV GZIP. Gli spazi vuoti vengono mantenuti quando la configurazione è impostata su false. Per impostazione predefinita, il valore è true.
    • È stato risolto un bug relativo all'analisi JSON nel caricatore automatico quando tutte le colonne venivano lasciate come stringhe (cloudFiles.inferColumnTypes non erano impostate o erano impostate su false) e gli oggetti annidati contenuti in JSON.
    • [SPARK-40906][SQL] Mode deve copiare le chiavi prima dell'inserimento nella mappa
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 novembre 2022
    • [SPARK-40646] L'analisi JSON per le strutture, le mappe e le matrici è stata corretta, in modo che quando una parte di un record non corrisponde allo schema, il resto del record possa essere analizzato correttamente anziché restituire valori null. Per acconsentire esplicitamente al comportamento migliorato, impostare spark.sql.json.enablePartialResults su true. Il flag è disabilitato per impostazione predefinita per mantenere il comportamento originale
    • [SPARK-40618][SQL] Correzione di un bug nella regola MergeScalarSubqueries con sottoquery annidate usando il rilevamento dei riferimenti
    • [SPARK-40697][SQL] Aggiungere la spaziatura interna dei caratteri in lettura per coprire i file di dati esterni
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 novembre 2022
    • Aggiornamento di Apache commons-text alla versione 1.10.0.
    • È stato risolto un problema per cui se una tabella Delta aveva una colonna definita dall'utente denominata _change_type, ma il feed di dati di modifica era disabilitato per quella tabella, i dati nella colonna venivano inseriti in modo non corretto con valori NULL durante l'esecuzione di MERGE.
    • È stato risolto un problema a causa del quale l'esecuzione MERGE e l'uso di 99 esattamente colonne dell'origine nella condizione poteva generare java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • È stato risolto un problema relativo al caricatore automatico dove un file può essere duplicato nello stesso micro batch quando allowOverwrites è abilitato
    • [SPARK-40596][MEMORIA CENTRALE] Popolare ExecutorDecommission con messaggi in ExecutorDecommissionInfo
    • Aggiornamenti della sicurezza del sistema operativo
  • 19 ottobre 2022
    • È stato risolto un problema relativo all'utilizzo di COPY INTO con credenziali temporanee nei cluster o nei warehouse abilitati per il catalogo Unity.
    • [SPARK-40213][SQL] Supportare la conversione di valori ASCII per i caratteri Latin-1
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 ottobre 2022
    • Gli utenti possono impostare spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") per riabilitare l'elenco nativo per il caricatore automatico in ADLS Gen2. L'elenco nativo è stato precedentemente disattivato per problemi di prestazioni, ma può aver comportato un aumento dei costi di archiviazione per i clienti. Questa modifica è stata implementata in DBR 10.4 e 9.1 nell'aggiornamento di manutenzione precedente.
    • [SPARK-40315][SQL] Supportare la codifica/decodifica dell'URL come funzione predefinita e riordinare le funzioni correlate all'URL
    • [SPARK-40156][SQL]url_decode() deve restituire una classe di errore
    • [SPARK-40169] Non eseguire il push dei filtri Parquet senza riferimenti allo schema dei dati
    • [SPARK-40460][SS] Correzione delle metriche di streaming durante la selezione di _metadata
    • [SPARK-40468][SQL] Correzione dell'eliminazione delle colonne in CSV quando è selezionato _corrupt_record
    • [SPARK-40055][SQL] listCatalogs deve restituire anche spark_catalog anche quando spark_catalog'implementazione è defaultSessionCatalog
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 settembre 2022
    • [SPARK-40315][SQL] Aggiungere hashCode() per valore letterale di ArrayBasedMapData
    • [SPARK-40389][SQL] I decimali non possono essere trasformati in tipi integrali se il cast può eseguire l'overflow
    • [SPARK-40380][SQL] Correzione della riduzione costante di InvokeLike per evitare valori letterali non serializzabili incorporati nel piano
    • [SPARK-40066][SQL] [FOLLOW-UP] Controllare se ElementAt è stato risolto prima di ottenere il relativo tipo di dati
    • [SPARK-40109][SQL] Nuova funzione SQL: get()
    • [SPARK-40066][SQL] Modalità ANSI: restituisce sempre Null per l'accesso non valido a colonne della mappa
    • [SPARK-40089][SQL] Correzione dell'ordinamento per alcuni tipi decimali
    • [SPARK-39887][SQL] RemoveRedundantAliases deve mantenere gli alias che rendono univoco l'output dei nodi di proiezione
    • [SPARK-40152][SQL] Correzione del problema di compilazione di codegen split_part
    • [SPARK-40235][MEMORIA CENTRALE] Usare il blocco interrompibile anziché quello sincronizzato in Executor.updateDependencies()
    • [SPARK-40212][SQL] CastPartValue sparkSQL non gestisce correttamente i byte, short o float
    • [SPARK-40218][SQL] GROUPING SETS deve mantenere le colonne di raggruppamento
    • [SPARK-35542][ML] Correzione: Bucketizer creato per più colonne con parametri
    • [SPARK-40079] Aggiungere la convalida inputCols dell'input del computer per un caso di input vuoto
    • [SPARK-39912]SPARK-39828[SQL] Perfezionare CatalogImpl

Databricks Runtime 11.1 (EoS)

Si veda Databricks Runtime 11.1 (EoS).

  • 31 gennaio 2023

    • [SPARK-41379][SS] [PYTHON] Fornire una sessione Spark clonata nel dataframe nella funzione utente per il sink foreachBatch in PySpark
    • Varie correzioni di bug.

  • 18 gennaio 2023

    • Il connettore Azure Synapse ora restituisce un messaggio di errore più descrittivo quando il nome di una colonna contiene caratteri non validi come spazi bianchi o punti e virgola. In questi casi, verrà restituito il seguente messaggio: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Correzione delle metriche nella query di streaming con origine di streaming CTE e DSv1
    • [SPARK-41862][SQL] Correzione del bug di correzione relativo ai valori PREDEFINITI nel lettore Orc
    • [SPARK-41199][SS] Correzione del problema relativo alle metriche quando l'origine di streaming DSv1 e l'origine di streaming DSv2 vengono co-utilizzate
    • [SPARK-41339][SQL] Chiudere e ricreare il batch di scrittura di RocksDB anziché semplicemente cancellarlo
    • [SPARK-41732][SQL][SS] Applicare l'eliminazione basata su pattern ad albero per la regola SessionWindowing
    • [SPARK-38277][SS] Cancellare il batch di scrittura dopo il commit dell'archivio stati di RocksDB
    • Aggiornamenti della sicurezza del sistema operativo

  • 29 novembre 2022

    • Gli utenti possono configurare il comportamento degli spazi vuoti iniziali e finali durante la scrittura dei dati usando il connettore Redshift. Sono state aggiunte le seguenti opzioni per controllare la gestione degli spazi vuoti:
      • csvignoreleadingwhitespace, se impostato su true, rimuove gli spazi vuoti iniziali dai valori durante le scritture quando tempformat è impostato su CSV o CSV GZIP. Gli spazi vuoti vengono mantenuti quando la configurazione è impostata su false. Per impostazione predefinita, il valore è true.
      • csvignoretrailingwhitespace, se impostato su true, rimuove gli spazi vuoti finali dai valori durante le scritture quando tempformat è impostato su CSV o CSV GZIP. Gli spazi vuoti vengono mantenuti quando la configurazione è impostata su false. Per impostazione predefinita, il valore è true.
    • È stato risolto un bug relativo all'analisi JSON nel caricatore automatico quando tutte le colonne venivano lasciate come stringhe (cloudFiles.inferColumnTypes non erano impostate o erano impostate su false) e gli oggetti annidati contenuti in JSON.
    • [SPARK-39650][SS] Correzione dello schema di valore non corretto nella deduplicazione di streaming con compatibilità con le versioni precedenti
    • Aggiornamenti della sicurezza del sistema operativo

  • 15 novembre 2022

    • [SPARK-40646] L'analisi JSON per le strutture, le mappe e le matrici è stata corretta, in modo che quando una parte di un record non corrisponde allo schema, il resto del record possa essere analizzato correttamente anziché restituire valori null. Per accettare il comportamento migliorato, impostare spark.sql.json.enablePartialResults a true. Il flag è disabilitato per impostazione predefinita per mantenere il comportamento originale
    • Aggiornamenti della sicurezza del sistema operativo

  • 1 novembre 2022

    • Aggiornamento di Apache commons-text alla versione 1.10.0.
    • È stato risolto un problema per cui se una tabella Delta aveva una colonna definita dall'utente denominata _change_type, ma il feed di dati di modifica era disabilitato per quella tabella, i dati nella colonna venivano inseriti in modo non corretto con valori NULL durante l'esecuzione di MERGE.
    • È stato risolto un problema a causa del quale l'esecuzione MERGE e l'uso di 99 esattamente colonne dell'origine nella condizione poteva generare java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • È stato risolto un problema relativo al caricatore automatico dove un file può essere duplicato nello stesso micro batch quando allowOverwrites è abilitato
    • [SPARK-40697][SQL] Aggiungere la spaziatura interna dei caratteri in lettura per coprire i file di dati esterni
    • [SPARK-40596][MEMORIA CENTRALE] Popolare ExecutorDecommission con messaggi in ExecutorDecommissionInfo
    • Aggiornamenti della sicurezza del sistema operativo

  • 18 ottobre 2022

    • È stato risolto un problema relativo all'utilizzo di COPY INTO con credenziali temporanee nei cluster o nei warehouse abilitati per il catalogo Unity.
    • [SPARK-40213][SQL] Supportare la conversione di valori ASCII per i caratteri Latin-1
    • Aggiornamenti della sicurezza del sistema operativo

  • mercoledì 5 ottobre 2022

    • Gli utenti possono impostare spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") per riabilitare l'elenco nativo per il caricatore automatico in ADLS Gen2. L'elenco nativo è stato precedentemente disattivato per problemi di prestazioni, ma può aver comportato un aumento dei costi di archiviazione per i clienti. Questa modifica è stata implementata in DBR 10.4 e 9.1 nell'aggiornamento di manutenzione precedente.
    • [SPARK-40169] Non eseguire il push dei filtri Parquet senza riferimenti allo schema dei dati
    • [SPARK-40460][SS] Correzione delle metriche di streaming durante la selezione di _metadata
    • [SPARK-40468][SQL] Correzione dell'eliminazione delle colonne in CSV quando è selezionato _corrupt_record
    • [SPARK-40055][SQL] listCatalogs deve restituire anche spark_catalog anche quando spark_catalog'implementazione è defaultSessionCatalog
    • Aggiornamenti della sicurezza del sistema operativo

  • 22 settembre 2022

    • [SPARK-40315][SQL] Aggiungere hashCode() per valore letterale di ArrayBasedMapData
    • [SPARK-40380][SQL] Correzione della riduzione costante di InvokeLike per evitare valori letterali non serializzabili incorporati nel piano
    • [SPARK-40089][SQL] Correzione dell'ordinamento per alcuni tipi decimali
    • [SPARK-39887][SQL] RemoveRedundantAliases deve mantenere gli alias che rendono univoco l'output dei nodi di proiezione
    • [SPARK-40152][SQL] Correzione del problema di compilazione di codegen split_part

  • 6 settembre 2022

    • Il modello di autorizzazione è stato aggiornato in Table Controllo di accesso s (ACL di tabella) in modo che siano necessarie solo le autorizzazioni MODIFY per modificare lo schema o le proprietà di una tabella con ALTER TABLE. In precedenza, queste operazioni richiedevano che un utente fosse proprietario della tabella. La proprietà è ancora necessaria per concedere le autorizzazioni a una tabella, cambiarne il proprietario, modificarne la posizione o rinominarla. Questa modifica rende il modello di autorizzazione per gli ACL di tabella più coerenti con il catalogo Unity.
    • [SPARK-40235][MEMORIA CENTRALE] Usare il blocco interrompibile anziché quello sincronizzato in Executor.updateDependencies()
    • [SPARK-40212][SQL] CastPartValue sparkSQL non gestisce correttamente i byte, short o float
    • [SPARK-40218][SQL] GROUPING SETS deve mantenere le colonne di raggruppamento
    • [SPARK-39976][SQL] ArrayIntersect deve gestire correttamente null nell'espressione a sinistra
    • [SPARK-40053][MEMORIA CENTRALE] [SQL] [TEST] Aggiungere assume a casi di annullamento dinamico che richiedono l'ambiente di runtime Python
    • [SPARK-35542][MEMORIA CENTRALE] [ML] Correzione: Ii Bucketizer creato per colonne multiple con i parametri splitsArray, inputCols e outputCols non può essere caricato dopo il suo salvataggio
    • [SPARK-40079][MEMORIA CENTRALE] Aggiungere la convalida inputCols dell'input del computer per un caso di input vuoto

  • 24 agosto 2022

    • Condivisioni, provider e destinatari ora supportano i comandi SQL per modificare proprietari, commenti, nomi
    • [SPARK-39983][MEMORIA CENTRALE] [SQL] Non memorizzare nella cache le relazioni di trasmissione non serializzate sul driver
    • [SPARK-39912][SPARK-39828][SQL] Perfezionare CatalogImpl
    • [SPARK-39775][MEMORIA CENTRALE] [AVRO] Disabilitare la convalida dei valori predefiniti durante l'analisi degli schemi Avro
    • [SPARK-39806] Correzione del problema relativo all'arresto anomalo della struttura METADATA nelle query che accedono alle tabelle partizionate
    • [SPARK-39867][SQL] Il limite globale non deve ereditare OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON] [SQL] Applicare la proiezione quando gli attributi del gruppo sono vuoti
    • [SPARK-39839][SQL] Gestione del caso speciale di decimale di lunghezza variabile nullo con offsetAndSize non nullo nella verifica dell'integrità strutturale di UnsafeRow
    • [SPARK-39713][SQL] Modalità ANSI: aggiungere un suggerimento per l'uso di try_element_at per INVALID_ARRAY_INDEX errore
    • [SPARK-39847][SS] Correzione della race condition in RocksDBLoader.loadLibrary() se il thread del chiamante viene interrotto
    • [SPARK-39731][SQL] Correzione del problema nelle origini dati CSV e JSON durante l'analisi delle date nel formato "aaaaMMgg" con i criteri del parser di ora FIX
    • Aggiornamenti della sicurezza del sistema operativo

  • 10 agosto 2022

    • Per le tabelle Delta con controllo di accesso alle tabelle, l'evoluzione automatica dello schema tramite istruzioni DML come INSERT e MERGE è ora disponibile per tutti gli utenti che dispongono delle autorizzazioni MODIFY per tali tabelle. Inoltre, le autorizzazioni necessarie per eseguire l'evoluzione dello schema con COPY INTO sono ora inferiori da OWNER a MODIFY per coerenza con altri comandi. Queste modifiche rendono il modello di sicurezza ACL della tabella più coerente con il modello di sicurezza del catalogo Unity e con altre operazioni, ad esempio la sostituzione di una tabella.
    • [SPARK-39889] Migliorare il messaggio di errore di divisione per 0
    • [SPARK-39795] [SQL] Nuova funzione SQL: try_to_timestamp
    • [SPARK-39749] Usare sempre la rappresentazione di stringa normale nel cast decimale come stringa in modalità ANSI
    • [SPARK-39625] Rinominare df.as in df.to
    • [SPARK-39787] [SQL] Usare la classe di errore nell'errore di analisi della funzione to_timestamp
    • [SPARK-39625] [SQL] Aggiungere Dataset.as(StructType)
    • [SPARK-39689] Supporto di lineSep di 2 caratteri nell'origine dati CSV
    • [SPARK-39579] [SQL] [PYTHON] [R] Rendere ListFunctions/getFunction/functionExists compatibile con lo spazio dei nomi a 3 livelli
    • [SPARK-39702] [MEMORIA CENTRALE] Ridurre il sovraccarico di memoria di TransportCipher$EncryptedMessage utilizzando un byteRawChannel condiviso
    • [SPARK-39575] [AVRO] aggiungere ByteBuffer#rewind dopo ByteBuffer#get in AvroDeserializer
    • [SPARK-39265] [SQL] Correzione dell'errore di test quando SPARK_ANSI_SQL_MODE è abilitato
    • [SPARK-39441] [SQL] Velocizzare DeduplicateRelations
    • [SPARK-39497] [SQL] Migliorare l'eccezione di analisi della colonna chiave della mappa mancante
    • [SPARK-39476] [SQL] Disabilitare l'ottimizzazione del cast di annullamento del wrapping durante il cast da Long a Float/ Double o da Intero a Float
    • [SPARK-39434] [SQL] Specificare il contesto della query di errore di runtime quando l'indice della matrice non è delimitato

Databricks Runtime 11.0 (EoS)

Si veda Databricks Runtime 11.0 (EoS).

  • 29 novembre 2022
    • Gli utenti possono configurare il comportamento degli spazi vuoti iniziali e finali durante la scrittura dei dati usando il connettore Redshift. Sono state aggiunte le seguenti opzioni per controllare la gestione degli spazi vuoti:
      • csvignoreleadingwhitespace, se impostato su true, rimuove gli spazi vuoti iniziali dai valori durante le scritture quando tempformat è impostato su CSV o CSV GZIP. Gli spazi vuoti vengono mantenuti quando la configurazione è impostata su false. Per impostazione predefinita, il valore è true.
      • csvignoretrailingwhitespace, se impostato su true, rimuove gli spazi vuoti finali dai valori durante le scritture quando tempformat è impostato su CSV o CSV GZIP. Gli spazi vuoti vengono mantenuti quando la configurazione è impostata su false. Per impostazione predefinita, il valore è true.
    • È stato risolto un bug relativo all'analisi JSON nel caricatore automatico quando tutte le colonne venivano lasciate come stringhe (cloudFiles.inferColumnTypes non erano impostate o erano impostate su false) e gli oggetti annidati contenuti in JSON.
    • [SPARK-39650][SS] Correzione dello schema di valore non corretto nella deduplicazione di streaming con compatibilità con le versioni precedenti
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 novembre 2022
    • [SPARK-40646] L'analisi JSON per le strutture, le mappe e le matrici è stata corretta, in modo che quando una parte di un record non corrisponde allo schema, il resto del record possa essere analizzato correttamente anziché restituire valori null. Per acconsentire esplicitamente al comportamento migliorato, impostare spark.sql.json.enablePartialResults su true. Il flag è disabilitato per impostazione predefinita per mantenere il comportamento originale.
  • 1 novembre 2022
    • Aggiornamento di Apache commons-text alla versione 1.10.0.
    • È stato risolto un problema per cui se una tabella Delta aveva una colonna definita dall'utente denominata _change_type, ma il feed di dati di modifica era disabilitato per quella tabella, i dati nella colonna venivano inseriti in modo non corretto con valori NULL durante l'esecuzione di MERGE.
    • È stato risolto un problema relativo al caricatore automatico dove un file può essere duplicato nello stesso micro batch quando allowOverwrites è abilitato
    • [SPARK-40697][SQL] Aggiungere la spaziatura interna dei caratteri in lettura per coprire i file di dati esterni
    • [SPARK-40596][MEMORIA CENTRALE] Popolare ExecutorDecommission con messaggi in ExecutorDecommissionInfo
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 ottobre 2022
    • [SPARK-40213][SQL] Supportare la conversione di valori ASCII per i caratteri Latin-1
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 ottobre 2022
    • Gli utenti possono impostare spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") per riabilitare l'elenco nativo per il caricatore automatico in ADLS Gen2. L'elenco nativo è stato precedentemente disattivato per problemi di prestazioni, ma può aver comportato un aumento dei costi di archiviazione per i clienti. Questa modifica è stata implementata in DBR 10.4 e 9.1 nell'aggiornamento di manutenzione precedente.
    • [SPARK-40169] Non eseguire il push dei filtri Parquet senza riferimenti allo schema dei dati
    • [SPARK-40460][SS] Correzione delle metriche di streaming durante la selezione di _metadata
    • [SPARK-40468][SQL] Correzione dell'eliminazione delle colonne in CSV quando è selezionato _corrupt_record
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 settembre 2022
    • [SPARK-40315][SQL] Aggiungere hashCode() per valore letterale di ArrayBasedMapData
    • [SPARK-40380][SQL] Correzione della riduzione costante di InvokeLike per evitare valori letterali non serializzabili incorporati nel piano
    • [SPARK-40089][SQL] Correzione dell'ordinamento per alcuni tipi decimali
    • [SPARK-39887][SQL] RemoveRedundantAliases deve mantenere gli alias che rendono univoco l'output dei nodi di proiezione
    • [SPARK-40152][SQL] Correzione del problema di compilazione di codegen split_part
  • 6 settembre 2022
    • [SPARK-40235][MEMORIA CENTRALE] Usare il blocco interrompibile anziché quello sincronizzato in Executor.updateDependencies()
    • [SPARK-40212][SQL] CastPartValue sparkSQL non gestisce correttamente i byte, short o float
    • [SPARK-40218][SQL] GROUPING SETS deve mantenere le colonne di raggruppamento
    • [SPARK-39976][SQL] ArrayIntersect deve gestire correttamente null nell'espressione a sinistra
    • [SPARK-40053][MEMORIA CENTRALE] [SQL] [TEST] Aggiungere assume a casi di annullamento dinamico che richiedono l'ambiente di runtime Python
    • [SPARK-35542][MEMORIA CENTRALE] [ML] Correzione: Ii Bucketizer creato per colonne multiple con i parametri splitsArray, inputCols e outputCols non può essere caricato dopo il suo salvataggio
    • [SPARK-40079][MEMORIA CENTRALE] Aggiungere la convalida inputCols dell'input del computer per un caso di input vuoto
  • 24 agosto 2022
    • [SPARK-39983][MEMORIA CENTRALE] [SQL] Non memorizzare nella cache le relazioni di trasmissione non serializzate sul driver
    • [SPARK-39775][MEMORIA CENTRALE] [AVRO] Disabilitare la convalida dei valori predefiniti durante l'analisi degli schemi Avro
    • [SPARK-39806] Correzione del problema relativo all'arresto anomalo della struttura METADATA nelle query che accedono alle tabelle partizionate
    • [SPARK-39867][SQL] Il limite globale non deve ereditare OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON] [SQL] Applicare la proiezione quando gli attributi del gruppo sono vuoti
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 agosto 2022
    • [SPARK-39713][SQL] Modalità ANSI: aggiungere un suggerimento per l'uso di try_element_at per INVALID_ARRAY_INDEX errore
    • [SPARK-39847] Correzione della race condition in RocksDBLoader.loadLibrary() se il thread del chiamante viene interrotto
    • [SPARK-39731][SQL] Correzione del problema nelle origini dati CSV e JSON durante l'analisi delle date nel formato "aaaaMMgg" con i criteri del parser di ora FIX
    • [SPARK-39889] Migliorare il messaggio di errore di divisione per 0
    • [SPARK-39795][SQL] Nuova funzione SQL: try_to_timestamp
    • [SPARK-39749] Usare sempre la rappresentazione di stringa normale nel cast decimale come stringa in modalità ANSI
    • [SPARK-39625][SQL] Aggiungere Dataset.to(StructType)
    • [SPARK-39787][SQL] Usare la classe di errore nell'errore di analisi della funzione to_timestamp
    • Aggiornamenti della sicurezza del sistema operativo
  • 27 luglio 2022
    • [SPARK-39689]Supporto di lineSep di 2 caratteri nell'origine dati CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded deve essere thread-safe
    • [SPARK-39702][MEMORIA CENTRALE] Ridurre il sovraccarico di memoria di TransportCipher$EncryptedMessage utilizzando un byteRawChannel condiviso
    • [SPARK-39575][AVRO] aggiungere ByteBuffer#rewind dopo ByteBuffer#get in AvroDeserializer
    • [SPARK-39497][SQL] Migliorare l'eccezione di analisi della colonna chiave della mappa mancante
    • [SPARK-39441][SQL] Velocizzare DeduplicateRelations
    • [SPARK-39476][SQL] Disabilitare l'ottimizzazione del cast di annullamento del wrapping durante il cast da Long a Float/ Double o da Intero a Float
    • [SPARK-39434][SQL] Specificare il contesto della query di errore di runtime quando l'indice della matrice non è delimitato
    • [SPARK-39570][SQL] La tabella inline deve consentire espressioni con alias
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 luglio 2022
    • Rendere coerenti i risultati dell'operazione Delta MERGE quando l'origine non è deterministica.
    • Corretto un problema per il TVF cloud_files_state quando viene eseguito su percorsi non DBFS.
    • Disabilitato l'uso del caricatore automatico delle API cloud native per l'elenco di directory in Azure.
    • [SPARK-38796][SQL] Aggiornare le funzioni di to_number e try_to_number per consentire la richiesta pull con numeri positivi
    • [SPARK-39272][SQL] Aumentare la posizione iniziale del contesto di query di 1
    • [SPARK-39419][SQL] Correzione di ArraySort per generare un'eccezione quando il confronto restituisce Null
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 luglio 2022
    • Miglioramento dei messaggi di errore per un intervallo di classi di errore.
    • [SPARK-39451][SQL] Supportare gli intervalli di cast a integrali in modalità ANSI
    • [SPARK-39361] Non usare il modello di conversione throwable esteso di Log4J2 nelle configurazioni di registrazione predefinite
    • [SPARK-39354][SQL] Assicurarsi di mostrare Table or view not found anche se sono dataTypeMismatchError presenti elementi correlati Filter contemporaneamente
    • [SPARK-38675][MEMORIA CENTRALE] Correzione di una race durante lo sblocco in BlockInfoManager
    • [SPARK-39392][SQL] Perfezionare i messaggi di errore ANSI per gli hint di funzione try_*
    • [SPARK-39214][SQL] [3.3] Migliorare gli errori correlati a CAST
    • [SPARK-37939][SQL] Usare classi di errore negli errori di analisi delle proprietà
    • [SPARK-39085][SQL] Spostare il messaggio di errore di INCONSISTENT_BEHAVIOR_CROSS_VERSION in error-classes.json
    • [SPARK-39376][SQL] Nascondere le colonne duplicate nell'espansione a stella dell'alias di sottoquery da NATURAL/USING JOIN
    • [SPARK-39283][CORE] Correzione del deadlock tra TaskMemoryManager e UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark non deve controllare i nomi dei campi durante la lettura dei file
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 10.5 (EoS)

Si veda Databricks Runtime 10.5 (EoS).

  • 1 novembre 2022
    • È stato risolto un problema per cui se una tabella Delta aveva una colonna definita dall'utente denominata _change_type, ma il feed di dati di modifica era disabilitato per quella tabella, i dati nella colonna venivano inseriti in modo non corretto con valori NULL durante l'esecuzione di MERGE.
    • [SPARK-40697][SQL] Aggiungere la spaziatura interna dei caratteri in lettura per coprire i file di dati esterni
    • [SPARK-40596][MEMORIA CENTRALE] Popolare ExecutorDecommission con messaggi in ExecutorDecommissionInfo
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 ottobre 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 ottobre 2022
    • Gli utenti possono impostare spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") per riabilitare l'elenco nativo per il caricatore automatico in ADLS Gen2. L'elenco nativo è stato precedentemente disattivato per problemi di prestazioni, ma può aver comportato un aumento dei costi di archiviazione per i clienti. Questa modifica è stata implementata in DBR 10.4 e 9.1 nell'aggiornamento di manutenzione precedente.
    • reload4j è stato aggiornato alla versione 1.2.19 per correggere le vulnerabilità.
    • [SPARK-40460][SS] Correzione delle metriche di streaming durante la selezione di _metadata
    • [SPARK-40468][SQL] Correzione dell'eliminazione delle colonne in CSV quando è selezionato _corrupt_record
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 settembre 2022
    • [SPARK-40315][SQL] Aggiungere hashCode() per valore letterale di ArrayBasedMapData
    • [SPARK-40213][SQL] Supportare la conversione di valori ASCII per i caratteri Latin-1
    • [SPARK-40380][SQL] Correzione della riduzione costante di InvokeLike per evitare valori letterali non serializzabili incorporati nel piano
    • [SPARK-38404][SQL] Migliorare la risoluzione CTE quando un CTE annidato fa riferimento a un CTE esterno
    • [SPARK-40089][SQL] Correzione dell'ordinamento per alcuni tipi decimali
    • [SPARK-39887][SQL] RemoveRedundantAliases deve mantenere gli alias che rendono univoco l'output dei nodi di proiezione
    • Aggiornamenti della sicurezza del sistema operativo
  • 6 settembre 2022
    • [SPARK-40235][MEMORIA CENTRALE] Usare il blocco interrompibile anziché quello sincronizzato in Executor.updateDependencies()
    • [SPARK-39976][SQL] ArrayIntersect deve gestire correttamente null nell'espressione a sinistra
    • [SPARK-40053][MEMORIA CENTRALE] [SQL] [TEST] Aggiungere assume a casi di annullamento dinamico che richiedono l'ambiente di runtime Python
    • [SPARK-35542][MEMORIA CENTRALE] [ML] Correzione: Ii Bucketizer creato per colonne multiple con i parametri splitsArray, inputCols e outputCols non può essere caricato dopo il suo salvataggio
    • [SPARK-40079][MEMORIA CENTRALE] Aggiungere la convalida inputCols dell'input del computer per un caso di input vuoto
  • 24 agosto 2022
    • [SPARK-39983][MEMORIA CENTRALE] [SQL] Non memorizzare nella cache le relazioni di trasmissione non serializzate sul driver
    • [SPARK-39775][MEMORIA CENTRALE] [AVRO] Disabilitare la convalida dei valori predefiniti durante l'analisi degli schemi Avro
    • [SPARK-39806] Correzione del problema relativo all'arresto anomalo della struttura METADATA nelle query che accedono alle tabelle partizionate
    • [SPARK-39962][PYTHON] [SQL] Applicare la proiezione quando gli attributi del gruppo sono vuoti
    • [SPARK-37643][SQL] quando charVarcharAsString è true, per il predicato del tipo di dato char la query dovrebbe saltare la regola del rpadding
    • Aggiornamenti della sicurezza del sistema operativo
  • 9 agosto 2022
    • [SPARK-39847] Correzione della race condition in RocksDBLoader.loadLibrary() se il thread del chiamante viene interrotto
    • [SPARK-39731][SQL] Correzione del problema nelle origini dati CSV e JSON durante l'analisi delle date nel formato "aaaaMMgg" con i criteri del parser di ora FIX
    • Aggiornamenti della sicurezza del sistema operativo
  • 27 luglio 2022
    • [SPARK-39625][SQL] Aggiungere Dataset.as(StructType)
    • [SPARK-39689]Supporto di lineSep di 2 caratteri nell'origine dati CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded deve essere thread-safe
    • [SPARK-39570][SQL] La tabella inline deve consentire espressioni con alias
    • [SPARK-39702][MEMORIA CENTRALE] Ridurre il sovraccarico di memoria di TransportCipher$EncryptedMessage utilizzando un byteRawChannel condiviso
    • [SPARK-39575][AVRO] aggiungere ByteBuffer#rewind dopo ByteBuffer#get in AvroDeserializer
    • [SPARK-39476][SQL] Disabilitare l'ottimizzazione del cast di annullamento del wrapping durante il cast da Long a Float/ Double o da Intero a Float
    • Aggiornamenti della sicurezza del sistema operativo
  • 13 luglio 2022
    • Rendere coerenti i risultati dell'operazione Delta MERGE quando l'origine non è deterministica.
    • [SPARK-39355][SQL] La colonna singola usa virgolette per costruire UnresolvedAttribute
    • [SPARK-39548][SQL] Comando CreateView con una query di clausola della finestra, premere su un problema di definizione della finestra errata non trovata
    • [SPARK-39419][SQL] Correzione di ArraySort per generare un'eccezione quando il confronto restituisce Null
    • Disabilitato l'uso del caricatore automatico delle API cloud native per l'elenco di directory in Azure.
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 luglio 2022
    • [SPARK-39376][SQL] Nascondere le colonne duplicate nell'espansione a stella dell'alias di sottoquery da NATURAL/USING JOIN
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 giugno 2022
    • [SPARK-39283][CORE] Correzione del deadlock tra TaskMemoryManager e UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark non deve controllare i nomi dei campi durante la lettura dei file
    • [SPARK-34096][SQL] Migliorare le prestazioni per nth_value ignorare i valori Null rispetto alla finestra di offset
    • [SPARK-36718][SQL] [FOLLOWUP] Correggere il controllo isExtractOnly in CollapseProject
  • 2 giugno 2022
    • [SPARK-39166][SQL] Specificare il contesto della query di errore di runtime per l'aritmetica binaria quando WSCG è disattivato
    • [SPARK-39093][SQL] Evitare l'errore di compilazione codegen durante la divisione di intervalli di mese o di giorno per un integrale
    • [SPARK-38990][SQL] Evitare NullPointerException durante la valutazione del formato date_trunc/troncamento come riferimento associato
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 maggio 2022
    • Corregge una potenziale perdita di memoria nativa nel caricatore automatico.
    • [SPARK-38868][SQL] Non propagare eccezioni dal predicato del filtro quando si ottimizzano outer join
    • [SPARK-38796][SQL] Implementare le funzioni SQL to_number e try_to_number in base a una nuova specifica
    • [SPARK-38918][SQL] L'eliminazione di colonne nidificate deve filtrare gli attributi che non appartengono alla relazione corrente
    • [SPARK-38929][SQL] Migliorare i messaggi di errore per gli errori di cast in ANSI
    • [SPARK-38926][SQL] Tipi di output nei messaggi di errore in stile SQL
    • [SPARK-39084][PYSPARK] Correggere df.rdd.isEmpty() utilizzando TaskContext per arrestare l'iteratore al completamento dell'attività
    • [SPARK-32268][SQL] Aggiungere ColumnPruning in injectBloomFilter
    • [SPARK-38908][SQL] Specificare il contesto di query nell'errore di runtime del cast da stringa a numero/data/timestamp/booleano
    • [SPARK-39046][SQL] Restituisce una stringa di contesto vuota se TreeNode.origin è impostato erroneamente
    • [SPARK-38974][SQL] Filtrare le funzioni registrate con un determinato nome di database nelle funzioni elenco
    • [SPARK-38762][SQL] Fornire il contesto di query negli errori di overflow decimale
    • [SPARK-38931][SS] Creare la directory dfs radice per RocksDBFileManager con un numero sconosciuto di chiavi nel 1° checkpoint
    • [SPARK-38992][CORE] Evitare di usare bash -c in ShellBasedGroupsMappingProvider
    • [SPARK-38716][SQL] Fornire il contesto della query in un errore di chiave della mappa non esistente
    • [SPARK-38889][SQL] Compilare filtri di colonna booleani per usare il tipo di bit per l'origine dati MSSQL
    • [SPARK-38698][SQL] Specificare il contesto di query nell'errore di runtime di Divisione/Div/Promemoria/Pmod
    • [SPARK-38823][SQL] Rendere NewInstance non pieghevole per risolvere il problema di corruzione del buffer di aggregazione
    • [SPARK-38809][SS] Implementare l'opzione per ignorare i valori null nell'implementazione hash simmetrica dei join di flusso di flusso
    • [SPARK-38676][SQL] Specificare il contesto di query SQL nel messaggio di errore di runtime add/Subtract/Multiply
    • [SPARK-38677][PYSPARK] Il monitoraggio di PythonThread dovrebbe rilevare il deadlock dovuto al blocco delle operazioni di I/O
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 10.3 (EoS)

Si veda Databricks Runtime 10.3 (EoS).

  • 27 luglio 2022
    • [SPARK-39689]Supporto di lineSep di 2 caratteri nell'origine dati CSV
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded deve essere thread-safe
    • [SPARK-39702][MEMORIA CENTRALE] Ridurre il sovraccarico di memoria di TransportCipher$EncryptedMessage utilizzando un byteRawChannel condiviso
    • Aggiornamenti della sicurezza del sistema operativo
  • 20 luglio 2022
    • Rendere coerenti i risultati dell'operazione Delta MERGE quando l'origine non è deterministica.
    • [SPARK-39476][SQL] Disabilitare l'ottimizzazione del cast di annullamento del wrapping durante il cast da Long a Float/ Double o da Intero a Float
    • [SPARK-39548][SQL] Comando CreateView con una query di clausola della finestra, premere su un problema di definizione della finestra errata non trovata
    • [SPARK-39419][SQL] Correzione di ArraySort per generare un'eccezione quando il confronto restituisce Null
    • Aggiornamenti della sicurezza del sistema operativo
  • 5 luglio 2022
    • [SPARK-39376][SQL] Nascondere le colonne duplicate nell'espansione a stella dell'alias di sottoquery da NATURAL/USING JOIN
    • Aggiornamenti della sicurezza del sistema operativo
  • 15 giugno 2022
    • [SPARK-39283][CORE] Correzione del deadlock tra TaskMemoryManager e UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark non deve controllare i nomi dei campi durante la lettura dei file
    • [SPARK-34096][SQL] Migliorare le prestazioni per nth_value ignorare i valori Null rispetto alla finestra di offset
    • [SPARK-36718][SQL] [FOLLOWUP] Correggere il controllo isExtractOnly in CollapseProject
  • 2 giugno 2022
    • [SPARK-38990][SQL] Evitare NullPointerException durante la valutazione del formato date_trunc/troncamento come riferimento associato
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 maggio 2022
    • Corregge una potenziale perdita di memoria nativa nel caricatore automatico.
    • [SPARK-38918][SQL] L'eliminazione di colonne nidificate deve filtrare gli attributi che non appartengono alla relazione corrente
    • [SPARK-37593][MEMORIA CENTRALE] Ridurre le dimensioni predefinite della pagina LONG_ARRAY_OFFSET se vengono usati G1GC e ON_HEAP
    • [SPARK-39084][PYSPARK] Correggere df.rdd.isEmpty() utilizzando TaskContext per arrestare l'iteratore al completamento dell'attività
    • [SPARK-32268][SQL] Aggiungere ColumnPruning in injectBloomFilter
    • [SPARK-38974][SQL] Filtrare le funzioni registrate con un determinato nome di database nelle funzioni elenco
    • [SPARK-38889][SQL] Compilare filtri di colonna booleani per usare il tipo di bit per l'origine dati MSSQL
    • Aggiornamenti della sicurezza del sistema operativo
  • 4 maggio 2022
    • Aggiornamento di Java AWS SDK dalla versione 1.11.655 alla 1.12.1899.
  • 19 aprile 2022
    • [SPARK-38616][SQL] Tenere traccia del testo della query SQL in Catalyst TreeNode
    • Aggiornamenti della sicurezza del sistema operativo
  • 6 aprile 2022
    • [SPARK-38631][MEMORIA CENTRALE] Utilizza un'implementazione basata su Java per lo scompattamento in Utils.unpack
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 marzo 2022
    • È stata modificata la directory di lavoro corrente dei notebook nei cluster a concorrenza elevata con il controllo di accesso alla tabella o il pass-through delle credenziali abilitato nella home directory dell'utente. In precedenza, la directory di lavoro era /databricks/driver.
    • [SPARK-38437][SQL] Serializzazione non vinconlante di datetime da un'origine dati
    • [SPARK-38180][SQL] Consentire espressioni up-cast sicure nei predicati di uguaglianza correlati
    • [SPARK-38155][SQL] Non consentire un'aggregazione distinta nelle sottoquery laterali con predicati non supportati
    • [SPARK-38325][SQL] Modalità ANSI: evitare potenziali errori di runtime in HashJoin.extractKeyExprAt()
  • 14 marzo 2022
    • Miglioramento del rilevamento dei conflitti di transazione per le transazioni vuote in Delta Lake.
    • [SPARK-38185][SQL] Correzione dei dati non corretti se la funzione di aggregazione è vuota
    • [SPARK-38318]Regressione [SQL] quando si sostituisce una visualizzazione set di dati
    • [SPARK-38236][SQL] I percorsi di file assoluti specificati nella tabella CREATE/ALTER vengono considerati come relativi
    • [SPARK-35937][SQL] L'estrazione del campo data dal timestamp dovrebbe funzionare in modalità ANSI
    • [SPARK-34069][SQL] Terminare le attività delle barriere deve rispettare SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Consentire l'assegnazione dell'archivio tra TimestampNTZ e Data/Timestamp
  • 23 febbraio 2022
    • [SPARK-27442][SQL] Rimuovere il nome del campo di controllo durante la lettura/scrittura dei dati in parquet

Databricks Runtime 10.2 (EoS)

Si veda Databricks Runtime 10.2 (EoS).

  • 15 giugno 2022
    • [SPARK-39283][CORE] Correzione del deadlock tra TaskMemoryManager e UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark non deve controllare i nomi dei campi durante la lettura dei file
    • [SPARK-34096][SQL] Migliorare le prestazioni per nth_value ignorare i valori Null rispetto alla finestra di offset
  • 2 giugno 2022
    • [SPARK-38918][SQL] L'eliminazione di colonne nidificate deve filtrare gli attributi che non appartengono alla relazione corrente
    • [SPARK-38990][SQL] Evitare NullPointerException durante la valutazione del formato date_trunc/troncamento come riferimento associato
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 maggio 2022
    • Corregge una potenziale perdita di memoria nativa nel caricatore automatico.
    • [SPARK-39084][PYSPARK] Correggere df.rdd.isEmpty() utilizzando TaskContext per arrestare l'iteratore al completamento dell'attività
    • [SPARK-38889][SQL] Compilare filtri di colonna booleani per usare il tipo di bit per l'origine dati MSSQL
    • [SPARK-38931][SS] Creare la directory dfs radice per RocksDBFileManager con un numero sconosciuto di chiavi nel 1° checkpoint
    • Aggiornamenti della sicurezza del sistema operativo
  • 4 maggio 2022
    • Aggiornamento di Java AWS SDK dalla versione 1.11.655 alla 1.12.1899.
  • 19 aprile 2022
    • Aggiornamenti della sicurezza del sistema operativo
    • Varie correzioni di bug.
  • 6 aprile 2022
    • [SPARK-38631][MEMORIA CENTRALE] Utilizza un'implementazione basata su Java per lo scompattamento in Utils.unpack
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 marzo 2022
    • È stata modificata la directory di lavoro corrente dei notebook nei cluster a concorrenza elevata con il controllo di accesso alla tabella o il pass-through delle credenziali abilitato nella home directory dell'utente. In precedenza, la directory di lavoro era /databricks/driver.
    • [SPARK-38437][SQL] Serializzazione non vinconlante di datetime da un'origine dati
    • [SPARK-38180][SQL] Consentire espressioni up-cast sicure nei predicati di uguaglianza correlati
    • [SPARK-38155][SQL] Non consentire un'aggregazione distinta nelle sottoquery laterali con predicati non supportati
    • [SPARK-38325][SQL] Modalità ANSI: evitare potenziali errori di runtime in HashJoin.extractKeyExprAt()
  • 14 marzo 2022
    • Miglioramento del rilevamento dei conflitti di transazione per le transazioni vuote in Delta Lake.
    • [SPARK-38185][SQL] Correzione dei dati non corretti se la funzione di aggregazione è vuota
    • [SPARK-38318]Regressione [SQL] quando si sostituisce una visualizzazione set di dati
    • [SPARK-38236][SQL] I percorsi di file assoluti specificati nella tabella CREATE/ALTER vengono considerati come relativi
    • [SPARK-35937][SQL] L'estrazione del campo data dal timestamp dovrebbe funzionare in modalità ANSI
    • [SPARK-34069][SQL] Terminare le attività delle barriere deve rispettare SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Consentire l'assegnazione dell'archivio tra TimestampNTZ e Data/Timestamp
  • 23 febbraio 2022
    • [SPARK-37577][SQL] Correzione di ClassCastException: non è possibile eseguire il cast di ArrayType in StructType per generare l'eliminazione
  • 8 febbraio 2022
    • [SPARK-27442][SQL] Rimuovere il nome del campo di controllo durante la lettura/scrittura dei dati in parquet.
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 febbraio 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 26 gennaio 2022
    • È stato risolto un bug a causa del quale in alcune rare condizioni le transazioni concorrenti sulle tabelle Delta potevano eseguire il commit in un ordine non serializzabile.
    • È stato risolto un bug a causa del quale il comando OPTIMIZE poteva fallire quando il dialetto SQL ANSI era abilitato.
  • 19 gennaio 2022
    • È stato introdotto il supporto per l'inserimento delle credenziali temporanee in COPY INTO per il caricamento dei dati di origine senza richiedere autorizzazioni di sql ANY_FILE
    • Correzioni di bug e miglioramenti della sicurezza.
  • 20 Dicembre 2021
    • Correzione di un bug raro con il filtro basato sull'indice di colonna Parquet.

Databricks Runtime 10.1 (EoS)

Si veda Databricks Runtime 10.1 (EoS).

  • 15 giugno 2022
    • [SPARK-39283][CORE] Correzione del deadlock tra TaskMemoryManager e UnsafeExternalSorter.SpillableIterator
    • [SPARK-39285][SQL] Spark non deve controllare i nomi dei campi durante la lettura dei file
    • [SPARK-34096][SQL] Migliorare le prestazioni per nth_value ignorare i valori Null rispetto alla finestra di offset
  • 2 giugno 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 18 maggio 2022
    • Corregge una potenziale perdita di memoria nativa nel caricatore automatico.
    • [SPARK-39084][PYSPARK] Correggere df.rdd.isEmpty() utilizzando TaskContext per arrestare l'iteratore al completamento dell'attività
    • [SPARK-38889][SQL] Compilare filtri di colonna booleani per usare il tipo di bit per l'origine dati MSSQL
    • Aggiornamenti della sicurezza del sistema operativo
  • 19 aprile 2022
    • [SPARK-37270][SQL] Correzione del push pieghevole nei rami CaseWhen se elseValue è vuoto
    • Aggiornamenti della sicurezza del sistema operativo
  • 6 aprile 2022
    • [SPARK-38631][MEMORIA CENTRALE] Utilizza un'implementazione basata su Java per lo scompattamento in Utils.unpack
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 marzo 2022
    • [SPARK-38437][SQL] Serializzazione non vinconlante di datetime da un'origine dati
    • [SPARK-38180][SQL] Consentire espressioni up-cast sicure nei predicati di uguaglianza correlati
    • [SPARK-38155][SQL] Non consentire un'aggregazione distinta nelle sottoquery laterali con predicati non supportati
    • [SPARK-38325][SQL] Modalità ANSI: evitare potenziali errori di runtime in HashJoin.extractKeyExprAt()
  • 14 marzo 2022
    • Miglioramento del rilevamento dei conflitti di transazione per le transazioni vuote in Delta Lake.
    • [SPARK-38185][SQL] Correzione dei dati non corretti se la funzione di aggregazione è vuota
    • [SPARK-38318]Regressione [SQL] quando si sostituisce una visualizzazione set di dati
    • [SPARK-38236][SQL] I percorsi di file assoluti specificati nella tabella CREATE/ALTER vengono considerati come relativi
    • [SPARK-35937][SQL] L'estrazione del campo data dal timestamp dovrebbe funzionare in modalità ANSI
    • [SPARK-34069][SQL] Terminare le attività delle barriere deve rispettare SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Consentire l'assegnazione dell'archivio tra TimestampNTZ e Data/Timestamp
  • 23 febbraio 2022
    • [SPARK-37577][SQL] Correzione di ClassCastException: non è possibile eseguire il cast di ArrayType in StructType per generare l'eliminazione
  • 8 febbraio 2022
    • [SPARK-27442][SQL] Rimuovere il nome del campo di controllo durante la lettura/scrittura dei dati in parquet.
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 febbraio 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 26 gennaio 2022
    • È stato risolto un bug a causa del quale in alcune rare condizioni le transazioni concorrenti sulle tabelle Delta potevano eseguire il commit in un ordine non serializzabile.
    • È stato risolto un bug a causa del quale il comando OPTIMIZE poteva fallire quando il dialetto SQL ANSI era abilitato.
  • 19 gennaio 2022
    • È stato introdotto il supporto per l'inserimento delle credenziali temporanee in COPY INTO per il caricamento dei dati di origine senza richiedere autorizzazioni di sql ANY_FILE
    • È stato risolto un problema di memoria insufficiente con la cache dei risultati delle query in determinate condizioni.
    • È stato risolto un problema relativo a USE DATABASE quando un utente passa il catalogo corrente a un catalogo non predefinito.
    • Correzioni di bug e miglioramenti della sicurezza.
    • Aggiornamenti della sicurezza del sistema operativo
  • 20 Dicembre 2021
    • Correzione di un bug raro con il filtro basato sull'indice di colonna Parquet.

Databricks Runtime 10.0 (EoS)

Si veda Databricks Runtime 10.0 (EoS).

  • 19 aprile 2022
    • [SPARK-37270][SQL] Correzione del push pieghevole nei rami CaseWhen se elseValue è vuoto
    • Aggiornamenti della sicurezza del sistema operativo
  • 6 aprile 2022
    • [SPARK-38631][MEMORIA CENTRALE] Utilizza un'implementazione basata su Java per lo scompattamento in Utils.unpack
    • Aggiornamenti della sicurezza del sistema operativo
  • 22 marzo 2022
    • [SPARK-38437][SQL] Serializzazione non vinconlante di datetime da un'origine dati
    • [SPARK-38180][SQL] Consentire espressioni up-cast sicure nei predicati di uguaglianza correlati
    • [SPARK-38155][SQL] Non consentire un'aggregazione distinta nelle sottoquery laterali con predicati non supportati
    • [SPARK-38325][SQL] Modalità ANSI: evitare potenziali errori di runtime in HashJoin.extractKeyExprAt()
  • 14 marzo 2022
    • Miglioramento del rilevamento dei conflitti di transazione per le transazioni vuote in Delta Lake.
    • [SPARK-38185][SQL] Correzione dei dati non corretti se la funzione di aggregazione è vuota
    • [SPARK-38318]Regressione [SQL] quando si sostituisce una visualizzazione set di dati
    • [SPARK-38236][SQL] I percorsi di file assoluti specificati nella tabella CREATE/ALTER vengono considerati come relativi
    • [SPARK-35937][SQL] L'estrazione del campo data dal timestamp dovrebbe funzionare in modalità ANSI
    • [SPARK-34069][SQL] Terminare le attività delle barriere deve rispettare SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Consentire l'assegnazione dell'archivio tra TimestampNTZ e Data/Timestamp
  • 23 febbraio 2022
    • [SPARK-37577][SQL] Correzione di ClassCastException: non è possibile eseguire il cast di ArrayType in StructType per generare l'eliminazione
  • 8 febbraio 2022
    • [SPARK-27442][SQL] Rimuovere il nome del campo di controllo durante la lettura/scrittura dei dati in parquet.
    • [SPARK-36905][SQL] Correzione della lettura delle viste Hive senza nomi di colonna espliciti
    • [SPARK-37859][SQL] Le tabelle SQL create con JDBC con Spark 3.1 non sono leggibili con Spark 3.2
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 febbraio 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 26 gennaio 2022
    • È stato risolto un bug a causa del quale in alcune rare condizioni le transazioni concorrenti sulle tabelle Delta potevano eseguire il commit in un ordine non serializzabile.
    • È stato risolto un bug a causa del quale il comando OPTIMIZE poteva fallire quando il dialetto SQL ANSI era abilitato.
  • 19 gennaio 2022
    • Correzioni di bug e miglioramenti della sicurezza.
    • Aggiornamenti della sicurezza del sistema operativo
  • 20 Dicembre 2021
    • Correzione di un bug raro con il filtro basato sull'indice di colonna Parquet.
  • 09 novembre 2021
    • Introdotti ulteriori flag di configurazione per consentire un controllo granulare dei comportamenti ANSI.
  • 4 novembre 2021
    • Corretto un bug che poteva far fallire i flussi di Streaming strutturato con una ArrayIndexOutOfBoundsException.
    • Correzione di una race condition che potrebbe causare un errore di query con un'eccezione IOException simile java.io.IOException: No FileSystem for scheme o che potrebbe causare modifiche a sparkContext.hadoopConfiguration che non hanno effetto nelle query.
    • Il connettore Apache Spark per la condivisione delta è stato aggiornato alla versione 0.2.0.
  • 30 novembre 2021
    • È stato risolto un problema con l'analisi dei timestamp, per cui una stringa di fuso orario senza i due punti veniva considerata non valida.
    • È stato risolto un problema di memoria insufficiente con la cache dei risultati delle query in determinate condizioni.
    • È stato risolto un problema relativo a USE DATABASE quando un utente passa il catalogo corrente a un catalogo non predefinito.

Databricks Runtime 9.0 (EoS)

Si veda Databricks Runtime 9.0 (EoS).

  • 8 febbraio 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 1 febbraio 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 26 gennaio 2022
    • È stato risolto un bug a causa del quale il comando OPTIMIZE poteva fallire quando il dialetto SQL ANSI era abilitato.
  • 19 gennaio 2022
    • Correzioni di bug e miglioramenti della sicurezza.
    • Aggiornamenti della sicurezza del sistema operativo
  • 4 novembre 2021
    • Corretto un bug che poteva far fallire i flussi di Streaming strutturato con una ArrayIndexOutOfBoundsException.
    • Correzione di una race condition che potrebbe causare un errore di query con un'eccezione IOException simile java.io.IOException: No FileSystem for scheme o che potrebbe causare modifiche a sparkContext.hadoopConfiguration che non hanno effetto nelle query.
    • Il connettore Apache Spark per la condivisione delta è stato aggiornato alla versione 0.2.0.
  • 22 settembre 2021
    • Corretto un bug nel cast di array Spark con null in stringa
  • 15 settembre 2021
    • Correzione di una race condition che potrebbe causare un errore di query con un'eccezione IOException come java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • 8 settembre 2021
    • Aggiunta del supporto per il nome dello schema (formato databaseName.schemaName.tableName) come nome della tabella di destinazione per Il connettore Azure Synapse.
    • Aggiunto il supporto dei tipi JDBC geometria e geografia per Spark SQL.
    • [SPARK-33527][SQL] Estesa la funzione di decodifica per renderla coerente con i database tradizionali.
    • [SPARK-36532][MEMORIA CENTRALE] [3.1] Correzione del deadlock in CoarseGrainedExecutorBackend.onDisconnected per evitare cheexecutorsconnected iblocchi l'arresto dell'executor.
  • 25 agosto 2021
    • La libreria di driver di SQL Server è stata aggiornata alla versione 9.2.1.jre8.
    • Il connettore Snowflake è stato aggiornato alla versione 2.9.0.
    • Corretto il collegamento interrotto al notebook di valutazione migliore nella pagina dell'esperimento AutoML.

Databricks Runtime 8.4 (EoS)

Si veda Databricks Runtime 8.4 (EoS).

  • 19 gennaio 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 4 novembre 2021
    • Corretto un bug che poteva far fallire i flussi di Streaming strutturato con una ArrayIndexOutOfBoundsException.
    • Correzione di una race condition che potrebbe causare un errore di query con un'eccezione IOException simile java.io.IOException: No FileSystem for scheme o che potrebbe causare modifiche a sparkContext.hadoopConfiguration che non hanno effetto nelle query.
    • Il connettore Apache Spark per la condivisione delta è stato aggiornato alla versione 0.2.0.
  • 22 settembre 2021
    • Il driver JDBC Spark è stato aggiornato alla versione 2.6.19.1030
    • [SPARK-36734][SQL] Aggiornare ORC alla versione 1.5.1
  • 15 settembre 2021
    • Correzione di una race condition che potrebbe causare un errore di query con un'eccezione IOException come java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Aggiornamenti della sicurezza del sistema operativo
  • 8 settembre 2021
    • [SPARK-36532][MEMORIA CENTRALE] [3.1] Correzione del deadlock in CoarseGrainedExecutorBackend.onDisconnected per evitare cheexecutorsconnected iblocchi l'arresto dell'executor.
  • 25 agosto 2021
    • La libreria di driver di SQL Server è stata aggiornata alla versione 9.2.1.jre8.
    • Il connettore Snowflake è stato aggiornato alla versione 2.9.0.
    • Corregge un bug nel trasferimento delle credenziali causato dalla nuova ottimizzazione del prefetch di Parquet, a causa del quale la credenziale di trasferimento dell'utente potrebbe non essere trovata durante l'accesso al file.
  • 11 agosto 2021
    • Risolve un problema di incompatibilità di RocksDB che impedisce il runtime del Databricks 8.4 meno recente. Questa correzione consente di risolvere la compatibilità con il caricatore automatico, COPY INTO e le applicazioni di streaming con stato.
    • Corregge un bug quando si usa il caricatore automatico per leggere i file CSV con file di intestazione non corrispondenti. Se i nomi delle colonne non corrispondono, la colonna verrà compilata con valori Null. Adesso, se viene fornito uno schema, si presume che lo schema sia lo stesso e si salveranno solo le mancate corrispondenze di colonna se le colonne di dati salvate sono abilitate.
    • Aggiunge una nuova opzione chiamata externalDataSource al connettore Azure Synapse per rimuovere il requisito CONTROL di autorizzazione per il database per la lettura di PolyBase.
  • 29 luglio 2021
    • [SPARK-36034][BUILD] Riformulare il datetime nei filtri di cui è stato eseguito il push in Parquet
    • [SPARK-36163][BUILD] Propagare le proprietà JDBC corrette nel provider del connettore JDBC e aggiungere l'opzione connectionProvider

Databricks Runtime 8.3 (EoS)

Si veda Databricks Runtime 8.3 (EoS).

  • 19 gennaio 2022
    • Aggiornamenti della sicurezza del sistema operativo
  • 4 novembre 2021
    • Corretto un bug che poteva far fallire i flussi di Streaming strutturato con una ArrayIndexOutOfBoundsException.
    • Correzione di una race condition che potrebbe causare un errore di query con un'eccezione IOException simile java.io.IOException: No FileSystem for scheme o che potrebbe causare modifiche a sparkContext.hadoopConfiguration che non hanno effetto nelle query.
  • 22 settembre 2021
    • Il driver JDBC Spark è stato aggiornato alla versione 2.6.19.1030
  • 15 settembre 2021
    • Correzione di una race condition che potrebbe causare un errore di query con un'eccezione IOException come java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Aggiornamenti della sicurezza del sistema operativo
  • 8 settembre 2021
    • [SPARK-35700][SQL] [WARMFIX] Leggere la tabella char/varchar orc quando viene creata e scritta da sistemi esterni.
    • [SPARK-36532][MEMORIA CENTRALE] [3.1] Correzione del deadlock in CoarseGrainedExecutorBackend.onDisconnected per evitare cheexecutorsconnected iblocchi l'arresto dell'executor.
  • 25 agosto 2021
    • La libreria di driver di SQL Server è stata aggiornata alla versione 9.2.1.jre8.
    • Il connettore Snowflake è stato aggiornato alla versione 2.9.0.
    • Corregge un bug nel trasferimento delle credenziali causato dalla nuova ottimizzazione del prefetch di Parquet, a causa del quale la credenziale di trasferimento dell'utente potrebbe non essere trovata durante l'accesso al file.
  • 11 agosto 2021
    • Corregge un bug quando si usa il caricatore automatico per leggere i file CSV con file di intestazione non corrispondenti. Se i nomi delle colonne non corrispondono, la colonna verrà compilata con valori Null. Adesso, se viene fornito uno schema, si presume che lo schema sia lo stesso e si salveranno solo le mancate corrispondenze di colonna se le colonne di dati salvate sono abilitate.
  • 29 luglio 2021
    • Aggiornare il connettore Databricks Snowflake Spark alla versione 2.9.0-spark-3.1
    • [SPARK-36034][BUILD] Riformulare il datetime nei filtri di cui è stato eseguito il push in Parquet
    • [SPARK-36163][BUILD] Propagare le proprietà JDBC corrette nel provider del connettore JDBC e aggiungere l'opzione connectionProvider
  • 14 luglio 2021
    • È stato risolto un problema relativo all'uso dei nomi di colonna con punti nel connettore Azure Synapse.
    • È stato introdotto il formato database.schema.table per Synapse Connector.
    • Aggiunta del supporto per fornire il formato databaseName.schemaName.tableName come tabella di destinazione anziché solo di schemaName.tableName o tableName.
  • 15 giugno 2021
    • Corretto un bug NoSuchElementException nelle scritture ottimizzate per Delta Lake che possono verificarsi durante la scrittura di grandi quantità di dati e l'individuazione di perdite di executor
    • Aggiunge comandi SQL CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPS e SHOW USERS. Per informazioni dettagliate, vedere Istruzioni di sicurezza e Mostra istruzioni.

Databricks Runtime 8.2 (EoS)

Si veda Databricks Runtime 8.2 (EoS).

  • 22 settembre 2021

    • Aggiornamenti della sicurezza del sistema operativo

  • 15 settembre 2021

    • Correzione di una race condition che potrebbe causare un errore di query con un'eccezione IOException come java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 8 settembre 2021

    • [SPARK-35700][SQL] [WARMFIX] Leggere la tabella char/varchar orc quando viene creata e scritta da sistemi esterni.
    • [SPARK-36532][MEMORIA CENTRALE] [3.1] Correzione del deadlock in CoarseGrainedExecutorBackend.onDisconnected per evitare cheexecutorsconnected iblocchi l'arresto dell'executor.

  • 25 agosto 2021

    • Il connettore Snowflake è stato aggiornato alla versione 2.9.0.

  • 11 agosto 2021

    • [SPARK-36034][SQL] Riformulare il datetime nei filtri di cui è stato eseguito il push in parquet.

  • 29 luglio 2021

    • Aggiornare il connettore Databricks Snowflake Spark alla versione 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] Propagare le proprietà JDBC corrette nel provider del connettore JDBC e aggiungere l'opzione connectionProvider

  • 14 luglio 2021

    • È stato risolto un problema relativo all'uso dei nomi di colonna con punti nel connettore Azure Synapse.
    • È stato introdotto il formato database.schema.table per Synapse Connector.
    • Aggiunta del supporto per fornire il formato databaseName.schemaName.tableName come tabella di destinazione anziché solo di schemaName.tableName o tableName.
    • Correzione di un bug che impedisce agli utenti di passare a versioni precedenti disponibili con tabelle Delta.

  • 15 giugno 2021

    • Corregge un bug NoSuchElementException nelle scritture ottimizzate per Delta Lake che possono verificarsi durante la scrittura di grandi quantità di dati e l'individuazione di perdite di executor

  • 26 maggio 2021

    • Aggiornamento di Python con patch di sicurezza per correggere la vulnerabilità della sicurezza di Python (CVE-2021-3177).

  • 30 aprile 2021

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-35227][BUILD] Aggiornare il sistema di risoluzione per i pacchetti Spark in SparkSubmit
    • [SPARK-34245][MEMORIA CENTRALE] Assicurarsi che il master rimuova gli executor che non sono riusciti a inviare lo stato completato
    • È stato risolto un problema di OOM quando il caricatore automatico segnala le metriche di stato di flusso strutturato.

Databricks Runtime 8.1 (EoS)

Si veda Databricks Runtime 8.1 (EoS).

  • 22 settembre 2021

    • Aggiornamenti della sicurezza del sistema operativo

  • 15 settembre 2021

    • Correzione di una race condition che potrebbe causare un errore di query con un'eccezione IOException come java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 8 settembre 2021

    • [SPARK-35700][SQL] [WARMFIX] Leggere la tabella char/varchar orc quando viene creata e scritta da sistemi esterni.
    • [SPARK-36532][MEMORIA CENTRALE] [3.1] Correzione del deadlock in CoarseGrainedExecutorBackend.onDisconnected per evitare cheexecutorsconnected iblocchi l'arresto dell'executor.

  • 25 agosto 2021

    • Il connettore Snowflake è stato aggiornato alla versione 2.9.0.

  • 11 agosto 2021

    • [SPARK-36034][SQL] Riformulare il datetime nei filtri di cui è stato eseguito il push in parquet.

  • 29 luglio 2021

    • Aggiornare il connettore Databricks Snowflake Spark alla versione 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] Propagare le proprietà JDBC corrette nel provider del connettore JDBC e aggiungere l'opzione connectionProvider

  • 14 luglio 2021

    • È stato risolto un problema relativo all'uso dei nomi di colonna con punti nel connettore Azure Synapse.
    • Correzione di un bug che impedisce agli utenti di passare a versioni precedenti disponibili con tabelle Delta.

  • 15 giugno 2021

    • Corregge un bug NoSuchElementException nelle scritture ottimizzate per Delta Lake che possono verificarsi durante la scrittura di grandi quantità di dati e l'individuazione di perdite di executor

  • 26 maggio 2021

    • Aggiornamento di Python con patch di sicurezza per correggere la vulnerabilità della sicurezza di Python (CVE-2021-3177).

  • 30 aprile 2021

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-35227][BUILD] Aggiornare il sistema di risoluzione per i pacchetti Spark in SparkSubmit
    • È stato risolto un problema di OOM quando il caricatore automatico segnala le metriche di stato di flusso strutturato.

  • 27 aprile 2021

    • [SPARK-34245][MEMORIA CENTRALE] Assicurarsi che il master rimuova gli executor che non sono riusciti a inviare lo stato completato
    • [SPARK-34856][SQL] Modalità ANSI: consentire il cast di tipi complessi come tipo stringa
    • [SPARK-35014] Correggere lo schema PhysicalAggregation per non riscrivere le espressioni pieghevoli
    • [SPARK-34769][SQL] AnsiTypeCoercion: restituisce il tipo convertibile più stretto tra TypeCollection
    • [SPARK-34614][SQL] Modalità ANSI: il cast di stringhe in booleano genererà un'eccezione in caso di errore di analisi
    • [SPARK-33794][SQL] Modalità ANSI: correzione dell'espressione NextDay per generare il runtime IllegalArgumentException quando si riceve un input non valido in

Databricks Runtime 8.0 (EoS)

Si veda Databricks Runtime 8.0 (EoS).

  • 15 settembre 2021

    • Correzione di una race condition che potrebbe causare un errore di query con un'eccezione IOException come java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 25 agosto 2021

    • Il connettore Snowflake è stato aggiornato alla versione 2.9.0.

  • 11 agosto 2021

    • [SPARK-36034][SQL] Riformulare il datetime nei filtri di cui è stato eseguito il push in parquet.

  • 29 luglio 2021

    • [SPARK-36163][BUILD] Propagare le proprietà JDBC corrette nel provider del connettore JDBC e aggiungere l'opzione connectionProvider

  • 14 luglio 2021

    • È stato risolto un problema relativo all'uso dei nomi di colonna con punti nel connettore Azure Synapse.
    • Correzione di un bug che impedisce agli utenti di passare a versioni precedenti disponibili con tabelle Delta.

  • 26 maggio 2021

    • Aggiornamento di Python con patch di sicurezza per correggere la vulnerabilità della sicurezza di Python (CVE-2021-3177).

  • 30 aprile 2021

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-35227][BUILD] Aggiornare il sistema di risoluzione per i pacchetti Spark in SparkSubmit
    • [SPARK-34245][MEMORIA CENTRALE] Assicurarsi che il master rimuova gli executor che non sono riusciti a inviare lo stato completato

  • 24 marzo 2021

    • [SPARK-34681][SQL] Correzione del bug per il join hash casuale esterno completo durante la compilazione sul lato sinistro con condizione non uguale
    • [SPARK-34534] Correzione dell'ordine blockIds quando si usano FetchShuffleBlocks per recuperare i blocchi
    • [SPARK-34613][SQL] Correggere la vista che non acquisisce la configurazione del suggerimento di disabilitazione

  • 9 marzo 2021

    • [SPARK-34543][SQL] Rispettare la configurazione spark.sql.caseSensitivedurante la risoluzione della specifica di partizione nella versione 1 SET LOCATION
    • [SPARK-34392][SQL] Supporto di ZoneOffset +h:mm in DateTimeUtils. getZoneId
    • [interfaccia utente] Correggere il collegamento href della visualizzazione SPARK DAG
    • [SPARK-34436][SQL] Supporto DPP dell’espressione LIKE ANY/ALL

Databricks Runtime 7.6 (EoS)

Si veda Databricks Runtime 7.6 (EoS).

  • 11 agosto 2021
    • [SPARK-36034][SQL] Riformulare il datetime nei filtri di cui è stato eseguito il push in parquet.
  • 29 luglio 2021
    • [SPARK-32998][BUILD] Aggiungere la possibilità di eseguire l'override dei repository remoti predefiniti solo con repository interni
  • 14 luglio 2021
    • Correzione di un bug che impedisce agli utenti di passare a versioni precedenti disponibili con tabelle Delta.
  • 26 maggio 2021
    • Aggiornamento di Python con patch di sicurezza per correggere la vulnerabilità della sicurezza di Python (CVE-2021-3177).
  • 30 aprile 2021
    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-35227][BUILD] Aggiornare il sistema di risoluzione per i pacchetti Spark in SparkSubmit
    • [SPARK-34245][MEMORIA CENTRALE] Assicurarsi che il master rimuova gli executor che non sono riusciti a inviare lo stato completato
  • 24 marzo 2021
    • [SPARK-34768][SQL] Rispettare le dimensioni predefinite del buffer di input in Univocità
    • [SPARK-34534] Correzione dell'ordine blockIds quando si usano FetchShuffleBlocks per recuperare i blocchi
  • 9 marzo 2021
    • (solo Azure) Corretto un bug del caricatore automatico che può causare una NullPointerException quando si utilizza Databricks Runtime 7.6 per eseguire un precedente flusso di caricamento automatico creato in Databricks Runtime 7.2
    • [interfaccia utente] Correggere il collegamento href della visualizzazione SPARK DAG
    • SparkPlan a nodo foglia sconosciuto non viene gestito correttamente in SizeInBytesOnlyStatsSparkPlanVisitor
    • Ripristinare lo schema di output di SHOW DATABASES
    • [Delta] [8.0, 7.6] Correzione del bug di calcolo nella logica di ottimizzazione automatica delle dimensioni dei file
    • Disabilitare il controllo di decadimento per i file delle tabelle Delta nella cache dei dischi
    • [SQL] Usare la chiave di compilazione di eliminazione dinamica corretta quando è presente l'hint di join di intervallo
    • Disabilitare il supporto del tipo char nel percorso del codice non SQL
    • Evitare NPE in DataFrameReader.schema
    • Correzione del server dei criteri di rete quando la risposta EventGridClient non ha un'entità
    • Correzione di un bug di flusso chiuso in lettura nel caricatore automatico di Azure
    • [SQL] Non generare consigli sul numero di partizione casuale quando AOS è abilitato
  • 24 febbraio 2021
    • Aggiornato il connettore Spark BigQuery alla versione 0.18, che introduce varie correzioni di bug e supporto per gli iteratori Arrow e Avro.
    • È stato risolto un problema di correttezza che causava la restituzione di risultati non corretti quando la precisione decimale e la scala del file Parquet sono diverse dallo schema Spark.
    • Correzione del problema di lettura degli errori nelle tabelle di Microsoft SQL Server che contengono tipi di dati spaziali, aggiungendo il supporto dei tipi JDBC geometry e geography per Spark SQL.
    • È stata introdotta una nuova configurazione spark.databricks.hive.metastore.init.reloadFunctions.enabled. Questa configurazione controlla l'inizializzazione Hive predefinita. Se impostato su true, Azure Databricks ricarica tutte le funzioni da tutti i database che gli utenti hanno in FunctionRegistry. Questo è il comportamento predefinito in metastore Hive. Se impostato su false, Azure Databricks disabilita questo processo per l'ottimizzazione.
    • [SPARK-34212] Correzione dei problemi relativi alla lettura dei dati decimali dai file Parquet.
    • [SPARK-34260][SQL] Correzione di UnresolvedException durante la creazione di una visualizzazione temporanea due volte.

Databricks Runtime 7.5 (EoS)

Si veda Databricks Runtime 7.5 (EoS).

  • 26 maggio 2021
    • Aggiornamento di Python con patch di sicurezza per correggere la vulnerabilità della sicurezza di Python (CVE-2021-3177).
  • 30 aprile 2021
    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-35227][BUILD] Aggiornare il sistema di risoluzione per i pacchetti Spark in SparkSubmit
    • [SPARK-34245][MEMORIA CENTRALE] Assicurarsi che il master rimuova gli executor che non sono riusciti a inviare lo stato completato
  • 24 marzo 2021
    • [SPARK-34768][SQL] Rispettare le dimensioni predefinite del buffer di input in Univocità
    • [SPARK-34534] Correzione dell'ordine blockIds quando si usano FetchShuffleBlocks per recuperare i blocchi
  • 9 marzo 2021
    • (solo Azure) Corretto un bug del caricatore automatico che può causare una NullPointerException quando si utilizza Databricks Runtime 7.5 per eseguire un precedente flusso di caricamento automatico creato in Databricks Runtime 7.2.
    • [interfaccia utente] Correggere il collegamento href della visualizzazione SPARK DAG
    • SparkPlan a nodo foglia sconosciuto non viene gestito correttamente in SizeInBytesOnlyStatsSparkPlanVisitor
    • Ripristinare lo schema di output di SHOW DATABASES
    • Disabilitare il controllo di decadimento per i file delle tabelle Delta nella cache dei dischi
    • [SQL] Usare la chiave di compilazione di eliminazione dinamica corretta quando è presente l'hint di join di intervallo
    • Disabilitare il supporto del tipo char nel percorso del codice non SQL
    • Evitare NPE in DataFrameReader.schema
    • Correzione del server dei criteri di rete quando la risposta EventGridClient non ha un'entità
    • Correzione di un bug di flusso chiuso in lettura nel caricatore automatico di Azure
  • 24 febbraio 2021
    • Aggiornato il connettore Spark BigQuery alla versione 0.18, che introduce varie correzioni di bug e supporto per gli iteratori Arrow e Avro.
    • È stato risolto un problema di correttezza che causava la restituzione di risultati non corretti quando la precisione decimale e la scala del file Parquet sono diverse dallo schema Spark.
    • Correzione del problema di lettura degli errori nelle tabelle di Microsoft SQL Server che contengono tipi di dati spaziali, aggiungendo il supporto dei tipi JDBC geometry e geography per Spark SQL.
    • È stata introdotta una nuova configurazione spark.databricks.hive.metastore.init.reloadFunctions.enabled. Questa configurazione controlla l'inizializzazione Hive predefinita. Se impostato su true, Azure Databricks ricarica tutte le funzioni da tutti i database che gli utenti hanno in FunctionRegistry. Questo è il comportamento predefinito in metastore Hive. Se impostato su false, Azure Databricks disabilita questo processo per l'ottimizzazione.
    • [SPARK-34212] Correzione dei problemi relativi alla lettura dei dati decimali dai file Parquet.
    • [SPARK-34260][SQL] Correzione di UnresolvedException durante la creazione di una visualizzazione temporanea due volte.
  • 4 febbraio 2021
    • Correzione di una regressione che impedisce l'esecuzione incrementale di una query che imposta un limite globale, ad esempio SELECT * FROM table LIMIT nrows. La regressione è stata riscontrata dagli utenti che eseguivano le query tramite ODBC/JDBC con la serializzazione Arrow abilitata.
    • Sono stati introdotti controlli di tempo di scrittura nel client Hive per evitare il danneggiamento dei metadati nel metastore Hive per le tabelle Delta.
    • Correzione di una regressione che causava l'errore di avvio di DBFS FUSE quando le configurazioni delle variabili di ambiente del cluster contengono una sintassi Bash non valida.
  • 20 gennaio 2021
    • Corretta una regressione nella versione di manutenzione del 12 gennaio 2021 che può causare un'AnalysisException errata e dire che la colonna è ambigua in un self join. Questa regressione si verifica quando un utente aggiunge un dataframe con il dataframe derivato (un cosiddetto self-join) con le seguenti condizioni:
      • Questi due dataframe hanno colonne comuni, ma l'output del self join non include colonne comuni. Ad esempio, df.join(df.select($"col" as "new_col"), cond)
      • Il dataframe derivato esclude alcune colonne tramite select, groupBy o window.
      • La condizione di join o la trasformazione successiva al Dataframe unito si riferisce alle colonne non comuni. Ad esempio, df.join(df.drop("a"), df("a") === 1)
  • 12 gennaio 2021
    • Aggiornare Archiviazione di Azure SDK dalla versione 2.3.8 alla versione 2.3.9.
    • [SPARK-33593][SQL] Il lettore di vettori ha ricevuto dati errati con il valore della partizione binaria
    • [SPARK-33480][SQL] aggiorna il messaggio di errore del controllo della lunghezza di inserimento della tabella char/varchar

Databricks Runtime 7.3 LTS (EoS)

Si veda Databricks Runtime 7.3 LTS (EoS).

  • 10 settembre 2023

    • Varie correzioni di bug.

  • 30 agosto 2023

    • Aggiornamenti della sicurezza del sistema operativo

  • 15 agosto 2023

    • Aggiornamenti della sicurezza del sistema operativo

  • 23 giugno 2023

    • La libreria Snowflake-jdbc viene aggiornata alla versione 3.13.29 per risolvere un problema di sicurezza.
    • Aggiornamenti della sicurezza del sistema operativo

  • 15 giugno 2023

    • [SPARK-43413][SQL] Correzione del valore che ammette i valori Null IN nella sottoquery ListQuery.
    • Aggiornamenti della sicurezza del sistema operativo

  • 2 giugno 2023

    • È stato risolto un problema nel caricatore automatico in cui diversi formati di file di origine erano incoerenti quando lo schema fornito non includeva partizioni dedotte. Questo problema potrebbe causare errori imprevisti durante la lettura di file con colonne mancanti nello schema di partizione dedotto.

  • 17 maggio 2023

    • Aggiornamenti della sicurezza del sistema operativo

  • 25 aprile 2023

    • Aggiornamenti della sicurezza del sistema operativo

  • 11 aprile 2023

    • [SPARK-42967][MEMORIA CENTRALE] Correzione di SparkListenerTaskStart.stageAttemptId quando un'attività viene avviata dopo l'annullamento della fase.
    • Varie correzioni di bug.

  • 29 marzo 2023

    • Aggiornamenti della sicurezza del sistema operativo

  • 14 marzo 2023

    • Varie correzioni di bug.

  • 28 febbraio 2023

    • Aggiornamenti della sicurezza del sistema operativo

  • 16 febbraio 2023

    • Aggiornamenti della sicurezza del sistema operativo

  • 31 gennaio 2023

    • Per impostazione predefinita, i tipi di tabella delle tabelle JDBC sono EXTERNAL.

  • 18 gennaio 2023

    • Aggiornamenti della sicurezza del sistema operativo

  • 29 novembre 2022

    • Varie correzioni di bug.

  • 15 novembre 2022

    • Aggiornamento di Apache commons-text alla versione 1.10.0.
    • Aggiornamenti della sicurezza del sistema operativo
    • Varie correzioni di bug.

  • 1 novembre 2022

    • [SPARK-38542][SQL] UnsafeHashedRelation deve serializzare numKeys out

  • 18 ottobre 2022

    • Aggiornamenti della sicurezza del sistema operativo

  • mercoledì 5 ottobre 2022

    • Varie correzioni di bug.
    • Aggiornamenti della sicurezza del sistema operativo

  • 22 settembre 2022

    • [SPARK-40089][SQL] Correzione dell'ordinamento per alcuni tipi decimali

  • 6 settembre 2022

    • [SPARK-35542][MEMORIA CENTRALE] [ML] Correzione: Ii Bucketizer creato per colonne multiple con i parametri splitsArray, inputCols e outputCols non può essere caricato dopo il suo salvataggio
    • [SPARK-40079][MEMORIA CENTRALE] Aggiungere la convalida inputCols dell'input del computer per un caso di input vuoto

  • 24 agosto 2022

    • [SPARK-39962][PYTHON] [SQL] Applicare la proiezione quando gli attributi del gruppo sono vuoti
    • Aggiornamenti della sicurezza del sistema operativo

  • 9 agosto 2022

    • Aggiornamenti della sicurezza del sistema operativo

  • 27 luglio 2022

    • Rendere coerenti i risultati dell'operazione Delta MERGE quando l'origine non è deterministica.
    • Aggiornamenti della sicurezza del sistema operativo
    • Varie correzioni di bug.

  • 13 luglio 2022

    • [SPARK-32680][SQL] Non pre-elaborare CTAS V2 con query non risolte
    • Disabilitato l'uso del caricatore automatico delle API cloud native per l'elenco di directory in Azure.
    • Aggiornamenti della sicurezza del sistema operativo

  • 5 luglio 2022

    • Aggiornamenti della sicurezza del sistema operativo
    • Varie correzioni di bug.

  • 2 giugno 2022

    • [SPARK-38918][SQL] L'eliminazione di colonne nidificate deve filtrare gli attributi che non appartengono alla relazione corrente
    • Aggiornamenti della sicurezza del sistema operativo

  • 18 maggio 2022

    • Aggiornamento di AWS SDK dalla versione 1.11.655 alla 1.11.678.
    • Aggiornamenti della sicurezza del sistema operativo
    • Varie correzioni di bug.

  • 19 aprile 2022

    • Aggiornamenti della sicurezza del sistema operativo
    • Varie correzioni di bug.

  • 6 aprile 2022

    • Aggiornamenti della sicurezza del sistema operativo
    • Varie correzioni di bug.

  • 14 marzo 2022

    • Rimuovere le classi vulnerabili dal file jar log4j 1.2.17
    • Varie correzioni di bug.

  • 23 febbraio 2022

    • [SPARK-37859][SQL] Non verificare la presenza di metadati durante il confronto dello schema

  • 8 febbraio 2022

    • Aggiornare Ubuntu JDK alla versione 1.8.0.312.
    • Aggiornamenti della sicurezza del sistema operativo

  • 1 febbraio 2022

    • Aggiornamenti della sicurezza del sistema operativo

  • 26 gennaio 2022

    • È stato risolto un bug a causa del quale il comando OPTIMIZE poteva fallire quando il dialetto SQL ANSI era abilitato.

  • 19 gennaio 2022

    • Il canale predefinito di Conda viene rimosso da 7.3 ML LTS
    • Aggiornamenti della sicurezza del sistema operativo

  • 7 dicembre 2021

    • Aggiornamenti della sicurezza del sistema operativo

  • 4 novembre 2021

    • Corretto un bug che poteva far fallire i flussi di Streaming strutturato con una ArrayIndexOutOfBoundsException.
    • Correzione di una race condition che potrebbe causare un errore di query con un'eccezione IOException simile java.io.IOException: No FileSystem for scheme o che potrebbe causare modifiche a sparkContext.hadoopConfiguration che non hanno effetto nelle query.

  • 15 settembre 2021

    • Correzione di una race condition che potrebbe causare un errore di query con un'eccezione IOException come java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Aggiornamenti della sicurezza del sistema operativo

  • 8 settembre 2021

    • [SPARK-35700][SQL] [WARMFIX] Leggere la tabella char/varchar orc quando viene creata e scritta da sistemi esterni.
    • [SPARK-36532][MEMORIA CENTRALE] [3.1] Correzione del deadlock in CoarseGrainedExecutorBackend.onDisconnected per evitare cheexecutorsconnected iblocchi l'arresto dell'executor.

  • 25 agosto 2021

    • Il connettore Snowflake è stato aggiornato alla versione 2.9.0.

  • 29 luglio 2021

    • [SPARK-36034][BUILD] Riformulare il datetime nei filtri di cui è stato eseguito il push in Parquet
    • [SPARK-34508][BUILD] Ignorare HiveExternalCatalogVersionsSuite se la rete è inattiva

  • 14 luglio 2021

    • È stato introdotto il formato database.schema.table per il connettore di Azure Synapse.
    • Aggiunta del supporto per fornire il formato databaseName.schemaName.tableName come tabella di destinazione anziché solo di schemaName.tableName o tableName.
    • Correzione di un bug che impedisce agli utenti di passare a versioni precedenti disponibili con tabelle Delta.

  • 15 giugno 2021

    • Corregge un bug NoSuchElementException nelle scritture ottimizzate per Delta Lake che possono verificarsi durante la scrittura di grandi quantità di dati e l'individuazione di perdite di executor
    • Aggiornamento di Python con patch di sicurezza per correggere la vulnerabilità della sicurezza di Python (CVE-2021-3177).

  • 30 aprile 2021

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-35227][BUILD] Aggiornare il sistema di risoluzione per i pacchetti Spark in SparkSubmit
    • [SPARK-34245][MEMORIA CENTRALE] Assicurarsi che il master rimuova gli executor che non sono riusciti a inviare lo stato completato
    • [SPARK-35045][SQL] Aggiungere un'opzione interna per controllare il buffer di input in univocità

  • 24 marzo 2021

    • [SPARK-34768][SQL] Rispettare le dimensioni predefinite del buffer di input in Univocità
    • [SPARK-34534] Correzione dell'ordine blockIds quando si usano FetchShuffleBlocks per recuperare i blocchi
    • [SPARK-33118][SQL] CREATE TEMPORARY TABLE ha esito negativo con la posizione

  • 9 marzo 2021

    • Il driver del file system BLOB di Azure aggiornato per Azure Data Lake Storage Gen2 è ora abilitato per impostazione predefinita. Offre più miglioramenti alla stabilità.
    • Correzione del separatore di percorso in Windows per databricks-connect get-jar-dir
    • [interfaccia utente] Correggere il collegamento href della visualizzazione SPARK DAG
    • [DBCONNECT] Aggiunta del supporto per FlatMapCoGroupsInPandas in Databricks Connect 7.3
    • Ripristinare lo schema di output di SHOW DATABASES
    • [SQL] Usare la chiave di compilazione di eliminazione dinamica corretta quando è presente l'hint di join di intervallo
    • Disabilitare il controllo di decadimento per i file delle tabelle Delta nella cache dei dischi
    • [SQL] Non generare consigli sul numero di partizione casuale quando AOS è abilitato

  • 24 febbraio 2021

    • Aggiornato il connettore Spark BigQuery alla versione 0.18, che introduce varie correzioni di bug e supporto per gli iteratori Arrow e Avro.
    • È stato risolto un problema di correttezza che causava la restituzione di risultati non corretti quando la precisione decimale e la scala del file Parquet sono diverse dallo schema Spark.
    • Correzione del problema di lettura degli errori nelle tabelle di Microsoft SQL Server che contengono tipi di dati spaziali, aggiungendo il supporto dei tipi JDBC geometry e geography per Spark SQL.
    • È stata introdotta una nuova configurazione spark.databricks.hive.metastore.init.reloadFunctions.enabled. Questa configurazione controlla l'inizializzazione Hive predefinita. Se impostato su true, Azure Databricks ricarica tutte le funzioni da tutti i database che gli utenti hanno in FunctionRegistry. Questo è il comportamento predefinito in metastore Hive. Se impostato su false, Azure Databricks disabilita questo processo per l'ottimizzazione.
    • [SPARK-34212] Correzione dei problemi relativi alla lettura dei dati decimali dai file Parquet.
    • [SPARK-33579][interfaccia utente] Correzione della pagina vuota dell'executor dietro il proxy.
    • [SPARK-20044][interfaccia utente] Supportare l'interfaccia utente spark dietro il proxy inverso front-end usando un prefisso di percorso.
    • [SPARK-33277][PYSPARK] [SQL] Usare ContextAwareIterator per interrompere l'utilizzo al termine dell'attività.

  • 4 febbraio 2021

    • Correzione di una regressione che impedisce l'esecuzione incrementale di una query che imposta un limite globale, ad esempio SELECT * FROM table LIMIT nrows. La regressione è stata riscontrata dagli utenti che eseguivano le query tramite ODBC/JDBC con la serializzazione Arrow abilitata.
    • Correzione di una regressione che causava l'errore di avvio di DBFS FUSE quando le configurazioni delle variabili di ambiente del cluster contengono una sintassi Bash non valida.

  • 20 gennaio 2021

    • Corretta una regressione nella versione di manutenzione del 12 gennaio 2021 che può causare un'AnalysisException errata e dire che la colonna è ambigua in un self join. Questa regressione si verifica quando un utente aggiunge un dataframe con il dataframe derivato (un cosiddetto self-join) con le seguenti condizioni:
      • Questi due dataframe hanno colonne comuni, ma l'output del self join non include colonne comuni. Ad esempio, df.join(df.select($"col" as "new_col"), cond)
      • Il dataframe derivato esclude alcune colonne tramite select, groupBy o window.
      • La condizione di join o la trasformazione successiva al Dataframe unito si riferisce alle colonne non comuni. Ad esempio, df.join(df.drop("a"), df("a") === 1)

  • 12 gennaio 2021

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-33593][SQL] Il lettore di vettori ha ricevuto dati errati con il valore della partizione binaria
    • [SPARK-33677][SQL] Ignorare la regola LikeSimplification se il criterio contiene escapeChar
    • [SPARK-33592][ML] [PYTHON] I parametri di Pyspark ML Validator in estimatorParamMaps possono essere persi dopo il salvataggio e il ricaricamento
    • [SPARK-33071][SPARK-33536] [SQL] Evitare di modificare dataset_id di LogicalPlan in join() per non interrompere DetectAmbiguousSelfJoin

  • 8 dicembre 2020

    • [SPARK-33587][MEMORIA CENTRALE] Terminare l'executor in caso di errori irreversibili annidati
    • [SPARK-27421][SQL] Correggere il filtro per la colonna int e la classe di valori java.lang.String durante la eliminazione della colonna di partizione
    • [SPARK-33316][SQL] Supporto dello schema Avro nullable fornito dall'utente per lo schema catalyst che non ammette i valori Null nella scrittura di Avro
    • I processi Spark avviati utilizzando Databricks Connect potrebbero bloccarsi indefinitamente con Executor$TaskRunner.$anonfun$copySessionState nella traccia dello stack dell'executor
    • Aggiornamenti della sicurezza del sistema operativo

  • 1 dicembre 2020

    • [SPARK-33404][SQL] [3.0] Correzione di risultati non corretti nell'espressione date_trunc
    • [SPARK-33339][PYTHON] L'applicazione Pyspark si blocca a causa di un errore di non Eccezione
    • [SPARK-33183][SQL] [HOTFIX] Correggere la regola EliminateSorts dell'ottimizzatore e aggiungere una regola fisica per rimuovere gli ordinamenti ridondanti
    • [SPARK-33371][PYTHON] [3.0] Aggiornare setup.py e i test per Python 3.9
    • [SPARK-33391][SQL] element_at con CreateArray non rispetta un indice basato.
    • [SPARK-33306][SQL] Il fuso orario è necessario quando si esegue il cast della data alla stringa
    • [SPARK-33260][SQL] Correzione di risultati non corretti da SortExec quando sortOrder è Stream

  • 5 novembre 2020

    • Correzione del blocco ABFS e WASB per quanto riguarda UserGroupInformation.getCurrentUser().
    • Correzione di un errore di ciclo infinito quando il lettore Avro legge i byte MAGIC.
    • Aggiungere il supporto per il privilegioUSAGE.
    • Miglioramenti delle prestazioni per il controllo dei privilegi nel controllo degli accessi alle tabelle.

  • 13 ottobre 2020

    • Aggiornamenti della sicurezza del sistema operativo
    • È possibile leggere e scrivere da DBFS utilizzando il montaggio FUSE a /dbfs/ in un cluster abilitato al passaggio di credenziali a elevata concorrenza. Sono supportati i montaggi normali, ma non sono ancora supportati i supporti che necessitano di credenziali di accesso.
    • [SPARK-32999][SQL] Usare Utils.getSimpleName per evitare di raggiungere il nome della classe non valido in TreeNode
    • [SPARK-32585][SQL] Supportare l'enumerazione scala in ScalaReflection
    • Correzione dell'elenco delle directory nel montaggio FUSE che contengono nomi di file con caratteri XML non validi
    • Il montaggio FUSE non usa più ListMultipartUploads

  • 29 settembre 2020

    • [SPARK-32718][SQL] Rimuovere parole chiave non necessarie per le unità di intervallo
    • [SPARK-32635][SQL] Correzione della propagazione pieghevole
    • Aggiungere una nuova configurazione spark.shuffle.io.decoder.consolidateThreshold. Impostare il valore di configurazione su Long.MAX_VALUE per ignorare il consolidamento di netty FrameBuffers, che impedisce java.lang.IndexOutOfBoundsException nei casi di angolo.

  • 25 aprile 2023

    • Aggiornamenti della sicurezza del sistema operativo

  • 11 aprile 2023

    • Varie correzioni di bug.

  • 29 marzo 2023

    • Varie correzioni di bug.

  • 14 marzo 2023

    • Aggiornamenti della sicurezza del sistema operativo

  • 28 febbraio 2023

    • Aggiornamenti della sicurezza del sistema operativo

  • 16 febbraio 2023

    • Aggiornamenti della sicurezza del sistema operativo

  • 31 gennaio 2023

    • Varie correzioni di bug.

  • 18 gennaio 2023

    • Aggiornamenti della sicurezza del sistema operativo

  • 29 novembre 2022

    • Aggiornamenti della sicurezza del sistema operativo

  • 15 novembre 2022

    • Aggiornamenti della sicurezza del sistema operativo
    • Varie correzioni di bug.

  • 1 novembre 2022

    • Aggiornamenti della sicurezza del sistema operativo

  • 18 ottobre 2022

    • Aggiornamenti della sicurezza del sistema operativo
    • 5 ottobre 2022
      • Aggiornamenti della sicurezza del sistema operativo
    • 24 agosto 2022
      • Aggiornamenti della sicurezza del sistema operativo
    • 9 agosto 2022
      • Aggiornamenti della sicurezza del sistema operativo
    • 27 luglio 2022
      • Aggiornamenti della sicurezza del sistema operativo
    • 5 luglio 2022
      • Aggiornamenti della sicurezza del sistema operativo
    • 2 giugno 2022
      • Aggiornamenti della sicurezza del sistema operativo
    • 18 maggio 2022
      • Aggiornamenti della sicurezza del sistema operativo
    • 19 aprile 2022
      • Aggiornamenti della sicurezza del sistema operativo
      • Varie correzioni di bug.
    • 6 aprile 2022
      • Aggiornamenti della sicurezza del sistema operativo
      • Varie correzioni di bug.
    • 14 marzo 2022
      • Varie correzioni di bug.
    • 23 febbraio 2022
      • Varie correzioni di bug.
    • 8 febbraio 2022
      • Aggiornare Ubuntu JDK alla versione 1.8.0.312.
      • Aggiornamenti della sicurezza del sistema operativo
    • 1 febbraio 2022
      • Aggiornamenti della sicurezza del sistema operativo
    • 19 gennaio 2022
      • Aggiornamenti della sicurezza del sistema operativo
    • 22 settembre 2021
      • Aggiornamenti della sicurezza del sistema operativo
    • 30 aprile 2021
      • Aggiornamenti della sicurezza del sistema operativo
      • [SPARK-35227][BUILD] Aggiornare il sistema di risoluzione per i pacchetti Spark in SparkSubmit
    • 12 gennaio 2021
      • Aggiornamenti della sicurezza del sistema operativo
    • 8 dicembre 2020
      • [SPARK-27421][SQL] Correggere il filtro per la colonna int e la classe di valori java.lang.String durante la eliminazione della colonna di partizione
      • Aggiornamenti della sicurezza del sistema operativo
    • 1 dicembre 2020
    • [SPARK-33260][SQL] Correzione di risultati non corretti da SortExec quando sortOrder è Stream
    • 3 novembre 2020
      • Java aggiornato dalla versione 1.8.0_252 alla versione 1.8.0_265.
      • Correzione del blocco ABFS e WASB per quanto riguarda UserGroupInformation.getCurrentUser()
    • 13 ottobre 2020
      • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 6.4 Extended Support (EoS)

Si veda Databricks Runtime 6.4 (EoS) e Databricks Runtime 6.4 supporto “Extended” (EoS).

  • 5 luglio 2022

    • Aggiornamenti della sicurezza del sistema operativo
    • Varie correzioni di bug.

  • 2 giugno 2022

    • Aggiornamenti della sicurezza del sistema operativo

  • 18 maggio 2022

    • Aggiornamenti della sicurezza del sistema operativo

  • 19 aprile 2022

    • Aggiornamenti della sicurezza del sistema operativo
    • Varie correzioni di bug.

  • 6 aprile 2022

    • Aggiornamenti della sicurezza del sistema operativo
    • Varie correzioni di bug.

  • 14 marzo 2022

    • Rimuovere le classi vulnerabili dal file jar log4j 1.2.17
    • Varie correzioni di bug.

  • 23 febbraio 2022

    • Varie correzioni di bug.

  • 8 febbraio 2022

    • Aggiornare Ubuntu JDK alla versione 1.8.0.312.
    • Aggiornamenti della sicurezza del sistema operativo

  • 1 febbraio 2022

    • Aggiornamenti della sicurezza del sistema operativo

  • 26 gennaio 2022

    • È stato risolto un bug a causa del quale il comando OPTIMIZE poteva fallire quando il dialetto SQL ANSI era abilitato.

  • 19 gennaio 2022

    • Aggiornamenti della sicurezza del sistema operativo

  • 8 Dicembre 2021

    • Aggiornamenti della sicurezza del sistema operativo

  • 22 settembre 2021

    • Aggiornamenti della sicurezza del sistema operativo

  • 15 giugno 2021

    • [SPARK-35576][SQL] Ridurre le informazioni sensibili nel risultato del comando Set

  • 7 giugno 2021

    • Aggiungere una nuova configurazione denominata spark.sql.maven.additionalRemoteRepositories, una configurazione di stringa delimitata da virgole del mirror maven remoto facoltativo. I valori predefiniti sono https://maven-central.storage-download.googleapis.com/maven2/.

  • 30 aprile 2021

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-35227][BUILD] Aggiornare il sistema di risoluzione per i pacchetti Spark in SparkSubmit

  • 9 marzo 2021

    • Convertire HADOOP-17215 nel driver di Azure Blob File System (supporto per la sovrascrittura condizionale).
    • Correzione del separatore di percorso in Windows per databricks-connect get-jar-dir
    • Aggiunta del supporto per le versioni del metastore Hive 2.3.5, 2.3.6 e 2.3.7
    • Freccia "totalResultsCollected" segnalata in modo non corretto dopo lo spill

  • 24 febbraio 2021

    • È stata introdotta una nuova configurazione spark.databricks.hive.metastore.init.reloadFunctions.enabled. Questa configurazione controlla l'inizializzazione Hive predefinita. Se impostato su true, Azure Databricks ricarica tutte le funzioni da tutti i database che gli utenti hanno in FunctionRegistry. Questo è il comportamento predefinito in metastore Hive. Se impostato su false, Azure Databricks disabilita questo processo per l'ottimizzazione.

  • 4 febbraio 2021

    • Correzione di una regressione che impedisce l'esecuzione incrementale di una query che imposta un limite globale, ad esempio SELECT * FROM table LIMIT nrows. La regressione è stata riscontrata dagli utenti che eseguivano le query tramite ODBC/JDBC con la serializzazione Arrow abilitata.
    • Correzione di una regressione che causava l'errore di avvio di DBFS FUSE quando le configurazioni delle variabili di ambiente del cluster contengono una sintassi Bash non valida.

  • 12 gennaio 2021

    • Aggiornamenti della sicurezza del sistema operativo

  • 8 dicembre 2020

    • [SPARK-27421][SQL] Correggere il filtro per la colonna int e la classe di valori java.lang.String durante la eliminazione della colonna di partizione
    • [SPARK-33183][SQL] Correggere la regola EliminateSorts dell'ottimizzatore e aggiungere una regola fisica per rimuovere gli ordinamenti ridondanti
    • [Runtime 6.4 ML GPU] In precedenza è stata installata una versione non corretta (2.7.8-1+cuda11.1) di NCCL. Questa versione lo corregge alla versione 2.4.8-1+cuda10.0 compatibile con CUDA 10.0.
    • Aggiornamenti della sicurezza del sistema operativo

  • 1 dicembre 2020

    • [SPARK-33260][SQL] Correzione di risultati non corretti da SortExec quando sortOrder è Stream
    • [SPARK-32635][SQL] Correzione della propagazione pieghevole

  • 3 novembre 2020

    • Java aggiornato dalla versione 1.8.0_252 alla versione 1.8.0_265.
    • Correzione del blocco ABFS e WASB per quanto riguarda UserGroupInformation.getCurrentUser()
    • Correzione di un errore di ciclo infinito quando il lettore Avro legge i byte MAGIC.

  • 13 ottobre 2020

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-32999][SQL] [2.4] Usare Utils.getSimpleName per evitare di raggiungere il nome della classe non valido in TreeNode
    • Correzione dell'elenco delle directory nel montaggio FUSE che contengono nomi di file con caratteri XML non validi
    • Il montaggio FUSE non usa più ListMultipartUploads

  • 24 settembre 2020

    • Correzione di una limitazione precedente in cui il trasferimento nel cluster standard limitava comunque l'uso dell'utente dell'implementazione del file system. Adesso gli utenti potranno accedere ai file system locali senza restrizioni.
    • Aggiornamenti della sicurezza del sistema operativo

  • 8 settembre 2020

    • È stato creato un nuovo parametro per Azure Synapse Analytics, maxbinlength. Questo parametro viene usato per controllare la lunghezza della colonna delle colonne BinaryType e viene convertito come VARBINARY(maxbinlength). Può essere impostato usando .option("maxbinlength", n), dove 0 < n <= 8000.
    • Aggiornare Archiviazione di Azure SDK alla versione 8.6.4 e abilitare TCP keep alive sulle connessioni effettuate dal driver WASB

  • 25 agosto 2020

    • Correzione della risoluzione degli attributi ambigui nell'unione automatica

  • 18 agosto 2020

    • [SPARK-32431][SQL] Controllare le colonne annidate duplicate in lettura da origini dati predefinite
    • Correzione di una race condition nel connettore AQS quando si usa Trigger.Once.

  • 11 agosto 2020

    • [SPARK-28676][MEMORIA CENTRALE] Evitare una registrazione eccessiva da ContextCleaner

  • 3 agosto 2020

    • È adesso possibile usare la funzione di trasformazione LDA in un cluster abilitato per il trasferimento.
    • Aggiornamenti della sicurezza del sistema operativo

  • 7 luglio 2020

    • Java aggiornato dalla versione 1.8.0_232 alla 1.8.0_252.

  • 21 aprile 2020

    • [SPARK-31312][SQL] Istanza della classe cache per l'istanza UDF in HiveFunctionWrapper

  • 7 aprile 2020

    • Per risolvere un problema con la funzione definita dall'utente pandas che non funziona con PyArrow 0.15.0 e versioni successive, è stata aggiunta una variabile di ambiente (ARROW_PRE_0_15_IPC_FORMAT=1) per abilitare il supporto per tali versioni di PyArrow. Si vedano le istruzioni in [SPARK-29367].

  • 10 marzo 2020

    • La scalabilità automatica ottimizzata adesso viene usata per impostazione predefinita nei cluster interattivi nel piano di sicurezza.
    • Il connettore Snowflake (spark-snowflake_2.11) incluso in Databricks Runtime è aggiornato alla versione 2.5.9. snowflake-jdbc è aggiornato alla versione 3.12.0.

Databricks Runtime 5.5 LTS (EoS)

Si veda Databricks Runtime 5.5 LTS (EoS) e Databricks Runtime 5.5 supporto “Extended” (EoS).

  • 8 Dicembre 2021

    • Aggiornamenti della sicurezza del sistema operativo

  • 22 settembre 2021

    • Aggiornamenti della sicurezza del sistema operativo

  • 25 agosto 2021

    • È stato eseguito il downgrade di alcuni pacchetti Python aggiornati in precedenza nella versione di supporto “Extended” di 5.5 ML per mantenere una parità migliore con 5.5 ML LTS (ora deprecato). Per le differenze aggiornate tra le due versioni, vedere [_]/release-notes/runtime/5.5xml.md).

  • 15 giugno 2021

    • [SPARK-35576][SQL] Ridurre le informazioni sensibili nel risultato del comando Set

  • 7 giugno 2021

    • Aggiungere una nuova configurazione denominata spark.sql.maven.additionalRemoteRepositories, una configurazione di stringa delimitata da virgole del mirror maven remoto facoltativo. I valori predefiniti sono https://maven-central.storage-download.googleapis.com/maven2/.

  • 30 aprile 2021

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-35227][BUILD] Aggiornare il sistema di risoluzione per i pacchetti Spark in SparkSubmit

  • 9 marzo 2021

    • Convertire HADOOP-17215 nel driver di Azure Blob File System (supporto per la sovrascrittura condizionale).

  • 24 febbraio 2021

    • È stata introdotta una nuova configurazione spark.databricks.hive.metastore.init.reloadFunctions.enabled. Questa configurazione controlla l'inizializzazione Hive predefinita. Se impostato su true, Azure Databricks ricarica tutte le funzioni da tutti i database che gli utenti hanno in FunctionRegistry. Questo è il comportamento predefinito in metastore Hive. Se impostato su false, Azure Databricks disabilita questo processo per l'ottimizzazione.

  • 12 gennaio 2021

    • Aggiornamenti della sicurezza del sistema operativo
    • Correzione per [HADOOP-17130].

  • 8 dicembre 2020

    • [SPARK-27421][SQL] Correggere il filtro per la colonna int e la classe di valori java.lang.String durante la eliminazione della colonna di partizione
    • Aggiornamenti della sicurezza del sistema operativo

  • 1 dicembre 2020

    • [SPARK-33260][SQL] Correzione di risultati non corretti da SortExec quando sortOrder è Stream
    • [SPARK-32635][SQL] Correzione della propagazione pieghevole

  • 29 ottobre 2020

    • Java aggiornato dalla versione 1.8.0_252 alla versione 1.8.0_265.
    • Correzione del blocco ABFS e WASB per quanto riguarda UserGroupInformation.getCurrentUser()
    • Correzione di un errore di ciclo infinito quando il lettore Avro legge i byte MAGIC.

  • 13 ottobre 2020

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-32999][SQL] [2.4] Usare Utils.getSimpleName per evitare di raggiungere il nome della classe non valido in TreeNode

  • 24 settembre 2020

    • Aggiornamenti della sicurezza del sistema operativo

  • 8 settembre 2020

    • È stato creato un nuovo parametro per Azure Synapse Analytics, maxbinlength. Questo parametro viene usato per controllare la lunghezza della colonna delle colonne BinaryType e viene convertito come VARBINARY(maxbinlength). Può essere impostato usando .option("maxbinlength", n), dove 0 < n <= 8000.

  • 18 agosto 2020

    • [SPARK-32431][SQL] Controllare le colonne annidate duplicate in lettura da origini dati predefinite
    • Correzione di una race condition nel connettore AQS quando si usa Trigger.Once.

  • 11 agosto 2020

    • [SPARK-28676][MEMORIA CENTRALE] Evitare una registrazione eccessiva da ContextCleaner

  • 3 agosto 2020

    • Aggiornamenti di sicurezza del sistema operativo

  • 7 luglio 2020

    • Java aggiornato dalla versione 1.8.0_232 alla 1.8.0_252.

  • 21 aprile 2020

    • [SPARK-31312][SQL] Istanza della classe cache per l'istanza UDF in HiveFunctionWrapper

  • 7 aprile 2020

    • Per risolvere un problema con la funzione definita dall'utente pandas che non funziona con PyArrow 0.15.0 e versioni successive, è stata aggiunta una variabile di ambiente (ARROW_PRE_0_15_IPC_FORMAT=1) per abilitare il supporto per tali versioni di PyArrow. Si vedano le istruzioni in [SPARK-29367].

  • 25 marzo 2020

    • Il connettore Snowflake (spark-snowflake_2.11) incluso in Databricks Runtime è aggiornato alla versione 2.5.9. snowflake-jdbc è aggiornato alla versione 3.12.0.

  • 10 marzo 2020

    • L'output del processo, ad esempio l'output del log generato in stdout, è soggetto a un limite di dimensioni di 20 MB. Se l'output totale ha dimensioni maggiori, l'esecuzione verrà annullata e contrassegnata come non riuscita. Per evitare di riscontrare questo limite, è possibile impedire che stdout venga restituito dal driver impostando la configurazione spark.databricks.driver.disableScalaOutput di Spark su true. Per impostazione predefinita, il valore del flag è false. Il flag controlla l'output della cella per i processi JAR scala e i notebook Scala. Se il flag è abilitato, Spark non restituisce i risultati dell'esecuzione del processo al client. Il flag non influisce sui dati scritti nei file di log del cluster. L'impostazione di questo flag è consigliata solo per i cluster automatizzati per i processi JAR, perché disabilita i risultati del notebook.

  • 18 febbraio 2020

    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 deve generare un'eccezione
    • Il pass-through delle credenziali con ADLS Gen2 presenta una riduzione delle prestazioni a causa della gestione locale del thread non corretta quando è abilitata la prelettura del client ADLS. Questa versione disabilita il prelettura di ADLS Gen2 quando il pass-through delle credenziali è abilitato fino a quando non è disponibile una correzione corretta.

  • 28 gennaio 2020

    • [SPARK-30447][SQL] Problema di propagazione costante dei valori null.

  • 14 gennaio 2020

    • Java aggiornato dalla versione 1.8.0_222 alla 1.8.0_232.

  • 19 novembre 2019

    • [SPARK-29743] [SQL] L'esempio deve impostare needCopyResult su true se needCopyResult del figlio è true
    • La versione R non è stata aggiornata intenzionalmente alla versione 3.6.1 dalla versione 3.6.0. È stato effettuato il downgrade alla versione 3.6.0.

  • 5 novembre 2019

    • Java aggiornato dalla versione 1.8.0_212 alla versione 1.8.0_222.

  • 23 ottobre 2019

    • [SPARK-29244][MEMORIA CENTRALE] Impedisce che la pagina liberata in BytesToBytesMap venga liberata nuovamente

  • 8 ottobre 2019

    • Modifiche lato server per consentire a Simba Apache Spark ODBC driver di riconnettersi e continuare dopo un errore di connessione durante il recupero dei risultati (richiede Simba Apache Spark ODBC versione 2.6.10).
    • È stato risolto un problema che interessava l'uso del comando Optimize con cluster con ACL di tabella abilitati.
    • È stato risolto un problema per cui le librerie pyspark.ml non riuscivano a causa di un errore non consentito della funzione definita dall'utente scala nei cluster ACL e pass-through delle credenziali abilitati per la tabella.
    • Metodi SerDe e SerDeUtil consentiti per il pass-through delle credenziali.
    • Correzione di NullPointerException durante il controllo del codice di errore nel client WASB.

  • 24 settembre 2019

    • Maggiore stabilità del writer Parquet.
    • È stato risolto il problema per cui la query di Thrift annullata prima di iniziare l'esecuzione poteva rimanere bloccata nello stato STARTED.

  • 10 settembre 2019

    • Aggiungere iteratore thread-safe a BytesToBytesMap
    • [SPARK-27992][SPARK-28881]Consentire a Python di eseguire il join con il thread di connessione per propagare gli errori
    • Correzione di un bug che interessa determinate query di aggregazione globali.
    • Migliore ridimensionamento delle credenziali.
    • [SPARK-27330][SS] Supporto dell'interruzione delle attività in foreach writer
    • [SPARK-28642]Nascondere le credenziali in SHOW CREATE TABLE
    • [SPARK-28699][SQL] Disabilitare l'uso dell'ordinamento radix per ShuffleExchangeExec nel caso di ripartizione

  • 27 agosto 2019

    • [SPARK-20906][SQL] Consentire lo schema specificato dall'utente nel to_avro API con il Registro di sistema dello schema
    • [SPARK-27838][SQL] Supportare lo schema avro non nullo fornito dall'utente per lo schema catalyst nullo senza alcun record nullo
    • Miglioramento del tempo di spostamento fisico in Delta Lake
    • Correzione di un problema che interessa determinate espressioni transform
    • Supporta le variabili di trasmissione quando è abilitato l'isolamento del processo

  • 13 agosto 2019

    • L'origine di streaming Delta deve controllare il protocollo più recente di una tabella
    • [SPARK-28260]Aggiungere lo stato CLOSED a ExecutionState
    • [SPARK-28489][SS] Correzione di un bug che KafkaOffsetRangeCalculator.getRanges può eliminare gli offset

  • 30 luglio 2019

    • [SPARK-28015][SQL] Check stringToDate() utilizza l'intero input per i formati aaaa e aaaa-[m]m
    • [SPARK-28308][MEMORIA CENTRALE] La parte secondaria calendarInterval deve essere riempita prima dell'analisi
    • [SPARK-27485]EnsureRequirements.reorder deve gestire le espressioni duplicate normalmente
    • [SPARK-28355][CORE] [PYTHON] Usare spark conf per la soglia in cui la funzione definita dall'utente è compressa dalla trasmissione

Databricks Light 2.4 supporto “Extended” (EoS)

Si veda Databricks Runtime 2.4 (EoS) e Databricks Light Runtime 2.4 supporto “Extended” (EoS).

Databricks Runtime 7.4 (EoS)

Si veda Databricks Runtime 7.4 (EoS).

  • 30 aprile 2021

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-35227][BUILD] Aggiornare il sistema di risoluzione per i pacchetti Spark in SparkSubmit
    • [SPARK-34245][MEMORIA CENTRALE] Assicurarsi che il master rimuova gli executor che non sono riusciti a inviare lo stato completato
    • [SPARK-35045][SQL] Aggiungere un'opzione interna per controllare l'univocità del buffer di input e una configurazione per le dimensioni del buffer di input CSV

  • 24 marzo 2021

    • [SPARK-34768][SQL] Rispettare le dimensioni predefinite del buffer di input in Univocità
    • [SPARK-34534] Correzione dell'ordine blockIds quando si usano FetchShuffleBlocks per recuperare i blocchi

  • 9 marzo 2021

    • Il driver del file system BLOB di Azure aggiornato per Azure Data Lake Storage Gen2 è ora abilitato per impostazione predefinita. Offre più miglioramenti alla stabilità.
    • [ES-67926][interfaccia utente] Correggere il collegamento href della visualizzazione SPARK DAG
    • [ES-65064] Ripristinare lo schema di output di SHOW DATABASES
    • [SC-70522][SQL] Usare la chiave di compilazione di eliminazione dinamica corretta quando è presente l'hint di join di intervallo
    • [SC-35081] Disabilitare il controllo di decadimento per i file delle tabelle Delta nella cache dei dischi
    • [SC-70640] Correzione del server dei criteri di rete quando la risposta EventGridClient non ha un'entità
    • [SC-70220][SQL] Non generare consigli sul numero di partizione casuale quando AOS è abilitato

  • 24 febbraio 2021

    • Aggiornato il connettore Spark BigQuery alla versione 0.18, che introduce varie correzioni di bug e supporto per gli iteratori Arrow e Avro.
    • È stato risolto un problema di correttezza che causava la restituzione di risultati non corretti quando la precisione decimale e la scala del file Parquet sono diverse dallo schema Spark.
    • Correzione del problema di lettura degli errori nelle tabelle di Microsoft SQL Server che contengono tipi di dati spaziali, aggiungendo il supporto dei tipi JDBC geometry e geography per Spark SQL.
    • È stata introdotta una nuova configurazione spark.databricks.hive.metastore.init.reloadFunctions.enabled. Questa configurazione controlla l'inizializzazione Hive predefinita. Se impostato su true, Azure Databricks ricarica tutte le funzioni da tutti i database che gli utenti hanno in FunctionRegistry. Questo è il comportamento predefinito in metastore Hive. Se impostato su false, Azure Databricks disabilita questo processo per l'ottimizzazione.
    • [SPARK-34212] Correzione dei problemi relativi alla lettura dei dati decimali dai file Parquet.
    • [SPARK-33579][interfaccia utente] Correzione della pagina vuota dell'executor dietro il proxy.
    • [SPARK-20044][interfaccia utente] Supportare l'interfaccia utente spark dietro il proxy inverso front-end usando un prefisso di percorso.
    • [SPARK-33277][PYSPARK] [SQL] Usare ContextAwareIterator per interrompere l'utilizzo al termine dell'attività.

  • 4 febbraio 2021

    • Correzione di una regressione che impedisce l'esecuzione incrementale di una query che imposta un limite globale, ad esempio SELECT * FROM table LIMIT nrows. La regressione è stata riscontrata dagli utenti che eseguivano le query tramite ODBC/JDBC con la serializzazione Arrow abilitata.
    • Correzione di una regressione che causava l'errore di avvio di DBFS FUSE quando le configurazioni delle variabili di ambiente del cluster contengono una sintassi Bash non valida.

  • 20 gennaio 2021

    • Corretta una regressione nella versione di manutenzione del 12 gennaio 2021 che può causare un'AnalysisException errata e dire che la colonna è ambigua in un self join. Questa regressione si verifica quando un utente aggiunge un dataframe con il dataframe derivato (un cosiddetto self-join) con le seguenti condizioni:
      • Questi due dataframe hanno colonne comuni, ma l'output del self join non include colonne comuni. Ad esempio, df.join(df.select($"col" as "new_col"), cond)
      • Il dataframe derivato esclude alcune colonne tramite select, groupBy o window.
      • La condizione di join o la trasformazione successiva al Dataframe unito si riferisce alle colonne non comuni. Ad esempio, df.join(df.drop("a"), df("a") === 1)

  • 12 gennaio 2021

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-33593][SQL] Il lettore di vettori ha ricevuto dati errati con il valore della partizione binaria
    • [SPARK-33677][SQL] Ignorare la regola LikeSimplification se il criterio contiene escapeChar
    • [SPARK-33071][SPARK-33536] [SQL] Evitare di modificare dataset_id di LogicalPlan in join() per non interrompere DetectAmbiguousSelfJoin

  • 8 dicembre 2020

    • [SPARK-33587][MEMORIA CENTRALE] Terminare l'executor in caso di errori irreversibili annidati
    • [SPARK-27421][SQL] Correggere il filtro per la colonna int e la classe di valori java.lang.String durante la eliminazione della colonna di partizione
    • [SPARK-33316][SQL] Supporto dello schema Avro nullable fornito dall'utente per lo schema catalyst che non ammette i valori Null nella scrittura di Avro
    • Aggiornamenti della sicurezza del sistema operativo

  • 1 dicembre 2020

    • [SPARK-33404][SQL] [3.0] Correzione di risultati non corretti nell'espressione date_trunc
    • [SPARK-33339][PYTHON] L'applicazione Pyspark si blocca a causa di un errore di non Eccezione
    • [SPARK-33183][SQL] [HOTFIX] Correggere la regola EliminateSorts dell'ottimizzatore e aggiungere una regola fisica per rimuovere gli ordinamenti ridondanti
    • [SPARK-33371][PYTHON] [3.0] Aggiornare setup.py e i test per Python 3.9
    • [SPARK-33391][SQL] element_at con CreateArray non rispetta un indice basato.
    • [SPARK-33306][SQL] Il fuso orario è necessario quando si esegue il cast della data alla stringa
    • [SPARK-33260][SQL] Correzione di risultati non corretti da SortExec quando sortOrder è Stream
    • [SPARK-33272][SQL] eliminare il mapping degli attributi in QueryPlan.transformUpWithNewOutput

Databricks Runtime 7.2 (EoS)

Si veda Databricks Runtime 7.2 (EoS).

  • 4 febbraio 2021

    • Correzione di una regressione che impedisce l'esecuzione incrementale di una query che imposta un limite globale, ad esempio SELECT * FROM table LIMIT nrows. La regressione è stata riscontrata dagli utenti che eseguivano le query tramite ODBC/JDBC con la serializzazione Arrow abilitata.
    • Correzione di una regressione che causava l'errore di avvio di DBFS FUSE quando le configurazioni delle variabili di ambiente del cluster contengono una sintassi Bash non valida.

  • 20 gennaio 2021

    • Corretta una regressione nella versione di manutenzione del 12 gennaio 2021 che può causare un'AnalysisException errata e dire che la colonna è ambigua in un self join. Questa regressione si verifica quando un utente aggiunge un dataframe con il dataframe derivato (un cosiddetto self-join) con le seguenti condizioni:
      • Questi due dataframe hanno colonne comuni, ma l'output del self join non include colonne comuni. Ad esempio, df.join(df.select($"col" as "new_col"), cond)
      • Il dataframe derivato esclude alcune colonne tramite select, groupBy o window.
      • La condizione di join o la trasformazione successiva al Dataframe unito si riferisce alle colonne non comuni. Ad esempio, df.join(df.drop("a"), df("a") === 1)

  • 12 gennaio 2021

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-33593][SQL] Il lettore di vettori ha ricevuto dati errati con il valore della partizione binaria
    • [SPARK-33677][SQL] Ignorare la regola LikeSimplification se il criterio contiene escapeChar
    • [SPARK-33071][SPARK-33536] [SQL] Evitare di modificare dataset_id di LogicalPlan in join() per non interrompere DetectAmbiguousSelfJoin

  • 8 dicembre 2020

    • [SPARK-27421][SQL] Correggere il filtro per la colonna int e la classe di valori java.lang.String durante la eliminazione della colonna di partizione
    • [SPARK-33404][SQL] Correggere i risultati non corretti nell'espressione date_trunc
    • [SPARK-33339][PYTHON] L'applicazione Pyspark si blocca a causa di un errore di non Eccezione
    • [SPARK-33183][SQL] Correggere la regola EliminateSorts dell'ottimizzatore e aggiungere una regola fisica per rimuovere gli ordinamenti ridondanti
    • [SPARK-33391][SQL] element_at con CreateArray non rispetta un indice basato.
    • Aggiornamenti della sicurezza del sistema operativo

  • 1 dicembre 2020

    • [SPARK-33306][SQL] Il fuso orario è necessario quando si esegue il cast della data alla stringa
    • [SPARK-33260][SQL] Correzione di risultati non corretti da SortExec quando sortOrder è Stream

  • 3 novembre 2020

    • Java aggiornato dalla versione 1.8.0_252 alla versione 1.8.0_265.
    • Correzione del blocco ABFS e WASB per quanto riguarda UserGroupInformation.getCurrentUser()
    • Correzione di un errore di ciclo infinito quando il lettore Avro legge i byte MAGIC.

  • 13 ottobre 2020

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-32999][SQL] Usare Utils.getSimpleName per evitare di raggiungere il nome della classe non valido in TreeNode
    • Correzione dell'elenco delle directory nel montaggio FUSE che contengono nomi di file con caratteri XML non validi
    • Il montaggio FUSE non usa più ListMultipartUploads

  • 29 settembre 2020

    • [SPARK-28863][SQL] [WARMFIX] Introdurre AlreadyOptimized per evitare la rianalisi di V1FallbackWriters
    • [SPARK-32635][SQL] Correzione della propagazione pieghevole
    • Aggiungere una nuova configurazione spark.shuffle.io.decoder.consolidateThreshold. Impostare il valore di configurazione su Long.MAX_VALUE per ignorare il consolidamento di netty FrameBuffers, che impedisce java.lang.IndexOutOfBoundsException nei casi di angolo.

  • 24 settembre 2020

    • [SPARK-32764][SQL] -0.0 deve essere uguale a 0.0
    • [SPARK-32753][SQL] Copiare i tag nel nodo senza tag durante la trasformazione dei piani
    • [SPARK-32659][SQL] Correzione del problema di dati dell'eliminazione della partizione dinamica inserita in un tipo non atomico
    • Aggiornamenti della sicurezza del sistema operativo

  • 8 settembre 2020

    • È stato creato un nuovo parametro per Azure Synapse Analytics, maxbinlength. Questo parametro viene usato per controllare la lunghezza della colonna delle colonne BinaryType e viene convertito come VARBINARY(maxbinlength). Può essere impostato usando .option("maxbinlength", n), dove 0 < n <= 8000.

Databricks Runtime 7.1 (EoS)

Si veda Databricks Runtime 7.1 (EoS).

  • 4 febbraio 2021

    • Correzione di una regressione che causava l'errore di avvio di DBFS FUSE quando le configurazioni delle variabili di ambiente del cluster contengono una sintassi Bash non valida.

  • 20 gennaio 2021

    • Corretta una regressione nella versione di manutenzione del 12 gennaio 2021 che può causare un'AnalysisException errata e dire che la colonna è ambigua in un self join. Questa regressione si verifica quando un utente aggiunge un dataframe con il dataframe derivato (un cosiddetto self-join) con le seguenti condizioni:
      • Questi due dataframe hanno colonne comuni, ma l'output del self join non include colonne comuni. Ad esempio, df.join(df.select($"col" as "new_col"), cond)
      • Il dataframe derivato esclude alcune colonne tramite select, groupBy o window.
      • La condizione di join o la trasformazione successiva al Dataframe unito si riferisce alle colonne non comuni. Ad esempio, df.join(df.drop("a"), df("a") === 1)

  • 12 gennaio 2021

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-33593][SQL] Il lettore di vettori ha ricevuto dati errati con il valore della partizione binaria
    • [SPARK-33677][SQL] Ignorare la regola LikeSimplification se il criterio contiene escapeChar
    • [SPARK-33071][SPARK-33536] [SQL] Evitare di modificare dataset_id di LogicalPlan in join() per non interrompere DetectAmbiguousSelfJoin

  • 8 dicembre 2020

    • [SPARK-27421][SQL] Correggere il filtro per la colonna int e la classe di valori java.lang.String durante la eliminazione della colonna di partizione
    • I processi Spark avviati utilizzando Databricks Connect potrebbero bloccarsi indefinitamente con Executor$TaskRunner.$anonfun$copySessionState nella traccia dello stack dell'executor
    • Aggiornamenti della sicurezza del sistema operativo

  • 1 dicembre 2020

    • [SPARK-33404][SQL] [3.0] Correzione di risultati non corretti nell'espressione date_trunc
    • [SPARK-33339][PYTHON] L'applicazione Pyspark si blocca a causa di un errore di non Eccezione
    • [SPARK-33183][SQL] [HOTFIX] Correggere la regola EliminateSorts dell'ottimizzatore e aggiungere una regola fisica per rimuovere gli ordinamenti ridondanti
    • [SPARK-33371][PYTHON] [3.0] Aggiornare setup.py e i test per Python 3.9
    • [SPARK-33391][SQL] element_at con CreateArray non rispetta un indice basato.
    • [SPARK-33306][SQL] Il fuso orario è necessario quando si esegue il cast della data alla stringa

  • 3 novembre 2020

    • Java aggiornato dalla versione 1.8.0_252 alla versione 1.8.0_265.
    • Correzione del blocco ABFS e WASB per quanto riguarda UserGroupInformation.getCurrentUser()
    • Correzione di un errore di ciclo infinito quando il lettore Avro legge i byte MAGIC.

  • 13 ottobre 2020

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-32999][SQL] Usare Utils.getSimpleName per evitare di raggiungere il nome della classe non valido in TreeNode
    • Correzione dell'elenco delle directory nel montaggio FUSE che contengono nomi di file con caratteri XML non validi
    • Il montaggio FUSE non usa più ListMultipartUploads

  • 29 settembre 2020

    • [SPARK-28863][SQL] [WARMFIX] Introdurre AlreadyOptimized per evitare la rianalisi di V1FallbackWriters
    • [SPARK-32635][SQL] Correzione della propagazione pieghevole
    • Aggiungere una nuova configurazione spark.shuffle.io.decoder.consolidateThreshold. Impostare il valore di configurazione su Long.MAX_VALUE per ignorare il consolidamento di netty FrameBuffers, che impedisce java.lang.IndexOutOfBoundsException nei casi di angolo.

  • 24 settembre 2020

    • [SPARK-32764][SQL] -0.0 deve essere uguale a 0.0
    • [SPARK-32753][SQL] Copiare i tag nel nodo senza tag durante la trasformazione dei piani
    • [SPARK-32659][SQL] Correzione del problema di dati dell'eliminazione della partizione dinamica inserita in un tipo non atomico
    • Aggiornamenti della sicurezza del sistema operativo

  • 8 settembre 2020

    • È stato creato un nuovo parametro per Azure Synapse Analytics, maxbinlength. Questo parametro viene usato per controllare la lunghezza della colonna delle colonne BinaryType e viene convertito come VARBINARY(maxbinlength). Può essere impostato usando .option("maxbinlength", n), dove 0 < n <= 8000.

  • 25 agosto 2020

    • [SPARK-32159][SQL] Correzione dell'integrazione tra Aggregator[Array[_], _, _] e UnresolvedMapObjects
    • [SPARK-32559][SQL] Correggere la logica di taglio in UTF8String.toInt/toLong, che non ha gestito correttamente i caratteri non ASCII
    • [SPARK-32543][R] Rimuovere l'utilizzo di arrow::as_tibble in SparkR
    • [SPARK-32091][MEMORIA CENTRALE] Ignorare l'errore di timeout durante la rimozione dei blocchi nell'executor perso
    • È stato risolto un problema che interessava il connettore Azure Synapse con le credenziali MSI
    • Correzione della risoluzione degli attributi ambigui nell'unione automatica

  • 18 agosto 2020

    • [SPARK-32594][SQL] Correzione della serializzazione delle date inserite nelle tabelle Hive
    • [SPARK-32237][SQL] Risolvere l'hint in CTE
    • [SPARK-32431][SQL] Controllare le colonne annidate duplicate in lettura da origini dati predefinite
    • [SPARK-32467][interfaccia utente] Evitare di codificare due volte l'URL nel reindirizzamento https
    • Correzione di una race condition nel connettore AQS quando si usa Trigger.Once.

  • 11 agosto 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight deve riscrivere solo gli attributi per i nodi predecessori del piano di conflitto
    • [SPARK-32234][SQL] I comandi Spark SQL hanno esito negativo durante la selezione delle tabelle ORC

  • 3 agosto 2020

    • È adesso possibile usare la funzione di trasformazione LDA in un cluster abilitato per il trasferimento.

Databricks Runtime 7.0 (EoS)

Si veda Databricks Runtime 7.0 (EoS).

  • 4 febbraio 2021

    • Correzione di una regressione che causava l'errore di avvio di DBFS FUSE quando le configurazioni delle variabili di ambiente del cluster contengono una sintassi Bash non valida.

  • 20 gennaio 2021

    • Corretta una regressione nella versione di manutenzione del 12 gennaio 2021 che può causare un'AnalysisException errata e dire che la colonna è ambigua in un self join. Questa regressione si verifica quando un utente aggiunge un dataframe con il dataframe derivato (un cosiddetto self-join) con le seguenti condizioni:
      • Questi due dataframe hanno colonne comuni, ma l'output del self join non include colonne comuni. Ad esempio, df.join(df.select($"col" as "new_col"), cond)
      • Il dataframe derivato esclude alcune colonne tramite select, groupBy o window.
      • La condizione di join o la trasformazione successiva al Dataframe unito si riferisce alle colonne non comuni. Ad esempio, df.join(df.drop("a"), df("a") === 1)

  • 12 gennaio 2021

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-33593][SQL] Il lettore di vettori ha ricevuto dati errati con il valore della partizione binaria
    • [SPARK-33677][SQL] Ignorare la regola LikeSimplification se il criterio contiene escapeChar
    • [SPARK-33071][SPARK-33536] [SQL] Evitare di modificare dataset_id di LogicalPlan in join() per non interrompere DetectAmbiguousSelfJoin

  • 8 dicembre 2020

    • [SPARK-27421][SQL] Correggere il filtro per la colonna int e la classe di valori java.lang.String durante la eliminazione della colonna di partizione
    • [SPARK-33404][SQL] Correggere i risultati non corretti nell'espressione date_trunc
    • [SPARK-33339][PYTHON] L'applicazione Pyspark si blocca a causa di un errore di non Eccezione
    • [SPARK-33183][SQL] Correggere la regola EliminateSorts dell'ottimizzatore e aggiungere una regola fisica per rimuovere gli ordinamenti ridondanti
    • [SPARK-33391][SQL] element_at con CreateArray non rispetta un indice basato.
    • Aggiornamenti della sicurezza del sistema operativo

  • 1 dicembre 2020

    • [SPARK-33306][SQL] Il fuso orario è necessario quando si esegue il cast della data alla stringa

  • 3 novembre 2020

    • Java aggiornato dalla versione 1.8.0_252 alla versione 1.8.0_265.
    • Correzione del blocco ABFS e WASB per quanto riguarda UserGroupInformation.getCurrentUser()
    • Correzione di un errore di ciclo infinito quando il lettore Avro legge i byte MAGIC.

  • 13 ottobre 2020

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-32999][SQL] Usare Utils.getSimpleName per evitare di raggiungere il nome della classe non valido in TreeNode
    • Correzione dell'elenco delle directory nel montaggio FUSE che contengono nomi di file con caratteri XML non validi
    • Il montaggio FUSE non usa più ListMultipartUploads

  • 29 settembre 2020

    • [SPARK-28863][SQL] [WARMFIX] Introdurre AlreadyOptimized per evitare la rianalisi di V1FallbackWriters
    • [SPARK-32635][SQL] Correzione della propagazione pieghevole
    • Aggiungere una nuova configurazione spark.shuffle.io.decoder.consolidateThreshold. Impostare il valore di configurazione su Long.MAX_VALUE per ignorare il consolidamento di netty FrameBuffers, che impedisce java.lang.IndexOutOfBoundsException nei casi di angolo.

  • 24 settembre 2020

    • [SPARK-32764][SQL] -0.0 deve essere uguale a 0.0
    • [SPARK-32753][SQL] Copiare i tag nel nodo senza tag durante la trasformazione dei piani
    • [SPARK-32659][SQL] Correzione del problema di dati dell'eliminazione della partizione dinamica inserita in un tipo non atomico
    • Aggiornamenti della sicurezza del sistema operativo

  • 8 settembre 2020

    • È stato creato un nuovo parametro per Azure Synapse Analytics, maxbinlength. Questo parametro viene usato per controllare la lunghezza della colonna delle colonne BinaryType e viene convertito come VARBINARY(maxbinlength). Può essere impostato usando .option("maxbinlength", n), dove 0 < n <= 8000.

  • 25 agosto 2020

    • [SPARK-32159][SQL] Correzione dell'integrazione tra Aggregator[Array[_], _, _] e UnresolvedMapObjects
    • [SPARK-32559][SQL] Correggere la logica di taglio in UTF8String.toInt/toLong, che non ha gestito correttamente i caratteri non ASCII
    • [SPARK-32543][R] Rimuovere l'utilizzo di arrow::as_tibble in SparkR
    • [SPARK-32091][MEMORIA CENTRALE] Ignorare l'errore di timeout durante la rimozione dei blocchi nell'executor perso
    • È stato risolto un problema che interessava il connettore Azure Synapse con le credenziali MSI
    • Correzione della risoluzione degli attributi ambigui nell'unione automatica

  • 18 agosto 2020

    • [SPARK-32594][SQL] Correzione della serializzazione delle date inserite nelle tabelle Hive
    • [SPARK-32237][SQL] Risolvere l'hint in CTE
    • [SPARK-32431][SQL] Controllare le colonne annidate duplicate in lettura da origini dati predefinite
    • [SPARK-32467][interfaccia utente] Evitare di codificare due volte l'URL nel reindirizzamento https
    • Correzione di una race condition nel connettore AQS quando si usa Trigger.Once.

  • 11 agosto 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight deve riscrivere solo gli attributi per i nodi predecessori del piano di conflitto
    • [SPARK-32234][SQL] I comandi Spark SQL hanno esito negativo durante la selezione delle tabelle ORC
    • È adesso possibile usare la funzione di trasformazione LDA in un cluster abilitato per il trasferimento.

Databricks Runtime 6.6 (EoS)

Si veda Databricks Runtime 6.6 (EoS).

  • 1 dicembre 2020

    • [SPARK-33260][SQL] Correzione di risultati non corretti da SortExec quando sortOrder è Stream
    • [SPARK-32635][SQL] Correzione della propagazione pieghevole

  • 3 novembre 2020

    • Java aggiornato dalla versione 1.8.0_252 alla versione 1.8.0_265.
    • Correzione del blocco ABFS e WASB per quanto riguarda UserGroupInformation.getCurrentUser()
    • Correzione di un errore di ciclo infinito quando il lettore Avro legge i byte MAGIC.

  • 13 ottobre 2020

    • Aggiornamenti della sicurezza del sistema operativo
    • [SPARK-32999][SQL] [2.4] Usare Utils.getSimpleName per evitare di raggiungere il nome della classe non valido in TreeNode
    • Correzione dell'elenco delle directory nel montaggio FUSE che contengono nomi di file con caratteri XML non validi
    • Il montaggio FUSE non usa più ListMultipartUploads

  • 24 settembre 2020

    • Aggiornamenti della sicurezza del sistema operativo

  • 8 settembre 2020

    • È stato creato un nuovo parametro per Azure Synapse Analytics, maxbinlength. Questo parametro viene usato per controllare la lunghezza della colonna delle colonne BinaryType e viene convertito come VARBINARY(maxbinlength). Può essere impostato usando .option("maxbinlength", n), dove 0 < n <= 8000.
    • Aggiornare Archiviazione di Azure SDK alla versione 8.6.4 e abilitare TCP keep alive sulle connessioni effettuate dal driver WASB

  • 25 agosto 2020

    • Correzione della risoluzione degli attributi ambigui nell'unione automatica

  • 18 agosto 2020

    • [SPARK-32431][SQL] Controllare le colonne annidate duplicate in lettura da origini dati predefinite
    • Correzione di una race condition nel connettore AQS quando si usa Trigger.Once.

  • 11 agosto 2020

    • [SPARK-28676][MEMORIA CENTRALE] Evitare una registrazione eccessiva da ContextCleaner
    • [SPARK-31967][interfaccia utente] Effettuare il downgrade a vis.js 4.21.0 per correggere la regressione del tempo di caricamento dell'interfaccia utente dei processi

  • 3 agosto 2020

    • È adesso possibile usare la funzione di trasformazione LDA in un cluster abilitato per il trasferimento.
    • Aggiornamenti della sicurezza del sistema operativo

Databricks Runtime 6.5 (EoS)

Si veda Databricks Runtime 6.5 (EoS).

  • 24 settembre 2020
    • Correzione di una limitazione precedente in cui il trasferimento nel cluster standard limitava comunque l'uso dell'utente dell'implementazione del file system. Adesso gli utenti potranno accedere ai file system locali senza restrizioni.
    • Aggiornamenti della sicurezza del sistema operativo
  • 8 settembre 2020
    • È stato creato un nuovo parametro per Azure Synapse Analytics, maxbinlength. Questo parametro viene usato per controllare la lunghezza della colonna delle colonne BinaryType e viene convertito come VARBINARY(maxbinlength). Può essere impostato usando .option("maxbinlength", n), dove 0 < n <= 8000.
    • Aggiornare Archiviazione di Azure SDK alla versione 8.6.4 e abilitare TCP keep alive sulle connessioni effettuate dal driver WASB
  • 25 agosto 2020
    • Correzione della risoluzione degli attributi ambigui nell'unione automatica
  • 18 agosto 2020
    • [SPARK-32431][SQL] Controllare le colonne annidate duplicate in lettura da origini dati predefinite
    • Correzione di una race condition nel connettore AQS quando si usa Trigger.Once.
  • 11 agosto 2020
    • [SPARK-28676][MEMORIA CENTRALE] Evitare una registrazione eccessiva da ContextCleaner
  • 3 agosto 2020
    • È adesso possibile usare la funzione di trasformazione LDA in un cluster abilitato per il trasferimento.
    • Aggiornamenti della sicurezza del sistema operativo
  • 7 luglio 2020
    • Java aggiornato dalla versione 1.8.0_242 alla 1.8.0_252.
  • 21 aprile 2020
    • [SPARK-31312][SQL] Istanza della classe cache per l'istanza UDF in HiveFunctionWrapper

Databricks Runtime 6.3 (EoS)

Si veda Databricks Runtime 6.3 (EoS).

  • 7 luglio 2020
    • Java aggiornato dalla versione 1.8.0_232 alla 1.8.0_252.
  • 21 aprile 2020
    • [SPARK-31312][SQL] Istanza della classe cache per l'istanza UDF in HiveFunctionWrapper
  • 7 aprile 2020
    • Per risolvere un problema con la funzione definita dall'utente pandas che non funziona con PyArrow 0.15.0 e versioni successive, è stata aggiunta una variabile di ambiente (ARROW_PRE_0_15_IPC_FORMAT=1) per abilitare il supporto per tali versioni di PyArrow. Si vedano le istruzioni in [SPARK-29367].
  • 10 marzo 2020
    • Il connettore Snowflake (spark-snowflake_2.11) incluso in Databricks Runtime è aggiornato alla versione 2.5.9. snowflake-jdbc è aggiornato alla versione 3.12.0.
  • 18 febbraio 2020
    • Il pass-through delle credenziali con ADLS Gen2 presenta una riduzione delle prestazioni a causa della gestione locale del thread non corretta quando è abilitata la prelettura del client ADLS. Questa versione disabilita il prelettura di ADLS Gen2 quando il pass-through delle credenziali è abilitato fino a quando non è disponibile una correzione corretta.
  • 11 febbraio 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 deve generare un'eccezione
    • [SPARK-30447][SQL] Problema di propagazione costante dei valori null
    • [SPARK-28152][SQL] Aggiungere una conf legacy per il mapping numerico MsSqlServerDialect precedente
    • Consente di elencare la funzione di sovrascrittura in modo che MLModels estende MLWriter possa chiamarla.

Databricks Runtime 6.2 (EoS)

Si veda Databricks Runtime 6.2 (EoS).

  • 21 aprile 2020
    • [SPARK-31312][SQL] Istanza della classe cache per l'istanza UDF in HiveFunctionWrapper
  • 7 aprile 2020
    • Per risolvere un problema con la funzione definita dall'utente pandas che non funziona con PyArrow 0.15.0 e versioni successive, è stata aggiunta una variabile di ambiente (ARROW_PRE_0_15_IPC_FORMAT=1) per abilitare il supporto per tali versioni di PyArrow. Si vedano le istruzioni in [SPARK-29367].
  • 25 marzo 2020
    • L'output del processo, ad esempio l'output del log generato in stdout, è soggetto a un limite di dimensioni di 20 MB. Se l'output totale ha dimensioni maggiori, l'esecuzione verrà annullata e contrassegnata come non riuscita. Per evitare di riscontrare questo limite, è possibile impedire che stdout venga restituito dal driver impostando la configurazione spark.databricks.driver.disableScalaOutput di Spark su true. Per impostazione predefinita, il valore del flag è false. Il flag controlla l'output della cella per i processi JAR scala e i notebook Scala. Se il flag è abilitato, Spark non restituisce i risultati dell'esecuzione del processo al client. Il flag non influisce sui dati scritti nei file di log del cluster. L'impostazione di questo flag è consigliata solo per i cluster automatizzati per i processi JAR, perché disabilita i risultati del notebook.
  • 10 marzo 2020
    • Il connettore Snowflake (spark-snowflake_2.11) incluso in Databricks Runtime è aggiornato alla versione 2.5.9. snowflake-jdbc è aggiornato alla versione 3.12.0.
  • 18 febbraio 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 deve generare un'eccezione
    • Il pass-through delle credenziali con ADLS Gen2 presenta una riduzione delle prestazioni a causa della gestione locale del thread non corretta quando è abilitata la prelettura del client ADLS. Questa versione disabilita il prelettura di ADLS Gen2 quando il pass-through delle credenziali è abilitato fino a quando non è disponibile una correzione corretta.
  • 28 gennaio 2020
    • Consentire la funzione di sovrascrittura di ML Model Writers per i cluster abilitati al passaggio di credenziali, in modo che il salvataggio dei modelli possa utilizzare la modalità di sovrascrittura sui cluster con passaggio di credenziali.
    • [SPARK-30447][SQL] Problema di propagazione costante dei valori null.
    • [SPARK-28152][SQL] Aggiungere una conf legacy per il mapping numerico MsSqlServerDialect precedente.
  • 14 gennaio 2020
    • Java aggiornato dalla versione 1.8.0_222 alla 1.8.0_232.
  • 10 dicembre 2019
    • [SPARK-29904][SQL] Analizzare i timestamp con precisione al microsecondo da origini dati JSON/CSV.

Databricks Runtime 6.1 (EoS)

Si veda Databricks Runtime 6.1 (EoS).

  • 7 aprile 2020
    • Per risolvere un problema con la funzione definita dall'utente pandas che non funziona con PyArrow 0.15.0 e versioni successive, è stata aggiunta una variabile di ambiente (ARROW_PRE_0_15_IPC_FORMAT=1) per abilitare il supporto per tali versioni di PyArrow. Si vedano le istruzioni in [SPARK-29367].
  • 25 marzo 2020
    • L'output del processo, ad esempio l'output del log generato in stdout, è soggetto a un limite di dimensioni di 20 MB. Se l'output totale ha dimensioni maggiori, l'esecuzione verrà annullata e contrassegnata come non riuscita. Per evitare di riscontrare questo limite, è possibile impedire che stdout venga restituito dal driver impostando la configurazione spark.databricks.driver.disableScalaOutput di Spark su true. Per impostazione predefinita, il valore del flag è false. Il flag controlla l'output della cella per i processi JAR scala e i notebook Scala. Se il flag è abilitato, Spark non restituisce i risultati dell'esecuzione del processo al client. Il flag non influisce sui dati scritti nei file di log del cluster. L'impostazione di questo flag è consigliata solo per i cluster automatizzati per i processi JAR, perché disabilita i risultati del notebook.
  • 10 marzo 2020
    • Il connettore Snowflake (spark-snowflake_2.11) incluso in Databricks Runtime è aggiornato alla versione 2.5.9. snowflake-jdbc è aggiornato alla versione 3.12.0.
  • 18 febbraio 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 deve generare un'eccezione
    • Il pass-through delle credenziali con ADLS Gen2 presenta una riduzione delle prestazioni a causa della gestione locale del thread non corretta quando è abilitata la prelettura del client ADLS. Questa versione disabilita il prelettura di ADLS Gen2 quando il pass-through delle credenziali è abilitato fino a quando non è disponibile una correzione corretta.
  • 28 gennaio 2020
    • [SPARK-30447][SQL] Problema di propagazione costante dei valori null.
    • [SPARK-28152][SQL] Aggiungere una conf legacy per il mapping numerico MsSqlServerDialect precedente.
  • 14 gennaio 2020
    • Java aggiornato dalla versione 1.8.0_222 alla 1.8.0_232.
  • 7 novembre 2019
  • 5 novembre 2019
    • Correzione di un bug in DBFS FUSE per gestire i punti di montaggio aventi // nel percorso.
    • [SPARK-29081] Sostituire le chiamate a SerializationUtils.clone sulle proprietà con un'implementazione più veloce
    • [SPARK-29244][MEMORIA CENTRALE] Impedisce che la pagina liberata in BytesToBytesMap venga liberata nuovamente
    • (6.1 ML) La libreria mkl versione 2019.4 è stata installata involontariamente. È stato effettuato il downgrade a mkl versione 2019.3 in modo che corrisponda a Anaconda Distribution 2019.03.

Databricks Runtime 6.0 (EoS)

Si veda Databricks Runtime 6.0 (EoS).

  • 25 marzo 2020
    • L'output del processo, ad esempio l'output del log generato in stdout, è soggetto a un limite di dimensioni di 20 MB. Se l'output totale ha dimensioni maggiori, l'esecuzione verrà annullata e contrassegnata come non riuscita. Per evitare di riscontrare questo limite, è possibile impedire che stdout venga restituito dal driver impostando la configurazione spark.databricks.driver.disableScalaOutput di Spark su true. Per impostazione predefinita, il valore del flag è false. Il flag controlla l'output della cella per i processi JAR scala e i notebook Scala. Se il flag è abilitato, Spark non restituisce i risultati dell'esecuzione del processo al client. Il flag non influisce sui dati scritti nei file di log del cluster. L'impostazione di questo flag è consigliata solo per i cluster automatizzati per i processi JAR, perché disabilita i risultati del notebook.
  • 18 febbraio 2020
    • Il pass-through delle credenziali con ADLS Gen2 presenta una riduzione delle prestazioni a causa della gestione locale del thread non corretta quando è abilitata la prelettura del client ADLS. Questa versione disabilita il prelettura di ADLS Gen2 quando il pass-through delle credenziali è abilitato fino a quando non è disponibile una correzione corretta.
  • 11 febbraio 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 deve generare un'eccezione
  • 28 gennaio 2020
    • [SPARK-30447][SQL] Problema di propagazione costante dei valori null.
    • [SPARK-28152][SQL] Aggiungere una conf legacy per il mapping numerico MsSqlServerDialect precedente.
  • 14 gennaio 2020
    • Java aggiornato dalla versione 1.8.0_222 alla 1.8.0_232.
  • 19 novembre 2019
    • [SPARK-29743] [SQL] L'esempio deve impostare needCopyResult su true se needCopyResult del figlio è true
  • 5 novembre 2019
    • dbutils.tensorboard.start() adesso supporta ora TensorBoard 2.0 (se installato manualmente).
    • Correzione di un bug in DBFS FUSE per gestire i punti di montaggio aventi // nel percorso.
    • [SPARK-29081]Sostituire le chiamate a SerializationUtils.clone sulle proprietà con un'implementazione più veloce
  • 23 ottobre 2019
    • [SPARK-29244][MEMORIA CENTRALE] Impedisce che la pagina liberata in BytesToBytesMap venga liberata nuovamente
  • 8 ottobre 2019
    • Modifiche lato server per consentire a Simba Apache Spark ODBC driver di riconnettersi e continuare dopo un errore di connessione durante il recupero dei risultati (richiede Simba Apache Spark ODBC versione 2.6.10).
    • È stato risolto un problema che interessava l'uso del comando Optimize con cluster con ACL di tabella abilitati.
    • È stato risolto un problema per cui le librerie pyspark.ml non riuscivano a causa di un errore non consentito della funzione definita dall'utente scala nei cluster ACL e pass-through delle credenziali abilitati per la tabella.
    • Aggiungere all’elenco i metodi SerDe e SerDeUtil consentiti per il pass-through delle credenziali.
    • Correzione di NullPointerException durante il controllo del codice di errore nel client WASB.
    • È stato risolto il problema per cui le credenziali utente non venivano inoltrate ai processi creati da dbutils.notebook.run().

Databricks Runtime 5.4 ML (EoS)

Si veda Databricks Runtime 5.4 for ML (EoS).

  • 18 giugno 2019
    • Gestione migliorata delle esecuzioni attive di MLflow nell'integrazione di Hyperopt
    • Messaggi migliorati in Hyperopt
    • Aggiornamento del pacchetto Marchkdown dalla versione 3.1 alla versione 3.1.1

Databricks Runtime 5.4 (EoS)

Si veda Databricks Runtime 5.4 (EoS).

  • 19 novembre 2019
    • [SPARK-29743] [SQL] L'esempio deve impostare needCopyResult su true se needCopyResult del figlio è true
  • 8 ottobre 2019
    • Modifiche lato server per consentire a Simba Apache Spark ODBC driver di riconnettersi e continuare dopo un errore di connessione durante il recupero dei risultati (richiede Simba Apache Spark ODBC aggiornato alla versione 2.6.10).
    • Correzione di NullPointerException durante il controllo del codice di errore nel client WASB.
  • 10 settembre 2019
    • Aggiungere iteratore thread-safe a BytesToBytesMap
    • Correzione di un bug che interessa determinate query di aggregazione globali.
    • [SPARK-27330][SS] Supporto dell'interruzione delle attività in foreach writer
    • [SPARK-28642]Nascondere le credenziali in SHOW CREATE TABLE
    • [SPARK-28699][SQL] Disabilitare l'uso dell'ordinamento radix per ShuffleExchangeExec nel caso di ripartizione
    • [SPARK-28699][MEMORIA CENTRALE] Correzione di un caso di angolo per l'interruzione della fase indeterminata
  • 27 agosto 2019
    • Correzione di un problema che interessa determinate espressioni transform
  • 13 agosto 2019
    • L'origine di streaming Delta deve controllare il protocollo più recente di una tabella
    • [SPARK-28489][SS] Correzione di un bug che KafkaOffsetRangeCalculator.getRanges può eliminare gli offset
  • 30 luglio 2019
    • [SPARK-28015][SQL] Check stringToDate() utilizza l'intero input per i formati aaaa e aaaa-[m]m
    • [SPARK-28308][MEMORIA CENTRALE] La parte secondaria calendarInterval deve essere riempita prima dell'analisi
    • [SPARK-27485]EnsureRequirements.reorder deve gestire le espressioni duplicate normalmente
  • 2 luglio 2019
    • Aggiornamento di snappy-java dalla versione 1.1.7.1 alla versione 1.1.7.3.
  • 18 giugno 2019
    • Gestione migliorata delle esecuzioni attive di MLflow nell'integrazione di MLlib
    • Miglioramento del messaggio di Databricks Advisor relativo all'utilizzo della cache del disco
    • Correzione di un bug che interessava l'uso di funzioni di ordine superiore
    • Correzione di un bug che interessa le query sui metadati Delta

Databricks Runtime 5.3 (EoS)

Si veda Databricks Runtime 5.3 (EoS).

  • 7 novembre 2019
    • [SPARK-29743][SQL] L'esempio deve impostare needCopyResult su true se needCopyResult del figlio è true
  • 8 ottobre 2019
    • Modifiche lato server per consentire a Simba Apache Spark ODBC driver di riconnettersi e continuare dopo un errore di connessione durante il recupero dei risultati (richiede Simba Apache Spark ODBC aggiornato alla versione 2.6.10).
    • Correzione di NullPointerException durante il controllo del codice di errore nel client WASB.
  • 10 settembre 2019
    • Aggiungere iteratore thread-safe a BytesToBytesMap
    • Correzione di un bug che interessa determinate query di aggregazione globali.
    • [SPARK-27330][SS] Supporto dell'interruzione delle attività in foreach writer
    • [SPARK-28642]Nascondere le credenziali in SHOW CREATE TABLE
    • [SPARK-28699][SQL] Disabilitare l'uso dell'ordinamento radix per ShuffleExchangeExec nel caso di ripartizione
    • [SPARK-28699][MEMORIA CENTRALE] Correzione di un caso di angolo per l'interruzione della fase indeterminata
  • 27 agosto 2019
    • Correzione di un problema che interessa determinate espressioni transform
  • 13 agosto 2019
    • L'origine di streaming Delta deve controllare il protocollo più recente di una tabella
    • [SPARK-28489][SS] Correzione di un bug che KafkaOffsetRangeCalculator.getRanges può eliminare gli offset
  • 30 luglio 2019
    • [SPARK-28015][SQL] Check stringToDate() utilizza l'intero input per i formati aaaa e aaaa-[m]m
    • [SPARK-28308][MEMORIA CENTRALE] La parte secondaria calendarInterval deve essere riempita prima dell'analisi
    • [SPARK-27485]EnsureRequirements.reorder deve gestire le espressioni duplicate normalmente
  • 18 giugno 2019
    • Miglioramento del messaggio di Databricks Advisor relativo all'utilizzo della cache del disco
    • Correzione di un bug che interessava l'uso di funzioni di ordine superiore
    • Correzione di un bug che interessa le query sui metadati Delta
  • 28 maggio 2019
    • Miglioramento della stabilità di Delta
    • Tollerare IOExceptions durante la lettura del file Delta LAST_CHECKPOINT
      • Aggiunto il ripristino in caso di installazione non riuscita della libreria
  • 7 maggio 2019
    • Porta HADOOP-15778 (ABFS: Correzione della limitazione lato client per la lettura) nel connettore Azure Data Lake Storage Gen2
    • Porta HADOOP-16040 (ABFS: Correzione di bug per la configurazione tollerabileOobAppends) nel connettore Azure Data Lake Storage Gen2
    • Correzione di un bug che interessa gli ACL della tabella
    • Correzione di una race condition durante il caricamento di un file di checksum del log Delta
    • Correzione della logica di rilevamento dei conflitti Delta per non identificare "insert + overwrite" come operazione "append" pura
    • Assicurarsi che la memorizzazione nella cache del disco non sia disabilitata quando gli ACL della tabella sono abilitati
    • [SPARK-27494] [SS] Chiavi/valori Null non funzionano nell'origine Kafka v2
    • [SPARK-27446] [R] Se disponibile, usare la funzione spark conf esistente.
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] L' origine dati delle immagini di Spark non funziona quando si incontrano immagini non valide
    • [SPARK-27160] [SQL] Correzione di DecimalType durante la compilazione di filtri orc
    • [SPARK-27338] [MEMORIA CENTRALE] Correzione del deadlock tra UnsafeExternalSorter e TaskMemoryManager

Databricks Runtime 5.2 (EoS)

Si veda Databricks Runtime 5.2 (EoS).

  • 10 settembre 2019
    • Aggiungere iteratore thread-safe a BytesToBytesMap
    • Correzione di un bug che interessa determinate query di aggregazione globali.
    • [SPARK-27330][SS] Supporto dell'interruzione delle attività in foreach writer
    • [SPARK-28642]Nascondere le credenziali in SHOW CREATE TABLE
    • [SPARK-28699][SQL] Disabilitare l'uso dell'ordinamento radix per ShuffleExchangeExec nel caso di ripartizione
    • [SPARK-28699][MEMORIA CENTRALE] Correzione di un caso di angolo per l'interruzione della fase indeterminata
  • 27 agosto 2019
    • Correzione di un problema che interessa determinate espressioni transform
  • 13 agosto 2019
    • L'origine di streaming Delta deve controllare il protocollo più recente di una tabella
    • [SPARK-28489][SS] Correzione di un bug che KafkaOffsetRangeCalculator.getRanges può eliminare gli offset
  • 30 luglio 2019
    • [SPARK-28015][SQL] Check stringToDate() utilizza l'intero input per i formati aaaa e aaaa-[m]m
    • [SPARK-28308][MEMORIA CENTRALE] La parte secondaria calendarInterval deve essere riempita prima dell'analisi
    • [SPARK-27485]EnsureRequirements.reorder deve gestire le espressioni duplicate normalmente
  • 2 luglio 2019
    • Tollerare IOExceptions durante la lettura del file Delta LAST_CHECKPOINT
  • 18 giugno 2019
    • Miglioramento del messaggio di Databricks Advisor relativo all'utilizzo della cache del disco
    • Correzione di un bug che interessava l'uso di funzioni di ordine superiore
    • Correzione di un bug che interessa le query sui metadati Delta
  • 28 maggio 2019
    • Aggiunto il ripristino in caso di installazione non riuscita della libreria
  • 7 maggio 2019
    • Porta HADOOP-15778 (ABFS: Correzione della limitazione lato client per la lettura) nel connettore Azure Data Lake Storage Gen2
    • Porta HADOOP-16040 (ABFS: Correzione di bug per la configurazione tollerabileOobAppends) nel connettore Azure Data Lake Storage Gen2
    • Correzione di una race condition durante il caricamento di un file di checksum del log Delta
    • Correzione della logica di rilevamento dei conflitti Delta per non identificare "insert + overwrite" come operazione "append" pura
    • Assicurarsi che la memorizzazione nella cache del disco non sia disabilitata quando gli ACL della tabella sono abilitati
    • [SPARK-27494] [SS] Chiavi/valori Null non funzionano nell'origine Kafka v2
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] L' origine dati delle immagini di Spark non funziona quando si incontrano immagini non valide
    • [SPARK-27160] [SQL] Correzione di DecimalType durante la compilazione di filtri orc
    • [SPARK-27338] [MEMORIA CENTRALE] Correzione del deadlock tra UnsafeExternalSorter e TaskMemoryManager
  • 26 marzo 2019
    • Evitare l'incorporamento di offset dipendenti dalla piattaforma letteralmente nel codice generato a fasi intere
    • [SPARK-26665][MEMORIA CENTRALE] Correzione di un bug che può causare il blocco di BlockTransferService.fetchBlockSync per sempre.
    • [SPARK-27134][SQL] La funzione array_distinct non funziona correttamente con colonne contenenti matrice di matrici.
    • [SPARK-24669][SQL] Invalidare le tabelle nel caso di DROP DATABASE CASCADE.
    • [SPARK-26572][SQL] correzione della valutazione del risultato codegen aggregato.
    • Corretto un bug che riguardava alcuni PythonUDF.
  • 26 febbraio 2019
    • [SPARK-26864][SQL] La query può restituire risultati non corretti quando la funzione definita dall'utente python viene usata come condizione di join a sinistra.
    • [SPARK-26887][PYTHON] Creare direttamente datetime.date anziché creare datetime64 come dati intermedi.
    • Correzione di un bug che interessa il server JDBC/ODBC.
    • Correzione di un bug che interessa PySpark.
    • Escludere i file nascosti durante la compilazione di HadoopRDD.
    • Correzione di un bug in Delta che causava problemi di serializzazione.
  • 12 febbraio 2019
    • È stato risolto un problema che interessava l'uso di Delta con i punti di montaggio di Azure ADLS Gen2.
    • È stato risolto un problema per cui il protocollo di rete spark di basso livello potrebbe essere interrotto quando si inviano messaggi di errore RPC di grandi dimensioni con la crittografia abilitata (quando spark.network.crypto.enabled è impostato su true).
  • 30 gennaio 2019
    • Corretto lo StackOverflowError quando si inserisce un suggerimento di join asimmetrico in una relazione memorizzata nella cache.
    • Correzione dell'incoerenza tra rdd memorizzato nella cache di una cache SQL e il relativo piano fisico, causando un risultato non corretto.
    • [SPARK-26706][SQL] Correzione illegalNumericPrecedence per ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery non gestisce correttamente i record vuoti.
    • Le origini dati CSV/JSON devono evitare percorsi glob durante l'inferenza dello schema.
    • Inferenza del vincolo fissa nell'operatore Window.
    • È stato risolto un problema che interessava l'installazione delle librerie egg con cluster con ACL di tabella abilitato.

Databricks Runtime 5.1 (EoS)

Si veda Databricks Runtime 5.1 (EoS).

  • 13 agosto 2019
    • L'origine di streaming Delta deve controllare il protocollo più recente di una tabella
    • [SPARK-28489][SS] Correzione di un bug che KafkaOffsetRangeCalculator.getRanges può eliminare gli offset
  • 30 luglio 2019
    • [SPARK-28015][SQL] Check stringToDate() utilizza l'intero input per i formati aaaa e aaaa-[m]m
    • [SPARK-28308][MEMORIA CENTRALE] La parte secondaria calendarInterval deve essere riempita prima dell'analisi
    • [SPARK-27485]EnsureRequirements.reorder deve gestire le espressioni duplicate normalmente
  • 2 luglio 2019
    • Tollerare IOExceptions durante la lettura del file Delta LAST_CHECKPOINT
  • 18 giugno 2019
    • Correzione di un bug che interessava l'uso di funzioni di ordine superiore
    • Correzione di un bug che interessa le query sui metadati Delta
  • 28 maggio 2019
    • Aggiunto il ripristino in caso di installazione non riuscita della libreria
  • 7 maggio 2019
    • Porta HADOOP-15778 (ABFS: Correzione della limitazione lato client per la lettura) nel connettore Azure Data Lake Storage Gen2
    • Porta HADOOP-16040 (ABFS: Correzione di bug per la configurazione tollerabileOobAppends) nel connettore Azure Data Lake Storage Gen2
    • Correzione di una race condition durante il caricamento di un file di checksum del log Delta
    • Correzione della logica di rilevamento dei conflitti Delta per non identificare "insert + overwrite" come operazione "append" pura
    • [SPARK-27494] [SS] Chiavi/valori Null non funzionano nell'origine Kafka v2
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] L' origine dati delle immagini di Spark non funziona quando si incontrano immagini non valide
    • [SPARK-27160] [SQL] Correzione di DecimalType durante la compilazione di filtri orc
    • [SPARK-27338] [MEMORIA CENTRALE] Correzione del deadlock tra UnsafeExternalSorter e TaskMemoryManager
  • 26 marzo 2019
    • Evitare l'incorporamento di offset dipendenti dalla piattaforma letteralmente nel codice generato a fasi intere
    • Corretto un bug che riguardava alcuni PythonUDF.
  • 26 febbraio 2019
    • [SPARK-26864][SQL] La query può restituire risultati non corretti quando la funzione definita dall'utente python viene usata come condizione di join a sinistra.
    • Correzione di un bug che interessa il server JDBC/ODBC.
    • Escludere i file nascosti durante la compilazione di HadoopRDD.
  • 12 febbraio 2019
    • È stato risolto un problema che interessava l'installazione delle librerie egg con cluster con ACL di tabella abilitato.
    • Correzione dell'incoerenza tra rdd memorizzato nella cache di una cache SQL e il relativo piano fisico, causando un risultato non corretto.
    • [SPARK-26706][SQL] Correzione illegalNumericPrecedence per ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery non gestisce correttamente i record vuoti.
    • Inferenza del vincolo fissa nell'operatore Window.
    • È stato risolto un problema per cui il protocollo di rete spark di basso livello potrebbe essere interrotto quando si inviano messaggi di errore RPC di grandi dimensioni con la crittografia abilitata (quando spark.network.crypto.enabled è impostato su true).
  • 30 gennaio 2019
    • Corretto un problema che può causare la risposta errata di df.rdd.count() con UDT in alcuni casi.
    • Corretto un problema che riguardava l'installazione dei carrelli.
    • [SPARK-26267]Riprovare quando si rilevano offset non corretti da Kafka.
    • Correzione di un bug che interessa più origini di flusso di file in una query di streaming.
    • Corretto lo StackOverflowError quando si inserisce un suggerimento di join asimmetrico in una relazione memorizzata nella cache.
    • Correzione dell'incoerenza tra rdd memorizzato nella cache di una cache SQL e il relativo piano fisico, causando un risultato non corretto.
  • 8 gennaio 2019
    • Correzione del problema che causa l'errore org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]Il riordinamento dei join non deve modificare l'ordine degli attributi di output.
    • [SPARK-26366]ReplaceExceptWithFilter deve considerare NULL come False.
    • Miglioramento della stabilità per Delta Lake.
    • Delta Lake è abilitato.
    • È stato risolto il problema che causava un accesso non riuscito ad Azure Data Lake Storage Gen2 quando quando il pass-through delle credenziali di Microsoft Entra ID è abilitato per Azure Data Lake Storage Gen1.
    • La cache di I/O di Databricks è ora abilitata per i tipi di istanza di lavoro serie Ls per tutti i piani tariffari.

Databricks Runtime 5.0 (EoS)

Si veda Databricks Runtime 5.0 (EoS).

  • 18 giugno 2019
    • Correzione di un bug che interessava l'uso di funzioni di ordine superiore
  • 7 maggio 2019
    • Correzione di una race condition durante il caricamento di un file di checksum del log Delta
    • Correzione della logica di rilevamento dei conflitti Delta per non identificare "insert + overwrite" come operazione "append" pura
    • [SPARK-27494] [SS] Chiavi/valori Null non funzionano nell'origine Kafka v2
    • [SPARK-27454] [SPARK-27454] [ML] [SQL] L' origine dati delle immagini di Spark non funziona quando si incontrano immagini non valide
    • [SPARK-27160] [SQL] Correzione di DecimalType durante la compilazione di filtri orc
      • [SPARK-27338] [MEMORIA CENTRALE] Correzione del deadlock tra UnsafeExternalSorter e TaskMemoryManager
  • 26 marzo 2019
    • Evitare l'incorporamento di offset dipendenti dalla piattaforma letteralmente nel codice generato a fasi intere
    • Corretto un bug che riguardava alcuni PythonUDF.
  • 12 marzo 2019
    • [SPARK-26864][SQL] La query può restituire risultati non corretti quando la funzione definita dall'utente python viene usata come condizione di join a sinistra.
  • 26 febbraio 2019
    • Correzione di un bug che interessa il server JDBC/ODBC.
    • Escludere i file nascosti durante la compilazione di HadoopRDD.
  • 12 febbraio 2019
    • Correzione dell'incoerenza tra rdd memorizzato nella cache di una cache SQL e il relativo piano fisico, causando un risultato non corretto.
    • [SPARK-26706][SQL] Correzione illegalNumericPrecedence per ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery non gestisce correttamente i record vuoti.
    • Inferenza del vincolo fissa nell'operatore Window.
    • È stato risolto un problema per cui il protocollo di rete spark di basso livello potrebbe essere interrotto quando si inviano messaggi di errore RPC di grandi dimensioni con la crittografia abilitata (quando spark.network.crypto.enabled è impostato su true).
  • 30 gennaio 2019
    • Corretto un problema che può causare la risposta errata di df.rdd.count() con UDT in alcuni casi.
    • [SPARK-26267]Riprovare quando si rilevano offset non corretti da Kafka.
    • Correzione di un bug che interessa più origini di flusso di file in una query di streaming.
    • Corretto lo StackOverflowError quando si inserisce un suggerimento di join asimmetrico in una relazione memorizzata nella cache.
    • Correzione dell'incoerenza tra rdd memorizzato nella cache di una cache SQL e il relativo piano fisico, causando un risultato non corretto.
  • 8 gennaio 2019
    • È stato risolto un problema che causava l'errore org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]Il riordinamento dei join non deve modificare l'ordine degli attributi di output.
    • [SPARK-26366]ReplaceExceptWithFilter deve considerare NULL come False.
    • Miglioramento della stabilità per Delta Lake.
    • Delta Lake è abilitato.
    • La cache di I/O di Databricks è ora abilitata per i tipi di istanza di lavoro serie Ls per tutti i piani tariffari.
  • 18 dicembre 2018
    • [SPARK-26293]Eseguire il cast dell'eccezione quando si ha una funzione definita dall'utente Python nella sottoquery
    • È stato risolto un problema che interessava determinate query usando join e limite.
    • Credenziali elaborate dai nomi RDD nell'interfaccia utente di Spark
  • 6 dicembre 2018
    • È stato risolto un problema che causava risultati di query non corretti quando si usa orderBy seguito immediatamente da groupBy con chiave group-by come parte iniziale della chiave di ordinamento.
    • Aggiornamento del connettore Snowflake per Spark dalla versione 2.4.9.2-spark_2.4_pre_release alla versione 2.4.10.
    • Ignorare solo i file danneggiati dopo uno o più tentativi quando sono abilitati i flag spark.sql.files.ignoreCorruptFiles o spark.sql.files.ignoreMissingFiles.
    • È stato risolto un problema che interessava determinate query di unione automatica.
    • Correzione di un bug con il server thrift in cui le sessioni vengono talvolta perse quando vengono annullate.
    • [SPARK-26307]Correzione di CTAS durante l' inserimento di una tabella partizionata utilizzando Hive SerDe.
    • [SPARK-26147]Le funzioni definite dall'utente Python nella condizione di join non funzionano anche quando si usano colonne da un solo lato di join
    • [SPARK-26211]Correggere InSet per binari, strutture e matrici con valori null.
    • [SPARK-26181]il metodo hasMinMaxStats di ColumnStatsMap non è corretto.
    • Correzione di un problema che interessa l'installazione di Python Wheels in ambienti senza accesso a Internet.
  • 20 novembre 2018
    • È stato risolto un problema che causava un notebook non utilizzabile dopo l'annullamento di una query di streaming.
    • È stato risolto un problema che interessava determinate query usando funzioni finestra.
    • È stato risolto un problema che interessava un flusso da Delta con più modifiche dello schema.
    • È stato risolto un problema che riguardava alcune query di aggregazione con semi/anti join a sinistra.

Databricks Runtime 4.3 (EoS)

Si veda Databricks Runtime 4.3 (EoS).

  • 9 aprile 2019

    • [SPARK-26665][MEMORIA CENTRALE] Correzione di un bug che può causare il blocco permanente di BlockTransferService.fetchBlockSync.
    • [SPARK-24669][SQL] Invalidare le tabelle nel caso di DROP DATABASE CASCADE.

  • 12 marzo 2019

    • È stato corretto un bug che interessa la generazione del codice.
    • Correzione di un bug che interessa Delta.

  • 26 febbraio 2019

    • Correzione di un bug che interessa il server JDBC/ODBC.

  • 12 febbraio 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery non gestisce correttamente i record vuoti.
    • Esclusione dei file nascosti durante la compilazione di HadoopRDD.
    • Correzione della conversione del filtro Parquet per il predicato IN quando il relativo valore è vuoto.
    • È stato risolto un problema per cui il protocollo di rete spark di basso livello potrebbe essere interrotto quando si inviano messaggi di errore RPC di grandi dimensioni con la crittografia abilitata (quando spark.network.crypto.enabled è impostato su true).

  • 30 gennaio 2019

    • Corretto un problema che può causare la risposta errata di df.rdd.count() con UDT in alcuni casi.
    • Correzione dell'incoerenza tra rdd memorizzato nella cache di una cache SQL e il relativo piano fisico, causando un risultato non corretto.

  • 8 gennaio 2019

    • Correzione del problema che causa l'errore org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Credenziali elaborate dai nomi RDD nell'interfaccia utente di Spark
    • [SPARK-26352]Il riordinamento dei join non deve modificare l'ordine degli attributi di output.
    • [SPARK-26366]ReplaceExceptWithFilter deve considerare NULL come False.
    • Delta Lake è abilitato.
    • La cache di I/O di Databricks è ora abilitata per i tipi di istanza di lavoro serie Ls per tutti i piani tariffari.

  • 18 dicembre 2018

    • [SPARK-25002]Avro: rivedere lo spazio dei nomi dei record di output.
    • È stato risolto un problema che interessava determinate query usando join e limite.
    • [SPARK-26307]Correzione di CTAS durante l' inserimento di una tabella partizionata utilizzando Hive SerDe.
    • Ignorare solo i file danneggiati dopo uno o più tentativi quando sono abilitati i flag spark.sql.files.ignoreCorruptFiles o spark.sql.files.ignoreMissingFiles.
    • [SPARK-26181]il metodo hasMinMaxStats di ColumnStatsMap non è corretto.
    • Correzione di un problema che interessa l'installazione di Python Wheels in ambienti senza accesso a Internet.
    • È stato risolto un problema di prestazioni nell'analizzatore di query.
    • È stato risolto un problema in PySpark che causava un errore di dataframe con errore "connessione rifiutata".
    • È stato risolto un problema che interessava determinate query di unione automatica.

  • 20 novembre 2018

    • [SPARK-17916][SPARK-25241]Correzione della stringa vuota analizzata come null quando è impostato nullValue.
    • [SPARK-25387]Correzione per NPE causata da un input CSV non valido.
    • È stato risolto un problema che riguardava alcune query di aggregazione con semi/anti join a sinistra.

  • 6 novembre 2018

    • [SPARK-25741]Il rendering degli URL lunghi non viene eseguito correttamente nell'interfaccia utente del web.
    • [SPARK-25714]Correzione della gestione dei valori null nella regola di ottimizzazione BooleanSimplification.
    • È stato risolto un problema che interessava la pulizia degli oggetti temporanei nel connettore Synapse Analytics.
    • [SPARK-25816]Correzione della risoluzione degli attributi negli estrattori annidati.

  • 16 ottobre 2018

    • Correzione di un bug che interessa l'output dell'esecuzione SHOW CREATE TABLE nelle tabelle Delta.
    • Correzione di un bug che influisce sull'operazione Union.

  • 25 settembre 2018

    • [SPARK-25368][SQL] L'inferenza del vincolo non corretta restituisce un risultato errato.
    • [SPARK-25402][SQL] Gestione dei valori Null in BooleanSimplification.
    • Correzione di NotSerializableException nell'origine dati Avro.

  • 11 settembre 2018

    • [SPARK-25214][SS] Risolvere il problema per cui l'origine Kafka v2 può restituire record duplicati quando failOnDataLoss=false.
    • [SPARK-24987][SS] Correzione della perdita di consumer Kafka quando non sono presenti nuovi offset per articlePartition.
    • La riduzione del filtro deve gestire correttamente il valore Null.
    • Maggiore stabilità del motore di esecuzione.

  • 28 agosto 2018

    • Correzione di un bug nel comando Delta Lake Delete che eliminerebbe erroneamente le righe in cui la condizione restituisce Null.
    • [SPARK-25142]Aggiungere messaggi di errore quando il ruolo di lavoro Python non è riuscito ad aprire socket in _load_from_socket.

  • 23 agosto 2018

    • [SPARK-23935]mapEntry genera org.codehaus.commons.compiler.CompileException.
    • Correzione del problema relativo alla mappa nullable nel lettore Parquet.
    • [SPARK-25051][SQL] FixNullability non deve essere arrestato in AnalysisBarrier.
    • [SPARK-25081]Correzione di un bug per cui ShuffleExternalSorter può accedere a una pagina di memoria rilasciata quando la perdita di memoria non riesce ad allocare memoria.
    • Correzione di un'interazione tra Databricks Delta e Pyspark che potrebbe causare errori di lettura temporanei.
    • [SPARK-25084]"distribute by" su più colonne (eseguire il wrapping tra parentesi quadre) può causare un problema di codegen.
    • [SPARK-25096]Elimina la nullità se il cast è forzatamente nullable.
    • Abbassato il numero predefinito di thread usati dal comando Delta Lake Optimize, riducendo il sovraccarico di memoria e eseguendo il commit dei dati più velocemente.
    • [SPARK-25114]Correzione di RecordBinaryComparator quando la sottrazione tra due parole è divisibile per Integer.MAX_VALUE.
    • Correzione della ridistribuzione del gestore dei segreti quando il comando ha esito parzialmente positivo.

Databricks Runtime 4.2 (EoS)

Si veda Databricks Runtime 4.2 (EoS).

  • 26 febbraio 2019

    • Correzione di un bug che interessa il server JDBC/ODBC.

  • 12 febbraio 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery non gestisce correttamente i record vuoti.
    • Esclusione dei file nascosti durante la compilazione di HadoopRDD.
    • Correzione della conversione del filtro Parquet per il predicato IN quando il relativo valore è vuoto.
    • È stato risolto un problema per cui il protocollo di rete spark di basso livello potrebbe essere interrotto quando si inviano messaggi di errore RPC di grandi dimensioni con la crittografia abilitata (quando spark.network.crypto.enabled è impostato su true).

  • 30 gennaio 2019

    • Corretto un problema che può causare la risposta errata di df.rdd.count() con UDT in alcuni casi.

  • 8 gennaio 2019

    • Correzione del problema che causa l'errore org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Credenziali elaborate dai nomi RDD nell'interfaccia utente di Spark
    • [SPARK-26352]Il riordinamento dei join non deve modificare l'ordine degli attributi di output.
    • [SPARK-26366]ReplaceExceptWithFilter deve considerare NULL come False.
    • Delta Lake è abilitato.
    • La cache di I/O di Databricks è ora abilitata per i tipi di istanza di lavoro serie Ls per tutti i piani tariffari.

  • 18 dicembre 2018

    • [SPARK-25002]Avro: rivedere lo spazio dei nomi dei record di output.
    • È stato risolto un problema che interessava determinate query usando join e limite.
    • [SPARK-26307]Correzione di CTAS durante l' inserimento di una tabella partizionata utilizzando Hive SerDe.
    • Ignorare solo i file danneggiati dopo uno o più tentativi quando sono abilitati i flag spark.sql.files.ignoreCorruptFiles o spark.sql.files.ignoreMissingFiles.
    • [SPARK-26181]il metodo hasMinMaxStats di ColumnStatsMap non è corretto.
    • Correzione di un problema che interessa l'installazione di Python Wheels in ambienti senza accesso a Internet.
    • È stato risolto un problema di prestazioni nell'analizzatore di query.
    • È stato risolto un problema in PySpark che causava un errore di dataframe con errore "connessione rifiutata".
    • È stato risolto un problema che interessava determinate query di unione automatica.

  • 20 novembre 2018

    • [SPARK-17916][SPARK-25241]Correzione della stringa vuota analizzata come null quando è impostato nullValue.
    • È stato risolto un problema che riguardava alcune query di aggregazione con semi/anti join a sinistra.

  • 6 novembre 2018

    • [SPARK-25741]Il rendering degli URL lunghi non viene eseguito correttamente nell'interfaccia utente del web.
    • [SPARK-25714]Correzione della gestione dei valori null nella regola di ottimizzazione BooleanSimplification.

  • 16 ottobre 2018

    • Correzione di un bug che interessa l'output dell'esecuzione SHOW CREATE TABLE nelle tabelle Delta.
    • Correzione di un bug che influisce sull'operazione Union.

  • 25 settembre 2018

    • [SPARK-25368][SQL] L'inferenza del vincolo non corretta restituisce un risultato errato.
    • [SPARK-25402][SQL] Gestione dei valori Null in BooleanSimplification.
    • Correzione di NotSerializableException nell'origine dati Avro.

  • 11 settembre 2018

    • [SPARK-25214][SS] Risolvere il problema per cui l'origine Kafka v2 può restituire record duplicati quando failOnDataLoss=false.
    • [SPARK-24987][SS] Correzione della perdita di consumer Kafka quando non sono presenti nuovi offset per articlePartition.
    • La riduzione del filtro deve gestire correttamente il valore Null.

  • 28 agosto 2018

    • Correzione di un bug nel comando Delta Lake Delete che eliminerebbe erroneamente le righe in cui la condizione restituisce Null.

  • 23 agosto 2018

    • Correzione di NoClassDefError per snapshot Delta
    • [SPARK-23935]mapEntry genera org.codehaus.commons.compiler.CompileException.
    • [SPARK-24957][SQL] La media con decimale seguita dall'aggregazione restituisce un risultato errato. È possibile pertanto che vengano restituiti risultati non corretti. Il CAST aggiunto nell'operatore Average sarà bypassato se il risultato di Divide è dello stesso tipo a cui viene eseguito il cast.
    • [SPARK-25081]Correzione di un bug per cui ShuffleExternalSorter può accedere a una pagina di memoria rilasciata quando la perdita di memoria non riesce ad allocare memoria.
    • Correzione di un'interazione tra Databricks Delta e Pyspark che potrebbe causare errori di lettura temporanei.
    • [SPARK-25114]Correzione di RecordBinaryComparator quando la sottrazione tra due parole è divisibile per Integer.MAX_VALUE.
    • [SPARK-25084]"distribute by" su più colonne (eseguire il wrapping tra parentesi quadre) può causare un problema di codegen.
    • [SPARK-24934][SQL] Consenti in modo esplicito i tipi supportati in limiti superiori/inferiori per l'eliminazione delle partizioni in memoria. Quando i tipi di dati complessi vengono usati nei filtri di query sui dati memorizzati nella cache, Spark restituisce sempre un set di risultati vuoto. L'eliminazione basata sulle statistiche in memoria genera risultati non corretti, perché null è impostato per i limiti superiori/inferiori per i tipi complessi. La correzione consiste nel non usare l'eliminazione basata su statistiche in memoria per i tipi complessi.
    • Correzione della ridistribuzione del gestore dei segreti quando il comando ha esito parzialmente positivo.
    • Correzione del problema relativo alla mappa nullable nel lettore Parquet.

  • 2 agosto 2018

    • Aggiunta dell'API writeStream.table in Python.
    • È stato risolto un problema che interessava il checkpoint Delta.
    • [SPARK-24867][SQL] Aggiungere AnalysisBarrier a DataFrameWriter. La cache SQL non viene usata quando si usa DataFrameWriter per scrivere un dataframe con funzione definita dall'utente. Si tratta di una regressione causata dalle modifiche apportate in AnalysisBarrier, perché non tutte le regole dell'analizzatore sono idempotenti.
    • È stato risolto un problema che poteva causare la generazione di risultati non corretti da parte del comando mergeInto.
    • Maggiore stabilità per l'accesso ad Azure Data Lake Storage Gen1.
    • [SPARK-24809]La serializzazione di LongHashedRelation nell'executor può causare un errore di dati.
    • [SPARK-24878][SQL] Correzione della funzione di inversione per il tipo di matrice di un tipo primitivo contenente null.

  • 11 luglio 2018

    • È stato corretto un bug nell'esecuzione delle query che in alcuni casi causava aggregazioni su colonne decimali con precisioni diverse e restituiva risultati errati.
    • Correzione di un bug NullPointerException generato durante operazioni di aggregazione avanzate come i set di raggruppamento.

Databricks Runtime 4.1 ML (EoS)

Si veda Databricks Runtime 4.1 ML (EoS).

  • 31 luglio 2018
    • Aggiunta di Azure Synapse Analytics a ML Runtime 4.1
    • È stato risolto un bug che poteva causare risultati di query errati quando il nome di una colonna di partizione usato in un predicato era diverso dal caso di quella colonna nello schema della tabella.
    • È stato corretto un bug che riguardava il motore di esecuzione di Spark SQL.
    • È stato corretto un bug che interessa la generazione del codice.
    • È stato corretto un bug (java.lang.NoClassDefFoundError) che interessa Delta Lake.
    • Miglioramento della gestione degli errori in Delta Lake.
    • È stato corretto un bug che causava la raccolta di statistiche non corrette per le colonne stringa di 32 caratteri o superiori.

Databricks Runtime 4.1 (EoS)

Si veda Databricks Runtime 4.1 (EoS).

  • 8 gennaio 2019

    • [SPARK-26366]ReplaceExceptWithFilter deve considerare NULL come False.
    • Delta Lake è abilitato.

  • 18 dicembre 2018

    • [SPARK-25002]Avro: rivedere lo spazio dei nomi dei record di output.
    • È stato risolto un problema che interessava determinate query usando join e limite.
    • [SPARK-26307]Correzione di CTAS durante l' inserimento di una tabella partizionata utilizzando Hive SerDe.
    • Ignorare solo i file danneggiati dopo uno o più tentativi quando sono abilitati i flag spark.sql.files.ignoreCorruptFiles o spark.sql.files.ignoreMissingFiles.
    • Correzione di un problema che interessa l'installazione di Python Wheels in ambienti senza accesso a Internet.
    • È stato risolto un problema in PySpark che causava un errore di dataframe con errore "connessione rifiutata".
    • È stato risolto un problema che interessava determinate query di unione automatica.

  • 20 novembre 2018

    • [SPARK-17916][SPARK-25241]Correzione della stringa vuota analizzata come null quando è impostato nullValue.
    • È stato risolto un problema che riguardava alcune query di aggregazione con semi/anti join a sinistra.

  • 6 novembre 2018

    • [SPARK-25741]Il rendering degli URL lunghi non viene eseguito correttamente nell'interfaccia utente del web.
    • [SPARK-25714]Correzione della gestione dei valori null nella regola di ottimizzazione BooleanSimplification.

  • 16 ottobre 2018

    • Correzione di un bug che interessa l'output dell'esecuzione SHOW CREATE TABLE nelle tabelle Delta.
    • Correzione di un bug che influisce sull'operazione Union.

  • 25 settembre 2018

    • [SPARK-25368][SQL] L'inferenza del vincolo non corretta restituisce un risultato errato.
    • [SPARK-25402][SQL] Gestione dei valori Null in BooleanSimplification.
    • Correzione di NotSerializableException nell'origine dati Avro.

  • 11 settembre 2018

    • [SPARK-25214][SS] Risolvere il problema per cui l'origine Kafka v2 può restituire record duplicati quando failOnDataLoss=false.
    • [SPARK-24987][SS] Correzione della perdita di consumer Kafka quando non sono presenti nuovi offset per articlePartition.
    • La riduzione del filtro deve gestire correttamente il valore Null.

  • 28 agosto 2018

    • Correzione di un bug nel comando Delta Lake Delete che eliminerebbe erroneamente le righe in cui la condizione restituisce Null.
    • [SPARK-25084]"distribute by" su più colonne (eseguire il wrapping tra parentesi quadre) può causare un problema di codegen.
    • [SPARK-25114]Correzione di RecordBinaryComparator quando la sottrazione tra due parole è divisibile per Integer.MAX_VALUE.

  • 23 agosto 2018

    • Correzione di NoClassDefError per snapshot Delta.
    • [SPARK-24957][SQL] La media con decimale seguita dall'aggregazione restituisce un risultato errato. È possibile pertanto che vengano restituiti risultati non corretti. Il CAST aggiunto nell'operatore Average sarà bypassato se il risultato di Divide è dello stesso tipo a cui viene eseguito il cast.
    • Correzione del problema relativo alla mappa nullable nel lettore Parquet.
    • [SPARK-24934][SQL] Consenti in modo esplicito i tipi supportati in limiti superiori/inferiori per l'eliminazione delle partizioni in memoria. Quando i tipi di dati complessi vengono usati nei filtri di query sui dati memorizzati nella cache, Spark restituisce sempre un set di risultati vuoto. L'eliminazione basata sulle statistiche in memoria genera risultati non corretti, perché null è impostato per i limiti superiori/inferiori per i tipi complessi. La correzione consiste nel non usare l'eliminazione basata su statistiche in memoria per i tipi complessi.
    • [SPARK-25081]Correzione di un bug per cui ShuffleExternalSorter può accedere a una pagina di memoria rilasciata quando la perdita di memoria non riesce ad allocare memoria.
    • Correzione di un'interazione tra Databricks Delta e Pyspark che potrebbe causare errori di lettura temporanei.
    • Correzione dell'annullamento del gestore dei segreti quando il comando ha esito parzialmente positivo

  • 2 agosto 2018

    • [SPARK-24613][SQL] La cache con UDF non poteva essere associata alle cache dipendenti successive. Esegue il wrapping del piano logico con analysisBarrier per la compilazione del piano di esecuzione in CacheManager, onde evitare che il piano venga analizzato di nuovo. Si tratta anche di una regressione di Spark 2.3.
    • Correzione di un problema del connettore Synapse Analytics che interessa la conversione del fuso orario per la scrittura di dati DateType.
    • È stato risolto un problema che interessava il checkpoint Delta.
    • È stato risolto un problema che poteva causare la generazione di risultati non corretti da parte del comando mergeInto.
    • [SPARK-24867][SQL] Aggiungere AnalysisBarrier a DataFrameWriter. La cache SQL non viene usata quando si usa DataFrameWriter per scrivere un dataframe con funzione definita dall'utente. Si tratta di una regressione causata dalle modifiche apportate in AnalysisBarrier, perché non tutte le regole dell'analizzatore sono idempotenti.
    • [SPARK-24809]La serializzazione di LongHashedRelation nell'executor può causare un errore di dati.

  • 11 luglio 2018

    • È stato corretto un bug nell'esecuzione delle query che in alcuni casi causava aggregazioni su colonne decimali con precisioni diverse e restituiva risultati errati.
    • Correzione di un bug NullPointerException generato durante operazioni di aggregazione avanzate come i set di raggruppamento.

  • 28 giugno 2018

    • È stato risolto un bug che poteva causare risultati di query errati quando il nome di una colonna di partizione usato in un predicato era diverso dal caso di quella colonna nello schema della tabella.

  • 7 giugno 2018

    • È stato corretto un bug che riguardava il motore di esecuzione di Spark SQL.
    • È stato corretto un bug che interessa la generazione del codice.
    • È stato corretto un bug (java.lang.NoClassDefFoundError) che interessa Delta Lake.
    • Miglioramento della gestione degli errori in Delta Lake.

  • 17 maggio 2018

    • È stato corretto un bug che causava la raccolta di statistiche non corrette per le colonne stringa di 32 caratteri o superiori.

Databricks Runtime 4.0 (EoS)

Si veda Databricks Runtime 4.0 (EoS).

  • 6 novembre 2018

    • [SPARK-25714]Correzione della gestione dei valori null nella regola di ottimizzazione BooleanSimplification.

  • 16 ottobre 2018

    • Correzione di un bug che influisce sull'operazione Union.

  • 25 settembre 2018

    • [SPARK-25368][SQL] L'inferenza del vincolo non corretta restituisce un risultato errato.
    • [SPARK-25402][SQL] Gestione dei valori Null in BooleanSimplification.
    • Correzione di NotSerializableException nell'origine dati Avro.

  • 11 settembre 2018

    • La riduzione del filtro deve gestire correttamente il valore Null.

  • 28 agosto 2018

    • Correzione di un bug nel comando Delta Lake Delete che eliminerebbe erroneamente le righe in cui la condizione restituisce Null.

  • 23 agosto 2018

    • Correzione del problema relativo alla mappa nullable nel lettore Parquet.
    • Correzione dell'annullamento del gestore dei segreti quando il comando ha esito parzialmente positivo
    • Correzione di un'interazione tra Databricks Delta e Pyspark che potrebbe causare errori di lettura temporanei.
    • [SPARK-25081]Correzione di un bug per cui ShuffleExternalSorter può accedere a una pagina di memoria rilasciata quando la perdita di memoria non riesce ad allocare memoria.
    • [SPARK-25114]Correzione di RecordBinaryComparator quando la sottrazione tra due parole è divisibile per Integer.MAX_VALUE.

  • 2 agosto 2018

    • [SPARK-24452]Evitare un possibile overflow in int add o multiple.
    • [SPARK-24588]Il join di streaming deve richiedere hashClusteredPartitioning dagli elementi figlio.
    • È stato risolto un problema che poteva causare la generazione di risultati non corretti da parte del comando mergeInto.
    • [SPARK-24867][SQL] Aggiungere AnalysisBarrier a DataFrameWriter. La cache SQL non viene usata quando si usa DataFrameWriter per scrivere un dataframe con funzione definita dall'utente. Si tratta di una regressione causata dalle modifiche apportate in AnalysisBarrier, perché non tutte le regole dell'analizzatore sono idempotenti.
    • [SPARK-24809]La serializzazione di LongHashedRelation nell'executor può causare un errore di dati.

  • 28 giugno 2018

    • È stato risolto un bug che poteva causare risultati di query errati quando il nome di una colonna di partizione usato in un predicato era diverso dal caso di quella colonna nello schema della tabella.

  • 7 giugno 2018

    • È stato corretto un bug che riguardava il motore di esecuzione di Spark SQL.
    • Miglioramento della gestione degli errori in Delta Lake.

  • 17 maggio 2018

    • Correzioni di bug per la gestione dei segreti di Databricks.
    • Maggiore stabilità durante la lettura dei dati archiviati in Azure Data Lake Store.
    • Correzione di un bug che interessa la memorizzazione nella cache RDD.
    • Correzione di un bug che influisce su Null-safe Equal in Spark SQL.

  • 24 aprile 2018

    • Aggiornamento di Azure Data Lake Store SDK dalla versione 2.0.11 alla versione 2.2.8 per migliorare la stabilità dell'accesso ad Azure Data Lake Store.
    • Correzione di un bug che interessa l'inserimento di sovrascritture nelle tabelle Hive partizionate quando spark.databricks.io.hive.fastwriter.enabled è false.
    • È stato risolto un problema che non consentiva la serializzazione delle attività.
    • Miglioramento della stabilità di Delta Lake.

  • 14 marzo 2018

    • Impedire gli aggiornamenti dei metadati non necessari durante la scrittura in Delta Lake.
    • È stato risolto un problema causato da una race condition che, in rare circostanze, poteva portare alla perdita di alcuni file di output.

Databricks Runtime 3.5 LTS (EoS)

Si veda Databricks Runtime 3.5 LTS (EoS).

  • 7 novembre 2019

    • [SPARK-29743][SQL] L'esempio deve impostare needCopyResult su true se needCopyResult del figlio è true

  • 8 ottobre 2019

    • Modifiche lato server per consentire a Simba Apache Spark ODBC driver di riconnettersi e continuare dopo un errore di connessione durante il recupero dei risultati (richiede Simba Apache Spark ODBC aggiornato alla versione 2.6.10).

  • 10 settembre 2019

    • [SPARK-28699][SQL] Disabilitare l'uso dell'ordinamento radix per ShuffleExchangeExec nel caso di ripartizione

  • 9 aprile 2019

    • [SPARK-26665][MEMORIA CENTRALE] Correzione di un bug che può causare il blocco permanente di BlockTransferService.fetchBlockSync.

  • 12 febbraio 2019

    • È stato risolto un problema per cui il protocollo di rete spark di basso livello potrebbe essere interrotto quando si inviano messaggi di errore RPC di grandi dimensioni con la crittografia abilitata (quando spark.network.crypto.enabled è impostato su true).

  • 30 gennaio 2019

    • Corretto un problema che può causare la risposta errata di df.rdd.count() con UDT in alcuni casi.

  • 18 dicembre 2018

    • Ignorare solo i file danneggiati dopo uno o più tentativi quando sono abilitati i flag spark.sql.files.ignoreCorruptFiles o spark.sql.files.ignoreMissingFiles.
    • È stato risolto un problema che interessava determinate query di unione automatica.

  • 20 novembre 2018

    • [SPARK-25816]Correzione della risoluzione degli attributi negli estrattori annidati.

  • 6 novembre 2018

    • [SPARK-25714]Correzione della gestione dei valori null nella regola di ottimizzazione BooleanSimplification.

  • 16 ottobre 2018

    • Correzione di un bug che influisce sull'operazione Union.

  • 25 settembre 2018

    • [SPARK-25402][SQL] Gestione dei valori Null in BooleanSimplification.
    • Correzione di NotSerializableException nell'origine dati Avro.

  • 11 settembre 2018

    • La riduzione del filtro deve gestire correttamente il valore Null.

  • 28 agosto 2018

    • Correzione di un bug nel comando Delta Lake Delete che eliminerebbe erroneamente le righe in cui la condizione restituisce Null.
    • [SPARK-25114]Correzione di RecordBinaryComparator quando la sottrazione tra due parole è divisibile per Integer.MAX_VALUE.

  • 23 agosto 2018

    • [SPARK-24809]La serializzazione di LongHashedRelation nell'executor può causare un errore di dati.
    • Correzione del problema relativo alla mappa nullable nel lettore Parquet.
    • [SPARK-25081]Correzione di un bug per cui ShuffleExternalSorter può accedere a una pagina di memoria rilasciata quando la perdita di memoria non riesce ad allocare memoria.
    • Correzione di un'interazione tra Databricks Delta e Pyspark che potrebbe causare errori di lettura temporanei.

  • 28 giugno 2018

    • È stato risolto un bug che poteva causare risultati di query errati quando il nome di una colonna di partizione usato in un predicato era diverso dal caso di quella colonna nello schema della tabella.

  • 28 giugno 2018

    • È stato risolto un bug che poteva causare risultati di query errati quando il nome di una colonna di partizione usato in un predicato era diverso dal caso di quella colonna nello schema della tabella.

  • 7 giugno 2018

    • È stato corretto un bug che riguardava il motore di esecuzione di Spark SQL.
    • Miglioramento della gestione degli errori in Delta Lake.

  • 17 maggio 2018

    • Maggiore stabilità durante la lettura dei dati archiviati in Azure Data Lake Store.
    • Correzione di un bug che interessa la memorizzazione nella cache RDD.
    • Correzione di un bug che influisce su Null-safe Equal in Spark SQL.
    • Correzione di un bug che interessava alcune aggregazioni nelle query di streaming.

  • 24 aprile 2018

    • Aggiornamento di Azure Data Lake Store SDK dalla versione 2.0.11 alla versione 2.2.8 per migliorare la stabilità dell'accesso ad Azure Data Lake Store.
    • Correzione di un bug che interessa l'inserimento di sovrascritture nelle tabelle Hive partizionate quando spark.databricks.io.hive.fastwriter.enabled è false.
    • È stato risolto un problema che non consentiva la serializzazione delle attività.

  • 09 marzo 2018

    • È stato risolto un problema causato da una race condition che, in rare circostanze, poteva portare alla perdita di alcuni file di output.

  • 01 marzo 2018

    • Miglioramento dell'efficienza nella gestione dei flussi che possono richiedere molto tempo per essere interrotti.
    • Correzione di un problema che interessa il completamento automatico di Python.
    • Patch di sicurezza Ubuntu applicate.
    • È stato risolto un problema che riguardava alcune query che utilizzavano le UDF di Python e le funzioni finestra.
    • È stato corretto un problema che riguardava l'uso delle UDF in un cluster con il controllo dell'accesso alle tabelle abilitato.

  • 29 gennaio 2018

    • Correzione di un problema che interessa la manipolazione delle tabelle archiviate nell'archivio BLOB di Azure.
    • È stata corretta l'aggregazione dopo dropDuplicates su DataFrame vuoto.

Databricks Runtime 3.4 (EoS)

Si veda Databricks Runtime 3.4 (EoS).

  • 7 giugno 2018

    • È stato corretto un bug che riguardava il motore di esecuzione di Spark SQL.
    • Miglioramento della gestione degli errori in Delta Lake.

  • 17 maggio 2018

    • Maggiore stabilità durante la lettura dei dati archiviati in Azure Data Lake Store.
    • Correzione di un bug che interessa la memorizzazione nella cache RDD.
    • Correzione di un bug che influisce su Null-safe Equal in Spark SQL.

  • 24 aprile 2018

    • Correzione di un bug che interessa l'inserimento di sovrascritture nelle tabelle Hive partizionate quando spark.databricks.io.hive.fastwriter.enabled è false.

  • 09 marzo 2018

    • È stato risolto un problema causato da una race condition che, in rare circostanze, poteva portare alla perdita di alcuni file di output.

  • 13 dicembre 2017

    • È stato risolto un problema che interessava le funzioni definite dall'utente in Scala.
    • È stato risolto un problema che interessa l'uso dell'indice di skipping dei dati nelle tabelle dell'origine dati archiviate in percorsi non DBFS.

  • 7 dicembre 2017

    • Miglioramento della stabilità casuale.

Versioni non supportate di Databricks Runtime

Per le note di rilascio originali, seguire il collegamento sotto il titolo.