Delen via

Onderhoudsupdates voor Databricks Runtime

  • Artikel

Dit artikel bevat onderhoudsupdates voor ondersteunde Versies van Databricks Runtime. Als u een onderhoudsupdate wilt toevoegen aan een bestaand cluster, start u het cluster opnieuw op. Zie Onderhoudsupdates voor Databricks Runtime (gearchiveerd) voor de onderhoudsupdates voor niet-ondersteunde Databricks Runtime-versies.

Notitie

Releases worden gefaseerd. Uw Azure Databricks-account wordt mogelijk enkele dagen na de eerste releasedatum niet bijgewerkt.

Databricks Runtime-releases

Onderhoudsupdates per release:

Databricks Runtime 15.4

Zie Databricks Runtime 15.4 LTS.

  • 22 oktober 2024
    • [SPARK-49782][SQL] De regel ResolveDataFrameDropColumns lost UnresolvedAttribute op met onderliggende uitvoer
    • [SPARK-49867][SQL] Het foutbericht verbeteren wanneer de index buiten de grenzen valt bij het aanroepen van GetColumnByOrdinal
    • [SPARK-49863][SQL] NormalizeFloatingNumbers herstellen om de null-baarheid van geneste structs te behouden
    • [SPARK-49829] Wijzig de optimalisatie bij het toevoegen van invoer aan het statusarchief in stream-stream join (correctie)
    • [SPARK-49905] Toegewezen ShuffleOrigin gebruiken voor stateful operator om te voorkomen dat de willekeurige volgorde wordt gewijzigd vanuit AQE
    • [SPARK-46632][SQL] Subexpressie-verwijdering corrigeren wanneer equivalente ternaire expressies verschillende onderliggende elementen hebben
    • [SPARK-49443][SQL][PYTHON] To_variant_object expressie implementeren en schema_of_variant expressies object afdrukken voor variantobjecten
    • [SPARK-49615] Bugfix: Zorg ervoor dat de validatie van het ML-kolomschema voldoet aan de spark-configuratie spark.sql.caseSensitive.
  • 10 oktober 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr mag geen schemavelden wijzigen bij het verwijderen van GetArrayStructFields
    • [SPARK-49688][VERBINDING MAKEN] Een gegevensrace tussen onderbreken en uitvoeren van plan herstellen
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Foutklasse classificeren voor Foutklasse FlatMapGroupsWithState-gebruikersfunctie
    • [SPARK-49460][SQL] Opvolgen: potentiële NPE-risico's oplossen
  • 25 september 2024
    • [SPARK-49628][SQL] ConstantFolding moet een stateful expressie kopiëren voordat deze wordt geëvalueerd
    • [SPARK-49000][SQL] Oplossing voor 'select count(distinct 1) from t' waarbij t lege tabel is door RewriteDistinctAggregates uit te vouwen
    • [SPARK-49492][VERBINDING MAKEN] Poging om opnieuw te worden gekoppeld aan inactieve uitvoeringsaanduiding
    • [SPARK-49458][VERBINDING MAKEN][PYTHON] Sessie-id aan serverzijde leveren via ReattachExecute
    • [SPARK-49017][SQL] Instructie invoegen mislukt wanneer meerdere parameters worden gebruikt
    • [SPARK-49451] Dubbele sleutels in parse_json toestaan.
    • Diverse bugfixes.
  • 17 september 2024
    • [SPARK-48463][ML] Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor die geneste invoerkolommen ondersteunen
    • [SPARK-49409][VERBINDING MAKEN] De standaardwaarde van CONNECT_SESSION_PLAN_CACHE_SIZE aanpassen
    • [SPARK-49526][VERBINDING MAKEN][HOTFIX-15.4.2] Ondersteuning voor Paden in Windows-stijl in ArtifactManager
    • Herstel "[SPARK-48482][PYTHON] dropDuplicates and dropDuplicatesWIthinWatermark should accept variable length args"
    • [SPARK-43242][CORE] Fout 'Onverwacht type BlockId' in willekeurige beschadigingsdiagnose opgelost
    • [SPARK-49366][VERBINDING MAKEN] Union-knooppunt behandelen als leaf in de kolomresolutie van het dataframe
    • [SPARK-49018][SQL] Probleem opgelost approx_count_distinct niet correct werkt met sortering
    • [SPARK-49460][SQL] Verwijderen cleanupResource() uit EmptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan null niet correct verwerken
    • [SPARK-49336][VERBINDING MAKEN] Beperk het nestniveau bij het afkappen van een protobuf-bericht
  • 29 augustus 2024

Databricks Runtime 15.3

Zie Databricks Runtime 15.3.

  • 22 oktober 2024
    • [SPARK-49905] Toegewezen ShuffleOrigin gebruiken voor stateful operator om te voorkomen dat de willekeurige volgorde wordt gewijzigd vanuit AQE
    • [SPARK-49867][SQL] Het foutbericht verbeteren wanneer de index buiten de grenzen valt bij het aanroepen van GetColumnByOrdinal
    • [SPARK-48843][15.3,15.2] Oneindige lus voorkomen met BindParameters
    • [SPARK-49829] Wijzig de optimalisatie bij het toevoegen van invoer aan het statusarchief in stream-stream join (correctie)
    • [SPARK-49863][SQL] NormalizeFloatingNumbers herstellen om de null-baarheid van geneste structs te behouden
    • [SPARK-49782][SQL] De regel ResolveDataFrameDropColumns lost UnresolvedAttribute op met onderliggende uitvoer
    • [SPARK-46632][SQL] Subexpressie-verwijdering corrigeren wanneer equivalente ternaire expressies verschillende onderliggende elementen hebben
    • Beveiligingsupdates van het besturingssysteem.
  • 10 oktober 2024
    • [SPARK-49688][VERBINDING MAKEN] Een gegevensrace tussen onderbreken en uitvoeren van plan herstellen
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr mag geen schemavelden wijzigen bij het verwijderen van GetArrayStructFields
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Foutklasse classificeren voor Foutklasse FlatMapGroupsWithState-gebruikersfunctie
    • Beveiligingsupdates van het besturingssysteem.
  • 25 september 2024
    • [SPARK-49492][VERBINDING MAKEN] Poging om opnieuw te worden gekoppeld aan inactieve uitvoeringsaanduiding
    • [SPARK-49628][SQL] ConstantFolding moet een stateful expressie kopiëren voordat deze wordt geëvalueerd
    • [SPARK-49000][SQL] Oplossing voor 'select count(distinct 1) from t' waarbij t lege tabel is door RewriteDistinctAggregates uit te vouwen
    • [SPARK-49458][VERBINDING MAKEN][PYTHON] Sessie-id aan serverzijde leveren via ReattachExecute
    • [SPARK-48719][SQL] Corrigeer de berekeningsfout van RegrSlope & RegrIntercept wanneer de eerste parameter null is
    • Beveiligingsupdates van het besturingssysteem.
  • 17 september 2024
    • [SPARK-49336][VERBINDING MAKEN] Beperk het nestniveau bij het afkappen van een protobuf-bericht
    • [SPARK-49526][VERBINDING MAKEN][15.3.5] Ondersteuning voor Paden in Windows-stijl in ArtifactManager
    • [SPARK-49366][VERBINDING MAKEN] Union-knooppunt behandelen als leaf in de kolomresolutie van het dataframe
    • [SPARK-43242][CORE] Fout 'Onverwacht type BlockId' in willekeurige beschadigingsdiagnose opgelost
    • [SPARK-49409][VERBINDING MAKEN] De standaardwaarde van CONNECT_SESSION_PLAN_CACHE_SIZE aanpassen
    • Beveiligingsupdates van het besturingssysteem.
  • 29 augustus 2024
    • [SPARK-49263][VERBINDING MAKEN] Spark Connect Python-client: Boolean Dataframe Reader-opties consistent verwerken
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan null niet correct verwerken
    • [SPARK-48862][PYTHON][VERBINDING MAKEN] Bel niet _proto_to_string wanneer INFO-niveau niet is ingeschakeld
    • [SPARK-49146][SS] Assertiefouten verplaatsen die zijn gerelateerd aan watermerk die ontbreken in streamingquery's in de toevoegmodus naar het foutenframework
  • 14 augustus 2024
    • [SPARK-48941][SPARK-48970] Backport ML writer/reader fixes
    • [SPARK-48706][PYTHON] Python UDF in hogere volgorde functies mogen geen interne fout veroorzaken
    • [SPARK-48954] try_mod() vervangt try_remainder()
    • [SPARK-48597][SQL] Een markering introduceren voor de eigenschap isStreaming in de tekstweergave van een logisch plan
    • [SPARK-49065][SQL] Herstellen in verouderde formatters/parsers moet niet-JVM-standaardtijdzones ondersteunen
    • [SPARK-49047][PYTHON][VERBINDING MAKEN] Het bericht afkappen voor logboekregistratie
    • [SPARK-48740][SQL] Fout met ontbrekende vensterspecificatie vroegtijdig detecteren
  • 1 augustus 2024
    • [Wijziging die fouten veroorzaakt] In Databricks Runtime 15.3 en hoger roept u een door de gebruiker gedefinieerde Python-functie (UDF), door de gebruiker gedefinieerde statistische functie (UDAF) of door de gebruiker gedefinieerde tabelfunctie (UDTF) aan die een VARIANT type als argument gebruikt of retourwaarde genereert een uitzondering. Deze wijziging wordt aangebracht om problemen te voorkomen die kunnen optreden vanwege een ongeldige waarde die door een van deze functies wordt geretourneerd. Zie VARIANT's gebruiken om semi-gestructureerde gegevens op te slaan voor meer informatie over het VARIANT type.
    • Op serverloze berekeningen voor notebooks en taken is de ANSI SQL-modus standaard ingeschakeld. Zie Ondersteunde Spark-configuratieparameters.
    • Op berekeningen die zijn geconfigureerd met de modus voor gedeelde toegang, hebben Kafka-batchlees- en schrijfbewerkingen nu dezelfde beperkingen afgedwongen als die zijn vastgelegd voor Structured Streaming. Zie streamingbeperkingen en -vereisten voor de gedeelde toegangsmodus van Unity Catalog.
    • De uitvoer van een SHOW CREATE TABLE instructie bevat nu rijfilters of kolommaskers die zijn gedefinieerd in een gerealiseerde weergave of streamingtabel. Zie SHOW CREATE TABLE. Zie Gevoelige tabelgegevens filteren met rijfilters en kolommaskers voor meer informatie over rijfilters en kolommaskers.
    • [SPARK-46957][CORE] Gemigreerde shuffle-bestanden uit bedrijf nemen, moeten kunnen worden opgeschoond vanuit de uitvoerder
    • [SPARK-48648][PYTHON][VERBINDING MAKEN] SparkConnectClient.tags correct threadlocal maken
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Backport spark ML Writer-oplossingen
    • [SPARK-48713][SQL] Indexbereikcontrole toevoegen voor UnsafeRow.pointTo wanneer baseObject bytematrix is
    • [SPARK-48834][SQL] Variantinvoer/uitvoer uitschakelen naar scalaire UDF's, UDDF's, UDAF's tijdens het compileren van query's
    • [SPARK-48934][SS] Python-datum/tijdtypen zijn onjuist geconverteerd voor het instellen van time-outs in applyInPandasWithState
    • [SPARK-48705][PYTHON] Gebruik expliciet worker_main wanneer deze begint met pyspark
    • [SPARK-48544][SQL] Geheugendruk van lege TreeNode BitSets verminderen
    • [SPARK-48889][SS] testStream om statusarchieven te verwijderen voordat u klaar is
    • [SPARK-49054][SQL] De standaardwaarde van de kolom moet ondersteuning bieden voor current_*-functies
    • [SPARK-48653][PYTHON] Ongeldige foutklasseverwijzingen in Python-gegevensbron oplossen
    • [SPARK-48463] StringIndexer maken die geneste invoerkolommen ondersteunt
    • [SPARK-48810][VERBINDING MAKEN] Sessiestop() API moet idempotent zijn en niet mislukken als de sessie al is gesloten door de server
    • [SPARK-48873][SQL] Gebruik UnsafeRow in JSON-parser.
    • Beveiligingsupdates van het besturingssysteem.
  • 11 juli 2024
    • (Gedragswijziging) DataFrames die zijn opgeslagen in de cache voor Delta-tabelbronnen, worden nu ongeldig als de brontabel wordt overschreven. Deze wijziging betekent dat alle statuswijzigingen in Delta-tabellen nu de resultaten in de cache ongeldig maken. Gebruik .checkpoint() dit om een tabelstatus gedurende de levensduur van een DataFrame te behouden.
    • Het JDBC-stuurprogramma van Snowflake wordt bijgewerkt naar versie 3.16.1.
    • Deze release bevat een oplossing voor een probleem waardoor het tabblad Spark UI-omgeving niet correct wordt weergegeven bij het uitvoeren in Databricks Container Services.
    • Als u ongeldige partities wilt negeren bij het lezen van gegevens, op bestanden gebaseerde gegevensbronnen, zoals Parquet, ORC, CSV of JSON, kunt u de optie ignoreInvalidPartitionPaths instellen op waar. Bijvoorbeeld: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. U kunt ook de SQL-configuratie spark.sql.files.ignoreInvalidPartitionPaths gebruiken. De optie voor de gegevensbron heeft echter voorrang op de SQL-configuratie. Deze instelling is standaard onwaar.
    • [SPARK-48100][SQL] Problemen oplossen bij het overslaan van geneste structuurvelden die niet zijn geselecteerd in het schema
    • [SPARK-47463][SQL] V2Predicate gebruiken om expressies te verpakken met het retourtype Booleaanse waarde
    • [SPARK-48292][CORE] Herstellen [SPARK-39195][SQL] Spark OutputCommitCoordinator moet fase afbreken wanneer het vastgelegde bestand niet consistent is met de taakstatus
    • [SPARK-48475][PYTHON] Optimaliseer _get_jvm_function in PySpark.
    • [SPARK-48286] Analyse van kolom met een standaardexpressie oplossen - Gebruikersgerichte fout toevoegen
    • [SPARK-48481][SQL][SS] OptimizeOneRowPlan niet toepassen op streaminggegevensset
    • "[SPARK-47406][SQL] Handle TIMESTAMP and DATETIME in MYSQLDialect"
    • [SPARK-48383][SS] Werp een betere fout op voor niet-overeenkomende partities in de optie startOffset in Kafka
    • [SPARK-48503][14.3-15.3][SQL] Ongeldige scalaire subquery's herstellen met groeperen op niet-equivalente kolommen die onjuist waren toegestaan
    • [SPARK-48445][SQL] Niet inline UDF's met dure kinderen
    • [SPARK-48252][SQL] CommonExpressionRef bijwerken indien nodig
    • [SPARK-48273][master][SQL] Late herschrijven van PlanWithUnresolvedIdentifier herstellen
    • [SPARK-48566][PYTHON] Fout opgelost waarbij partitieindexen onjuist zijn wanneer UDTF analyze() zowel select als partitionColumns gebruikt
    • [SPARK-48556][SQL] Onjuiste foutmelding die verwijst naar UNSUPPORTED_GROUPING_EXPRESSION oplossen
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 15.2

Zie Databricks Runtime 15.2.

  • 22 oktober 2024
    • [SPARK-49905] Toegewezen ShuffleOrigin gebruiken voor stateful operator om te voorkomen dat de willekeurige volgorde wordt gewijzigd vanuit AQE
    • [SPARK-48843][15.3,15.2] Oneindige lus voorkomen met BindParameters
    • [SPARK-49829] Wijzig de optimalisatie bij het toevoegen van invoer aan het statusarchief in stream-stream join (correctie)
    • [SPARK-49863][SQL] NormalizeFloatingNumbers herstellen om de null-baarheid van geneste structs te behouden
    • [SPARK-49782][SQL] De regel ResolveDataFrameDropColumns lost UnresolvedAttribute op met onderliggende uitvoer
    • [SPARK-46632][SQL] Subexpressie-verwijdering corrigeren wanneer equivalente ternaire expressies verschillende onderliggende elementen hebben
    • Beveiligingsupdates van het besturingssysteem.
  • 10 oktober 2024
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Foutklasse classificeren voor Foutklasse FlatMapGroupsWithState-gebruikersfunctie
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr mag geen schemavelden wijzigen bij het verwijderen van GetArrayStructFields
    • [SPARK-49688][VERBINDING MAKEN] Een gegevensrace tussen onderbreken en uitvoeren van plan herstellen
    • Beveiligingsupdates van het besturingssysteem.
  • 25 september 2024
    • [SPARK-49000][SQL] Oplossing voor 'select count(distinct 1) from t' waarbij t lege tabel is door RewriteDistinctAggregates uit te vouwen
    • [SPARK-48719][SQL] Corrigeer de berekeningsfout van RegrSlope & RegrIntercept wanneer de eerste parameter null is
    • [SPARK-49458][VERBINDING MAKEN][PYTHON] Sessie-id aan serverzijde leveren via ReattachExecute
    • [SPARK-49628][SQL] ConstantFolding moet een stateful expressie kopiëren voordat deze wordt geëvalueerd
    • [SPARK-49492][VERBINDING MAKEN] Poging om opnieuw te worden gekoppeld aan inactieve uitvoeringsaanduiding
    • Beveiligingsupdates van het besturingssysteem.
  • 17 september 2024
    • [SPARK-49336][VERBINDING MAKEN] Beperk het nestniveau bij het afkappen van een protobuf-bericht
    • [SPARK-49526][VERBINDING MAKEN] Ondersteuning voor Paden in Windows-stijl in ArtifactManager
    • [SPARK-49366][VERBINDING MAKEN] Union-knooppunt behandelen als leaf in de kolomresolutie van het dataframe
    • [SPARK-43242][CORE] Fout 'Onverwacht type BlockId' in willekeurige beschadigingsdiagnose opgelost
    • [SPARK-49409][VERBINDING MAKEN] De standaardwaarde van CONNECT_SESSION_PLAN_CACHE_SIZE aanpassen
    • Beveiligingsupdates van het besturingssysteem.
  • 29 augustus 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan null niet correct verwerken
    • [SPARK-48597][SQL] Een markering introduceren voor de eigenschap isStreaming in de tekstweergave van een logisch plan
    • [SPARK-48862][PYTHON][VERBINDING MAKEN] Bel niet _proto_to_string wanneer INFO-niveau niet is ingeschakeld
    • [SPARK-49263][VERBINDING MAKEN] Spark Connect Python-client: Boolean Dataframe Reader-opties consistent verwerken
    • [SPARK-49146][SS] Assertiefouten verplaatsen die zijn gerelateerd aan watermerk die ontbreken in streamingquery's in de toevoegmodus naar het foutenframework
  • 14 augustus 2024
    • [SPARK-48941][SPARK-48970] Backport ML writer/reader fixes
    • [SPARK-48050][SS] Logische planning registreren bij het starten van de query
    • [SPARK-48706][PYTHON] Python UDF in hogere volgorde functies mogen geen interne fout veroorzaken
    • [SPARK-48740][SQL] Fout met ontbrekende vensterspecificatie vroegtijdig detecteren
    • [SPARK-49065][SQL] Herstellen in verouderde formatters/parsers moet niet-JVM-standaardtijdzones ondersteunen
    • [SPARK-49047][PYTHON][VERBINDING MAKEN] Het bericht afkappen voor logboekregistratie
  • 1 augustus 2024
  • 11 juli 2024
    • (Gedragswijziging) DataFrames die zijn opgeslagen in de cache voor Delta-tabelbronnen, worden nu ongeldig als de brontabel wordt overschreven. Deze wijziging betekent dat alle statuswijzigingen in Delta-tabellen nu de resultaten in de cache ongeldig maken. Gebruik .checkpoint() dit om een tabelstatus gedurende de levensduur van een DataFrame te behouden.
    • Het JDBC-stuurprogramma van Snowflake wordt bijgewerkt naar versie 3.16.1.
    • Deze release bevat een oplossing voor een probleem waardoor het tabblad Spark UI-omgeving niet correct wordt weergegeven bij het uitvoeren in Databricks Container Services.
    • Op serverloze notebooks en taken wordt de ANSI SQL-modus standaard ingeschakeld en worden korte namen ondersteund
    • Als u ongeldige partities wilt negeren bij het lezen van gegevens, op bestanden gebaseerde gegevensbronnen, zoals Parquet, ORC, CSV of JSON, kunt u de optie ignoreInvalidPartitionPaths instellen op waar. Bijvoorbeeld: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. U kunt ook de SQL-configuratie spark.sql.files.ignoreInvalidPartitionPaths gebruiken. De optie voor de gegevensbron heeft echter voorrang op de SQL-configuratie. Deze instelling is standaard onwaar.
    • [SPARK-48273][SQL] Late herschrijven van PlanWithUnresolvedIdentifier herstellen
    • [SPARK-48292][CORE] Herstellen [SPARK-39195][SQL] Spark OutputCommitCoordinator moet fase afbreken wanneer het vastgelegde bestand niet consistent is met de taakstatus
    • [SPARK-48100][SQL] Problemen oplossen bij het overslaan van geneste structuurvelden die niet zijn geselecteerd in het schema
    • [SPARK-48286] Analyse van kolom met een standaardexpressie oplossen - Gebruikersgerichte fout toevoegen
    • [SPARK-48294][SQL] Kleine letters in nestedTypeMissingElementTypeError verwerken
    • [SPARK-48556][SQL] Onjuiste foutmelding die verwijst naar UNSUPPORTED_GROUPING_EXPRESSION oplossen
    • [SPARK-48648][PYTHON][VERBINDING MAKEN] SparkConnectClient.tags correct threadlocal maken
    • [SPARK-48503][SQL] Ongeldige scalaire subquery's herstellen met groeperen op niet-equivalente kolommen die onjuist waren toegestaan
    • [SPARK-48252][SQL] CommonExpressionRef bijwerken indien nodig
    • [SPARK-48475][PYTHON] Optimaliseer _get_jvm_function in PySpark.
    • [SPARK-48566][PYTHON] Fout opgelost waarbij partitieindexen onjuist zijn wanneer UDTF analyze() zowel select als partitionColumns gebruikt
    • [SPARK-48481][SQL][SS] OptimizeOneRowPlan niet toepassen op streaminggegevensset
    • [SPARK-47463][SQL] V2Predicate gebruiken om expressies te verpakken met het retourtype Booleaanse waarde
    • [SPARK-48383][SS] Werp een betere fout op voor niet-overeenkomende partities in de optie startOffset in Kafka
    • [SPARK-48445][SQL] Niet inline UDF's met dure kinderen
    • Beveiligingsupdates van het besturingssysteem.
  • 17 juni 2024
    • applyInPandasWithState() is beschikbaar op gedeelde clusters.
    • Hiermee lost u een fout op waarbij de optimalisatie van rangschikken vensters met behulp van Photon TopK onjuist afgehandelde partities met structs.
    • Er is een fout opgelost in de functie try_divide() waarbij invoer met decimalen onverwachte uitzonderingen heeft opgeleverd.
    • [SPARK-48197][SQL] Voorkom assertiefout voor ongeldige lambda-functie
    • [SPARK-48276][PYTHON][VERBINDING MAKEN] De ontbrekende __repr__ methode toevoegen voor SQLExpression
    • [SPARK-48014][SQL] Wijzig de makeFromJava-fout in EvaluatePython in een gebruikersgerichte fout
    • [SPARK-48016][SQL] Een fout in try_divide functie oplossen bij decimalen
    • [SPARK-47986][VERBINDING MAKEN][PYTHON] Kan geen nieuwe sessie maken wanneer de standaardsessie wordt gesloten door de server
    • [SPARK-48173][SQL] CheckAnalysis zou het hele queryplan moeten zien
    • [SPARK-48056][VERBINDING MAKEN][PYTHON] Plan opnieuw uitvoeren als er een SESSION_NOT_FOUND fout optreedt en er geen gedeeltelijk antwoord is ontvangen
    • [SPARK-48172][SQL] Problemen met ontsnapping in JDBCDialects-backport naar 15.2 oplossen
    • [SPARK-48105][SS] De racevoorwaarde tussen het lossen en momentopnamen van de statusopslag herstellen
    • [SPARK-48288] Brongegevenstype toevoegen voor connectorcast-expressie
    • [SPARK-48310][PYTHON][VERBINDING MAKEN] Eigenschappen in cache moeten kopieën retourneren
    • [SPARK-48277] Foutbericht voor ErrorClassesJsonReader.getErrorMessage verbeteren
    • [SPARK-47986][VERBINDING MAKEN][PYTHON] Kan geen nieuwe sessie maken wanneer de standaardsessie wordt gesloten door de server
    • "[SPARK-47406][SQL] Handle TIMESTAMP and DATETIME in MYSQLDialect"
    • [SPARK-47994][SQL] Fout opgelost met CASE WHEN column filter push down in SQLServer
    • [SPARK-47764][CORE][SQL] Shuffle-afhankelijkheden opschonen op basis van ShuffleCleanupMode
    • [SPARK-47921][VERBINDING MAKEN] Het maken van ExecuteJobTag in ExecuteHolder corrigeren
    • [SPARK-48010][SQL] Vermijd herhaalde aanroepen naar conf.resolver in resolveExpression
    • [SPARK-48146][SQL] Statistische functie in onderliggende expressie-assertie corrigeren
    • [SPARK-48180][SQL] Fout verbeteren wanneer UDTF-aanroep met TABLE-argument haakjes rond meerdere PARTITIE/ORDER BY exprs vergeet
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 14.3

Zie Databricks Runtime 14.3 LTS.

  • 22 oktober 2024
    • [SPARK-48843] Oneindige lus voorkomen met BindParameters
    • [SPARK-49863][SQL] NormalizeFloatingNumbers herstellen om de null-baarheid van geneste structs te behouden
    • [SPARK-49905] Toegewezen ShuffleOrigin gebruiken voor stateful operator om te voorkomen dat de willekeurige volgorde wordt gewijzigd vanuit AQE
    • [SPARK-46632][SQL] Subexpressie-verwijdering corrigeren wanneer equivalente ternaire expressies verschillende onderliggende elementen hebben
    • [SPARK-49782][SQL] De regel ResolveDataFrameDropColumns lost UnresolvedAttribute op met onderliggende uitvoer
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Foutklasse classificeren voor foreach-sinkgebruikersfunctiefout
    • [SPARK-49829] Wijzig de optimalisatie bij het toevoegen van invoer aan het statusarchief in stream-stream join (correctie)
    • Beveiligingsupdates van het besturingssysteem.
  • 10 oktober 2024
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Foutklasse classificeren voor Foutklasse FlatMapGroupsWithState-gebruikersfunctie
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr mag geen schemavelden wijzigen bij het verwijderen van GetArrayStructFields
    • [SPARK-49688][VERBINDING MAKEN] Een gegevensrace tussen onderbreken en uitvoeren van plan herstellen
  • 25 september 2024
    • [SPARK-48810][VERBINDING MAKEN] Sessiestop() API moet idempotent zijn en niet mislukken als de sessie al is gesloten door de server
    • [SPARK-48719][SQL] Corrigeer de berekeningsfout van RegrS...
    • [SPARK-49000][SQL] Oplossing voor 'select count(distinct 1) from t' waarbij t lege tabel is door RewriteDistinctAggregates uit te vouwen
    • [SPARK-49628][SQL] ConstantFolding moet een stateful expressie kopiëren voordat deze wordt geëvalueerd
    • [SPARK-49492][VERBINDING MAKEN] Poging om opnieuw te worden gekoppeld aan inactieve uitvoeringsaanduiding
    • Beveiligingsupdates van het besturingssysteem.
  • 17 september 2024
    • [SPARK-49336][VERBINDING MAKEN] Beperk het nestniveau bij het afkappen van een protobuf-bericht
    • [SPARK-43242][CORE] Fout 'Onverwacht type BlockId' in willekeurige beschadigingsdiagnose opgelost
    • [SPARK-48463][ML] Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor die geneste invoerkolommen ondersteunen
    • [SPARK-49526][VERBINDING MAKEN] Ondersteuning voor Paden in Windows-stijl in ArtifactManager
    • [SPARK-49409][VERBINDING MAKEN] De standaardwaarde van CONNECT_SESSION_PLAN_CACHE_SIZE aanpassen
    • [SPARK-49366][VERBINDING MAKEN] Union-knooppunt behandelen als leaf in de kolomresolutie van het dataframe
  • 29 augustus 2024
    • [SPARK-49146][SS] Assertiefouten verplaatsen die zijn gerelateerd aan watermerk die ontbreken in streamingquery's in de toevoegmodus naar het foutenframework
    • [SPARK-48862][PYTHON][VERBINDING MAKEN] Bel niet _proto_to_string wanneer INFO-niveau niet is ingeschakeld
    • [SPARK-49263][VERBINDING MAKEN] Spark Connect Python-client: Boolean Dataframe Reader-opties consistent verwerken
  • 14 augustus 2024
    • [SPARK-48941][SPARK-48970] Backport ML writer/reader fixes
    • [SPARK-48706][PYTHON] Python UDF in hogere volgorde functies mogen geen interne fout veroorzaken
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan null niet correct verwerken
    • [SPARK-48597][SQL] Een markering introduceren voor de eigenschap isStreaming in de tekstweergave van een logisch plan
    • [SPARK-49065][SQL] Herstellen in verouderde formatters/parsers moet niet-JVM-standaardtijdzones ondersteunen
    • [SPARK-48934][SS] Python-datum/tijdtypen zijn onjuist geconverteerd voor het instellen van time-outs in applyInPandasWithState
  • 1 augustus 2024
  • 11 juli 2024
    • (Gedragswijziging) DataFrames die zijn opgeslagen in de cache voor Delta-tabelbronnen, worden nu ongeldig als de brontabel wordt overschreven. Deze wijziging betekent dat alle statuswijzigingen in Delta-tabellen nu de resultaten in de cache ongeldig maken. Gebruik .checkpoint() dit om een tabelstatus gedurende de levensduur van een DataFrame te behouden.
    • Het JDBC-stuurprogramma van Snowflake wordt bijgewerkt naar versie 3.16.1.
    • Deze release bevat een oplossing voor een probleem waardoor het tabblad Spark UI-omgeving niet correct wordt weergegeven bij het uitvoeren in Databricks Container Services.
    • Op serverloze berekeningen voor notebooks en taken is de ANSI SQL-modus standaard ingeschakeld. Zie Ondersteunde Spark-configuratieparameters.
    • Als u ongeldige partities wilt negeren bij het lezen van gegevens, op bestanden gebaseerde gegevensbronnen, zoals Parquet, ORC, CSV of JSON, kunt u de optie ignoreInvalidPartitionPaths instellen op waar. Bijvoorbeeld: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). U kunt ook de SQL-configuratie spark.sql.files.ignoreInvalidPartitionPaths gebruiken. De optie voor de gegevensbron heeft echter voorrang op de SQL-configuratie. Deze instelling is standaard onwaar.
    • [SPARK-48648][PYTHON][VERBINDING MAKEN] SparkConnectClient.tags correct threadlocal maken
    • [SPARK-48445][SQL] Niet inline UDF's met dure kinderen
    • [SPARK-48481][SQL][SS] OptimizeOneRowPlan niet toepassen op streaminggegevensset
    • [SPARK-48383][SS] Werp een betere fout op voor niet-overeenkomende partities in de optie startOffset in Kafka
    • [SPARK-48503][SQL] Ongeldige scalaire subquery's herstellen met groeperen op niet-equivalente kolommen die onjuist waren toegestaan
    • [SPARK-48100][SQL] Problemen oplossen bij het overslaan van geneste structuurvelden die niet zijn geselecteerd in het schema
    • [SPARK-48273][SQL] Late herschrijven van PlanWithUnresolvedIdentifier herstellen
    • [SPARK-48252][SQL] CommonExpressionRef bijwerken indien nodig
    • [SPARK-48475][PYTHON] Optimaliseer _get_jvm_function in PySpark.
    • [SPARK-48292][CORE] Herstellen [SPARK-39195][SQL] Spark OutputCommitCoordinator moet fase afbreken wanneer het vastgelegde bestand niet consistent is met de taakstatus
    • Beveiligingsupdates van het besturingssysteem.
  • 17 juni 2024
    • applyInPandasWithState() is beschikbaar op gedeelde clusters.
    • Hiermee lost u een fout op waarbij de optimalisatie van rangschikken vensters met behulp van Photon TopK onjuist afgehandelde partities met structs.
    • [SPARK-48310][PYTHON][VERBINDING MAKEN] Eigenschappen in cache moeten kopieën retourneren
    • [SPARK-48276][PYTHON][VERBINDING MAKEN] De ontbrekende __repr__ methode toevoegen voor SQLExpression
    • [SPARK-48294][SQL] Kleine letters in nestedTypeMissingElementTypeError verwerken
    • Beveiligingsupdates van het besturingssysteem.
  • 21 mei 2024
    • (Gedragswijziging) dbutils.widgets.getAll() wordt nu ondersteund om alle widgetwaarden in een notitieblok op te halen.
    • Er is een fout opgelost in de functie try_divide() waarbij invoer met decimalen onverwachte uitzonderingen heeft opgeleverd.
    • [SPARK-48056][VERBINDING MAKEN][PYTHON] Plan opnieuw uitvoeren als er een SESSION_NOT_FOUND fout optreedt en er geen gedeeltelijk antwoord is ontvangen
    • [SPARK-48146][SQL] Statistische functie in onderliggende expressie-assertie corrigeren
    • [SPARK-47986][VERBINDING MAKEN][PYTHON] Kan geen nieuwe sessie maken wanneer de standaardsessie wordt gesloten door de server
    • [SPARK-48180][SQL] Fout verbeteren wanneer UDTF-aanroep met TABLE-argument haakjes rond meerdere PARTITIE/ORDER BY exprs vergeet
    • [SPARK-48016][SQL] Een fout in try_divide functie oplossen bij decimalen
    • [SPARK-48197][SQL] Voorkom assertiefout voor ongeldige lambda-functie
    • [SPARK-47994][SQL] Fout opgelost met CASE WHEN column filter push down in SQLServer
    • [SPARK-48173][SQL] CheckAnalysis zou het hele queryplan moeten zien
    • [SPARK-48105][SS] De racevoorwaarde tussen het lossen en momentopnamen van de statusopslag herstellen
    • Beveiligingsupdates van het besturingssysteem.
  • 9 mei 2024
    • (Gedragswijziging) applyInPandas en mapInPandas UDF-typen worden nu ondersteund voor berekeningen in de modus voor gedeelde toegang met Databricks Runtime 14.3 en hoger.
    • [SPARK-47739][SQL] Logisch avro-type registreren
    • [SPARK-47941] [SS] [Verbinding maken] ForeachBatch-werkrolfouten doorgeven aan gebruikers voor PySpark
    • [SPARK-48010][SQL] Vermijd herhaalde aanroepen naar conf.resolver in resolveExpression
    • [SPARK-48044][PYTHON][VERBINDING MAKEN] Cache DataFrame.isStreaming
    • [SPARK-47956][SQL] Sanity-controle op onopgeloste LCA-referentie
    • [SPARK-47543][VERBINDING MAKEN][PYTHON] Dict uitstellen als Mapype van Pandas DataFrame om het maken van DataFrame toe te staan
    • [SPARK-47819][VERBINDING MAKEN][Cherry-pick-14.3] Gebruik asynchrone callback voor het opschonen van de uitvoering
    • [SPARK-47764][CORE][SQL] Shuffle-afhankelijkheden opschonen op basis van ShuffleCleanupMode
    • [SPARK-48018][SS] Oplossing voor null groupId die ontbrekende param-fout veroorzaakt bij het genereren van KafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Aggregatiefout opgelost in RewriteWithExpression
    • [SPARK-47371] [SQL] XML: Rijtags negeren die zijn gevonden in CDATA
    • [SPARK-47895][SQL] groeperen op alle moet idempotent zijn
    • [SPARK-47973][CORE] Oproepsite voor logboeken in SparkContext.stop() en hoger in SparkContext.assertNotStopped()
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2024
    • [SPARK-47543][VERBINDING MAKEN][PYTHON] Uitstel dict MapType van Pandas DataFrame om het maken van DataFrame toe te staan
    • [SPARK-47694][VERBINDING MAKEN] Maximale berichtgrootte configureerbaar maken aan de clientzijde
    • [SPARK-47664][PYTHON][VERBINDING MAKEN][Cherry-pick-14.3] Valideer de kolomnaam met een schema in de cache
    • [SPARK-47862][PYTHON][VERBINDING MAKEN]Het genereren van proto-bestanden herstellen
    • Herstel [SPARK-47543][CONNECT][PYTHON] Als uitstel dict MapType van Pandas DataFrame om dataframes te maken"
    • [SPARK-47704][SQL] JSON-parsering mislukt met java.lang.ClassCastException wanneer spark.sql.json.enablePartialResults is ingeschakeld
    • [SPARK-47812][VERBINDING MAKEN] Ondersteuning voor serialisatie van SparkSession voor ForEachBatch-werkrol
    • [SPARK-47818][VERBINDING MAKEN][Cherry-pick-14.3] Introduceer plancache in SparkConnectPlanner om de prestaties van analyseaanvragen te verbeteren
    • [SPARK-47828][VERBINDING MAKEN][PYTHON] DataFrameWriterV2.overwrite mislukt met ongeldig plan
    • Beveiligingsupdates van het besturingssysteem.
  • 11 april 2024
    • (Gedragswijziging) Om consistent gedrag voor rekentypen te garanderen, komen PySpark UDF's op gedeelde clusters nu overeen met het gedrag van UDF's op niet-isolatie en toegewezen clusters. Deze update bevat de volgende wijzigingen die bestaande code kunnen breken:
      • UDF's met een string retourtype converteren niet langer impliciet niet-waardenstring naar string waarden. Voorheen zouden UDF's met een retourtype str de retourwaarde verpakken met een str() functie, ongeacht het werkelijke gegevenstype van de geretourneerde waarde.
      • UDF's met timestamp retourtypen passen geen conversie timestamp meer impliciet toe op .timezone
      • De Spark-clusterconfiguraties spark.databricks.sql.externalUDF.* zijn niet langer van toepassing op PySpark UDF's op gedeelde clusters.
      • De Configuratie van het Spark-cluster spark.databricks.safespark.externalUDF.plan.limit heeft geen invloed meer op PySpark UDF's, zodat de openbare preview-beperking van 5 UDF's per query voor PySpark UDF's wordt verwijderd.
      • De Configuratie van het Spark-cluster spark.databricks.safespark.sandbox.size.default.mib is niet meer van toepassing op PySpark UDF's op gedeelde clusters. In plaats daarvan wordt het beschikbare geheugen op het systeem gebruikt. Als u het geheugen van PySpark UDF's wilt beperken, gebruikt spark.databricks.pyspark.udf.isolation.memoryLimit u deze met een minimumwaarde van 100m.
    • Het TimestampNTZ gegevenstype wordt nu ondersteund als een clusterkolom met liquide clustering. Zie Liquid clustering gebruiken voor Delta-tabellen.
    • [SPARK-47511][SQL] Canonicaliseren met expressies door id's opnieuw toe te wijzen
    • [SPARK-47509][SQL] Subquery-expressies blokkeren in lambda- en hogere volgordefuncties
    • [SPARK-46990][SQL] Probleem oplossen bij het laden van lege Avro-bestanden die worden verzonden door Event Hubs
    • [SPARK-47638][PS][VERBINDING MAKEN] Kolomnaamvalidatie overslaan in PS
    • Beveiligingsupdates van het besturingssysteem.
  • 14 maart 2024
    • [SPARK-47135][SS] Foutklassen implementeren voor uitzonderingen voor gegevensverlies in Kafka
    • [SPARK-47176][SQL] Een Helper-functie ResolveAllExpressionsUpWithPruning hebben
    • [SPARK-47145][SQL] Geef tabel-id door aan scanexec van rijgegevensbron voor V2-strategie.
    • [SPARK-47044][SQL] Uitgevoerde query toevoegen voor externe JDBC-gegevensbronnen om uitvoer uit te leggen
    • [SPARK-47167][SQL] Concrete klasse toevoegen voor anonieme JDBC-relatie
    • [SPARK-47070] Ongeldige aggregatie herstellen na herschrijven van subquery
    • [SPARK-47121][CORE] Vermijd RejectedExecutionExceptions tijdens het afsluiten standaloneSchedulerBackend
    • Herstel "[SPARK-46861][CORE] Voorkom impasse in DAGScheduler"
    • [SPARK-47125][SQL] Null retourneren als Univocity nooit parseren activeert
    • [SPARK-469999][SQL] ExpressionWithUnresolvedIdentifier moet andere expressies bevatten in de expressiestructuur
    • [SPARK-47129][VERBINDING MAKEN][SQL] Cacheverbindingsplan ResolveRelations op de juiste manier maken
    • [SPARK-47241][SQL] Problemen met regelvolgorde voor ExtractGenerator oplossen
    • [SPARK-47035][SS][VERBINDING MAKEN] Protocol voor listener aan clientzijde
    • Beveiligingsupdates van het besturingssysteem.
  • 29 februari 2024
    • Er is een probleem opgelost waarbij het gebruik van een lokale verzameling als bron in een MERGE-opdracht ertoe kon leiden dat de metrische gegevens van numSourceRows voor de bewerking het juiste aantal rijen rapporteren.
    • Voor het maken van een schema met een gedefinieerde locatie moet de gebruiker nu SELECT- en MODIFY-bevoegdheden hebben voor ELK BESTAND.
    • [SPARK-47071][SQL] Inline met expressie als deze speciale expressie bevat
    • [SPARK-47059][SQL] Foutcontext koppelen voor de opdracht ALTER COLUMN v1
    • [SPARK-46993][SQL] Constant vouwen voor sessievariabelen herstellen
    • Beveiligingsupdates van het besturingssysteem.
  • 3 januari 2024
    • [SPARK-46933] Voeg metrische gegevens over de uitvoeringstijd van query's toe aan connectors die gebruikmaken van JDBCRDD.
    • [SPARK-46763] Er is een fout opgelost met de assertie in ReplaceDeduplicateWithAggregate voor dubbele kenmerken.
    • [SPARK-46954] XML: Wrap InputStreamReader met BufferedReader.
    • [SPARK-46655] Sla het vangen van querycontext in DataFrame methoden over.
    • [SPARK-44815] Cache df.schema om extra RPC te voorkomen.
    • [SPARK-46952] XML: Beperk de grootte van beschadigde records.
    • [SPARK-46794] Subquery's verwijderen uit logischeRDD-beperkingen.
    • [SPARK-46736] leeg berichtveld behouden in protobuf-connector.
    • [SPARK-45182] Negeer taakvoltooiing uit de oude fase nadat de bovenliggende en onbepaalde fase opnieuw is geprobeerd, zoals wordt bepaald door de controlesom.
    • [SPARK-46414] Gebruik prependBaseUri om javascript-importbewerkingen weer te geven.
    • [SPARK-46383] Verminder het heap-gebruik van stuurprogramma's door de levensduur van TaskInfo.accumulables().
    • [SPARK-46861] Vermijd impasse in DAGScheduler.
    • [SPARK-46954] XML: Zoekactie voor schemaindex optimaliseren.
    • [SPARK-46676] dropDuplicatesWithinWatermark mag niet mislukken bij canonicalisatie van het plan.
    • [SPARK-46644] Wijzig toevoegen en samenvoegen in SQLMetric om isZero te gebruiken.
    • [SPARK-46731] Beheer het providerexemplaren van de statusopslag per statusgegevensbron - lezer.
    • [SPARK-46677] Oplossing oplossen dataframe["*"] .
    • [SPARK-46610] Als u een tabel maakt, wordt er een uitzondering gegenereerd wanneer er geen waarde voor een sleutel in opties is.
    • [SPARK-46941] Kan het limietknooppunt voor venstergroepen voor top-k-berekeningen niet invoegen als dit SizeBasedWindowFunction bevat.
    • [SPARK-45433] Herstel deductie van CSV-/JSON-schema's wanneer tijdstempels niet overeenkomen met de opgegeven timestampFormat.
    • [SPARK-46930] Voeg ondersteuning toe voor een aangepast voorvoegsel voor union-typevelden in Avro.
    • [SPARK-46227] Backport naar 14.3.
    • [SPARK-46822] Respect spark.sql.legacy.charVarcharAsString bij het casten van jdbc-type naar katalysatortype in jdbc.
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 14.2

Zie Databricks Runtime 14.2.

  • 22 oktober 2024
    • [SPARK-49782][SQL] De regel ResolveDataFrameDropColumns lost UnresolvedAttribute op met onderliggende uitvoer
    • [SPARK-49905] Toegewezen ShuffleOrigin gebruiken voor stateful operator om te voorkomen dat de willekeurige volgorde wordt gewijzigd vanuit AQE
    • Beveiligingsupdates van het besturingssysteem.
  • 10 oktober 2024
  • 25 september 2024
    • [SPARK-48719][SQL] Corrigeer de berekeningsfout van RegrS...
    • [SPARK-49628][SQL] ConstantFolding moet een stateful expressie kopiëren voordat deze wordt geëvalueerd
    • [SPARK-49000][SQL] Oplossing voor 'select count(distinct 1) from t' waarbij t lege tabel is door RewriteDistinctAggregates uit te vouwen
    • [SPARK-43242][CORE] Fout 'Onverwacht type BlockId' in willekeurige beschadigingsdiagnose opgelost
    • [SPARK-46601] [CORE] Logboekfout in handleStatusMessage oplossen
    • Beveiligingsupdates van het besturingssysteem.
  • 17 september 2024
    • [SPARK-49526][VERBINDING MAKEN] Ondersteuning voor Paden in Windows-stijl in ArtifactManager
  • 29 augustus 2024
    • [SPARK-49263][VERBINDING MAKEN] Spark Connect Python-client: Boolean Dataframe Reader-opties consistent verwerken
    • [SPARK-49146][SS] Assertiefouten verplaatsen die zijn gerelateerd aan watermerk die ontbreken in streamingquery's in de toevoegmodus naar het foutenframework
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan null niet correct verwerken
  • 14 augustus 2024
    • [SPARK-48050][SS] Logische planning registreren bij het starten van de query
    • [SPARK-48597][SQL] Een markering introduceren voor de eigenschap isStreaming in de tekstweergave van een logisch plan
    • [SPARK-49065][SQL] Herstellen in verouderde formatters/parsers moet niet-JVM-standaardtijdzones ondersteunen
    • [SPARK-48706][PYTHON] Python UDF in hogere volgorde functies mogen geen interne fout veroorzaken
  • 1 augustus 2024
    • Deze release bevat een bugfix voor de ColumnVector en ColumnarArray klassen in de Spark Java-interface. Voorafgaand aan deze oplossing kunnen er gegevens ArrayIndexOutOfBoundsException worden gegenereerd of onjuist worden geretourneerd wanneer een exemplaar van een van deze klassen waarden bevat null .
    • De uitvoer van een SHOW CREATE TABLE instructie bevat nu rijfilters of kolommaskers die zijn gedefinieerd in een gerealiseerde weergave of streamingtabel. Zie SHOW CREATE TABLE. Zie Gevoelige tabelgegevens filteren met rijfilters en kolommaskers voor meer informatie over rijfilters en kolommaskers.
    • [SPARK-47202][PYTHON] Typfouten oplossen die datum/tijd veroorzaken met tzinfo
    • [SPARK-48705][PYTHON] Gebruik expliciet worker_main wanneer deze begint met pyspark
    • Beveiligingsupdates van het besturingssysteem.
  • 11 juli 2024
    • (Gedragswijziging) DataFrames die zijn opgeslagen in de cache voor Delta-tabelbronnen, worden nu ongeldig als de brontabel wordt overschreven. Deze wijziging betekent dat alle statuswijzigingen in Delta-tabellen nu de resultaten in de cache ongeldig maken. Gebruik .checkpoint() dit om een tabelstatus gedurende de levensduur van een DataFrame te behouden.
    • Het JDBC-stuurprogramma van Snowflake wordt bijgewerkt naar versie 3.16.1
    • Deze release bevat een oplossing voor een probleem waardoor het tabblad Spark UI-omgeving niet correct wordt weergegeven bij het uitvoeren in Databricks Container Services.
    • [SPARK-48292][CORE] Herstellen [SPARK-39195][SQL] Spark OutputCommitCoordinator moet fase afbreken wanneer het vastgelegde bestand niet consistent is met de taakstatus
    • [SPARK-48273][SQL] Late herschrijven van PlanWithUnresolvedIdentifier herstellen
    • [SPARK-48503][SQL] Ongeldige scalaire subquery's herstellen met groeperen op niet-equivalente kolommen die onjuist waren toegestaan
    • [SPARK-48481][SQL][SS] OptimizeOneRowPlan niet toepassen op streaminggegevensset
    • [SPARK-48475][PYTHON] Optimaliseer _get_jvm_function in PySpark.
    • [SPARK-48100][SQL] Problemen oplossen bij het overslaan van geneste structuurvelden die niet zijn geselecteerd in het schema
    • [SPARK-48445][SQL] Niet inline UDF's met dure kinderen
    • [SPARK-48383][SS] Werp een betere fout op voor niet-overeenkomende partities in de optie startOffset in Kafka
    • Beveiligingsupdates van het besturingssysteem.
  • 17 juni 2024
    • Hiermee lost u een fout op waarbij de optimalisatie van rangschikken vensters met behulp van Photon TopK onjuist afgehandelde partities met structs.
    • [SPARK-48276][PYTHON][VERBINDING MAKEN] De ontbrekende __repr__ methode toevoegen voor SQLExpression
    • [SPARK-48277] Foutbericht voor ErrorClassesJsonReader.getErrorMessage verbeteren
    • Beveiligingsupdates van het besturingssysteem.
  • 21 mei 2024
    • (Gedragswijziging) dbutils.widgets.getAll() wordt nu ondersteund om alle widgetwaarden in een notitieblok op te halen.
    • [SPARK-48173][SQL] CheckAnalysis zou het hele queryplan moeten zien
    • [SPARK-48197][SQL] Voorkom assertiefout voor ongeldige lambda-functie
    • [SPARK-47994][SQL] Fout opgelost met CASE WHEN column filter push down in SQLServer
    • [SPARK-48105][SS] De racevoorwaarde tussen het lossen en momentopnamen van de statusopslag herstellen
    • Beveiligingsupdates van het besturingssysteem.
  • 9 mei 2024
    • [SPARK-48044][PYTHON][VERBINDING MAKEN] Cache DataFrame.isStreaming
    • [SPARK-47956][SQL] Sanity-controle op onopgeloste LCA-referentie
    • [SPARK-47371] [SQL] XML: Rijtags negeren die zijn gevonden in CDATA
    • [SPARK-47812][VERBINDING MAKEN] Ondersteuning voor serialisatie van SparkSession voor ForEachBatch-werkrol
    • [SPARK-47895][SQL] groeperen op alle moet idempotent zijn
    • [SPARK-47973][CORE] Oproepsite voor logboeken in SparkContext.stop() en hoger in SparkContext.assertNotStopped()
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2024
    • [SPARK-47704][SQL] JSON-parsering mislukt met java.lang.ClassCastException wanneer spark.sql.json.enablePartialResults is ingeschakeld
    • [SPARK-47828][VERBINDING MAKEN][PYTHON] DataFrameWriterV2.overwrite mislukt met ongeldig plan
    • Beveiligingsupdates van het besturingssysteem.
  • 11 april 2024
    • [SPARK-47309][SQL][XML] Moduletests voor schemadeductie toevoegen
    • [SPARK-46990][SQL] Probleem oplossen bij het laden van lege Avro-bestanden die worden verzonden door Event Hubs
    • [SPARK-47638][PS][VERBINDING MAKEN] Kolomnaamvalidatie overslaan in PS
    • [SPARK-47509][SQL] Subquery-expressies blokkeren in lambda- en hogere volgordefuncties
    • [SPARK-38708][SQL] Hive Metastore-client upgraden naar de 3.1.3 voor Hive 3.1
    • Beveiligingsupdates van het besturingssysteem.
  • 1 april 2024
    • [SPARK-47322][PYTHON][VERBINDING MAKEN] Dubbele verwerking van kolomnamen consistent maken withColumnsRenamed met withColumnRenamed
    • [SPARK-47385] Tuple-coderingsprogramma's herstellen met Optie-invoer.
    • [SPARK-47070] Ongeldige aggregatie herstellen na herschrijven van subquery
    • [SPARK-47218] [SQL] XML: SchemaOfXml is gewijzigd om te mislukken in de DROPMALFORMED-modus
    • [SPARK-47305][SQL] PruneFilters herstellen om de vlag isStreaming van LocalRelation correct te taggen wanneer het plan zowel batch- als streaming heeft
    • [SPARK-47218][SQL] XML: Gecommentareerde rijtags negeren in XML-tokenizer
    • Herstel "[SPARK-46861][CORE] Voorkom impasse in DAGScheduler"
    • [SPARK-47300][SQL] quoteIfNeeded moet de aanhalingstekens beginnen met cijfers
    • [SPARK-47368][SQL] De configuratiecontrole inFerTimestampNTZ verwijderen in ParquetRowConverter
    • Beveiligingsupdates van het besturingssysteem.
  • 14 maart 2024
    • [SPARK-47035][SS][VERBINDING MAKEN] Protocol voor listener aan clientzijde
    • [SPARK-47121][CORE] Vermijd RejectedExecutionExceptions tijdens het afsluiten standaloneSchedulerBackend
    • [SPARK-47145][SQL] Geef tabel-id door aan scanexec van rijgegevensbron voor V2-strategie.
    • [SPARK-47176][SQL] Een Helper-functie ResolveAllExpressionsUpWithPruning hebben
    • [SPARK-47167][SQL] Concrete klasse toevoegen voor anonieme JDBC-relatie
    • [SPARK-47129][VERBINDING MAKEN][SQL] Cacheverbindingsplan ResolveRelations op de juiste manier maken
    • [SPARK-47044][SQL] Uitgevoerde query toevoegen voor externe JDBC-gegevensbronnen om uitvoer uit te leggen
    • Beveiligingsupdates van het besturingssysteem.
  • 29 februari 2024
    • Er is een probleem opgelost waarbij het gebruik van een lokale verzameling als bron in een MERGE-opdracht ertoe kon leiden dat de metrische gegevens van numSourceRows voor de bewerking het juiste aantal rijen rapporteren.
    • Voor het maken van een schema met een gedefinieerde locatie moet de gebruiker nu SELECT- en MODIFY-bevoegdheden hebben voor ELK BESTAND.
    • U kunt nu XML-bestanden opnemen met autoloader, read_files, COPY INTO, DLT en DBSQL. XML-bestandsondersteuning kan automatisch schema's afleiden en ontwikkelen, gegevens redden met typefouten, XML valideren met XSD, ONDERSTEUNING bieden voor SQL-expressies zoals from_xml, schema_of_xml en to_xml. Zie ondersteuning voor XML-bestanden voor meer informatie. Als u eerder het externe Spark-XML-pakket had gebruikt, raadpleegt u hier voor migratierichtlijnen.
    • [SPARK-46954][SQL] XML: InputStreamReader verpakken met BufferedReader
    • [SPARK-46630][SQL] XML: De naam van het XML-element valideren bij schrijven
    • [SPARK-46248][SQL] XML: Ondersteuning voor ignoreCorruptFiles en ignoreMissingFiles-opties
    • [SPARK-46954][SQL] XML: Opzoeken van schemaindex optimaliseren
    • [SPARK-47059][SQL] Foutcontext koppelen voor de opdracht ALTER COLUMN v1
    • [SPARK-46993][SQL] Constant vouwen voor sessievariabelen herstellen
  • 8 februari 2024
    • CDF-query's (Data Feed) voor gerealiseerde unity-catalogusweergaven worden niet ondersteund en een CDF-query uitvoeren met een gerealiseerde unity-catalogusweergave retourneert een fout. Streamingtabellen van Unity Catalog ondersteunen CDF-query's op niet-tabellenAPPLY CHANGES in Databricks Runtime 14.1 en hoger. CDF-query's worden niet ondersteund met streamingtabellen van Unity Catalog in Databricks Runtime 14.0 en eerder.
    • [SPARK-46930] Voeg ondersteuning toe voor een aangepast voorvoegsel voor union-typevelden in Avro.
    • [SPARK-46822] Respect spark.sql.legacy.charVarcharAsString bij het casten van jdbc-type naar katalysatortype in jdbc.
    • [SPARK-46952] XML: Beperk de grootte van beschadigde records.
    • [SPARK-46644] Wijzig toevoegen en samenvoegen in SQLMetric om isZero te gebruiken.
    • [SPARK-46861] Vermijd impasse in DAGScheduler.
    • [SPARK-46794] Subquery's verwijderen uit logischeRDD-beperkingen.
    • [SPARK-46941] Kan het limietknooppunt voor venstergroepen voor top-k-berekeningen niet invoegen als dit SizeBasedWindowFunction bevat.
    • [SPARK-46933] Voeg metrische gegevens over de uitvoeringstijd van query's toe aan connectors die gebruikmaken van JDBCRDD.
    • Beveiligingsupdates van het besturingssysteem.
  • 31 januari 2024
    • [SPARK-46382] XML: Document bijwerken voor ignoreSurroundingSpaces.
    • [SPARK-46382] XML: Waarden vastleggen die tussen elementen zijn verdeeld.
    • [SPARK-46763] Er is een fout opgelost met de assertie in ReplaceDeduplicateWithAggregate voor dubbele kenmerken.
    • Herstel [SPARK-46769] Verfijn tijdstempelgerelateerde schemadeductie.
    • [SPARK-46677] Oplossing oplossen dataframe["*"] .
    • [SPARK-46382] XML: Default ignoreSurroundingSpaces to true.
    • [SPARK-46633] Corrigeer Avro-lezer om blokken met lengte nul te verwerken.
    • [SPARK-45964] Verwijder de persoonlijke SQL-accessor in het XML- en JSON-pakket onder katalysatorpakket.
    • [SPARK-46581] Opmerking bijwerken over isZero in AccumulatorV2.
    • [SPARK-45912] Uitbreiding van XSDToSchema-API: wijzigen in HDFS-API voor toegankelijkheid in cloudopslag.
    • [SPARK-45182] Negeer taakvoltooiing uit de oude fase nadat de bovenliggende en onbepaalde fase opnieuw is geprobeerd, zoals wordt bepaald door de controlesom.
    • [SPARK-46660] ReattachExecute vraagt de levendigheid van SessionHolder bij.
    • [SPARK-46610] Als u een tabel maakt, wordt er een uitzondering gegenereerd wanneer er geen waarde voor een sleutel in opties is.
    • [SPARK-46383] Verminder het heap-gebruik van stuurprogramma's door de levensduur van TaskInfo.accumulables().
    • [SPARK-46769] Tijdstempelgerelateerde schemadeductie verfijnen.
    • [SPARK-46684] Corrieer CoGroup.applyInPandas/Arrow om argumenten correct door te geven.
    • [SPARK-46676] dropDuplicatesWithinWatermark mag niet mislukken bij canonicalisatie van het plan.
    • [SPARK-45962] Verwijder treatEmptyValuesAsNulls en gebruik nullValue in plaats daarvan de optie in XML.
    • [SPARK-46541] Corrigeer de ambigu kolomreferentie in self join.
    • [SPARK-46599] XML: TypeCoercion.findTightestCommonType gebruiken voor compatibiliteitscontrole.
    • Beveiligingsupdates van het besturingssysteem.
  • 17 januari 2024
    • Het shuffle knooppunt van het uitlegplan dat door een Photon-query wordt geretourneerd, wordt bijgewerkt om de causedBroadcastJoinBuildOOM=true vlag toe te voegen wanneer er een fout in het geheugen optreedt tijdens een willekeurige volgorde die deel uitmaakt van een broadcast-join.
    • Deze onderhoudsrelease bevat een patch voor de installatie van JDK 8 om JDK-bug JDK-8-fout JDK-8293562 op te lossen om een verhoogde latentie te voorkomen bij de communicatie via TLSv1.3.
    • [SPARK-46261] DataFrame.withColumnsRenamed moet de volgorde van de dict/kaart behouden.
    • [SPARK-46538] Los het probleem met dubbelzinnige kolomreferenties in ALSModel.transform.
    • [SPARK-46145] spark.catalog.listTables genereert geen uitzondering wanneer de tabel of weergave niet wordt gevonden.
    • [SPARK-46484] Zorg ervoor dat resolveOperators helperfuncties de plan-id behouden.
    • [SPARK-46394] Los problemen met spark.catalog.listDatabases() op in schema's met speciale tekens wanneer deze zijn spark.sql.legacy.keepCommandOutputSchema ingesteld op waar.
    • [SPARK-46609] Vermijd exponentiële explosie in PartitioningPreservingUnaryExecNode.
    • [SPARK-46446] Schakel subquery's met gecorreleerde OFFSET uit om de juistheid van de fout op te lossen.
    • [SPARK-46152] XML: Ondersteuning voor DecimalType toevoegen in deductie van XML-schema's.
    • [SPARK-46602] allowExisting Doorgeven bij het maken van de weergave wanneer de weergave/tabel niet bestaat.
    • [SPARK-45814] Maak ArrowConverters.createEmptyArrowBatch call close() om geheugenlekken te voorkomen.
    • [SPARK-46058] Voeg een afzonderlijke vlag toe voor privateKeyPassword.
    • [SPARK-46132] Ondersteuning voor sleutelwachtwoord voor JKS-sleutels voor RPC SSL.
    • [SPARK-46600] Verplaats gedeelde code tussen SqlConf en SqlApiConf naar SqlApiConfHelper.
    • [SPARK-46478] Herstel SPARK-43049 om oracle varchar(255) te gebruiken voor tekenreeksen.
    • [SPARK-46417] Niet mislukken bij het aanroepen van hive.getTable en throwException is onwaar.
    • [SPARK-46153] XML: TimestampNTZType-ondersteuning toevoegen.
    • [SPARK-46056][BACKPORT] Corrigeer parquet vectorized read NPE met byteArrayDecimalType standaardwaarde.
    • [SPARK-46466] Vectorized Parquet Reader mag nooit opnieuwbase uitvoeren voor timestamp ntz.
    • [SPARK-46260] DataFrame.withColumnsRenamed moet de volgorde van de dicteren respecteren.
    • [SPARK-46036] Foutklasse verwijderen uit raise_error functie.
    • [SPARK-46294] Semantiek van init versus nulwaarde opschonen.
    • [SPARK-46173] Het overslaan van trimAll-aanroep tijdens het parseren van datums.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46587] XML: XsD-conversie van groot geheel getal herstellen.
    • [SPARK-46396] Tijdstempeldeductie mag geen uitzondering genereren.
    • [SPARK-46241] Corrigeer de routine voor foutafhandeling, zodat deze niet in oneindige recursie zou vallen.
    • [SPARK-46355] XML: Sluit InputStreamReader bij voltooiing van het lezen.
    • [SPARK-46370] Er is een fout opgelost bij het uitvoeren van query's vanuit een tabel na het wijzigen van de standaardinstellingen voor kolommen.
    • [SPARK-46265] Asserties in AddArtifact RPC zorgen ervoor dat de verbindingsclient niet compatibel is met oudere clusters.
    • [SPARK-46308] Recursieve foutafhandeling verbieden.
    • [SPARK-46337] Bewaar CTESubstitution de PLAN_ID_TAG.
  • 14 december 2023
    • [SPARK-46141] Wijzig de standaardinstelling voor spark.sql.legacy.ctePrecedencePolicy in CORRECTED.
    • [SPARK-45730] Maak ReloadingX509TrustManagerSuite minder flaky.
    • [SPARK-45852] Probleemloos omgaan met recursiefout tijdens logboekregistratie.
    • [SPARK-45808] Betere foutafhandeling voor SQL-uitzonderingen.
    • [SPARK-45920] groeperen op rangtelwoord moet idempotent zijn.
    • Herstel [SPARK-45649] Het voorbereidingsframework samenvoegen voor OffsetWindowFunctionFrame'.
    • [SPARK-45733] Ondersteuning voor meerdere beleidsregels voor opnieuw proberen.
    • [SPARK-45509] Probleem opgelost met df-kolomreferentiegedrag voor Spark Connect.
    • [SPARK-45655] Niet-deterministische expressies toestaan in AggregateFunctions in CollectMetrics.
    • [SPARK-45905] Het minst gangbare type tussen decimale typen moet eerst integrale cijfers behouden.
    • [SPARK-45136] Enhance ClosureCleaner with Ammonite support.
    • [SPARK-46255] Ondersteuning voor complex type-> tekenreeksconversie.
    • [SPARK-45859] UDF-objecten in ml.functions lui maken.
    • [SPARK-46028] Invoerkolom Column.__getitem__ accepteren.
    • [SPARK-45798] Sessie-id aan serverzijde bevestigen.
    • [SPARK-45892] Planvalidatie van optimizer herstructureren om te ontkoppelen validateSchemaOutput en validateExprIdUniqueness.
    • [SPARK-45844] Implementeer hoofdlettergevoeligheid voor XML.
    • [SPARK-45770] Introduceer een plan DataFrameDropColumns voor Dataframe.drop.
    • [SPARK-44790] XML: to_xml implementatie en bindingen voor Python, connect en SQL.
    • [SPARK-45851] Ondersteuning voor meerdere beleidsregels in scala-client.
    • Beveiligingsupdates van het besturingssysteem.
  • 29 november 2023
    • Er is een nieuw pakket geïnstalleerd om pyarrow-hotfix een pyArrow RCE-beveiligingsprobleem op te lossen.
    • Er is een probleem opgelost waarbij escape-onderstrepingstekens in getColumns bewerkingen die afkomstig zijn van JDBC- of ODBC-clients onjuist werden geïnterpreteerd als jokertekens.
    • [SPARK-45730] Verbeterde tijdsbeperkingen voor ReloadingX509TrustManagerSuite.
    • [SPARK-45852] De Python-client voor Spark Connect onderschept nu recursiefouten tijdens de tekstconversie.
    • [SPARK-45808] Verbeterde foutafhandeling voor SQL-uitzonderingen.
    • [SPARK-45920] GROUP BY rangtelwoorden worden niet vervangen door het rangtelwoord.
    • [SPARK-45649] herstellen.
    • [SPARK-45733] Er is ondersteuning toegevoegd voor meerdere beleidsregels voor opnieuw proberen.
    • [SPARK-45509] Probleem df opgelost met kolomreferentiegedrag voor Spark Connect.
    • [SPARK-45655] Niet-deterministische expressies binnenin AggregateFunctions CollectMetricstoestaan.
    • [SPARK-45905] Het minst gangbare type tussen decimale typen behoudt nu eerst integrale cijfers.
    • [SPARK-45136] Verbeter ClosureCleaner met Ammonite-ondersteuning.
    • [SPARK-45859] UDF-objecten in ml.functions luie gemaakt.
    • [SPARK-46028] Column.__getitem__ accepteert invoerkolommen.
    • [SPARK-45798] Sessie-id aan serverzijde bevestigen.
    • [SPARK-45892] Planvalidatie van optimizer herstructureren om te ontkoppelen validateSchemaOutput en validateExprIdUniqueness.
    • [SPARK-45844] Implementeer hoofdlettergevoeligheid voor XML.
    • [SPARK-45770] Vaste kolomresolutie met DataFrameDropColumns voor Dataframe.drop.
    • [SPARK-44790] Implementatie to_xml en bindingen toegevoegd voor Python, Spark Connect en SQL.
    • [SPARK-45851] Er is ondersteuning toegevoegd voor meerdere beleidsregels in de Scala-client.
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 14.1

Zie Databricks Runtime 14.1.

  • 22 oktober 2024
    • [SPARK-49782][SQL] De regel ResolveDataFrameDropColumns lost UnresolvedAttribute op met onderliggende uitvoer
    • [SPARK-49905] Toegewezen ShuffleOrigin gebruiken voor stateful operator om te voorkomen dat de willekeurige volgorde wordt gewijzigd vanuit AQE
  • 10 oktober 2024
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Foutklasse classificeren voor Foutklasse FlatMapGroupsWithState-gebruikersfunctie
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr mag geen schemavelden wijzigen bij het verwijderen van GetArrayStructFields
    • Beveiligingsupdates van het besturingssysteem.
  • 25 september 2024
    • [SPARK-49628][SQL] ConstantFolding moet een stateful expressie kopiëren voordat deze wordt geëvalueerd
    • [SPARK-43242][CORE] Fout 'Onverwacht type BlockId' in willekeurige beschadigingsdiagnose opgelost
    • [SPARK-48719][SQL] Corrigeer de berekeningsfout van RegrS...
    • [SPARK-49000][SQL] Oplossing voor 'select count(distinct 1) from t' waarbij t lege tabel is door RewriteDistinctAggregates uit te vouwen
    • [SPARK-46601] [CORE] Logboekfout in handleStatusMessage oplossen
    • Beveiligingsupdates van het besturingssysteem.
  • 17 september 2024
    • [SPARK-49526][VERBINDING MAKEN] Ondersteuning voor Paden in Windows-stijl in ArtifactManager
    • Beveiligingsupdates van het besturingssysteem.
  • 29 augustus 2024
    • [SPARK-49263][VERBINDING MAKEN] Spark Connect Python-client: Boolean Dataframe Reader-opties consistent verwerken
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan null niet correct verwerken
  • 14 augustus 2024
    • [SPARK-48706][PYTHON] Python UDF in hogere volgorde functies mogen geen interne fout veroorzaken
    • [SPARK-48597][SQL] Een markering introduceren voor de eigenschap isStreaming in de tekstweergave van een logisch plan
    • [SPARK-49065][SQL] Herstellen in verouderde formatters/parsers moet niet-JVM-standaardtijdzones ondersteunen
    • [SPARK-48050][SS] Logische planning registreren bij het starten van de query
  • 1 augustus 2024
    • Deze release bevat een bugfix voor de ColumnVector en ColumnarArray klassen in de Spark Java-interface. Voorafgaand aan deze oplossing kunnen er gegevens ArrayIndexOutOfBoundsException worden gegenereerd of onjuist worden geretourneerd wanneer een exemplaar van een van deze klassen waarden bevat null .
    • De uitvoer van een SHOW CREATE TABLE instructie bevat nu rijfilters of kolommaskers die zijn gedefinieerd in een gerealiseerde weergave of streamingtabel. Zie SHOW CREATE TABLE. Zie Gevoelige tabelgegevens filteren met rijfilters en kolommaskers voor meer informatie over rijfilters en kolommaskers.
    • [SPARK-48705][PYTHON] Gebruik expliciet worker_main wanneer deze begint met pyspark
    • [SPARK-47202][PYTHON] Typfouten oplossen die datum/tijd veroorzaken met tzinfo
    • Beveiligingsupdates van het besturingssysteem.
  • 11 juli 2024
    • (Gedragswijziging) DataFrames die zijn opgeslagen in de cache voor Delta-tabelbronnen, worden nu ongeldig als de brontabel wordt overschreven. Deze wijziging betekent dat alle statuswijzigingen in Delta-tabellen nu de resultaten in de cache ongeldig maken. Gebruik .checkpoint() dit om een tabelstatus gedurende de levensduur van een DataFrame te behouden.
    • Deze release bevat een oplossing voor een probleem waardoor het tabblad Spark UI-omgeving niet correct wordt weergegeven bij het uitvoeren in Databricks Container Services.
    • [SPARK-48475][PYTHON] Optimaliseer _get_jvm_function in PySpark.
    • [SPARK-48445][SQL] Niet inline UDF's met dure kinderen
    • [SPARK-48481][SQL][SS] OptimizeOneRowPlan niet toepassen op streaminggegevensset
    • [SPARK-48292][CORE] Herstellen [SPARK-39195][SQL] Spark OutputCommitCoordinator moet fase afbreken wanneer het vastgelegde bestand niet consistent is met de taakstatus
    • [SPARK-48503][SQL] Ongeldige scalaire subquery's herstellen met groeperen op niet-equivalente kolommen die onjuist waren toegestaan
    • [SPARK-48273][SQL] Late herschrijven van PlanWithUnresolvedIdentifier herstellen
    • [SPARK-48100][SQL] Problemen oplossen bij het overslaan van geneste structuurvelden die niet zijn geselecteerd in het schema
    • [SPARK-48383][SS] Werp een betere fout op voor niet-overeenkomende partities in de optie startOffset in Kafka
    • Beveiligingsupdates van het besturingssysteem.
  • 17 juni 2024
    • Hiermee lost u een fout op waarbij de optimalisatie van rangschikken vensters met behulp van Photon TopK onjuist afgehandelde partities met structs.
    • [SPARK-48276][PYTHON][VERBINDING MAKEN] De ontbrekende __repr__ methode toevoegen voor SQLExpression
    • [SPARK-48277] Foutbericht voor ErrorClassesJsonReader.getErrorMessage verbeteren
    • Beveiligingsupdates van het besturingssysteem.
  • 21 mei 2024
    • (Gedragswijziging) dbutils.widgets.getAll() wordt nu ondersteund om alle widgetwaarden in een notitieblok op te halen.
    • [SPARK-47994][SQL] Fout opgelost met CASE WHEN column filter push down in SQLServer
    • [SPARK-48105][SS] De racevoorwaarde tussen het lossen en momentopnamen van de statusopslag herstellen
    • [SPARK-48173][SQL] CheckAnalysis zou het hele queryplan moeten zien
    • Beveiligingsupdates van het besturingssysteem.
  • 9 mei 2024
    • [SPARK-47371] [SQL] XML: Rijtags negeren die zijn gevonden in CDATA
    • [SPARK-47895][SQL] groeperen op alle moet idempotent zijn
    • [SPARK-47956][SQL] Sanity-controle op onopgeloste LCA-referentie
    • [SPARK-48044][PYTHON][VERBINDING MAKEN] Cache DataFrame.isStreaming
    • [SPARK-47973][CORE] Oproepsite voor logboeken in SparkContext.stop() en hoger in SparkContext.assertNotStopped()
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2024
    • [SPARK-47704][SQL] JSON-parsering mislukt met java.lang.ClassCastException wanneer spark.sql.json.enablePartialResults is ingeschakeld
    • [SPARK-47828][VERBINDING MAKEN][PYTHON] DataFrameWriterV2.overwrite mislukt met ongeldig plan
    • Beveiligingsupdates van het besturingssysteem.
  • 11 april 2024
    • [SPARK-47638][PS][VERBINDING MAKEN] Kolomnaamvalidatie overslaan in PS
    • [SPARK-38708][SQL] Hive Metastore-client upgraden naar de 3.1.3 voor Hive 3.1
    • [SPARK-47309][SQL][XML] Moduletests voor schemadeductie toevoegen
    • [SPARK-47509][SQL] Subquery-expressies blokkeren in lambda- en hogere volgordefuncties
    • [SPARK-46990][SQL] Probleem oplossen bij het laden van lege Avro-bestanden die worden verzonden door Event Hubs
    • Beveiligingsupdates van het besturingssysteem.
  • 1 april 2024
    • [SPARK-47305][SQL] PruneFilters herstellen om de vlag isStreaming van LocalRelation correct te taggen wanneer het plan zowel batch- als streaming heeft
    • [SPARK-47218][SQL] XML: Gecommentareerde rijtags negeren in XML-tokenizer
    • [SPARK-47300][SQL] quoteIfNeeded moet de aanhalingstekens beginnen met cijfers
    • [SPARK-47368][SQL] De configuratiecontrole inFerTimestampNTZ verwijderen in ParquetRowConverter
    • [SPARK-47070] Ongeldige aggregatie herstellen na herschrijven van subquery
    • [SPARK-47322][PYTHON][VERBINDING MAKEN] Dubbele verwerking van kolomnamen consistent maken withColumnsRenamed met withColumnRenamed
    • [SPARK-47300] Oplossing voor DecomposerSuite
    • [SPARK-47218] [SQL] XML: SchemaOfXml is gewijzigd om te mislukken in de DROPMALFORMED-modus
    • [SPARK-47385] Tuple-coderingsprogramma's herstellen met Optie-invoer.
    • Beveiligingsupdates van het besturingssysteem.
  • 14 maart 2024
    • [SPARK-47176][SQL] Een Helper-functie ResolveAllExpressionsUpWithPruning hebben
    • [SPARK-47145][SQL] Geef tabel-id door aan scanexec van rijgegevensbron voor V2-strategie.
    • [SPARK-47167][SQL] Concrete klasse toevoegen voor anonieme JDBC-relatie
    • [SPARK-47129][VERBINDING MAKEN][SQL] Cacheverbindingsplan ResolveRelations op de juiste manier maken
    • Herstel "[SPARK-46861][CORE] Voorkom impasse in DAGScheduler"
    • [SPARK-47044][SQL] Uitgevoerde query toevoegen voor externe JDBC-gegevensbronnen om uitvoer uit te leggen
    • Beveiligingsupdates van het besturingssysteem.
  • 29 februari 2024
    • Er is een probleem opgelost waarbij het gebruik van een lokale verzameling als bron in een MERGE-opdracht ertoe kon leiden dat de metrische gegevens van numSourceRows voor de bewerking het juiste aantal rijen rapporteren.
    • Voor het maken van een schema met een gedefinieerde locatie moet de gebruiker nu SELECT- en MODIFY-bevoegdheden hebben voor ELK BESTAND.
    • U kunt nu XML-bestanden opnemen met autoloader, read_files, COPY INTO, DLT en DBSQL. XML-bestandsondersteuning kan automatisch schema's afleiden en ontwikkelen, gegevens redden met typefouten, XML valideren met XSD, ONDERSTEUNING bieden voor SQL-expressies zoals from_xml, schema_of_xml en to_xml. Zie ondersteuning voor XML-bestanden voor meer informatie. Als u eerder het externe Spark-XML-pakket had gebruikt, raadpleegt u hier voor migratierichtlijnen.
    • [SPARK-46248][SQL] XML: Ondersteuning voor ignoreCorruptFiles en ignoreMissingFiles-opties
    • [SPARK-47059][SQL] Foutcontext koppelen voor de opdracht ALTER COLUMN v1
    • [SPARK-46954][SQL] XML: InputStreamReader verpakken met BufferedReader
    • [SPARK-46954][SQL] XML: Opzoeken van schemaindex optimaliseren
    • [SPARK-46630][SQL] XML: De naam van het XML-element valideren bij schrijven
    • Beveiligingsupdates van het besturingssysteem.
  • 8 februari 2024
    • CDF-query's (Data Feed) voor gerealiseerde unity-catalogusweergaven worden niet ondersteund en een CDF-query uitvoeren met een gerealiseerde unity-catalogusweergave retourneert een fout. Streamingtabellen van Unity Catalog ondersteunen CDF-query's op niet-tabellenAPPLY CHANGES in Databricks Runtime 14.1 en hoger. CDF-query's worden niet ondersteund met streamingtabellen van Unity Catalog in Databricks Runtime 14.0 en eerder.
    • [SPARK-46952] XML: Beperk de grootte van beschadigde records.
    • [SPARK-45182] Negeer taakvoltooiing uit de oude fase nadat de bovenliggende en onbepaalde fase opnieuw is geprobeerd, zoals wordt bepaald door de controlesom.
    • [SPARK-46794] Subquery's verwijderen uit logischeRDD-beperkingen.
    • [SPARK-46933] Voeg metrische gegevens over de uitvoeringstijd van query's toe aan connectors die gebruikmaken van JDBCRDD.
    • [SPARK-46861] Vermijd impasse in DAGScheduler.
    • [SPARK-45582] Zorg ervoor dat het archiefexemplaren niet worden gebruikt na het aanroepen van doorvoer binnen streamingaggregatie in de uitvoermodus.
    • [SPARK-46930] Voeg ondersteuning toe voor een aangepast voorvoegsel voor union-typevelden in Avro.
    • [SPARK-46941] Kan het limietknooppunt voor venstergroepen voor top-k-berekeningen niet invoegen als dit SizeBasedWindowFunction bevat.
    • [SPARK-46396] Tijdstempeldeductie mag geen uitzondering genereren.
    • [SPARK-46822] Respect spark.sql.legacy.charVarcharAsString bij het casten van jdbc-type naar katalysatortype in jdbc.
    • [SPARK-45957] Vermijd het genereren van het uitvoeringsplan voor niet-uitvoerbare opdrachten.
    • Beveiligingsupdates van het besturingssysteem.
  • 31 januari 2024
    • [SPARK-46684] Corrieer CoGroup.applyInPandas/Arrow om argumenten correct door te geven.
    • [SPARK-46763] Er is een fout opgelost met de assertie in ReplaceDeduplicateWithAggregate voor dubbele kenmerken.
    • [SPARK-45498] Opvolgen: Taakvoltooiing van oude fasepogingen negeren.
    • [SPARK-46382] XML: Document bijwerken voor ignoreSurroundingSpaces.
    • [SPARK-46383] Verminder het heap-gebruik van stuurprogramma's door de levensduur van TaskInfo.accumulables().
    • [SPARK-46382] XML: Default ignoreSurroundingSpaces to true.
    • [SPARK-46677] Oplossing oplossen dataframe["*"] .
    • [SPARK-46676] dropDuplicatesWithinWatermark mag niet mislukken bij canonicalisatie van het plan.
    • [SPARK-46633] Corrigeer Avro-lezer om blokken met lengte nul te verwerken.
    • [SPARK-45912] Uitbreiding van XSDToSchema-API: wijzigen in HDFS-API voor toegankelijkheid in cloudopslag.
    • [SPARK-46599] XML: TypeCoercion.findTightestCommonType gebruiken voor compatibiliteitscontrole.
    • [SPARK-46382] XML: Waarden vastleggen die tussen elementen zijn verdeeld.
    • [SPARK-46769] Tijdstempelgerelateerde schemadeductie verfijnen.
    • [SPARK-46610] Als u een tabel maakt, wordt er een uitzondering gegenereerd wanneer er geen waarde voor een sleutel in opties is.
    • [SPARK-45964] Verwijder de persoonlijke SQL-accessor in het XML- en JSON-pakket onder katalysatorpakket.
    • Herstel [SPARK-46769] Verfijn tijdstempelgerelateerde schemadeductie.
    • [SPARK-45962] Verwijder treatEmptyValuesAsNulls en gebruik nullValue in plaats daarvan de optie in XML.
    • [SPARK-46541] Corrigeer de ambigu kolomreferentie in self join.
    • Beveiligingsupdates van het besturingssysteem.
  • 17 januari 2024
    • Het shuffle knooppunt van het uitlegplan dat door een Photon-query wordt geretourneerd, wordt bijgewerkt om de causedBroadcastJoinBuildOOM=true vlag toe te voegen wanneer er een fout in het geheugen optreedt tijdens een willekeurige volgorde die deel uitmaakt van een broadcast-join.
    • Deze onderhoudsrelease bevat een patch voor de installatie van JDK 8 om JDK-bug JDK-8-fout JDK-8293562 op te lossen om een verhoogde latentie te voorkomen bij de communicatie via TLSv1.3.
    • [SPARK-46538] Los het probleem met dubbelzinnige kolomreferenties in ALSModel.transform.
    • [SPARK-46417] Niet mislukken bij het aanroepen van hive.getTable en throwException is onwaar.
    • [SPARK-46484] Zorg ervoor dat resolveOperators helperfuncties de plan-id behouden.
    • [SPARK-46153] XML: TimestampNTZType-ondersteuning toevoegen.
    • [SPARK-46152] XML: Ondersteuning voor DecimalType toevoegen in deductie van XML-schema's.
    • [SPARK-46145] spark.catalog.listTables genereert geen uitzondering wanneer de tabel of weergave niet wordt gevonden.
    • [SPARK-46478] Herstel SPARK-43049 om oracle varchar(255) te gebruiken voor tekenreeksen.
    • [SPARK-46394] Los problemen met spark.catalog.listDatabases() op in schema's met speciale tekens wanneer deze zijn spark.sql.legacy.keepCommandOutputSchema ingesteld op waar.
    • [SPARK-46337] Bewaar CTESubstitution de PLAN_ID_TAG.
    • [SPARK-46466] Vectorized Parquet Reader mag nooit opnieuwbase uitvoeren voor timestamp ntz.
    • [SPARK-46587] XML: XsD-conversie van groot geheel getal herstellen.
    • [SPARK-45814] Maak ArrowConverters.createEmptyArrowBatch call close() om geheugenlekken te voorkomen.
    • [SPARK-46132] Ondersteuning voor sleutelwachtwoord voor JKS-sleutels voor RPC SSL.
    • [SPARK-46602] allowExisting Doorgeven bij het maken van de weergave wanneer de weergave/tabel niet bestaat.
    • [SPARK-46173] Het overslaan van trimAll-aanroep tijdens het parseren van datums.
    • [SPARK-46355] XML: Sluit InputStreamReader bij voltooiing van het lezen.
    • [SPARK-46600] Verplaats gedeelde code tussen SqlConf en SqlApiConf naar SqlApiConfHelper.
    • [SPARK-46261] DataFrame.withColumnsRenamed moet de volgorde van de dict/kaart behouden.
    • [SPARK-46056] Corrigeer parquet vectorized read NPE met byteArrayDecimalType standaardwaarde.
    • [SPARK-46260] DataFrame.withColumnsRenamed moet de volgorde van de dicteren respecteren.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46370] Er is een fout opgelost bij het uitvoeren van query's vanuit een tabel na het wijzigen van de standaardinstellingen voor kolommen.
    • [SPARK-46609] Vermijd exponentiële explosie in PartitioningPreservingUnaryExecNode.
    • [SPARK-46058] Voeg een afzonderlijke vlag toe voor privateKeyPassword.
  • 14 december 2023
    • Er is een probleem opgelost waarbij escape-onderstrepingstekens in getColumns-bewerkingen die afkomstig zijn van JDBC- of ODBC-clients onjuist werden verwerkt en geïnterpreteerd als jokertekens.
    • [SPARK-45509] Probleem opgelost met df-kolomreferentiegedrag voor Spark Connect.
    • [SPARK-45844] Implementeer hoofdlettergevoeligheid voor XML.
    • [SPARK-46141] Wijzig de standaardinstelling voor spark.sql.legacy.ctePrecedencePolicy in CORRECTED.
    • [SPARK-46028] Invoerkolom Column.__getitem__ accepteren.
    • [SPARK-46255] Ondersteuning voor complex type-> tekenreeksconversie.
    • [SPARK-45655] Niet-deterministische expressies toestaan in AggregateFunctions in CollectMetrics.
    • [SPARK-45433] Herstel deductie van CSV-/JSON-schema's wanneer tijdstempels niet overeenkomen met de opgegeven timestampFormat.
    • [SPARK-45316] Voeg nieuwe parameters ignoreCorruptFiles/ignoreMissingFiles toe aan HadoopRDD en NewHadoopRDD.
    • [SPARK-45852] Probleemloos omgaan met recursiefout tijdens logboekregistratie.
    • [SPARK-45920] groeperen op rangtelwoord moet idempotent zijn.
    • Beveiligingsupdates van het besturingssysteem.
  • 29 november 2023
    • Er is een nieuw pakket geïnstalleerd om pyarrow-hotfix een pyArrow RCE-beveiligingsprobleem op te lossen.
    • Er is een probleem opgelost waarbij escape-onderstrepingstekens in getColumns bewerkingen die afkomstig zijn van JDBC- of ODBC-clients onjuist werden geïnterpreteerd als jokertekens.
    • Bij het opnemen van CSV-gegevens met behulp van automatisch laden of streamingtabellen, worden grote CSV-bestanden nu gesplitst en kunnen ze parallel worden verwerkt tijdens zowel schemadeductie als gegevensverwerking.
    • [SPARK-45892] Planvalidatie van optimizer herstructureren om te ontkoppelen validateSchemaOutput en validateExprIdUniqueness.
    • [SPARK-45620] API's met betrekking tot Python UDF gebruiken nu camelCase.
    • [SPARK-44790] Implementatie to_xml en bindingen toegevoegd voor Python, Spark Connect en SQL.
    • [SPARK-45770] Vaste kolomresolutie met DataFrameDropColumns voor Dataframe.drop.
    • [SPARK-45859] UDF-objecten in ml.functions luie gemaakt.
    • [SPARK-45730] Verbeterde tijdsbeperkingen voor ReloadingX509TrustManagerSuite.
    • [SPARK-44784] SBT test hermetisch.
    • Beveiligingsupdates van het besturingssysteem.
  • 10 november 2023
    • [SPARK-45545] SparkTransportConf SSLOptions neemt over bij het maken.
    • [SPARK-45250] Er is ondersteuning toegevoegd voor taakresourceprofiel op faseniveau voor yarn-clusters wanneer dynamische toewijzing is uitgeschakeld.
    • [SPARK-44753] XML DataFrame reader en writer toegevoegd voor PySpark SQL.
    • [SPARK-45396] Er is een documentvermelding toegevoegd voor PySpark.ml.connect de module.
    • [SPARK-45584] Er is een fout opgelost bij het uitvoeren van subquery's met TakeOrderedAndProjectExec.
    • [SPARK-45541] SSLFactory toegevoegd.
    • [SPARK-45577] Opgelost UserDefinedPythonTableFunctionAnalyzeRunner om gevouwen waarden van benoemde argumenten door te geven.
    • [SPARK-45562] Er is een vereiste optie gemaakt voor 'rowTag'.
    • [SPARK-45427] RPC SSL-instellingen toegevoegd aan SSLOptions en SparkTransportConf.
    • [SPARK-43380] Vertraging opgelost in Avro-leesbewerking.
    • [SPARK-45430] FramelessOffsetWindowFunction mislukt niet meer wanneer IGNORE NULLS en offset > rowCount.
    • [SPARK-45429] Er zijn helperklassen toegevoegd voor SSL RPC-communicatie.
    • [SPARK-45386] Er is een probleem opgelost waarbij StorageLevel.NONE 0 onjuist werd geretourneerd.
    • [SPARK-44219] Validatiecontroles per regel toegevoegd voor herschrijven van optimalisatie.
    • [SPARK-45543] Er is een probleem opgelost waarbij InferWindowGroupLimit een probleem werd veroorzaakt als de andere vensterfuncties niet hetzelfde vensterkader hadden als de rank-achtige functies.
    • Beveiligingsupdates van het besturingssysteem.
  • 27 september 2023
    • [SPARK-44823] Bijgewerkt black naar 23.9.1 en foutieve controle opgelost.
    • [SPARK-45339] PySpark registreert nu fouten die opnieuw worden geprobeerd.
    • Revert [SPARK-42946] Heracted gevoelige gegevens genest onder variabele vervangingen.
    • [SPARK-44551] Bewerkte opmerkingen om te synchroniseren met OSS.
    • [SPARK-45360] Spark Session Builder ondersteunt initialisatie van SPARK_REMOTE.
    • [SPARK-45279] Gekoppeld plan_id aan alle logische plannen.
    • [SPARK-45425] TINYINT Toegewezen aan ShortType voor MsSqlServerDialect.
    • [SPARK-45419] Toewijzingsvermelding voor bestandsversies van grotere versies is verwijderd om te voorkomen dat sst-bestands-id's opnieuw rocksdb worden gebruikt.
    • [SPARK-45488] Er is ondersteuning toegevoegd voor waarde in rowTag element.
    • [SPARK-42205] Logboekregistratie van Accumulables in Task/Stage start-gebeurtenissen in JsonProtocol gebeurtenislogboeken is verwijderd.
    • [SPARK-45426] Er is ondersteuning toegevoegd voor ReloadingX509TrustManager.
    • [SPARK-45256] DurationWriter mislukt bij het schrijven van meer waarden dan de oorspronkelijke capaciteit.
    • [SPARK-43380] Er zijn problemen met conversie van gegevenstypen opgelost Avro zonder prestatieregressie te veroorzaken.
    • [SPARK-45182] Er is ondersteuning toegevoegd voor het terugdraaien van de toewijzingsfase, zodat alle fasetaken opnieuw kunnen worden geprobeerd wanneer de uitvoer van de fase onbepaald is.
    • [SPARK-45399] XML-opties toegevoegd met behulp van newOption.
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 13.3 LTS

Zie Databricks Runtime 13.3 LTS.

  • 22 oktober 2024
    • [SPARK-48843] Oneindige lus voorkomen met BindParameters
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Foutklasse classificeren voor foreach-sinkgebruikersfunctiefout
    • [SPARK-49905] Toegewezen ShuffleOrigin gebruiken voor stateful operator om te voorkomen dat de willekeurige volgorde wordt gewijzigd vanuit AQE
    • Beveiligingsupdates van het besturingssysteem.
  • 10 oktober 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr mag geen schemavelden wijzigen bij het verwijderen van GetArrayStructFields
  • 25 september 2024
    • [SPARK-46601] [CORE] Logboekfout in handleStatusMessage oplossen
    • [SPARK-48719][SQL] Corrigeer de berekeningsfout van RegrSlope & RegrIntercept wanneer de eerste parameter null is
    • [SPARK-43242][CORE] Fout 'Onverwacht type BlockId' in willekeurige beschadigingsdiagnose opgelost
    • [SPARK-49000][SQL] Oplossing voor 'select count(distinct 1) from t' waarbij t lege tabel is door RewriteDistinctAggregates uit te vouwen
    • Beveiligingsupdates van het besturingssysteem.
  • 17 september 2024
    • [SPARK-49526][VERBINDING MAKEN] Ondersteuning voor Paden in Windows-stijl in ArtifactManager
    • [SPARK-48463][ML] Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor die geneste invoerkolommen ondersteunen
    • Beveiligingsupdates van het besturingssysteem.
  • 29 augustus 2024
  • 14 augustus 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan null niet correct verwerken
    • [SPARK-49065][SQL] Herstellen in verouderde formatters/parsers moet niet-JVM-standaardtijdzones ondersteunen
    • [SPARK-48597][SQL] Een markering introduceren voor de eigenschap isStreaming in de tekstweergave van een logisch plan
  • 1 augustus 2024
    • Deze release bevat een bugfix voor de ColumnVector en ColumnarArray klassen in de Spark Java-interface. Voorafgaand aan deze oplossing kunnen er gegevens ArrayIndexOutOfBoundsException worden gegenereerd of onjuist worden geretourneerd wanneer een exemplaar van een van deze klassen waarden bevat null .
    • [SPARK-47202][PYTHON] Typfouten oplossen die datum/tijd veroorzaken met tzinfo
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] Backport spark ML Writer-oplossingen
    • [SPARK-48463] StringIndexer maken die geneste invoerkolommen ondersteunt
    • Beveiligingsupdates van het besturingssysteem.
  • 11 juli 2024
    • (Gedragswijziging) DataFrames die zijn opgeslagen in de cache voor Delta-tabelbronnen, worden nu ongeldig als de brontabel wordt overschreven. Deze wijziging betekent dat alle statuswijzigingen in Delta-tabellen nu de resultaten in de cache ongeldig maken. Gebruik .checkpoint() dit om een tabelstatus gedurende de levensduur van een DataFrame te behouden.
    • Deze release bevat een oplossing voor een probleem waardoor het tabblad Spark UI-omgeving niet correct wordt weergegeven bij het uitvoeren in Databricks Container Services.
    • [SPARK-48383][SS] Werp een betere fout op voor niet-overeenkomende partities in de optie startOffset in Kafka
    • [SPARK-48292][CORE] Herstellen [SPARK-39195][SQL] Spark OutputCommitCoordinator moet fase afbreken wanneer het vastgelegde bestand niet consistent is met de taakstatus
    • [SPARK-48503][SQL] Ongeldige scalaire subquery's herstellen met groeperen op niet-equivalente kolommen die onjuist waren toegestaan
    • [SPARK-48481][SQL][SS] OptimizeOneRowPlan niet toepassen op streaminggegevensset
    • [SPARK-48475][PYTHON] Optimaliseer _get_jvm_function in PySpark.
    • [SPARK-48273][SQL] Late herschrijven van PlanWithUnresolvedIdentifier herstellen
    • [SPARK-48445][SQL] Niet inline UDF's met dure kinderen
    • Beveiligingsupdates van het besturingssysteem.
  • 17 juni 2024
    • [SPARK-48277] Foutbericht voor ErrorClassesJsonReader.getErrorMessage verbeteren
    • Beveiligingsupdates van het besturingssysteem.
  • 21 mei 2024
    • (Gedragswijziging) dbutils.widgets.getAll() wordt nu ondersteund om alle widgetwaarden in een notitieblok op te halen.
    • [SPARK-48105][SS] De racevoorwaarde tussen het lossen en momentopnamen van de statusopslag herstellen
    • [SPARK-47994][SQL] Fout opgelost met CASE WHEN column filter push down in SQLServer
    • Beveiligingsupdates van het besturingssysteem.
  • 9 mei 2024
    • [SPARK-47956][SQL] Sanity-controle op onopgeloste LCA-referentie
    • [SPARK-46822][SQL] Respect spark.sql.legacy.charVarcharAsString bij het casten van jdbc-type naar katalysatortype in jdbc
    • [SPARK-47895][SQL] groeperen op alle moet idempotent zijn
    • [SPARK-48018][SS] Oplossing voor null groupId die ontbrekende param-fout veroorzaakt bij het genereren van KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Oproepsite voor logboeken in SparkContext.stop() en hoger in SparkContext.assertNotStopped()
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2024
    • [SPARK-44653][SQL] Niet-triviale DataFrame-samenvoegingen mogen caching niet breken
    • Diverse bugfixes.
  • 11 april 2024
    • [SPARK-47509][SQL] Subquery-expressies blokkeren in lambda- en hogere volgordefuncties
    • Beveiligingsupdates van het besturingssysteem.
  • 1 april 2024
    • [SPARK-47385] Tuple-coderingsprogramma's herstellen met Optie-invoer.
    • [SPARK-38708][SQL] Hive Metastore-client upgraden naar de 3.1.3 voor Hive 3.1
    • [SPARK-47200][SS] Foutklasse voor foreach batch-sinkgebruikersfunctiefout
    • [SPARK-47368][SQL] De configuratiecontrole inFerTimestampNTZ verwijderen in ParquetRowConverter
    • [SPARK-44252][SS] Definieer een nieuwe foutklasse en kijk of de laadstatus van DFS mislukt
    • [SPARK-47135][SS] Foutklassen implementeren voor uitzonderingen voor gegevensverlies in Kafka
    • [SPARK-47300][SQL] quoteIfNeeded moet de aanhalingstekens beginnen met cijfers
    • [SPARK-47305][SQL] PruneFilters herstellen om de vlag isStreaming van LocalRelation correct te taggen wanneer het plan zowel batch- als streaming heeft
    • [SPARK-47070] Ongeldige aggregatie herstellen na herschrijven van subquery
    • Beveiligingsupdates van het besturingssysteem.
  • 14 maart 2024
    • [SPARK-47145][SQL] Geef tabel-id door aan scanexec van rijgegevensbron voor V2-strategie.
    • [SPARK-47167][SQL] Concrete klasse toevoegen voor anonieme JDBC-relatie
    • [SPARK-47176][SQL] Een Helper-functie ResolveAllExpressionsUpWithPruning hebben
    • [SPARK-47044][SQL] Uitgevoerde query toevoegen voor externe JDBC-gegevensbronnen om uitvoer uit te leggen
    • [SPARK-47125][SQL] Null retourneren als Univocity nooit parseren activeert
    • Beveiligingsupdates van het besturingssysteem.
  • 29 februari 2024
    • Er is een probleem opgelost waarbij het gebruik van een lokale verzameling als bron in een MERGE-opdracht ertoe kon leiden dat de metrische gegevens van numSourceRows voor de bewerking het juiste aantal rijen rapporteren.
    • Voor het maken van een schema met een gedefinieerde locatie moet de gebruiker nu SELECT- en MODIFY-bevoegdheden hebben voor ELK BESTAND.
    • Beveiligingsupdates van het besturingssysteem.
  • 8 februari 2024
    • CDF-query's (Data Feed) voor gerealiseerde unity-catalogusweergaven worden niet ondersteund en een CDF-query uitvoeren met een gerealiseerde unity-catalogusweergave retourneert een fout. Streamingtabellen van Unity Catalog ondersteunen CDF-query's op niet-tabellenAPPLY CHANGES in Databricks Runtime 14.1 en hoger. CDF-query's worden niet ondersteund met streamingtabellen van Unity Catalog in Databricks Runtime 14.0 en eerder.
    • [SPARK-46794] Subquery's verwijderen uit logischeRDD-beperkingen.
    • [SPARK-46933] Voeg metrische gegevens over de uitvoeringstijd van query's toe aan connectors die gebruikmaken van JDBCRDD.
    • [SPARK-45582] Zorg ervoor dat het archiefexemplaren niet worden gebruikt na het aanroepen van doorvoer binnen streamingaggregatie in de uitvoermodus.
    • [SPARK-46396] Tijdstempeldeductie mag geen uitzondering genereren.
    • [SPARK-46861] Vermijd impasse in DAGScheduler.
    • [SPARK-46941] Kan het limietknooppunt voor venstergroepen voor top-k-berekeningen niet invoegen als dit SizeBasedWindowFunction bevat.
    • Beveiligingsupdates van het besturingssysteem.
  • 31 januari 2024
    • [SPARK-46610] Als u een tabel maakt, wordt er een uitzondering gegenereerd wanneer er geen waarde voor een sleutel in opties is.
    • [SPARK-46383] Verminder het heap-gebruik van stuurprogramma's door de levensduur van TaskInfo.accumulables() te verminderen.
    • [SPARK-46600] Verplaats gedeelde code tussen SqlConf en SqlApiConf naar SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark mag niet mislukken bij canonicalisatie van het plan.
    • [SPARK-46763] Er is een fout opgelost met de assertie in ReplaceDeduplicateWithAggregate voor dubbele kenmerken.
    • Beveiligingsupdates van het besturingssysteem.
  • 17 januari 2024
    • Het shuffle knooppunt van het uitlegplan dat door een Photon-query wordt geretourneerd, wordt bijgewerkt om de causedBroadcastJoinBuildOOM=true vlag toe te voegen wanneer er een fout in het geheugen optreedt tijdens een willekeurige volgorde die deel uitmaakt van een broadcast-join.
    • Deze onderhoudsrelease bevat een patch voor de installatie van JDK 8 om JDK-bug JDK-8-fout JDK-8293562 op te lossen om een verhoogde latentie te voorkomen bij de communicatie via TLSv1.3.
    • [SPARK-46058] Voeg een afzonderlijke vlag toe voor privateKeyPassword.
    • [SPARK-46173] Het overslaan van trimAll-aanroep tijdens het parseren van datums.
    • [SPARK-46370] Er is een fout opgelost bij het uitvoeren van query's vanuit een tabel na het wijzigen van de standaardinstellingen voor kolommen.
    • [SPARK-46370] Er is een fout opgelost bij het uitvoeren van query's vanuit een tabel na het wijzigen van de standaardinstellingen voor kolommen.
    • [SPARK-46370] Er is een fout opgelost bij het uitvoeren van query's vanuit een tabel na het wijzigen van de standaardinstellingen voor kolommen.
    • [SPARK-46609] Vermijd exponentiële explosie in PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Ondersteuning voor sleutelwachtwoord voor JKS-sleutels voor RPC SSL.
    • [SPARK-46602] allowExisting Doorgeven bij het maken van de weergave wanneer de weergave/tabel niet bestaat.
    • [SPARK-46249] Instantievergrendeling vereisen voor het verkrijgen van metrische gegevens van RocksDB om racen met achtergrondbewerkingen te voorkomen.
    • [SPARK-46417] Niet mislukken bij het aanroepen van hive.getTable en throwException is onwaar.
    • [SPARK-46538] Los het probleem met dubbelzinnige kolomreferenties in ALSModel.transform.
    • [SPARK-46478] Herstel SPARK-43049 om oracle varchar(255) te gebruiken voor tekenreeksen.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46394] Los problemen met spark.catalog.listDatabases() op in schema's met speciale tekens wanneer deze zijn spark.sql.legacy.keepCommandOutputSchema ingesteld op waar.
    • [SPARK-46056] Corrigeer parquet vectorized read NPE met byteArrayDecimalType standaardwaarde.
    • [SPARK-46145] spark.catalog.listTables genereert geen uitzondering wanneer de tabel of weergave niet wordt gevonden.
    • [SPARK-46466] Vectorized Parquet Reader mag nooit opnieuwbase uitvoeren voor timestamp ntz.
  • 14 december 2023
    • Er is een probleem opgelost waarbij escape-onderstrepingstekens in getColumns-bewerkingen die afkomstig zijn van JDBC- of ODBC-clients onjuist werden verwerkt en geïnterpreteerd als jokertekens.
    • [SPARK-45920] groeperen op rangtelwoord moet idempotent zijn.
    • [SPARK-44582] Sla iterator over op SMJ als deze is opgeschoond.
    • [SPARK-45433] Herstel deductie van CSV-/JSON-schema's wanneer tijdstempels niet overeenkomen met de opgegeven timestampFormat.
    • [SPARK-45655] Niet-deterministische expressies toestaan in AggregateFunctions in CollectMetrics.
    • Beveiligingsupdates van het besturingssysteem.
  • 29 november 2023
    • Er is een nieuw pakket geïnstalleerd om pyarrow-hotfix een pyArrow RCE-beveiligingsprobleem op te lossen.
    • Spark-snowflake-connector wordt bijgewerkt naar 2.12.0.
    • [SPARK-44846] Complexe groeperingsexpressies na RemoveRedundantAggregatesverwijderd.
    • [SPARK-45544] Geïntegreerde SSL-ondersteuning in TransportContext.
    • [SPARK-45892] Planvalidatie van optimizer herstructureren om te ontkoppelen validateSchemaOutput en validateExprIdUniqueness.
    • [SPARK-45730] Verbeterde tijdsbeperkingen voor ReloadingX509TrustManagerSuite.
    • [SPARK-45859] UDF-objecten in ml.functions luie gemaakt.
    • Beveiligingsupdates van het besturingssysteem.
  • 10 november 2023
    • Partitiefilters op Delta Lake-streamingquery's worden omlaag gepusht voordat snelheidsbeperking wordt bereikt om beter gebruik te bereiken.
    • Query's voor gegevensfeeds in streamingtabellen van Unity Catalog en gerealiseerde weergaven zijn gewijzigd om foutberichten weer te geven.
    • [SPARK-45545] SparkTransportConf SSLOptions neemt over bij het maken.
    • [SPARK-45584] Er is een fout opgelost bij het uitvoeren van subquery's met TakeOrderedAndProjectExec.
    • [SPARK-45427] RPC SSL-instellingen toegevoegd aan SSLOptions en SparkTransportConf.
    • [SPARK-45541] Toegevoegd SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction mislukt niet meer wanneer IGNORE NULLS en offset > rowCount.
    • [SPARK-45429] Er zijn helperklassen toegevoegd voor SSL RPC-communicatie.
    • [SPARK-44219] Extra validaties per regel toegevoegd voor herschrijfbewerkingen voor optimalisatie.
    • [SPARK-45543] Er is een probleem opgelost waarbij InferWindowGroupLimit een probleem werd veroorzaakt als de andere vensterfuncties niet hetzelfde vensterkader hadden als de rank-achtige functies.
    • Beveiligingsupdates van het besturingssysteem.
  • 23 oktober 2023
    • [SPARK-45256] Er is een probleem opgelost waarbij DurationWriter mislukt bij het schrijven van meer waarden dan de initiële capaciteit.
    • [SPARK-45419] Vermijd het hergebruik van rocksdb sst bestanden in een ander rocksdb exemplaar door vermeldingen van bestandsversietoewijzingen van grotere versies te verwijderen.
    • [SPARK-45426] Er is ondersteuning toegevoegd voor ReloadingX509TrustManager.
    • Diverse oplossingen.
  • 13 oktober 2023
    • Snowflake-jdbc-afhankelijkheid is bijgewerkt van 3.13.29 naar 3.13.33.
    • De array_insert functie is 1 gebaseerd op positieve en negatieve indexen, terwijl deze eerder op 0 was gebaseerd voor negatieve indexen. Er wordt nu een nieuw element ingevoegd aan het einde van invoermatrices voor de index -1. Als u het vorige gedrag wilt herstellen, stelt u in op spark.sql.legacy.negativeIndexInArrayInsert true.
    • Er is een probleem opgelost met betrekking tot het niet negeren van beschadigde bestanden wanneer ignoreCorruptFiles deze is ingeschakeld tijdens deductie van csv-schema's met automatisch laden.
    • [SPARK-42946] herstellen.
    • [SPARK-42205] Het JSON-protocol bijgewerkt om logboekregistratie van accumulables in een taak- of fasestart-gebeurtenissen te verwijderen.
    • [SPARK-45178] Terugval naar het uitvoeren van één batch voor Trigger.AvailableNow met niet-ondersteunde bronnen in plaats van de wrapper te gebruiken.
    • [SPARK-45316] Voeg nieuwe parameters ignoreCorruptFiles toe en ignoreMissingFiles aan HadoopRDD en NewHadoopRDD.
    • [SPARK-44740] Er zijn metagegevenswaarden opgelost voor Artefacten.
    • [SPARK-45360] Geïnitialiseerde Configuratie van Spark-sessiebouwer van SPARK_REMOTE.
    • [SPARK-44551] Bewerkte opmerkingen om te synchroniseren met OSS.
    • [SPARK-45346] Parquet-schemadeductie respecteert nu hoofdlettergevoelige vlaggen bij het samenvoegen van het schema.
    • [SPARK-44658] ShuffleStatus.getMapStatus retourneert None nu in plaats van Some(null).
    • [SPARK-44840] Gemaakt array_insert() op basis van 1 voor negatieve indexen.
  • 14 september 2023
    • [SPARK-44873] Er is ondersteuning toegevoegd voor alter view geneste kolommen in de Hive-client.
    • [SPARK-44878] De strikte limiet voor RocksDB schrijfbeheer is uitgeschakeld om invoegingsondering te voorkomen bij het voltooien van de cache.
  • 30 augustus 2023
    • De opdracht dbutils cp (dbutils.fs.cp) is geoptimaliseerd voor sneller kopiëren. Met deze verbetering kunnen kopieerbewerkingen tot 100 minder tijd duren, afhankelijk van de bestandsgrootte. De functie is beschikbaar in alle clouds en bestandssystemen die toegankelijk zijn in Databricks, inclusief voor Unity Catalog-volumes en DBFS-koppelingen.
    • [SPARK-44455] Aanhalingstekens met backticks in het SHOW CREATE TABLE resultaat.
    • [SPARK-44763] Er is een probleem opgelost waarbij een tekenreeks werd weergegeven als een dubbele waarde in binaire rekenkundige bewerkingen met interval.
    • [SPARK-44871] Vast percentile_disc gedrag.
    • [SPARK-44714] Beperking van LCA-resolutie met betrekking tot query's vereenvoudigen.
    • [SPARK-44818] Vaste race voor taakonderbreeding in behandeling uitgegeven voordat taskThread deze wordt geïnitialiseerd.
    • [SPARK-44505] Onderdrukking toegevoegd voor kolomondersteuning in Scan voor DSv2.
    • [SPARK-44479] De protobuf-conversie van een leeg structtype is opgelost.
    • [SPARK-44718] De ColumnVector standaardconfiguratie van de geheugenmodus afstemmen op OffHeapMemoryMode de configuratiewaarde.
    • [SPARK-42941] Er is ondersteuning toegevoegd voor StreamingQueryListener in Python.
    • [SPARK-44558] Exporteer het Spark Connect-logboekniveau van PySpark.
    • [SPARK-44464] Opgelost applyInPandasWithStatePythonRunner met uitvoerrijen met Null als de eerste kolomwaarde.
    • [SPARK-44643] Opgelost Row.__repr__ wanneer het veld een lege rij is.
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 12.2 LTS

Zie Databricks Runtime 12.2 LTS.

  • 10 oktober 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr mag geen schemavelden wijzigen bij het verwijderen van GetArrayStructFields
  • 25 september 2024
    • [SPARK-49000][SQL] Oplossing voor 'select count(distinct 1) from t' waarbij t lege tabel is door RewriteDistinctAggregates uit te vouwen
    • [SPARK-46601] [CORE] Logboekfout in handleStatusMessage oplossen
    • Diverse bugfixes.
  • 17 september 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 29 augustus 2024
    • Diverse bugfixes.
  • 14 augustus 2024
    • [SPARK-48941][SPARK-48970] Backport ML writer/reader fixes
    • [SPARK-49065][SQL] Herstellen in verouderde formatters/parsers moet niet-JVM-standaardtijdzones ondersteunen
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan null niet correct verwerken
    • [SPARK-48597][SQL] Een markering introduceren voor de eigenschap isStreaming in de tekstweergave van een logisch plan
    • [SPARK-48463][ML] Tekenreeksindexer maken die geneste invoerkolommen ondersteunt
    • Beveiligingsupdates van het besturingssysteem.
  • 1 augustus 2024
  • 1 augustus 2024
    • Als u vereiste beveiligingspatches wilt toepassen, wordt de Python-versie in Databricks Runtime 12.2 LTS bijgewerkt van 3.9.5 naar 3.9.19.
  • 11 juli 2024
    • (Gedragswijziging) DataFrames die zijn opgeslagen in de cache voor Delta-tabelbronnen, worden nu ongeldig als de brontabel wordt overschreven. Deze wijziging betekent dat alle statuswijzigingen in Delta-tabellen nu de resultaten in de cache ongeldig maken. Gebruik .checkpoint() dit om een tabelstatus gedurende de levensduur van een DataFrame te behouden.
    • [SPARK-48481][SQL][SS] OptimizeOneRowPlan niet toepassen op streaminggegevensset
    • [SPARK-47070] Ongeldige aggregatie herstellen na herschrijven van subquery
    • [SPARK-42741][SQL] Niet uitpakken van casts in binaire vergelijking wanneer letterlijke waarde null is
    • [SPARK-48445][SQL] Niet inline UDF's met dure kinderen
    • [SPARK-48503][SQL] Ongeldige scalaire subquery's herstellen met groeperen op niet-equivalente kolommen die onjuist waren toegestaan
    • [SPARK-48383][SS] Werp een betere fout op voor niet-overeenkomende partities in de optie startOffset in Kafka
    • Beveiligingsupdates van het besturingssysteem.
  • 17 juni 2024
    • [SPARK-48277] Foutbericht voor ErrorClassesJsonReader.getErrorMessage verbeteren
    • Diverse bugfixes.
  • 21 mei 2024
    • [SPARK-48105][SS] De racevoorwaarde tussen het lossen en momentopnamen van de statusopslag herstellen
    • Beveiligingsupdates van het besturingssysteem.
  • 9 mei 2024
    • [SPARK-44251][SQL] Stel nullable correct in op de samengevoegde joinsleutel in full outer USING join
    • [SPARK-47973][CORE] Oproepsite voor logboeken in SparkContext.stop() en hoger in SparkContext.assertNotStopped()
    • [SPARK-47956][SQL] Sanity-controle op onopgeloste LCA-referentie
    • [SPARK-48018][SS] Oplossing voor null groupId die ontbrekende param-fout veroorzaakt bij het genereren van KafkaException.couldNotReadOffsetRange
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 11 april 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 1 april 2024
    • [SPARK-47305][SQL] PruneFilters herstellen om de vlag isStreaming van LocalRelation correct te taggen wanneer het plan zowel batch- als streaming heeft
    • [SPARK-44252][SS] Definieer een nieuwe foutklasse en kijk of de laadstatus van DFS mislukt
    • [SPARK-47135][SS] Foutklassen implementeren voor uitzonderingen voor gegevensverlies in Kafka
    • [SPARK-47200][SS] Foutklasse voor foreach batch-sinkgebruikersfunctiefout
    • Beveiligingsupdates van het besturingssysteem.
  • 14 maart 2024
    • [SPARK-47176][SQL] Een Helper-functie ResolveAllExpressionsUpWithPruning hebben
    • Herstel "[SPARK-46861][CORE] Voorkom impasse in DAGScheduler"
    • [SPARK-47125][SQL] Null retourneren als Univocity nooit parseren activeert
    • [SPARK-47167][SQL] Concrete klasse toevoegen voor anonieme JDBC-relatie
    • Beveiligingsupdates van het besturingssysteem.
  • 29 februari 2024
    • Er is een probleem opgelost waarbij het gebruik van een lokale verzameling als bron in een MERGE-opdracht ertoe kon leiden dat de metrische gegevens van numSourceRows voor de bewerking het juiste aantal rijen rapporteren.
    • Voor het maken van een schema met een gedefinieerde locatie moet de gebruiker nu SELECT- en MODIFY-bevoegdheden hebben voor ELK BESTAND.
    • [SPARK-45582][SS] Zorg ervoor dat het archiefexemplaren niet worden gebruikt na het aanroepen van doorvoer binnen streamingaggregatie in de uitvoermodus
    • Beveiligingsupdates van het besturingssysteem.
  • 13 februari 2024
    • [SPARK-46861] Vermijd impasse in DAGScheduler.
    • [SPARK-46794] Subquery's verwijderen uit logischeRDD-beperkingen.
    • Beveiligingsupdates van het besturingssysteem.
  • 31 januari 2024
    • [SPARK-46763] Er is een fout opgelost met de assertie in ReplaceDeduplicateWithAggregate voor dubbele kenmerken.
    • Beveiligingsupdates van het besturingssysteem.
  • 25 december 2023
    • Deze onderhoudsrelease bevat een patch voor de installatie van JDK 8 om JDK-bug JDK-8-fout JDK-8293562 op te lossen om een verhoogde latentie te voorkomen bij de communicatie via TLSv1.3.
    • [SPARK-39440] Voeg een configuratie toe om de tijdlijn voor gebeurtenissen uit te schakelen.
    • [SPARK-46132] Ondersteuning voor sleutelwachtwoord voor JKS-sleutels voor RPC SSL.
    • [SPARK-46394] Los problemen met spark.catalog.listDatabases() op in schema's met speciale tekens wanneer deze zijn spark.sql.legacy.keepCommandOutputSchema ingesteld op waar.
    • [SPARK-46417] Niet mislukken bij het aanroepen van hive.getTable en throwException is onwaar.
    • [SPARK-43067] Corrigeer de locatie van het resourcebestand van de foutklasse in de Kafka-connector.
    • [SPARK-46249] Instantievergrendeling vereisen voor het verkrijgen van metrische gegevens van RocksDB om racen met achtergrondbewerkingen te voorkomen.
    • [SPARK-46602] allowExisting Doorgeven bij het maken van de weergave wanneer de weergave/tabel niet bestaat.
    • [SPARK-46058] Voeg een afzonderlijke vlag toe voor privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables genereert geen uitzondering wanneer de tabel of weergave niet wordt gevonden.
    • [SPARK-46538] Los het probleem met dubbelzinnige kolomreferenties in ALSModel.transform.
    • [SPARK-42852] Revert NamedLambdaVariable related changes from EquivalentExpressions.
  • 14 december 2023
    • Er is een probleem opgelost waarbij escape-onderstrepingstekens in getColumns-bewerkingen die afkomstig zijn van JDBC- of ODBC-clients onjuist werden verwerkt en geïnterpreteerd als jokertekens.
    • [SPARK-44582] Sla iterator over op SMJ als deze is opgeschoond.
    • [SPARK-45920] groeperen op rangtelwoord moet idempotent zijn.
    • [SPARK-45655] Niet-deterministische expressies toestaan in AggregateFunctions in CollectMetrics.
    • Beveiligingsupdates van het besturingssysteem.
  • 29 november 2023
    • Er is een nieuw pakket geïnstalleerd om pyarrow-hotfix een pyArrow RCE-beveiligingsprobleem op te lossen.
    • Er is een probleem opgelost waarbij escape-onderstrepingstekens in getColumns bewerkingen die afkomstig zijn van JDBC- of ODBC-clients onjuist werden geïnterpreteerd als jokertekens.
    • [SPARK-42205] Logboekregistratieaccumulaties zijn verwijderd in Stage en Task starten van gebeurtenissen.
    • [SPARK-44846] Complexe groeperingsexpressies na RemoveRedundantAggregatesverwijderd.
    • [SPARK-43718] De null-waarde voor sleutels in USING joins is opgelost.
    • [SPARK-45544] Geïntegreerde SSL-ondersteuning in TransportContext.
    • [SPARK-43973] In de gestructureerde streaming-gebruikersinterface worden nu mislukte query's correct weergegeven.
    • [SPARK-45730] Verbeterde tijdsbeperkingen voor ReloadingX509TrustManagerSuite.
    • [SPARK-45859] UDF-objecten in ml.functions luie gemaakt.
    • Beveiligingsupdates van het besturingssysteem.
  • 14 november 2023
    • Partitiefilters op Delta Lake-streamingquery's worden omlaag gepusht voordat snelheidsbeperking wordt bereikt om beter gebruik te bereiken.
    • [SPARK-45545] SparkTransportConf SSLOptions neemt over bij het maken.
    • [SPARK-45427] RPC SSL-instellingen toegevoegd aan SSLOptions en SparkTransportConf.
    • [SPARK-45584] Er is een fout opgelost bij het uitvoeren van subquery's met TakeOrderedAndProjectExec.
    • [SPARK-45541] Toegevoegd SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction mislukt niet meer wanneer IGNORE NULLS en offset > rowCount.
    • [SPARK-45429] Er zijn helperklassen toegevoegd voor SSL RPC-communicatie.
    • Beveiligingsupdates van het besturingssysteem.
  • 24 oktober 2023
    • [SPARK-45426] Er is ondersteuning toegevoegd voor ReloadingX509TrustManager.
    • Diverse oplossingen.
  • 13 oktober 2023
    • Snowflake-jdbc-afhankelijkheid is bijgewerkt van 3.13.29 naar 3.13.33.
    • [SPARK-42553] Zorg ervoor dat er ten minste één tijdseenheid na het interval is.
    • [SPARK-45346] Parquet-schemadeductie respecteert hoofdlettergevoelige vlag bij het samenvoegen van het schema.
    • [SPARK-45178] Terugval naar het uitvoeren van één batch voor Trigger.AvailableNow met niet-ondersteunde bronnen in plaats van de wrapper te gebruiken.
    • [SPARK-45084] StateOperatorProgress om een nauwkeurig, voldoende willekeurige partitienummer te gebruiken.
  • 12 september 2023
    • [SPARK-44873] Er is ondersteuning toegevoegd voor alter view geneste kolommen in de Hive-client.
    • [SPARK-44718] De ColumnVector standaardconfiguratie van de geheugenmodus afstemmen op OffHeapMemoryMode de configuratiewaarde.
    • [SPARK-43799] Binaire optie voor de descriptor toegevoegd aan de PySpark-API Protobuf .
    • Diverse oplossingen.
  • 30 augustus 2023
    • [SPARK-44485] Geoptimaliseerd TreeNode.generateTreeString.
    • [SPARK-44818] Vaste race voor taakonderbreeding in behandeling uitgegeven voordat taskThread deze wordt geïnitialiseerd.
    • [SPARK-44871][11.3-13.0] Vast percentile_disc gedrag.
    • [SPARK-44714] Beperkte beperking van LCA-omzetting met betrekking tot query's.
    • Beveiligingsupdates van het besturingssysteem.
  • 15 augustus 2023
    • [SPARK-44504] Onderhoudstaak schoont geladen providers op bij stopfout.
    • [SPARK-44464] Opgelost applyInPandasWithStatePythonRunner met uitvoerrijen die de eerste kolomwaarde hebben Null .
    • Beveiligingsupdates van het besturingssysteem.
  • 29 juli 2023
    • Er is een probleem opgelost waarbij dbutils.fs.ls() deze werd geretourneerd bij het aangeroepen INVALID_PARAMETER_VALUE.LOCATION_OVERLAP voor een opslaglocatiepad dat conflicteerde met een andere externe of beheerde opslaglocatie.
    • [SPARK-44199] CacheManager vernieuwt niet langer onnodig fileIndex .
    • Beveiligingsupdates van het besturingssysteem.
  • 24 juli 2023
    • [SPARK-44337] Er is een probleem opgelost waarbij een veld dat is ingesteld om parseringsfouten te Any.getDefaultInstance veroorzaken.
    • [SPARK-44136] Er is een probleem opgelost waarbij StateManager werd gerealiseerd in een uitvoerder in plaats van het stuurprogramma in FlatMapGroupsWithStateExec.
    • Beveiligingsupdates van het besturingssysteem.
  • 23 juni 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 15 juni 2023
    • Gefotoniseerd approx_count_distinct.
    • Snowflake-jdbc-bibliotheek wordt bijgewerkt naar 3.13.29 om een beveiligingsprobleem op te lossen.
    • [SPARK-43779] ParseToDate laadt EvalMode nu in de hoofdthread.
    • [SPARK-43156][SPARK-43098] Uitgebreide scalaire subquery-fouttest met decorrelateInnerQuery uitgeschakeld.
    • Beveiligingsupdates van het besturingssysteem.
  • 2 juni 2023
    • De JSON-parser in failOnUnknownFields de modus verwijdert een record in DROPMALFORMED de modus en mislukt rechtstreeks in FAILFAST de modus.
    • Verbeter de prestaties van incrementele updates met SHALLOW CLONE Iceberg en Parquet.
    • Er is een probleem opgelost in Auto Loader waarbij verschillende bronbestandsindelingen inconsistent waren toen het opgegeven schema geen uitgestelde partities had opgenomen. Dit probleem kan onverwachte fouten veroorzaken bij het lezen van bestanden met ontbrekende kolommen in het uitgestelde partitieschema.
    • [SPARK-43404] Sla het sst-bestand voor dezelfde versie van rocksDB-statusopslag over om te voorkomen dat de id niet overeenkomt.
    • [SPARK-43413][11.3-13.0] Er is een null-waarde voor subquery ListQuery opgelostIN.
    • [SPARK-43522] Er is een probleem opgelost met het maken van de naam van de structkolom met de index van de matrix.
    • [SPARK-43541] Alle tags doorgeven bij het omzetten van expressies en ontbrekende Project kolommen.
    • [SPARK-43527] Opgelost catalog.listCatalogs in PySpark.
    • [SPARK-43123] Interne veldmetagegevens lekken niet meer naar catalogi.
    • [SPARK-43340] Er is een probleem opgelost met ontbrekend stacktraceringsveld in gebeurtenislogboeken.
    • [SPARK-42444] DataFrame.drop verwerkt nu dubbele kolommen correct.
    • [SPARK-42937] PlanSubqueries wordt nu ingesteld InSubqueryExec#shouldBroadcast op waar.
    • [SPARK-43286] De CBC-modus is bijgewerkt aes_encrypt om willekeurige IVs te genereren.
    • [SPARK-43378] Streamobjecten correct sluiten in deserializeFromChunkedBuffer.
  • 17 mei 2023
    • Parquet-scans zijn nu robuust tegen OOM's bij het scannen van uitzonderlijk gestructureerde bestanden door de batchgrootte dynamisch aan te passen. Bestandsmetagegevens worden geanalyseerd naar een preventieve lagere batchgrootte en worden opnieuw verlaagd bij nieuwe pogingen van taken als een definitief veiligheidsnet.
    • Als een Avro-bestand is gelezen met alleen de failOnUnknownFields optie of met autolader in de modus voor schemaontwikkeling failOnNewColumns , worden kolommen met verschillende gegevenstypen gelezen, zoals null in plaats van een fout te genereren waarin wordt aangegeven dat het bestand niet kan worden gelezen. Deze leesbewerkingen mislukken en raden gebruikers aan om de rescuedDataColumn optie te gebruiken.
    • Automatisch laden doet nu het volgende.
      • Correct wordt gelezen en niet meer gered Integer, Shorten Byte typen als een van deze gegevenstypen is opgegeven, maar het Avro-bestand suggereert een van de andere twee typen.
      • Voorkomt leesintervaltypen als datum- of tijdstempeltypen om beschadigde datums te voorkomen.
      • Hiermee voorkomt u leestypen Decimal met lagere precisie.
    • [SPARK-43172] Stelt de host en het token beschikbaar vanuit de Spark Connect-client.
    • [SPARK-43293] __qualified_access_only wordt genegeerd in normale kolommen.
    • [SPARK-43098] Er is een fout opgelost in COUNT de juistheid wanneer scalaire subquery wordt gegroepeerd op component.
    • [SPARK-43085] Ondersteuning voor kolomtoewijzing DEFAULT voor tabelnamen met meerdere onderdelen.
    • [SPARK-43190] ListQuery.childOutput is nu consistent met secundaire uitvoer.
    • [SPARK-43192] Charsetvalidatie van gebruikersagent verwijderd.
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2023
    • Als een Parquet-bestand is gelezen met alleen de failOnUnknownFields optie of met automatisch laden in de modus voor schemaontwikkeling failOnNewColumns , worden kolommen met verschillende gegevenstypen gelezen, in null plaats van een fout te genereren waarin wordt aangegeven dat het bestand niet kan worden gelezen. Deze leesbewerkingen mislukken en raden gebruikers aan om de rescuedDataColumn optie te gebruiken.
    • Automatisch laadprogramma leest nu correct en redt Integerniet meer, Shorten Byte typen als een van deze gegevenstypen is opgegeven. Het Parquet-bestand stelt een van de andere twee typen voor. Wanneer de opgeslagen gegevenskolom eerder werd ingeschakeld, zou het gegevenstype niet overeenkomen, ervoor zorgen dat kolommen worden opgeslagen, ook al waren ze leesbaar.
    • [SPARK-43009] Geparameteriseerd sql() met Any constanten
    • [SPARK-42406] Recursieve Protobuf-velden beëindigen door het veld te verwijderen
    • [SPARK-43038] Ondersteuning voor de CBC-modus door aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Wijzigen om af te drukken workdir of appDirs null is wanneer werkrol een gebeurtenis verwerkt WorkDirCleanup
    • [SPARK-43018] Fout opgelost voor INSERT-opdrachten met letterlijke tijdstempels
    • Beveiligingsupdates van het besturingssysteem.
  • 11 april 2023
    • Ondersteuning voor verouderde gegevensbronindelingen in de SYNC opdracht.
    • Lost een probleem op in het gedrag %autoreload in notebooks buiten een opslagplaats.
    • Er is een probleem opgelost waarbij automatisch laden van schema's kan worden omgezet in een oneindige faillus wanneer een nieuwe kolom wordt gedetecteerd in het schema van een genest JSON-object.
    • [SPARK-42928] Wordt resolvePersistentFunction gesynchroniseerd.
    • [SPARK-42936] Lost het probleem met LCan op wanneer de component rechtstreeks kan worden opgelost door de onderliggende statistische functie.
    • [SPARK-42967] SparkListenerTaskStart.stageAttemptId Oplossingen wanneer een taak wordt gestart nadat de fase is geannuleerd.
    • Beveiligingsupdates van het besturingssysteem.
  • 29 maart 2023

    • Databricks SQL biedt nu ondersteuning voor het opgeven van standaardwaarden voor kolommen van Delta Lake-tabellen, hetzij tijdens het maken van tabellen of later. Volgende INSERT, UPDATE, DELETEen MERGE opdrachten kunnen verwijzen naar de standaardwaarde van een kolom met behulp van het expliciete DEFAULT trefwoord. Als een INSERT toewijzing bovendien een expliciete lijst met minder kolommen heeft dan de doeltabel, worden de bijbehorende standaardwaarden voor kolommen vervangen door de resterende kolommen (of NULL als er geen standaardwaarde is opgegeven).

      Voorbeeld:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • Auto Loader initieert nu ten minste één synchrone RocksDB-logboekopruiming voor Trigger.AvailableNow streams om te controleren of het controlepunt regelmatig kan worden opgeschoond voor snellopende Automatische laadprogramma's. Dit kan ertoe leiden dat sommige streams langer duren voordat ze worden afgesloten, maar het bespaart u opslagkosten en verbetert de ervaring van het automatisch laden in toekomstige uitvoeringen.

    • U kunt nu een Delta-tabel wijzigen om ondersteuning toe te voegen aan tabelfuncties met behulp van DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Verhoog de lockAcquireTimeoutMs tot 2 minuten voor het verkrijgen van de RocksDB-statusopslag in Structuurstreaming

    • [SPARK-42521] NULL's voor INSERT's toevoegen met door de gebruiker opgegeven lijsten met minder kolommen dan de doeltabel

    • [SPARK-42702][SPARK-42623] Ondersteuning voor geparameteriseerde query's in subquery en CTE

    • [SPARK-42668] Uitzondering vangen tijdens het sluiten van de gecomprimeerde stream in HDFSStateStoreProvider stop

    • [SPARK-42403] JsonProtocol moet null-JSON-tekenreeksen verwerken

  • 8 maart 2023
    • Het foutbericht 'De configuratie kan niet worden geïnitialiseerd' is verbeterd om de klant meer context te bieden.
    • Er is een terminologiewijziging voor het toevoegen van functies aan een Delta-tabel met behulp van de tabeleigenschap. De voorkeurssyntaxis is nu 'delta.feature.featureName'='supported' in plaats van 'delta.feature.featureName'='enabled'. Voor compatibiliteit met eerdere versies werkt het gebruik 'delta.feature.featureName'='enabled' van nog steeds en blijft het werken.
    • Vanaf deze release is het mogelijk om een tabel te maken/vervangen door een extra tabeleigenschap delta.ignoreProtocolDefaults om protocolgerelateerde Spark-configuraties te negeren, waaronder standaardlezer- en schrijfversies en tabelfuncties die standaard worden ondersteund.
    • [SPARK-42070] De standaardwaarde van het argument van de functie Masker wijzigen van -1 in NULL
    • [SPARK-41793] Onjuist resultaat voor vensterframes die zijn gedefinieerd door een bereikcomponent op significante decimalen
    • [SPARK-42484] Beter foutbericht OnveiligeRowUtils
    • [SPARK-42516] De configuratie van de sessietijdzone altijd vastleggen tijdens het maken van weergaven
    • [SPARK-42635] Corrigeer de TimestampAdd-expressie.
    • [SPARK-42622] Vervanging in waarden uitgeschakeld
    • [SPARK-42534] Db2Dialect Limit-component herstellen
    • [SPARK-42121] Ingebouwde tabelwaardefuncties toevoegen posexplode, posexplode_outer, json_tuple en stack
    • [SPARK-42045] ANSI SQL-modus: Round/Bround moet een fout retourneren bij een overloop van kleine/kleine/significante gehele getallen
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 11.3 LTS

Zie Databricks Runtime 11.3 LTS.

  • 10 oktober 2024
    • Diverse bugfixes.
  • 25 september 2024
    • [SPARK-46601] [CORE] Logboekfout in handleStatusMessage oplossen
    • [SPARK-49000][SQL] Oplossing voor 'select count(distinct 1) from t' waarbij t lege tabel is door RewriteDistinctAggregates uit te vouwen
    • Diverse bugfixes.
  • 17 september 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 29 augustus 2024
  • 14 augustus 2024
    • [SPARK-48941][SPARK-48970] Backport ML writer/reader fixes
    • [SPARK-49065][SQL] Herstellen in verouderde formatters/parsers moet niet-JVM-standaardtijdzones ondersteunen
    • [SPARK-48597][SQL] Een markering introduceren voor de eigenschap isStreaming in de tekstweergave van een logisch plan
    • [SPARK-48463][ML] Tekenreeksindexer maken die geneste invoerkolommen ondersteunt
    • Beveiligingsupdates van het besturingssysteem.
  • 1 augustus 2024
  • 1 augustus 2024
    • Als u vereiste beveiligingspatches wilt toepassen, wordt de Python-versie in Databricks Runtime 11.3 LTS bijgewerkt van 3.9.5 naar 3.9.19.
  • 11 juli 2024
    • [SPARK-48383][SS] Werp een betere fout op voor niet-overeenkomende partities in de optie startOffset in Kafka
    • [SPARK-47070] Ongeldige aggregatie herstellen na herschrijven van subquery
    • Beveiligingsupdates van het besturingssysteem.
  • 17 juni 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 21 mei 2024
    • [SPARK-48105][SS] De racevoorwaarde tussen het lossen en momentopnamen van de statusopslag herstellen
    • Beveiligingsupdates van het besturingssysteem.
  • 9 mei 2024
    • [SPARK-48018][SS] Oplossing voor null groupId die ontbrekende param-fout veroorzaakt bij het genereren van KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Oproepsite voor logboeken in SparkContext.stop() en hoger in SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Stel nullable correct in op de samengevoegde joinsleutel in full outer USING join
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 11 april 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 1 april 2024
    • [SPARK-44252][SS] Definieer een nieuwe foutklasse en kijk of de laadstatus van DFS mislukt
    • [SPARK-47135][SS] Foutklassen implementeren voor uitzonderingen voor gegevensverlies in Kafka
    • Herstel "[SPARK-46861][CORE] Voorkom impasse in DAGScheduler"
    • [SPARK-47200][SS] Foutklasse voor foreach batch-sinkgebruikersfunctiefout
    • Beveiligingsupdates van het besturingssysteem.
  • 14 maart 2024
    • [SPARK-47167][SQL] Concrete klasse toevoegen voor anonieme JDBC-relatie
    • [SPARK-47125][SQL] Null retourneren als Univocity nooit parseren activeert
    • Beveiligingsupdates van het besturingssysteem.
  • 29 februari 2024
    • Er is een probleem opgelost waarbij het gebruik van een lokale verzameling als bron in een MERGE-opdracht ertoe kon leiden dat de metrische gegevens van numSourceRows voor de bewerking het juiste aantal rijen rapporteren.
    • [SPARK-45582][SS] Zorg ervoor dat het archiefexemplaren niet worden gebruikt na het aanroepen van doorvoer binnen streamingaggregatie in de uitvoermodus
  • 13 februari 2024
    • [SPARK-46794] Subquery's verwijderen uit logischeRDD-beperkingen.
    • [SPARK-46861] Vermijd impasse in DAGScheduler.
    • Beveiligingsupdates van het besturingssysteem.
  • 31 januari 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 25 december 2023
    • Deze onderhoudsrelease bevat een patch voor de installatie van JDK 8 om JDK-bug JDK-8-fout JDK-8293562 op te lossen om een verhoogde latentie te voorkomen bij de communicatie via TLSv1.3.
    • [SPARK-46058] Voeg een afzonderlijke vlag toe voor privateKeyPassword.
    • [SPARK-46602] allowExisting Doorgeven bij het maken van de weergave wanneer de weergave/tabel niet bestaat.
    • [SPARK-46394] Los problemen met spark.catalog.listDatabases() op in schema's met speciale tekens wanneer deze zijn spark.sql.legacy.keepCommandOutputSchema ingesteld op waar.
    • [SPARK-46538] Los het probleem met dubbelzinnige kolomreferenties in ALSModel.transform.
    • [SPARK-39440] Voeg een configuratie toe om de tijdlijn voor gebeurtenissen uit te schakelen.
    • [SPARK-46249] Instantievergrendeling vereisen voor het verkrijgen van metrische gegevens van RocksDB om racen met achtergrondbewerkingen te voorkomen.
    • [SPARK-46132] Ondersteuning voor sleutelwachtwoord voor JKS-sleutels voor RPC SSL.
  • 14 december 2023
    • Er is een probleem opgelost waarbij escape-onderstrepingstekens in getColumns-bewerkingen die afkomstig zijn van JDBC- of ODBC-clients onjuist werden verwerkt en geïnterpreteerd als jokertekens.
    • Beveiligingsupdates van het besturingssysteem.
  • 29 november 2023
    • Er is een nieuw pakket geïnstalleerd om pyarrow-hotfix een pyArrow RCE-beveiligingsprobleem op te lossen.
    • Er is een probleem opgelost waarbij escape-onderstrepingstekens in getColumns bewerkingen die afkomstig zijn van JDBC- of ODBC-clients onjuist werden geïnterpreteerd als jokertekens.
    • [SPARK-43973] In de gestructureerde streaming-gebruikersinterface worden nu mislukte query's correct weergegeven.
    • [SPARK-45730] Verbeterde tijdsbeperkingen voor ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Geïntegreerde SSL-ondersteuning in TransportContext.
    • [SPARK-45859] UDF-objecten in ml.functions luie gemaakt.
    • [SPARK-43718] De null-waarde voor sleutels in USING joins is opgelost.
    • [SPARK-44846] Complexe groeperingsexpressies na RemoveRedundantAggregatesverwijderd.
    • Beveiligingsupdates van het besturingssysteem.
  • 14 november 2023
    • Partitiefilters op Delta Lake-streamingquery's worden omlaag gepusht voordat snelheidsbeperking wordt bereikt om beter gebruik te bereiken.
    • [SPARK-42205] Logboekregistratieaccumulaties in fase- en taakstart-gebeurtenissen zijn verwijderd.
    • [SPARK-45545] SparkTransportConf SSLOptions neemt over bij het maken.
    • [SPARK-33861] herstellen.
    • [SPARK-45541] Toegevoegd SSLFactory.
    • [SPARK-45429] Er zijn helperklassen toegevoegd voor SSL RPC-communicatie.
    • [SPARK-45584] Er is een fout opgelost bij het uitvoeren van subquery's met TakeOrderedAndProjectExec.
    • [SPARK-45430] FramelessOffsetWindowFunction mislukt niet meer wanneer IGNORE NULLS en offset > rowCount.
    • [SPARK-45427] RPC SSL-instellingen toegevoegd aan SSLOptions en SparkTransportConf.
    • Beveiligingsupdates van het besturingssysteem.
  • 24 oktober 2023
    • [SPARK-45426] Er is ondersteuning toegevoegd voor ReloadingX509TrustManager.
    • Diverse oplossingen.
  • 13 oktober 2023
    • Snowflake-jdbc-afhankelijkheid is bijgewerkt van 3.13.29 naar 3.13.33.
    • [SPARK-45178] Terugval naar het uitvoeren van één batch voor Trigger.AvailableNow met niet-ondersteunde bronnen in plaats van de wrapper te gebruiken.
    • [SPARK-45084] StateOperatorProgress om een nauwkeurig, voldoende willekeurige partitienummer te gebruiken.
    • [SPARK-45346] Parquet-schemadeductie respecteert nu hoofdlettergevoelige vlag bij het samenvoegen van een schema.
    • Beveiligingsupdates van het besturingssysteem.
  • 10 september 2023
    • Diverse oplossingen.
  • 30 augustus 2023
    • [SPARK-44818] Vaste race voor taakonderbreeding in behandeling uitgegeven voordat taskThread deze wordt geïnitialiseerd.
    • [SPARK-44871][11.3-13.0] Vast percentile_disc gedrag.
    • Beveiligingsupdates van het besturingssysteem.
  • 15 augustus 2023
    • [SPARK-44485] Geoptimaliseerd TreeNode.generateTreeString.
    • [SPARK-44504] Onderhoudstaak schoont geladen providers op bij stopfout.
    • [SPARK-44464] Opgelost applyInPandasWithStatePythonRunner met uitvoerrijen die de eerste kolomwaarde hebben Null .
    • Beveiligingsupdates van het besturingssysteem.
  • 27 juli 2023
    • Er is een probleem opgelost waarbij dbutils.fs.ls() deze werd geretourneerd bij het aangeroepen INVALID_PARAMETER_VALUE.LOCATION_OVERLAP voor een opslaglocatiepad dat conflicteerde met een andere externe of beheerde opslaglocatie.
    • [SPARK-44199] CacheManager vernieuwt niet langer onnodig fileIndex .
    • Beveiligingsupdates van het besturingssysteem.
  • 24 juli 2023
    • [SPARK-44136] Er is een probleem opgelost waarbij StateManager kan worden gerealiseerd in de uitvoerder in plaats van stuurprogramma in FlatMapGroupsWithStateExec.
    • Beveiligingsupdates van het besturingssysteem.
  • 23 juni 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 15 juni 2023
    • Gefotoniseerd approx_count_distinct.
    • Snowflake-jdbc-bibliotheek wordt bijgewerkt naar 3.13.29 om een beveiligingsprobleem op te lossen.
    • [SPARK-43779] ParseToDate laadt EvalMode nu in de hoofdthread.
    • [SPARK-40862] Ondersteuning voor niet-geaggregeerde subquery's in RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Uitgebreide scalaire subquery count bug test with decorrelateInnerQuery turned off.
    • [SPARK-43098] Corrigeer de fout AANTAL correctheid wanneer scalaire subquery een group by-component heeft
    • Beveiligingsupdates van het besturingssysteem.
  • 2 juni 2023
    • De JSON-parser in failOnUnknownFields de modus verwijdert een record in DROPMALFORMED de modus en mislukt rechtstreeks in FAILFAST de modus.
    • Verbeter de prestaties van incrementele updates met SHALLOW CLONE Iceberg en Parquet.
    • Er is een probleem opgelost in Auto Loader waarbij verschillende bronbestandsindelingen inconsistent waren toen het opgegeven schema geen uitgestelde partities had opgenomen. Dit probleem kan onverwachte fouten veroorzaken bij het lezen van bestanden met ontbrekende kolommen in het uitgestelde partitieschema.
    • [SPARK-43404]Sla het sst-bestand voor dezelfde versie van rocksDB-statusopslag over om te voorkomen dat de id niet overeenkomt.
    • [SPARK-43527] Opgelost catalog.listCatalogs in PySpark.
    • [SPARK-43413][11.3-13.0] Er is een null-waarde voor subquery ListQuery opgelostIN.
    • [SPARK-43340] Er is een probleem opgelost met ontbrekend stacktraceringsveld in gebeurtenislogboeken.

Databricks Runtime 10.4 LTS

Zie Databricks Runtime 10.4 LTS.

  • 22 oktober 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 10 oktober 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 25 september 2024
    • [SPARK-46601] [CORE] Logboekfout in handleStatusMessage oplossen
    • [SPARK-49000][SQL] Oplossing voor 'select count(distinct 1) from t' waarbij t lege tabel is door RewriteDistinctAggregates uit te vouwen
    • Beveiligingsupdates van het besturingssysteem.
  • 17 september 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 29 augustus 2024
    • [SPARK-49065][SQL] Herstellen in verouderde formatters/parsers moet niet-JVM-standaardtijdzones ondersteunen
  • 14 augustus 2024
  • 1 augustus 2024
  • 11 juli 2024
    • [SPARK-48383][SS] Werp een betere fout op voor niet-overeenkomende partities in de optie startOffset in Kafka
    • Beveiligingsupdates van het besturingssysteem.
  • 17 juni 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 21 mei 2024
    • [SPARK-48105][SS] De racevoorwaarde tussen het lossen en momentopnamen van de statusopslag herstellen
    • Beveiligingsupdates van het besturingssysteem.
  • 9 mei 2024
    • [SPARK-48018][SS] Oplossing voor null groupId die ontbrekende param-fout veroorzaakt bij het genereren van KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Oproepsite voor logboeken in SparkContext.stop() en hoger in SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Stel nullable correct in op de samengevoegde joinsleutel in full outer USING join
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 11 april 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 1 april 2024
    • [SPARK-47135][SS] Foutklassen implementeren voor uitzonderingen voor gegevensverlies in Kafka
    • [SPARK-44252][SS] Definieer een nieuwe foutklasse en kijk of de laadstatus van DFS mislukt
    • [SPARK-47200][SS] Foutklasse voor foreach batch-sinkgebruikersfunctiefout
    • Herstel "[SPARK-46861][CORE] Voorkom impasse in DAGScheduler"
    • Beveiligingsupdates van het besturingssysteem.
  • 14 maart 2024
    • [SPARK-47125][SQL] Null retourneren als Univocity nooit parseren activeert
    • Beveiligingsupdates van het besturingssysteem.
  • 29 februari 2024
    • Er is een probleem opgelost waarbij het gebruik van een lokale verzameling als bron in een MERGE-opdracht ertoe kon leiden dat de metrische gegevens van numSourceRows voor de bewerking het juiste aantal rijen rapporteren.
    • [SPARK-45582][SS] Zorg ervoor dat het archiefexemplaren niet worden gebruikt na het aanroepen van doorvoer binnen streamingaggregatie in de uitvoermodus
    • Beveiligingsupdates van het besturingssysteem.
  • 13 februari 2024
    • [SPARK-46861] Vermijd impasse in DAGScheduler.
    • Beveiligingsupdates van het besturingssysteem.
  • 31 januari 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 25 december 2023
    • Deze onderhoudsrelease bevat een patch voor de installatie van JDK 8 om JDK-bug JDK-8-fout JDK-8293562 op te lossen om een verhoogde latentie te voorkomen bij de communicatie via TLSv1.3.
    • [SPARK-46058] Voeg een afzonderlijke vlag toe voor privateKeyPassword.
    • [SPARK-46538] Los het probleem met dubbelzinnige kolomreferenties in ALSModel.transform.
    • [SPARK-39440] Voeg een configuratie toe om de tijdlijn voor gebeurtenissen uit te schakelen.
    • [SPARK-46132] Ondersteuning voor sleutelwachtwoord voor JKS-sleutels voor RPC SSL.
  • 14 december 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 29 november 2023
    • Er is een nieuw pakket geïnstalleerd om pyarrow-hotfix een pyArrow RCE-beveiligingsprobleem op te lossen.
    • [SPARK-45544] Geïntegreerde SSL-ondersteuning in TransportContext.
    • [SPARK-45859] UDF-objecten in ml.functions luie gemaakt.
    • [SPARK-43718] De null-waarde voor sleutels in USING joins is opgelost.
    • [SPARK-45730] Verbeterde tijdsbeperkingen voor ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Logboekregistratieaccumulaties in fase- en taakstart-gebeurtenissen zijn verwijderd.
    • [SPARK-44846] Complexe groeperingsexpressies na RemoveRedundantAggregatesverwijderd.
    • Beveiligingsupdates van het besturingssysteem.
  • 14 november 2023
    • [SPARK-45541] Toegevoegd SSLFactory.
    • [SPARK-45545] SparkTransportConf SSLOptions neemt over bij het maken.
    • [SPARK-45427] RPC SSL-instellingen toegevoegd aan SSLOptions en SparkTransportConf.
    • [SPARK-45429] Er zijn helperklassen toegevoegd voor SSL RPC-communicatie.
    • [SPARK-45584] Er is een fout opgelost bij het uitvoeren van subquery's met TakeOrderedAndProjectExec.
    • [SPARK-33861] herstellen.
    • Beveiligingsupdates van het besturingssysteem.
  • 24 oktober 2023
    • [SPARK-45426] Er is ondersteuning toegevoegd voor ReloadingX509TrustManager.
    • Beveiligingsupdates van het besturingssysteem.
  • 13 oktober 2023
    • [SPARK-45084] StateOperatorProgress om een nauwkeurig, voldoende willekeurige partitienummer te gebruiken.
    • [SPARK-45178] Terugval naar het uitvoeren van één batch voor Trigger.AvailableNow met niet-ondersteunde bronnen in plaats van de wrapper te gebruiken.
    • Beveiligingsupdates van het besturingssysteem.
  • 10 september 2023
    • Diverse oplossingen.
  • 30 augustus 2023
    • [SPARK-44818] Vaste race voor taakonderbreeding in behandeling uitgegeven voordat taskThread deze wordt geïnitialiseerd.
    • Beveiligingsupdates van het besturingssysteem.
  • 15 augustus 2023
    • [SPARK-44504] Onderhoudstaak schoont geladen providers op bij stopfout.
    • [SPARK-43973] Gestructureerde streaming-ui wordt nu correct weergegeven mislukte query's.
    • Beveiligingsupdates van het besturingssysteem.
  • 23 juni 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 15 juni 2023
    • Snowflake-jdbc-bibliotheek wordt bijgewerkt naar 3.13.29 om een beveiligingsprobleem op te lossen.
    • [SPARK-43098] Corrigeer de fout AANTAL correctheid wanneer scalaire subquery een group by-component heeft
    • [SPARK-40862] Ondersteuning voor niet-geaggregeerde subquery's in RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Uitgebreide scalaire subquery-test met decorrelateInnerQuery uitgeschakeld.
    • Beveiligingsupdates van het besturingssysteem.
  • 2 juni 2023
    • De JSON-parser in failOnUnknownFields de modus verwijdert een record in DROPMALFORMED de modus en mislukt rechtstreeks in FAILFAST de modus.
    • Er is een probleem opgelost bij het parseren van gegevens in JSON om te voorkomen UnknownFieldException.
    • Er is een probleem opgelost in Auto Loader waarbij verschillende bronbestandsindelingen inconsistent waren toen het opgegeven schema geen uitgestelde partities had opgenomen. Dit probleem kan onverwachte fouten veroorzaken bij het lezen van bestanden met ontbrekende kolommen in het uitgestelde partitieschema.
    • [SPARK-43404] Sla het sst-bestand voor dezelfde versie van rocksDB-statusopslag over om te voorkomen dat de id niet overeenkomt.
    • [SPARK-43413] De null-baarheid van subquery ListQuery is opgelostIN.
    • Beveiligingsupdates van het besturingssysteem.
  • 17 mei 2023
    • Parquet-scans zijn nu robuust tegen OOM's bij het scannen van uitzonderlijk gestructureerde bestanden door de batchgrootte dynamisch aan te passen. Bestandsmetagegevens worden geanalyseerd naar een preventieve lagere batchgrootte en worden opnieuw verlaagd bij nieuwe pogingen van taken als een definitief veiligheidsnet.
    • [SPARK-41520] Structuurpatroon AND_OR splitsen om te scheiden AND en OR.
    • [SPARK-43190] ListQuery.childOutput is nu consistent met secundaire uitvoer.
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2023
    • [SPARK-42928] resolvePersistentFunction Gesynchroniseerd maken.
    • Beveiligingsupdates van het besturingssysteem.
  • 11 april 2023
    • Er is een probleem opgelost waarbij automatisch laden van schema's kan worden omgezet in een oneindige faillus wanneer een nieuwe kolom wordt gedetecteerd in het schema van een genest JSON-object.
    • [SPARK-42937] PlanSubqueries wordt nu ingesteld InSubqueryExec#shouldBroadcast op waar.
    • [SPARK-42967] Oplossing voor SparkListenerTaskStart.stageAttemptId wanneer een taak wordt gestart nadat de fase is geannuleerd.
  • 29 maart 2023
    • [SPARK-42668] Uitzondering vangen tijdens het sluiten van de gecomprimeerde stream in HDFSStateStoreProvider stop
    • [SPARK-42635] Herstel de ...
    • Beveiligingsupdates van het besturingssysteem.
  • 14 maart 2023
    • [SPARK-41162] Anti- en semi-join corrigeren voor self-join met aggregaties
    • [SPARK-33206] Berekening van het gewicht van de cache in willekeurige volgorde herstellen voor kleine indexbestanden
    • [SPARK-42484] UnsafeRowUtils Het foutbericht is verbeterd
    • Diverse oplossingen.
  • 28 februari 2023
    • Ondersteuning gegenereerde kolom voor jjjj-MM-dd-date_format. Deze wijziging ondersteunt het verwijderen van partities voor jjjj-MM-dd als een date_format in gegenereerde kolommen.
    • Gebruikers kunnen nu specifieke Delta-tabellen lezen en schrijven waarvoor Lezer versie 3 en Writer versie 7 is vereist, met databricks Runtime 9.1 LTS of hoger. Als u wilt slagen, moeten tabelfuncties in het protocol van de tabellen worden ondersteund door de huidige versie van Databricks Runtime.
    • Ondersteuning gegenereerde kolom voor jjjj-MM-dd-date_format. Deze wijziging ondersteunt het verwijderen van partities voor jjjj-MM-dd als een date_format in gegenereerde kolommen.
    • Beveiligingsupdates van het besturingssysteem.
  • 16 februari 2023
    • [SPARK-30220] Inschakelen met behulp van Exists/In-subquery's buiten het filterknooppunt
    • Beveiligingsupdates van het besturingssysteem.
  • 31 januari 2023
    • Tabeltypen van JDBC-tabellen zijn nu standaard EXTERN.
  • 18 januari 2023
    • Azure Synapse-connector retourneert een meer beschrijvend foutbericht wanneer een kolomnaam ongeldige tekens bevat, zoals witruimten of puntkomma's. In dergelijke gevallen wordt het volgende bericht geretourneerd: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Schrijfbatch wissen na de doorvoer van de RocksDB-statusopslag
    • [SPARK-41199] Probleem met metrische gegevens oplossen wanneer de DSv1-streamingbron en de DSv2-streamingbron gezamenlijk worden gebruikt
    • [SPARK-41198] Herstel metrische gegevens in streamingquery met CTE- en DSv1-streamingbron.
    • [SPARK-41339] Sluit de RocksDB-schrijfbatch en maak deze opnieuw in plaats van alleen te wissen.
    • [SPARK-41732] Op structuurpatroon gebaseerde pruning toepassen voor de regel SessionWindowing.
    • Beveiligingsupdates van het besturingssysteem.
  • 29 november 2022
    • Gebruikers kunnen het gedrag van voorloop- en volgspaties configureren bij het schrijven van gegevens met behulp van de Redshift-connector. De volgende opties zijn toegevoegd om witruimteafhandeling te beheren:
      • csvignoreleadingwhitespace, indien ingesteld op true, verwijdert voorloopspaties uit waarden tijdens schrijfbewerkingen wanneer tempformat deze is ingesteld op CSV of CSV GZIP. Witruimten worden bewaard wanneer de configuratie is ingesteld op false. De waarde is standaard true.
      • csvignoretrailingwhitespace, indien ingesteld op true, verwijdert volgspaties uit waarden tijdens schrijfbewerkingen wanneer tempformat deze is ingesteld CSV op of CSV GZIP. Witruimten worden bewaard wanneer de configuratie is ingesteld op false. De waarde is standaard true.
    • Er is een probleem opgelost met JSON-parsering in Auto Loader wanneer alle kolommen werden achtergelaten als tekenreeksen (cloudFiles.inferColumnTypes niet ingesteld of ingesteld op false) en de JSON geneste objecten bevatte.
    • Beveiligingsupdates van het besturingssysteem.
  • 15 november 2022
    • Apache commons-text bijgewerkt naar 1.10.0.
    • [SPARK-40646] JSON-parsering voor structs, toewijzingen en matrices is opgelost, dus wanneer een deel van een record niet overeenkomt met het schema, kan de rest van de record nog steeds correct worden geparseerd in plaats van null-waarden te retourneren. Als u zich wilt aanmelden voor het verbeterde gedrag, stelt u in op spark.sql.json.enablePartialResults true. De vlag is standaard uitgeschakeld om het oorspronkelijke gedrag te behouden.
    • [SPARK-40292] Kolomnamen in arrays_zip functie herstellen wanneer naar matrices wordt verwezen vanuit geneste structs
    • Beveiligingsupdates van het besturingssysteem.
  • 1 november 2022
    • Er is een probleem opgelost waarbij als een Delta-tabel een door de gebruiker gedefinieerde kolom met de naam _change_typehad, maar de gegevensfeed voor die tabel is uitgeschakeld, gegevens in die kolom onjuist zouden worden gevuld met NULL-waarden bij het uitvoeren MERGE.
    • Er is een probleem opgelost met automatische laadprogramma's waarbij een bestand in dezelfde microbatch kan worden gedupliceerd wanneer allowOverwrites dit is ingeschakeld
    • [SPARK-40697] Tekenopvulling aan de leeszijde toevoegen om externe gegevensbestanden te behandelen
    • [SPARK-40596] ExecutorDecommission vullen met berichten in ExecutorDecommissionInfo
    • Beveiligingsupdates van het besturingssysteem.
  • 18 oktober 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 5 oktober 2022
    • [SPARK-40468] Oplossing voor het verwijderen van kolommen in CSV wanneer _corrupt_record deze is geselecteerd.
    • Beveiligingsupdates van het besturingssysteem.
  • 22 september 2022
    • Gebruikers kunnen spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) instellen om de ingebouwde vermelding voor Automatische Loader op ADLS Gen2 opnieuw in te schakelen. Ingebouwde vermelding is eerder uitgeschakeld vanwege prestatieproblemen, maar kan hebben geleid tot hogere opslagkosten voor klanten.
    • [SPARK-40315] HashCode() toevoegen voor Literal of ArrayBasedMapData
    • [SPARK-40213] Ondersteuning voor ASCII-waardeconversie voor Latijns-1 tekens
    • [SPARK-40380] Constant vouwen van InvokeLike herstellen om te voorkomen dat niet-serialiseerbare letterlijke waarde in het plan is ingesloten
    • [SPARK-38404] CTE-resolutie verbeteren wanneer een geneste CTE verwijst naar een buitenste CTE
    • [SPARK-40089] Sorteren voor sommige decimale typen oplossen
    • [SPARK-39887] RemoveRedundantAliases moet aliassen behouden die de uitvoer van projectieknooppunten uniek maken
  • 6 september 2022
    • [SPARK-40235] Gebruik interruptible lock in plaats van gesynchroniseerd in Executor.updateDependencies().
    • [SPARK-40218] GROEPEERSETS moeten de groeperingskolommen behouden.
    • [SPARK-39976] ArrayIntersect moet null in de linkerexpressie correct verwerken.
    • [SPARK-40053] Voeg toe assume aan dynamische annuleringscases waarvoor python-runtimeomgeving is vereist.
    • [SPARK-35542] Oplossing: Bucketizer die is gemaakt voor meerdere kolommen met parameters splitsArray, inputCols en outputCols kunnen niet worden geladen nadat u deze hebt opgeslagen.
    • [SPARK-40079] Voeg Imputer inputCols-validatie toe voor een lege invoercase.
  • 24 augustus 2022
    • [SPARK-39983] Sla niet niet niet-geserialiseerde broadcastrelaties op het stuurprogramma in de cache op.
    • [SPARK-39775] Valideer standaardwaarden bij het parseren van Avro-schema's.
    • [SPARK-39962] Projectie toepassen wanneer groepskenmerken leeg zijn
    • [SPARK-37643] wanneer charVarcharAsString waar is, moet voor de predicaatquery voor het tekengegevenstype de regel voor rpadding overslaan.
    • Beveiligingsupdates van het besturingssysteem.
  • 9 augustus 2022
    • [SPARK-39847] Racevoorwaarde herstellen in RocksDBLoader.loadLibrary() als de aanroeperthread wordt onderbroken
    • [SPARK-39731] Probleem opgelost in CSV- en JSON-gegevensbronnen bij het parseren van datums in de indeling 'yyyyMMdd' met gecorrigeerd tijdparserbeleid
    • Beveiligingsupdates van het besturingssysteem.
  • 27 juli 2022
    • [SPARK-39625] Voeg Dataset.as(StructType) toe.
    • [SPARK-39689]Ondersteuning voor twee tekens lineSep in csv-gegevensbron.
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded moet thread-safe zijn.
    • [SPARK-39570] Inlinetabel moet expressies met alias toestaan.
    • [SPARK-39702] Verminder de geheugenoverhead van TransportCipher$EncryptedMessage met behulp van een gedeelde byteRawChannel.
    • [SPARK-39575] voeg ByteBuffer#rewind na ByteBuffer#get in AvroDeserializer toe.
    • [SPARK-39476] Schakel cast-uitpak optimaliseren bij het gieten van Long naar Float/Double of van Integer naar Float.
    • [SPARK-38868] Geef geen uitzonderingen van filterpredicaat door wanneer u outer joins optimaliseert.
    • Beveiligingsupdates van het besturingssysteem.
  • 20 juli 2022
    • Zorg ervoor dat de Delta MERGE-bewerking consistent is wanneer de bron niet-deterministisch is.
    • [SPARK-39355] Eén kolom maakt gebruik van aan citeren om UnresolvedAttribute samen te stellen.
    • [SPARK-39548] CreateView Command with a window clause query press a wrong window definition not found issue.
    • [SPARK-39419] Corrigeer ArraySort om een uitzondering te genereren wanneer de comparator null retourneert.
    • Automatisch laden is uitgeschakeld voor het gebruik van ingebouwde cloud-API's voor adreslijstvermelding in Azure.
    • Beveiligingsupdates van het besturingssysteem.
  • 5 juli 2022
    • [SPARK-39376] Dubbele kolommen verbergen in steruitbreiding van subqueryalias van NATURAL/USING JOIN
    • Beveiligingsupdates van het besturingssysteem.
  • 15 juni 2022
    • [SPARK-39283] Impasse tussen TaskMemoryManager en UnsafeExternalSorter.SpillableIterator oplossen.
    • [SPARK-39285] Spark mag veldnamen niet controleren bij het lezen van bestanden.
    • [SPARK-34096] Verbeter de prestaties voor nth_value null-waarden over offsetvenster negeren.
    • [SPARK-36718] Corrigeer de isExtractOnly check-in CollapseProject.
  • 2 juni 2022
    • [SPARK-39093] Vermijd compilatiefout in codegen bij het delen van intervallen van jaarmaanden of dagtijdintervallen door een integraal.
    • [SPARK-38990] Vermijd NullPointerException bij het evalueren van date_trunc/trunc-indeling als afhankelijke verwijzing.
    • Beveiligingsupdates van het besturingssysteem.
  • 18 mei 2022
    • Hiermee lost u een potentieel ingebouwd geheugenlek op in autolaadprogramma's.
    • [SPARK-38918] Het verwijderen van geneste kolommen moet kenmerken uitfilteren die niet tot de huidige relatie behoren.
    • [SPARK-37593] Verklein het standaardpaginaformaat door LONG_ARRAY_OFFSET als G1GC en ON_HEAP worden gebruikt.
    • [SPARK-39084] Herstel df.rdd.isEmpty() met behulp van TaskContext om de iterator te stoppen bij het voltooien van de taak.
    • [SPARK-32268] Voeg ColumnPruning toe in injectBloomFilter.
    • [SPARK-38974] Geregistreerde functies filteren met een bepaalde databasenaam in lijstfuncties.
    • [SPARK-38931] Maak de hoofdmap dfs voor RocksDBFileManager met een onbekend aantal sleutels op het eerste controlepunt.
    • Beveiligingsupdates van het besturingssysteem.
  • 19 april 2022
    • Java AWS SDK bijgewerkt van versie 1.11.655 naar 1.12.1899.
    • Er is een probleem opgelost met notebookbibliotheken die niet werken in batchstreamingtaken.
    • [SPARK-38616] SQL-querytekst bijhouden in Catalyst TreeNode
    • Beveiligingsupdates van het besturingssysteem.
  • 6 april 2022
    • De volgende Spark SQL-functies zijn nu beschikbaar in deze release:
      • timestampadd() en dateadd(): Een tijdsduur in een opgegeven eenheid toevoegen aan een tijdstempelexpressie.
      • timestampdiff() en datediff(): bereken het tijdsverschil tussen expressies met twee tijdstempels in een opgegeven eenheid.
    • Parquet-MR is bijgewerkt naar 1.12.2
    • Verbeterde ondersteuning voor uitgebreide schema's in Parquet-bestanden
    • [SPARK-38631] Maakt gebruik van implementatie op basis van Java voor het ongedaan maken van tarring bij Utils.unpack.
    • [SPARK-38509][SPARK-38481] Kersenkie drie timestmapadd/diff wijzigingen.
    • [SPARK-38523] Oplossing die verwijst naar de beschadigde recordkolom van CSV.
    • [SPARK-38237] Toestaan ClusteredDistribution dat volledige clusteringsleutels zijn vereist.
    • [SPARK-38437] Lenient serialisatie van datum/tijd uit gegevensbron.
    • [SPARK-38180] Veilige up-cast-expressies toestaan in gecorreleerde gelijkheidspredicaten.
    • [SPARK-38155] Afzonderlijke statistische functies in laterale subquery's met niet-ondersteunde predicaten weigeren.
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 9.1 LTS

Zie Databricks Runtime 9.1 LTS.

  • 22 oktober 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 10 oktober 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 25 september 2024
    • [SPARK-49000][SQL] Oplossing voor 'select count(distinct 1) from t' waarbij t lege tabel is door RewriteDistinctAggregates uit te vouwen
    • Beveiligingsupdates van het besturingssysteem.
  • 6 september 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 29 augustus 2024
    • [SPARK-49065][SQL] Herstellen in verouderde formatters/parsers moet niet-JVM-standaardtijdzones ondersteunen
  • 14 augustus 2024
  • 1 augustus 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 11 juli 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 17 juni 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 21 mei 2024
    • [SPARK-48105][SS] De racevoorwaarde tussen het lossen en momentopnamen van de statusopslag herstellen
    • Beveiligingsupdates van het besturingssysteem.
  • 9 mei 2024
    • [SPARK-47973][CORE] Oproepsite voor logboeken in SparkContext.stop() en hoger in SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Stel nullable correct in op de samengevoegde joinsleutel in full outer USING join
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2024
    • Diverse bugfixes.
  • 11 april 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 1 april 2024
    • Herstel "[SPARK-46861][CORE] Voorkom impasse in DAGScheduler"
    • Beveiligingsupdates van het besturingssysteem.
  • 14 maart 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 29 februari 2024
    • Er is een probleem opgelost waarbij het gebruik van een lokale verzameling als bron in een MERGE-opdracht ertoe kon leiden dat de metrische gegevens van numSourceRows voor de bewerking het juiste aantal rijen rapporteren.
    • Beveiligingsupdates van het besturingssysteem.
  • 13 februari 2024
    • [SPARK-46861] Vermijd impasse in DAGScheduler.
    • Beveiligingsupdates van het besturingssysteem.
  • 31 januari 2024
    • Beveiligingsupdates van het besturingssysteem.
  • 25 december 2023
    • Deze onderhoudsrelease bevat een patch voor de installatie van JDK 8 om JDK-bug JDK-8-fout JDK-8293562 op te lossen om een verhoogde latentie te voorkomen bij de communicatie via TLSv1.3.
    • [SPARK-46058] Voeg een afzonderlijke vlag toe voor privateKeyPassword.
    • [SPARK-39440] Voeg een configuratie toe om de tijdlijn voor gebeurtenissen uit te schakelen.
    • [SPARK-46132] Ondersteuning voor sleutelwachtwoord voor JKS-sleutels voor RPC SSL.
  • 14 december 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 29 november 2023
    • Er is een nieuw pakket geïnstalleerd om pyarrow-hotfix een pyArrow RCE-beveiligingsprobleem op te lossen.
    • [SPARK-45859] UDF-objecten in ml.functions luie gemaakt.
    • [SPARK-45544] Geïntegreerde SSL-ondersteuning in TransportContext.
    • [SPARK-45730] Verbeterde tijdsbeperkingen voor ReloadingX509TrustManagerSuite.
    • Beveiligingsupdates van het besturingssysteem.
  • 14 november 2023
    • [SPARK-45545] SparkTransportConf SSLOptions neemt over bij het maken.
    • [SPARK-45429] Er zijn helperklassen toegevoegd voor SSL RPC-communicatie.
    • [SPARK-45427] RPC SSL-instellingen toegevoegd aan SSLOptions en SparkTransportConf.
    • [SPARK-45584] Er is een fout opgelost bij het uitvoeren van subquery's met TakeOrderedAndProjectExec.
    • [SPARK-45541] Toegevoegd SSLFactory.
    • [SPARK-42205] Logboekregistratieaccumulaties in fase- en taakstart-gebeurtenissen zijn verwijderd.
    • Beveiligingsupdates van het besturingssysteem.
  • 24 oktober 2023
    • [SPARK-45426] Er is ondersteuning toegevoegd voor ReloadingX509TrustManager.
    • Beveiligingsupdates van het besturingssysteem.
  • 13 oktober 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 10 september 2023
    • Diverse oplossingen.
  • 30 augustus 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 15 augustus 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 23 juni 2023
    • Snowflake-jdbc-bibliotheek wordt bijgewerkt naar 3.13.29 om een beveiligingsprobleem op te lossen.
    • Beveiligingsupdates van het besturingssysteem.
  • 15 juni 2023
    • [SPARK-43098] Corrigeer de fout AANTAL correctheid wanneer scalaire subquery een group by-component heeft.
    • [SPARK-43156][SPARK-43098] Breid het aantal bugtests voor scalaire subquery's uit met decorrelateInnerQuery uitgeschakeld.
    • [SPARK-40862] Ondersteuning voor niet-geaggregeerde subquery's in RewriteCorrelatedScalarSubquery.
    • Beveiligingsupdates van het besturingssysteem.
  • 2 juni 2023
    • De JSON-parser in failOnUnknownFields de modus verwijdert een record in DROPMALFORMED de modus en mislukt rechtstreeks in FAILFAST de modus.
    • Er is een probleem opgelost bij het parseren van gegevens in JSON om te voorkomen UnknownFieldException.
    • Er is een probleem opgelost in Auto Loader waarbij verschillende bronbestandsindelingen inconsistent waren toen het opgegeven schema geen uitgestelde partities had opgenomen. Dit probleem kan onverwachte fouten veroorzaken bij het lezen van bestanden met ontbrekende kolommen in het uitgestelde partitieschema.
    • [SPARK-37520] De startswith() functies en endswith() tekenreeksen toevoegen
    • [SPARK-43413] De null-baarheid van subquery ListQuery is opgelostIN.
    • Beveiligingsupdates van het besturingssysteem.
  • 17 mei 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 11 april 2023
    • Er is een probleem opgelost waarbij automatisch laden van schema's kan worden omgezet in een oneindige faillus wanneer een nieuwe kolom wordt gedetecteerd in het schema van een genest JSON-object.
    • [SPARK-42967] Oplossing voor SparkListenerTaskStart.stageAttemptId wanneer een taak wordt gestart nadat de fase is geannuleerd.
  • 29 maart 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 14 maart 2023
    • [SPARK-42484] Verbeterd foutbericht voor UnsafeRowUtils.
    • Diverse oplossingen.
  • 28 februari 2023
    • Gebruikers kunnen nu specifieke Delta-tabellen lezen en schrijven waarvoor Lezer versie 3 en Writer versie 7 is vereist, met databricks Runtime 9.1 LTS of hoger. Als u wilt slagen, moeten tabelfuncties in het protocol van de tabellen worden ondersteund door de huidige versie van Databricks Runtime.
    • Beveiligingsupdates van het besturingssysteem.
  • 16 februari 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 31 januari 2023
    • Tabeltypen van JDBC-tabellen zijn nu standaard EXTERN.
  • 18 januari 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 29 november 2022
    • Er is een probleem opgelost met JSON-parsering in Auto Loader wanneer alle kolommen werden achtergelaten als tekenreeksen (cloudFiles.inferColumnTypes niet ingesteld of ingesteld op false) en de JSON geneste objecten bevatte.
    • Beveiligingsupdates van het besturingssysteem.
  • 15 november 2022
    • Apache commons-text bijgewerkt naar 1.10.0.
    • Beveiligingsupdates van het besturingssysteem.
    • Diverse oplossingen.
  • 1 november 2022
    • Er is een probleem opgelost waarbij als een Delta-tabel een door de gebruiker gedefinieerde kolom met de naam _change_typehad, maar de gegevensfeed voor die tabel is uitgeschakeld, gegevens in die kolom onjuist zouden worden gevuld met NULL-waarden bij het uitvoeren MERGE.
    • Er is een probleem opgelost met automatische laadprogramma's waarbij een bestand in dezelfde microbatch kan worden gedupliceerd wanneer allowOverwrites dit is ingeschakeld
    • [SPARK-40596] ExecutorDecommission vullen met berichten in ExecutorDecommissionInfo
    • Beveiligingsupdates van het besturingssysteem.
  • 18 oktober 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 5 oktober 2022
    • Diverse oplossingen.
    • Beveiligingsupdates van het besturingssysteem.
  • 22 september 2022
    • Gebruikers kunnen spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") instellen om de ingebouwde vermelding voor Auto Loader op ADLS Gen2 opnieuw in te schakelen. Ingebouwde vermelding is eerder uitgeschakeld vanwege prestatieproblemen, maar kan hebben geleid tot hogere opslagkosten voor klanten.
    • [SPARK-40315] HashCode() toevoegen voor Literal of ArrayBasedMapData
    • [SPARK-40089] Sorteren voor sommige decimale typen oplossen
    • [SPARK-39887] RemoveRedundantAliases moet aliassen behouden die de uitvoer van projectieknooppunten uniek maken
  • 6 september 2022
    • [SPARK-40235] Onderbreekbare vergrendeling gebruiken in plaats van gesynchroniseerd in Executor.updateDependencies()
    • [SPARK-35542] Oplossing: Bucketizer gemaakt voor meerdere kolommen met parameters splitsArray, inputCols en outputCols kunnen niet worden geladen nadat deze zijn opgeslagen
    • [SPARK-40079] Imputer inputCols-validatie voor lege invoercase toevoegen
  • 24 augustus 2022
    • [SPARK-39666] OnveiligProjection.create gebruiken om te respecteren spark.sql.codegen.factoryMode in ExpressionEncoder
    • [SPARK-39962] Projectie toepassen wanneer groepskenmerken leeg zijn
    • Beveiligingsupdates van het besturingssysteem.
  • 9 augustus 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 27 juli 2022
    • Zorg ervoor dat de Delta MERGE-bewerking consistent is wanneer de bron niet-deterministisch is.
    • [SPARK-39689] Ondersteuning voor twee tekens lineSep in csv-gegevensbron
    • [SPARK-39575] Toegevoegd ByteBuffer#rewind na ByteBuffer#get in AvroDeserializer.
    • [SPARK-37392] De prestatiefout voor katalysatoroptimalisatie is opgelost.
    • Beveiligingsupdates van het besturingssysteem.
  • 13 juli 2022
    • [SPARK-39419] ArraySort genereert een uitzondering wanneer de comparator null retourneert.
    • Automatisch laden is uitgeschakeld voor het gebruik van ingebouwde cloud-API's voor adreslijstvermelding in Azure.
    • Beveiligingsupdates van het besturingssysteem.
  • 5 juli 2022
    • Beveiligingsupdates van het besturingssysteem.
    • Diverse oplossingen.
  • 15 juni 2022
    • [SPARK-39283] Impasse tussen TaskMemoryManager en UnsafeExternalSorter.SpillableIterator.
  • 2 juni 2022
    • [SPARK-34554] Implementeer de copy() methode in ColumnarMap.
    • Beveiligingsupdates van het besturingssysteem.
  • 18 mei 2022
    • Er is een mogelijk ingebouwd geheugenlek opgelost in de Auto Loader.
    • Voer een upgrade uit van AWS SDK-versie van 1.11.655 naar 1.11.678.
    • [SPARK-38918] Geneste kolomsnoei moet kenmerken uitfilteren die niet tot de huidige relatie behoren
    • [SPARK-39084] Oplossing df.rdd.isEmpty() door TaskContext iterator te stoppen bij het voltooien van de taak
    • Beveiligingsupdates van het besturingssysteem.
  • 19 april 2022
    • Beveiligingsupdates van het besturingssysteem.
    • Diverse oplossingen.
  • 6 april 2022
    • [SPARK-38631] Maakt gebruik van implementatie op basis van Java voor het ongedaan maken van tarring bij Utils.unpack.
    • Beveiligingsupdates van het besturingssysteem.
  • 22 maart 2022
    • De huidige werkmap van notebooks op clusters met hoge gelijktijdigheid gewijzigd, waarbij toegangsbeheer voor tabellen of referentiepassthrough is ingeschakeld voor de basismap van de gebruiker. Voorheen was /databricks/driverde Active Directory.
    • [SPARK-38437] Lenient serialisatie van datum/tijd uit gegevensbron
    • [SPARK-38180] Veilige up-cast-expressies toestaan in gecorreleerde gelijkheidspredicaten
    • [SPARK-38155] Afzonderlijke statistische functies in laterale subquery's met niet-ondersteunde predicaten weigeren
    • [SPARK-27442] Een controleveld verwijderd bij het lezen of schrijven van gegevens in een parquet.
  • 14 maart 2022
    • [SPARK-38236] Absolute bestandspaden die zijn opgegeven in de tabel maken/wijzigen, worden behandeld als relatief
    • [SPARK-34069] De taakthread onderbreken als de lokale eigenschap SPARK_JOB_INTERRUPT_ON_CANCEL is ingesteld op waar.
  • 23 februari 2022
    • [SPARK-37859] SQL-tabellen die zijn gemaakt met JDBC met Spark 3.1, kunnen niet worden gelezen met Spark 3.2.
  • 8 februari 2022
    • [SPARK-27442] Een controleveld verwijderd bij het lezen of schrijven van gegevens in een parquet.
    • Beveiligingsupdates van het besturingssysteem.
  • 1 februari 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 26 januari 2022
    • Er is een probleem opgelost waarbij gelijktijdige transacties in Delta-tabellen in een niet-serialiseerbare volgorde onder bepaalde zeldzame omstandigheden konden worden doorgevoerd.
    • Er is een probleem opgelost waarbij de OPTIMIZE opdracht kon mislukken wanneer het ANSI SQL-dialect werd ingeschakeld.
  • 19 januari 2022
    • Kleine oplossingen en beveiligingsverbeteringen.
    • Beveiligingsupdates van het besturingssysteem.
  • 4 november 2021
    • Er is een probleem opgelost waardoor Structured Streaming-streams mislukken met een ArrayIndexOutOfBoundsException.
    • Er is een racevoorwaarde opgelost die een queryfout kan veroorzaken met een IOException zoals java.io.IOException: No FileSystem for scheme of waardoor wijzigingen sparkContext.hadoopConfiguration mogelijk niet van kracht worden in query's.
    • De Apache Spark Connector voor Delta Sharing is bijgewerkt naar 0.2.0.
  • 20 oktober 2021
    • BigQuery-connector bijgewerkt van 0.18.1 naar 0.22.2. Hiermee wordt ondersteuning toegevoegd voor het type BigNumeric.