Dela via

Databricks Runtime 15.2

  • Artikel

Följande viktig information innehåller information om Databricks Runtime 15.2, som drivs av Apache Spark 3.5.0.

Databricks släppte den här versionen i maj 2024.

Dricks

Information om hur du ser viktig information för Databricks Runtime-versioner som har nått supportens slut (EoS) finns i Viktig information om Databricks Runtime-slut. EoS Databricks Runtime-versionerna har dragits tillbaka och kanske inte uppdateras.

Förändringar i beteende

Vakuum rensar KOPIERA TILL metadatafiler

Om du kör VACUUM på en tabell som skrivits med COPY INTO rensas nu ouppnåeliga metadata som är associerade med spårning av inmatade filer. Det finns ingen inverkan på driftssemantiken för COPY INTO.

Lakehouse Federation är allmänt tillgänglig (GA)

I Databricks Runtime 15.2 och senare är Lakehouse Federation-anslutningsappar över följande databastyper allmänt tillgängliga (GA):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

Den här versionen introducerar också följande förbättringar:

  • Stöd för autentisering med enkel inloggning (SSO) i Snowflake - och Microsoft SQL Server-anslutningsapparna .

  • Stöd för Azure Private Link för SQL Server-anslutningsappen från serverlösa beräkningsmiljöer. Se Steg 3: Skapa privata slutpunktsregler.

  • Stöd för ytterligare pushdowns (sträng, matematik och diverse funktioner).

  • Förbättrad lyckad pushdown-överföring mellan olika frågeformer.

  • Ytterligare funktioner för felsökning av pushdown:

    • Utdata EXPLAIN FORMATTED visar den nedtryckta frågetexten.
    • Användargränssnittet för frågeprofilen visar den nedtryckta frågetexten, federerade nodidentifierare och JDBC-frågekörningstider (i utförligt läge). Se Visa systemgenererade federerade frågor.

BY POSITION för kolumnmappning med hjälp av COPY INTO rubriklösa CSV-filer

I Databricks Runtime 15.2 och senare kan du använda nyckelorden BY POSITION (eller alternativ syntax ( col_name [ , <col_name> ... ] )) med COPY INTO för huvudlösa CSV-filer för att förenkla källkolumnen till måltabellkolumnmappningen. Se Parametrar.

Minska minnesförbrukningen när Spark-uppgifter misslyckas med ett Resubmitted fel

I Databricks Runtime 15.2 och senare är returvärdet för Spark-metoden TaskInfo.accumulables() tomt när aktiviteter misslyckas med ett Resubmitted fel. Tidigare returnerade metoden värdena för ett tidigare lyckat uppgiftsförsök. Den här beteendeändringen påverkar följande konsumenter:

  • Spark-uppgifter som använder EventLoggingListener klassen.
  • Anpassade Spark-lyssnare.

Om du vill återställa det tidigare beteendet anger du spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled till false.

Visning av versioner av en anpassad frågekörningsplan är inaktiverad

För att minska minnesförbrukningen inaktiveras nu AQE-planversioner (adaptiv frågekörning) som standard i Spark-användargränssnittet. Om du vill aktivera visning av AQE-planversioner i Spark-användargränssnittet anger du spark.databricks.sql.aqe.showPlanChangesInUI.enabled till true.

Gränsen för kvarhållna frågor sänks för att minska användningen av Spark-användargränssnittsminne

För att minska det minne som förbrukas av Spark-användargränssnittet i Azure Databricks-beräkningen i Databricks-beräkningen sänks gränsen för antalet frågor som visas i användargränssnittet från 1 000 till 100. Om du vill ändra gränsen anger du ett nytt värde med hjälp av spark.sql.ui.retainedExecutions Spark-konfigurationen.

DESCRIBE HISTORY visar nu klustringskolumner för tabeller som använder flytande klustring

När du kör en DESCRIBE HISTORY fråga operationParameters visar kolumnen ett clusterBy fält som standard för CREATE OR REPLACE och OPTIMIZE åtgärder. För en Delta-tabell som använder flytande klustring clusterBy fylls fältet i med tabellens klustringskolumner. Om tabellen inte använder flytande klustring är fältet tomt.

Nya funktioner och förbättringar

Stöd för primära och externa nycklar är GA

Stöd för primära och externa nycklar i Databricks Runtime är allmänt tillgängligt. Ga-versionen innehåller följande ändringar av de behörigheter som krävs för att använda primära och externa nycklar:

  • Om du vill definiera en sekundärnyckel måste du ha behörigheten SELECT i tabellen med den primära nyckeln som sekundärnyckeln refererar till. Du behöver inte äga tabellen med den primära nyckeln, som tidigare krävdes.
  • Att släppa en primärnyckel med hjälp av CASCADE -satsen kräver inte behörigheter för tabellerna som definierar sekundärnycklar som refererar till primärnyckeln. Tidigare behövde du äga referenstabellerna.
  • Att ta bort en tabell som innehåller begränsningar kräver nu samma behörigheter som att ta bort tabeller som inte innehåller begränsningar.

Information om hur du använder primära och externa nycklar med tabeller eller vyer finns i CONSTRAINT-satsen, ADD CONSTRAINT-satsen och DROP CONSTRAINT-satsen.

Flytande klustring är GA

Stöd för flytande klustring är nu allmänt tillgängligt med Databricks Runtime 15.2 och senare. Se Använda flytande klustring för Delta-tabeller.

Typbreddning finns i offentlig förhandsversion

Nu kan du aktivera typbreddning på tabeller som backas upp av Delta Lake. Tabeller med typbreddning aktiverat gör det möjligt att ändra typen av kolumner till en bredare datatyp utan att skriva om underliggande datafiler. Se Typbreddning.

Schemautvecklingssatsen har lagts till i SQL-sammanslagningssyntaxen

Nu kan du lägga till WITH SCHEMA EVOLUTION -satsen i en SQL-kopplingsinstruktion för att aktivera schemautveckling för åtgärden. Se Schemautvecklingssyntax för sammanslagning.

Anpassade PySpark-datakällor är tillgängliga i offentlig förhandsversion

En PySpark DataSource kan skapas med hjälp av Python-API:et (PySpark) DataSource, som gör det möjligt att läsa från anpassade datakällor och skriva till anpassade datamottagare i Apache Spark med python. Se Anpassade Datakällor i PySpark

applyInPandas och mapInPandas är nu tillgängliga för Unity Catalog-beräkning med delat åtkomstläge

Som en del av en Underhållsversion applyInPandas av Databricks Runtime 14.3 LTS och mapInPandas UDF-typer stöds nu vid beräkning av delat åtkomstläge som kör Databricks Runtime 14.3 och senare.

Använd dbutils.widgets.getAll() för att hämta alla widgetar i en notebook-fil

Använd dbutils.widgets.getAll() för att hämta alla widgetvärden i en notebook-fil. Detta är särskilt användbart när du skickar flera widgetvärden till en Spark SQL-fråga.

Stöd för vakuuminventering

Nu kan du ange en inventering av filer som du bör tänka på när du kör VACUUM kommandot i en Delta-tabell. Se OSS Delta-dokumenten.

Stöd för Zstandard-komprimeringsfunktioner

Nu kan du använda funktionerna zst_compress, zstd_decompress och try_zstd_decompress för att komprimera och dekomprimera BINARY data.

Felkorrigeringar

Frågeplaner i SQL-användargränssnittet visas nu korrekt PhotonWriteStage

När det visas i SQL-användargränssnittet write visas PhotonWriteStage kommandon i frågeplaner felaktigt som en operatör. Med den här versionen uppdateras användargränssnittet så att det visas PhotonWriteStage som en fas. Detta är endast en ändring av användargränssnittet och påverkar inte hur frågor körs.

Ray har uppdaterats för att åtgärda problem med att starta Ray-kluster

Den här versionen innehåller en uppdaterad version av Ray som åtgärdar en icke-bakåtkompatibel ändring som hindrar Ray-kluster från att börja med Databricks Runtime för Machine Learning. Den här ändringen säkerställer att Ray-funktionerna är identiska med versioner av Databricks Runtime tidigare än 15.2.

GraphFrames uppdateras för att åtgärda felaktiga resultat med Spark 3.5

Den här versionen innehåller en uppdatering av GraphFrames-paketet för att åtgärda problem som orsakar felaktiga resultat för vissa algoritmer med GraphFrames och Spark 3.5.

Korrigerad felklass för DataFrame.sort() och DataFrame.sortWithinPartitions() funktioner

Den här versionen innehåller en uppdatering av PySpark DataFrame.sort() och DataFrame.sortWithinPartitions() funktioner för att säkerställa att felklassen ZERO_INDEX genereras när 0 skickas som indexargument. Tidigare utlöstes felklassen INDEX_NOT_POSITIVE .

ipywidgets nedgraderas från 8.0.4 till 7.7.2

För att åtgärda fel som introduceras genom en uppgradering av ipywidgets till 8.0.4 i Databricks Runtime 15.0 nedgraderas ipywidgets till 7.7.2 i Databricks Runtime 15.2. Det här är samma version som ingår i tidigare Databricks Runtime-versioner.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • GitPython från 3.1.42 till 3.1.43
    • google-api-core från 2.17.1 till 2.18.0
    • google-auth från 2.28.1 till 2.29.0
    • google-cloud-storage från 2.15.0 till 2.16.0
    • googleapis-common-protos från 1.62.0 till 1.63.0
    • ipywidgets från 8.0.4 till 7.7.2
    • mlflow-skinny från 2.11.1 till 2.11.3
    • s3transfer från 0.10.0 till 0.10.1
    • sqlparse från 0.4.4 till 0.5.0
    • typing_extensions från 4.7.1 till 4.10.0
  • Uppgraderade R-bibliotek:
  • Uppgraderade Java-bibliotek:
    • com.amazonaws.aws-java-sdk-autoscaling från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-config från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-core från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-directory från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-ecs från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-efs från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-emr från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-glacier från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-glue från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-iam från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-importexport från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-kms från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-lambda från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-logs från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-rds från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-redshift från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-route53 från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-s3 från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-ses från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-sns från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-sqs från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-ssm från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-sts från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-support från 1.12.390 till 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces från 1.12.390 till 1.12.610
    • com.amazonaws.jmespath-java från 1.12.390 till 1.12.610

Apache Spark

Databricks Runtime 15.2 innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 15.1 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-47941] [SC-163568] [SS] [Anslut] Sprida initieringsfel för ForeachBatch-arbetare till användare för PySpark
  • [SPARK-47412] [SC-163455][SQL] Lägg till sorteringsstöd för LPad/RPad.
  • [SPARK-47907] [SC-163408][SQL] Sätt bang under en konfiguration
  • [SPARK-46820] [SC-157093][PYTHON] Åtgärda regression av felmeddelanden genom att återställa new_msg
  • [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Core/MLLib/Resource Managers: strukturerad loggningsmigrering
  • [SPARK-47890] [SC-163324][ANSLUT][PYTHON] Lägg till variantfunktioner i Scala och Python.
  • [SPARK-47894] [SC-163086][CORE][WEBUI] Lägg till Environment sida i huvudgränssnittet
  • [SPARK-47805] [SC-163459][SS] Implementera TTL för MapState
  • [SPARK-47900] [SC-163326] Åtgärda kontrollen av implicit sortering (UTF8_BINARY)
  • [SPARK-47902] [SC-163316][SQL]Vikbara beräkningsuttryck för aktuell tid*
  • [SPARK-47845] [SC-163315][SQL][PYTHON][ANSLUT] Stöd kolumntyp i delad funktion för scala och python
  • [SPARK-47754] [SC-162144][SQL] Postgres: Stöd för läsning av flerdimensionella matriser
  • [SPARK-47416] [SC-163001][SQL] Lägg till nya funktioner i CollationBenchmark #90339
  • [SPARK-47839] [SC-163075][SQL] Åtgärda aggregerad bugg i RewriteWithExpression
  • [SPARK-47821] [SC-162967][SQL] Implementera is_variant_null uttryck
  • [SPARK-47883] [SC-163184][SQL] Gör CollectTailExec.doExecute lat med RowQueue
  • [SPARK-47390] [SC-163306][SQL] PostgresDialect skiljer TIMESTAMP från TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][CORE] Lägga till en FELSÖKNINGslogg i DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][SQL][3.5] Åtgärda prestandaregression för ExpressionSet i scala 2.12
  • [SPARK-47565] [SC-161786][PYTHON] PySpark-arbetspoolen kraschar motståndskraft
  • [SPARK-47885] [SC-162989][PYTHON][ANSLUT] Gör pyspark.resource kompatibel med pyspark-connect
  • [SPARK-47887] [SC-163122][ANSLUT] Ta bort oanvänd import spark/connect/common.proto från spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][PYTHON][ANSLUT] Gör pyspark.worker_utils kompatibel med pyspark-connect
  • [SPARK-47691] [SC-161760][SQL] Postgres: Stöd för flerdimensionell matris på skrivsidan
  • [SPARK-47617] [SC-162513][SQL] Lägga till TPC-DS-testinfrastruktur för sortering
  • [SPARK-47356] [SC-162858][SQL] Lägg till stöd för ConcatWs & Elt (alla sorteringar)
  • [SPARK-47543] [SC-161234][ANSLUT][PYTHON] Härleda dict från MapType Pandas DataFrame för att tillåta att DataFrame skapas
  • [SPARK-47863] [SC-162974][SQL] Åtgärda startsWith &endsMed sorteringsmedveten implementering för ICU
  • [SPARK-47867] [SC-162966][SQL] Stöd för variant i JSON-genomsökning.
  • [SPARK-47366] [SC-162475][SQL][PYTHON] Lägg till VariantVal för PySpark
  • [SPARK-47803] [SC-162726][SQL] Stöd för gjutning till variant.
  • [SPARK-47769] [SC-162841][SQL] Lägg till schema_of_variant_agg uttryck.
  • [SPARK-47420] [SC-162842][SQL] Åtgärda testutdata
  • [SPARK-47430] [SC-161178][SQL] Support GROUP BY för MapType
  • [SPARK-47357] [SC-162751][SQL] Lägg till stöd för Upper, Lower, InitCap (alla sorteringar)
  • [SPARK-47788] [SC-162729][SS] Se till att samma hashpartitionering för tillståndskänsliga strömningsfunktioner
  • [SPARK-47776] [SC-162291][SS] Tillåt inte att binär ojämlikhetssortering används i nyckelschemat för tillståndskänslig operator
  • [SPARK-47673] [SC-162824][SS] Implementera TTL för ListState
  • [SPARK-47818] [SC-162845][ANSLUT] Introducera plancache i SparkConnectPlanner för att förbättra prestanda för analysera begäranden
  • [SPARK-47694] [SC-162783][ANSLUT] Gör maximal meddelandestorlek konfigurerbar på klientsidan
  • [SPARK-47274] Återställ "[SC-162479][PYTHON][SQL] Ge mer användning...
  • [SPARK-47616] [SC-161193][SQL] Lägg till användardokument för att mappa Spark SQL-datatyper från MySQL
  • [SPARK-47862] [SC-162837][PYTHON][ANSLUT]Åtgärda generering av proto-filer
  • [SPARK-47849] [SC-162724][PYTHON][ANSLUT] Ändra versionsskript för att släppa pyspark-connect
  • [SPARK-47410] [SC-162518][SQL] Omstrukturera UTF8String och CollationFactory
  • [SPARK-47807] [SC-162505][PYTHON][ML] Gör pyspark.ml kompatibel med pyspark-connect
  • [SPARK-47707] [SC-161768][SQL] Särskild hantering av JSON-typ för MySQL Connector/J 5.x
  • [SPARK-47765] Återställ "[SC-162636][SQL] Lägg till SET COLLATION till pars...
  • [SPARK-47081] [SC-162151][ANSLUT][FÖLJ] Förbättra förloppshanterarens användbarhet
  • [SPARK-47289] [SC-161877][SQL] Tillåt tillägg att logga utökad information i förklara plan
  • [SPARK-47274] [SC-162479][PYTHON][SQL] Ge mer användbar kontext för PySpark DataFrame API-fel
  • [SPARK-47765] [SC-162636][SQL] Lägg till SET COLLATION till parsningsregler
  • [SPARK-47828] [SC-162722][ANSLUT][PYTHON] DataFrameWriterV2.overwrite misslyckas med ogiltig plan
  • [SPARK-47812] [SC-162696][ANSLUT] Stöd för serialisering av SparkSession för ForEachBatch-arbetare
  • [SPARK-47253] [SC-162698][CORE] Tillåt att LiveEventBus stoppas utan att händelsekön töms helt
  • [SPARK-47827] [SC-162625][PYTHON] Varningar saknas för inaktuella funktioner
  • [SPARK-47733] [SC-162628][SS] Lägga till anpassade mått för transformWithState-operatorn som en del av frågeförloppet
  • [SPARK-47784] [SC-162623][SS] Sammanfoga TTLMode och TimeoutMode till en enda TimeMode.
  • [SPARK-47775] [SC-162319][SQL] Stöd för återstående skalära typer i variantspecifikationen.
  • [SPARK-47736] [SC-162503][SQL] Lägga till stöd för AbstractArrayType
  • [SPARK-47081] [SC-161758][ANSLUT] Förlopp för frågekörning
  • [SPARK-47682] [SC-162138][SQL] Stöd för cast från variant.
  • [SPARK-47802] [SC-162478][SQL] Återställ () från menande struct() tillbaka till innebörden *
  • [SPARK-47680] [SC-162318][SQL] Lägg till variant_explode uttryck.
  • [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression bör kontrollera felet för varje codegen-läge
  • [SPARK-41811] [SC-162470][PYTHON][ANSLUT] Implementera SQLStringFormatter med WithRelations
  • [SPARK-47693] [SC-162326][SQL] Lägg till optimering för gemener jämförelse av UTF8String som används i UTF8_BINARY_LCASE sortering
  • [SPARK-47541] [SC-162006][SQL] Sorterade strängar i komplexa typer som stöder omvända åtgärder, array_join, sammanfogning, mappning
  • [SPARK-46812] [SC-161535][ANSLUT][PYTHON] Skapa mapInPandas/mapInArrow-stöd för ResourceProfile
  • [SPARK-47727] [SC-161982][PYTHON] Gör SparkConf till rotnivå för både SparkSession och SparkContext
  • [SPARK-47406] [SC-159376][SQL] Hantera TIMESTAMP och DATETIME i MYSQLDialect
  • [SPARK-47081] Återställ "[SC-161758][CONNECT] Support Query Executi...
  • [SPARK-47681] [SC-162043][SQL] Lägg till schema_of_variant uttryck.
  • [SPARK-47783] [SC-162222] Lägg till några saknade SQLSTATEs och rensa YY000 för att använda...
  • [SPARK-47634] [SC-161558][SQL] Lägga till äldre stöd för att inaktivera kartnyckelnormalisering
  • [SPARK-47746] [SC-162022] Implementera ordningsbaserad intervallkodning i RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec bör alltid använda context.session
  • [SPARK-47643] [SC-161534][SS][PYTHON] Lägga till pyspark-test för python-strömningskälla
  • [SPARK-47582] [SC-161943][SQL] Migrera Catalyst logInfo med variabler till ett strukturerat loggningsramverk
  • [SPARK-47558] [SC-162007][SS] Tillstånds-TTL-stöd för ValueState
  • [SPARK-47358] [SC-160912][SQL][SORTERING] Förbättra stöd för upprepat uttryck för att returnera rätt datatyp
  • [SPARK-47504] [SC-162044][SQL] Lösa AbstractDataType simpleStrings för StringTypeCollated
  • [SPARK-47719] Återställ "[SC-161909][SQL] Ändra spark.sql.legacy.t...
  • [SPARK-47657] [SC-162010][SQL] Implementera stöd för nedtryckning av sorteringsfilter per filkälla
  • [SPARK-47081] [SC-161758][ANSLUT] Förlopp för frågekörning
  • [SPARK-47744] [SC-161999] Lägga till stöd för negativt värderade byte i intervallkodare
  • [SPARK-47713] [SC-162009][SQL][ANSLUT] Åtgärda ett självkopplingsfel
  • [SPARK-47310] [SC-161930][SS] Lägga till mikromått för sammanslagningsåtgärder för flera värden i värdedelen av tillståndslagret
  • [SPARK-47700] [SC-161774][SQL] Åtgärda formatering av felmeddelanden med treeNode
  • [SPARK-47752] [SC-161993][PS][ANSLUT] Gör pyspark.pandas kompatibel med pyspark-connect
  • [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] Implementera logWarning/logInfo API i ett strukturerat loggningsramverk
  • [SPARK-47107] [SC-161201][SS][PYTHON] Implementera partitionsläsare för python-strömmande datakälla
  • [SPARK-47553] [SC-161772][SS] Lägga till Java-stöd för transformWithState-operator-API:er
  • [SPARK-47719] [SC-161909][SQL] Ändra standardvärdet spark.sql.legacy.timeParserPolicy till CORRECTED
  • [SPARK-47655] [SC-161761][SS] Integrera timer med initial tillståndshantering för state-v2
  • [SPARK-47665] [SC-161550][SQL] Använda SMALLINT för att skriva ShortType till MYSQL
  • [SPARK-47210] [SC-161777][SQL] Tillägg av implicit gjutning utan obestämt stöd
  • [SPARK-47653] [SC-161767][SS] Lägg till stöd för negativa numeriska typer och nyckelkodare för intervallgenomsökning
  • [SPARK-46743] [SC-160777][SQL] Räkna bugg efter konstant vikning
  • [SPARK-47525] [SC-154568][SQL] Stöd för underkry korrelationsanslutning på kartattribut
  • [SPARK-46366] [SC-151277][SQL] Använd WITH-uttryck i BETWEEN för att undvika duplicerade uttryck
  • [SPARK-47563] [SC-161183][SQL] Lägga till kartnormalisering när du skapar
  • [SPARK-42040] [SC-161171][SQL] SPJ: Introducera ett nytt API för V2-indatapartition för rapportpartitionsstatistik
  • [SPARK-47679] [SC-161549][SQL] Använda HiveConf.getConfVars eller Hive-konfigurationsnamn direkt
  • [SPARK-47685] [SC-161566][SQL] Återställ stödet för Stream typ i Dataset#groupBy
  • [SPARK-47646] [SC-161352][SQL] Gör try_to_number returnera NULL för felaktiga indata
  • [SPARK-47366] [SC-161324][PYTHON] Lägga till parse_json alias för pyspark och dataram
  • [SPARK-47491] [SC-161176][CORE] Lägg till slf4j-api jar i klasssökvägen först före de andra jars i katalogen
  • [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty projekt CommandResults lokalt
  • [SPARK-47364] [SC-158927][CORE] Varna PluginEndpoint när plugin-program svarar på enkelriktade meddelanden
  • [SPARK-47280] [SC-158350][SQL] Ta bort tidszonsbegränsning för ORACLE TIMESTAMP MED TIDSZON
  • [SPARK-47551] [SC-161542][SQL] Lägg till variant_get uttryck.
  • [SPARK-47559] [SC-161255][SQL] Codegen-stöd för variant parse_json
  • [SPARK-47572] [SC-161351][SQL] Framtvinga fönsterpartitionErpec kan ordnas.
  • [SPARK-47546] [SC-161241][SQL] Förbättra valideringen när du läser Variant från Parquet
  • [SPARK-47543] [SC-161234][ANSLUT][PYTHON] Härleda dict från MapType Pandas DataFrame för att tillåta att DataFrame skapas
  • [SPARK-47485] [SC-161194][SQL][PYTHON][ANSLUT] Skapa kolumn med sorteringar i dataram-API
  • [SPARK-47641] [SC-161376][SQL] Förbättra prestanda för UnaryMinus och Abs
  • [SPARK-47631] [SC-161325][SQL] Ta bort oanvänd SQLConf.parquetOutputCommitterClass metod
  • [SPARK-47674] [SC-161504][CORE] Aktivera spark.metrics.appStatusSource.enabled som standard
  • [SPARK-47273] [SC-161162][SS][PYTHON] implementerar Python-dataströmsskrivaregränssnittet.
  • [SPARK-47637] [SC-161408][SQL] Använda errorCapturingIdentifier på fler platser
  • [SPARK-47497] Återställ "Återställ "[SC-160724][SQL] Gör to_csv stöder utdata från matris/struct/map/binary som vackra strängar""
  • [SPARK-47492] [SC-161316][SQL] Bredda regler för blanksteg i lexer
  • [SPARK-47664] [SC-161475][PYTHON][ANSLUT] Verifiera kolumnnamnet med cachelagrat schema
  • [SPARK-47638] [SC-161339][PS][ANSLUT] Hoppa över verifiering av kolumnnamn i PS
  • [SPARK-47363] [SC-161247][SS] Inledande tillstånd utan tillståndsläsareimplementering för State API v2.
  • [SPARK-47447] [SC-160448][SQL] Tillåt läsning av Parquet TimestampLTZ som tidsstämpelNTZ
  • [SPARK-47497] Återställ "[SC-160724][SQL] Ge to_csv stöd för utdata från array/struct/map/binary som vackra strängar"
  • [SPARK-47434] [SC-160122][WEBUI] Åtgärda statistics länk i StreamingQueryPage
  • [SPARK-46761] [SC-159045][SQL] Bör citerade strängar i en JSON-sökväg stödja ? tecken
  • [SPARK-46915] [SC-155729][SQL] Förenkla UnaryMinus Abs och justera felklassen
  • [SPARK-47431] [SC-160919][SQL] Lägg till standardsortering på sessionsnivå
  • [SPARK-47620] [SC-161242][PYTHON][ANSLUT] Lägga till en hjälpfunktion för att sortera kolumner
  • [SPARK-47570] [SC-161165][SS] Integrera intervallgenomsökningskodarändringar med timerimplementering
  • [SPARK-47497] [SC-160724][SQL] Ge to_csv stöd för utdata array/struct/map/binary från som vackra strängar
  • [SPARK-47562] [SC-161166][ANSLUT] Factor literal handling out of plan.py
  • [SPARK-47509] [SC-160902][SQL] Blockera underfrågor i lambda- och högre ordningsfunktioner
  • [SPARK-47539] [SC-160750][SQL] Gör så att returvärdet för metoden castToString blir Any => UTF8String
  • [SPARK-47372] [SC-160905][SS] Lägga till stöd för intervallgenomsökningsbaserad nyckeltillståndskodare för användning med tillståndslagerprovidern
  • [SPARK-47517] [SC-160642][CORE][SQL] Föredrar Utils.bytesToString för storleksvisning
  • [SPARK-47243] [SC-158059][SS] Korrigera paketnamnet för StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][PYTHON][ANSLUT] Stöd för Python-datakällor med Spark Connect
  • [SPARK-47521] [SC-160666][CORE] Använd Utils.tryWithResource vid läsning av shuffle-data från extern lagring
  • [SPARK-47474] [SC-160522][CORE] Återställ SPARK-47461 och lägg till några kommentarer
  • [SPARK-47560] [SC-160914][PYTHON][ANSLUT] Undvik RPC för att verifiera kolumnnamnet med cachelagrat schema
  • [SPARK-47451] [SC-160749][SQL] Stöd för to_json(variant).
  • [SPARK-47528] [SC-160727][SQL] Lägg till UserDefinedType-stöd i DataTypeUtils.canWrite
  • [SPARK-44708] Återställ "[SC-160734][PYTHON] Migrera test_reset_index assert_eq för att använda assertDataFrameEqual"
  • [SPARK-47506] [SC-160740][SQL] Lägga till stöd för alla filkällans format för sorterade datatyper
  • [SPARK-47256] [SC-160784][SQL] Tilldela namn till felklasser _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][CORE] Åtgärda den primära resursburken som lagts till i spark.jars två gånger under k8s-klusterläge
  • [SPARK-47398] [SC-160572][SQL] Extrahera ett drag för InMemoryTableScanExec för att tillåta utökade funktioner
  • [SPARK-47479] [SC-160623][SQL] Optimize kan inte skriva data till relationer med felloggen för flera sökvägar
  • [SPARK-47483] [SC-160629][SQL] Lägga till stöd för aggregerings- och kopplingsåtgärder i matriser med sorterade strängar
  • [SPARK-47458] [SC-160237][CORE] Åtgärda problemet med att beräkna maximalt antal samtidiga uppgifter för barriärsteget
  • [SPARK-47534] [SC-160737][SQL] Flytta o.a.s.variant till o.a.s.types.variant
  • [SPARK-47396] [SC-159312][SQL] Lägga till en allmän mappning för TIME WITHOUT TIME ZONE till TimestampNTZType
  • [SPARK-44708] [SC-160734][PYTHON] Migrera test_reset_index assert_eq för att använda assertDataFrameEqual
  • [SPARK-47309] [SC-157733][SC-160398][SQL] XML: Lägga till schemainferenstester för värdetaggar
  • [SPARK-47007] [SC-160630][SQL] Lägg till uttrycket MapSort
  • [SPARK-47523] [SC-160645][SQL] Ersätt inaktuellt JsonParser#getCurrentName med JsonParser#currentName
  • [SPARK-47440] [SC-160635][SQL] Åtgärda push-överföring av syntax som inte stöds till MsSqlServer
  • [SPARK-47512] [SC-160617][SS] Taggåtgärdstyp som används med RocksDB-tillståndslagerinstansens hämtning/lansering
  • [SPARK-47346] [SC-159425][PYTHON] Gör daemonläget konfigurerbart när du skapar Python Planner-arbetare
  • [SPARK-47446] [SC-160163][CORE] Varna BlockManager innan removeBlockInternal
  • [SPARK-46526] [SC-156099][SQL] StödGRÄNS för korrelerade underfrågor där predikat endast refererar till yttre tabell
  • [SPARK-47461] [SC-160297][CORE] Ta bort privat funktion totalRunningTasksPerResourceProfile från ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][SQL] Stöd för sorterade strängar i matrisåtgärder
  • [SPARK-47500] [SC-160627][PYTHON][ANSLUT] Namnhantering av faktorkolumn från plan.py
  • [SPARK-47383] [SC-160144][CORE] Supportkonfiguration spark.shutdown.timeout
  • [SPARK-47342] [SC-159049]Återställ "[SQL] StödtidsstämpelNTZ för DB2 TIMESTAMP MED TIDSZON"
  • [SPARK-47486] [SC-160491][ANSLUT] Ta bort oanvänd privat ArrowDeserializers.getString metod
  • [SPARK-47233] [SC-154486][ANSLUT][SS][2/2] Klient- och serverlogik för frågelyssnare på klientsidan
  • [SPARK-47487] [SC-160534][SQL] Förenkla koden i AnsiTypeCoercion
  • [SPARK-47443] [SC-160459][SQL] Stöd för fönsteraggregering för sortering
  • [SPARK-47296] [SC-160457][SQL][SORTERING] Funktioner som inte stöds för icke-binära sorteringar misslyckas
  • [SPARK-47380] [SC-160164][ANSLUT] Kontrollera på serversidan att SparkSession är samma
  • [SPARK-47327] [SC-160069][SQL] Flytta sorteringsnycklarnas samtidighetstest till CollationFactorySuite
  • [SPARK-47494] [SC-160495][Doc] Lägg till migreringsdokument för beteendeändring av Parquet-tidsstämpelinferens sedan Spark 3.3
  • [SPARK-47449] [SC-160372][SS] Test av refaktor- och delningslista/timerenhet
  • [SPARK-46473] [SC-155663][SQL] Återanvänd metod getPartitionedFile
  • [SPARK-47423] [SC-160068][SQL] Sortering – Ange åtgärdsstöd för strängar med sortering
  • [SPARK-47439] [SC-160115][PYTHON] Dokumentera API för Python-datakälla på API-referenssidan
  • [SPARK-47457] [SC-160234][SQL] Korrigering IsolatedClientLoader.supportsHadoopShadedClient för att hantera Hadoop 3.4+
  • [SPARK-47366] [SC-159348][SQL] Implementera parse_json.
  • [SPARK-46331] [SC-152982][SQL] Ta bort CodegenFallback från delmängden av DateTime-uttryck och version()-uttryck
  • [SPARK-47395] [SC-159404] Lägga till sortering och sortering i andra API:er
  • [SPARK-47437] [SC-160117][PYTHON][ANSLUT] Korrigera felklassen för DataFrame.sort*
  • [SPARK-47174] [SC-154483][ANSLUT][SS][1/2] SparkConnectListenerBusListener på serversidan för frågelyssnare på klientsidan
  • [SPARK-47324] [SC-158720][SQL] Lägga till tidsstämpelkonvertering som saknas för kapslade JDBC-typer
  • [SPARK-46962] [SC-158834][SS][PYTHON] Lägg till gränssnitt för API för python-strömmande datakälla och implementera Python Worker för att köra python-strömmande datakälla
  • [SPARK-45827] [SC-158498][SQL] Flytta datatypkontroller till CreatableRelationProvider
  • [SPARK-47342] [SC-158874][SQL] StödtidsstämpelNTZ för DB2 TIMESTAMP MED TIDSZON
  • [SPARK-47399] [SC-159378][SQL] Inaktivera genererade kolumner i uttryck med sortering
  • [SPARK-47146] [SC-158247][CORE] Möjlig trådläcka vid sorteringskoppling
  • [SPARK-46913] [SC-159149][SS] Lägga till stöd för bearbetnings-/händelsetidsbaserade timers med transformWithState-operatorn
  • [SPARK-47375] [SC-159063][SQL] Lägga till riktlinjer för tidsstämpelmappning i JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][SQL] Stöd FÖR TIDSSTÄMPEL MED TIDSZON FÖR H2Dialect
  • [SPARK-45827] Återställ "[SC-158498][SQL] Flytta datatypkontroller till ...
  • [SPARK-47208] [SC-159279][CORE] Tillåt åsidosättande basöverbelastningsminne
  • [SPARK-42627] [SC-158021][SPARK-26494][SQL] Stöd för Oracle TIMESTAMP MED LOKAL TIDSZON
  • [SPARK-47055] [SC-156916][PYTHON] Uppgradera MyPy 1.8.0
  • [SPARK-46906] [SC-157205][SS] Lägg till en kontroll för tillståndskänsliga operatorändringar för direktuppspelning
  • [SPARK-47391] [SC-159283][SQL] Ta bort testfallslösningen för JDK 8
  • [SPARK-47272] [SC-158960][SS] Lägg till MapState-implementering för State API v2.
  • [SPARK-47375] [SC-159278][Doc][Uppföljning] Åtgärda ett fel i JDBC:s preferTimestampNTZ-alternativdokument
  • [SPARK-42328] [SC-157363][SQL] Ta bort _LEGACY_ERROR_TEMP_1175 från felklasser
  • [SPARK-47375] [SC-159261][Doc][Uppföljning] Korrigera alternativbeskrivningen preferTimestampNTZ i JDBC-dokumentet
  • [SPARK-47344] [SC-159146] Utöka INVALID_IDENTIFIER fel utöver att fånga "-" i en ociterad identifierare och åtgärda "IS ! NULL" et al.
  • [SPARK-47340] [SC-159039][SQL] Ändra "sortering" i StringType-typnamn till gemener
  • [SPARK-47087] [SC-157077][SQL] Skapa Spark-undantag med en felklass i konfigurationsvärdekontroll
  • [SPARK-47327] [SC-158824][SQL] Åtgärda trådsäkerhetsproblem i ICU Collator
  • [SPARK-47082] [SC-157058][SQL] Åtgärda feltillstånd utanför gränserna
  • [SPARK-47331] [SC-158719][SS] Serialisering med hjälp av skiftlägesklasser/primitiver/POJO baserat på SQL-kodare för godtyckligt tillstånds-API v2.
  • [SPARK-47250] [SC-158840][SS] Lägg till ytterligare valideringar och NERF-ändringar för RocksDB-tillståndsprovider och användning av kolumnfamiljer
  • [SPARK-47328] [SC-158745][SQL] Byt namn på UCS_BASIC sortering till UTF8_BINARY
  • [SPARK-47207] [SC-157845][CORE] Support spark.driver.timeout och DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][Doc] Lägg till migreringsdokument: TidsstämpelNTZ-typinferens för Parquet-filer
  • [SPARK-47309] [SC-158827][SQL][XML] Lägg till schemainferensenhetstester
  • [SPARK-47295] [SC-158850][SQL] ICU StringSearch har lagts till startsWith för funktionerna och endsWith
  • [SPARK-47343] [SC-158851][SQL] Åtgärda NPE när sqlString variabelvärdet är null-strängen i kör omedelbart
  • [SPARK-46293] [SC-150117][ANSLUT][PYTHON] Använda protobuf transitivt beroende
  • [SPARK-46795] [SC-154143][SQL] SparkUnsupportedOperationException Ersätt med UnsupportedOperationException isql/core
  • [SPARK-46087] [SC-149023][PYTHON] Synkronisera PySpark-beroenden i dokument- och utvecklingskrav
  • [SPARK-47169] [SC-158848][SQL] Inaktivera bucketing på sorterade kolumner
  • [SPARK-42332] [SC-153996][SQL] Ändra krav till en SparkException i ComplexTypeMergingExpression
  • [SPARK-45827] [SC-158498][SQL] Flytta datatypkontroller till CreatableRelationProvider
  • [SPARK-47341] [SC-158825][Anslut] Ersätt kommandon med relationer i några tester i SparkConnectClientSuite
  • [SPARK-43255] [SC-158026][SQL] Ersätt felklassen _LEGACY_ERROR_TEMP_2020 med ett internt fel
  • [SPARK-47248] [SC-158494][SQL][SORTERING] Förbättrat stöd för strängfunktionen: innehåller
  • [SPARK-47334] [SC-158716][SQL] Återanvänd withColumnRenamed implementeringen av withColumnsRenamed
  • [SPARK-46442] [SC-153168][SQL] DS V2 stöder push-PERCENTILE_CONT och PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][SQL] Scala har lagts till. MatchError-hantering i QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][SQL] Lägg till variant av singleton-typ för Java
  • [SPARK-47337] [SC-158743][SQL][DOCKER] Uppgradera DB2 Docker-avbildningsversionen till 11.5.8.0
  • [SPARK-47302] [SC-158609][SQL] Sortera nyckelord som identifierare
  • [SPARK-46817] [SC-154196][CORE] Åtgärda spark-daemon.sh användningen genom att lägga till decommission kommandot
  • [SPARK-46739] [SC-153553][SQL] Lägg till felklassen UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][SQL] Lägg till konfigurationsflaggan COLLATION_ENABLED
  • [SPARK-46774] [SC-153925][SQL][AVRO] Använd mapreduce.output.fileoutputformat.compress i stället för inaktuella mapred.output.compress i Avro-skrivjobb
  • [SPARK-45245] [SC-146961][PYTHON][ANSLUT] PythonWorkerFactory: Tidsgräns om arbetaren inte ansluter tillbaka.
  • [SPARK-46835] [SC-158355][SQL][Sortering] Anslut stöd för icke-binära sorteringar
  • [SPARK-47131] [SC-158154][SQL][SORTERING] Stöd för strängfunktionen: innehåller, startarmed, slutarmed
  • [SPARK-46077] [SC-157839][SQL] Överväg den typ som genereras av TimestampNTZConverter i JdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][SQL][PYTHON] Ignorera Python-undantag där PySpark inte finns i Python-sökvägen
  • [SPARK-47319] [SC-158599][SQL] Förbättra missingInput-beräkning
  • [SPARK-47316] [SC-158606][SQL] Åtgärda tidsstämpelNTZ i Postgres-matrisen
  • [SPARK-47268] [SC-158158][SQL][Sortering] Stöd för ompartition med sortering
  • [SPARK-47191] [SC-157831][SQL] Undvik onödiga relationssökningar vid icke-cachelagring av tabell/vy
  • [SPARK-47168] [SC-158257][SQL] Inaktivera push-nedtryckning av parquet-filter när du arbetar med icke-standardsorterade strängar
  • [SPARK-47236] [SC-158015][CORE] Korrigering deleteRecursivelyUsingJavaIO för att hoppa över icke-befintliga filindata
  • [SPARK-47238] [SC-158466][SQL] Minska användningen av körminne genom att göra genererad kod i WSCG till en sändningsvariabel
  • [SPARK-47249] [SC-158133][ANSLUT] Åtgärda bugg där alla anslutningskörningar anses vara övergivna oavsett deras faktiska status
  • [SPARK-47202] [SC-157828][PYTHON] Åtgärda typo-inbrytningsdatumtider med tzinfo
  • [SPARK-46834] [SC-158139][SQL][Sortering] Stöd för aggregeringar
  • [SPARK-47277] [SC-158351][3.5] Funktionen PySpark util assertDataFrameEqual bör inte ha stöd för direktuppspelnings-DF
  • [SPARK-47155] [SC-158473][PYTHON] Åtgärda problem med felklass
  • [SPARK-47245] [SC-158163][SQL] Förbättra felkoden för INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [SC-158425][CORE] Lägg till ett varningsmeddelande när Dependency ett för stort antal shuffle-block ska skapas.
  • [SPARK-47277] [SC-158329] Funktionen AssertDataFrameEqual i PySpark util bör inte ha stöd för direktuppspelning av DF
  • [SPARK-47293] [SC-158356][CORE] Skapa batchSchema med sparkSchema i stället för att lägga till ett i taget
  • [SPARK-46732] [SC-153517][ANSLUT]Få underfrågor/sändningstråd att fungera med Connects artefakthantering
  • [SPARK-44746] [SC-158332][PYTHON] Lägga till mer Python UDTF-dokumentation för funktioner som accepterar indatatabeller
  • [SPARK-47120] [SC-157517][SQL] Null-jämförelse push-ned datafilter från underfrågor som skapas i NPE i Parquet-filter
  • [SPARK-47251] [SC-158291][PYTHON] Blockera ogiltiga typer från args argumentet för sql kommandot
  • [SPARK-47251] Återställ "[SC-158121][PYTHON] Blockera ogiltiga typer från args argumentet för sql kommandot"
  • [SPARK-47015] [SC-157900][SQL] Inaktivera partitionering på sorterade kolumner
  • [SPARK-46846] [SC-154308][CORE] Serializable Utöka WorkerResourceInfo explicit
  • [SPARK-46641] [SC-156314][SS] Lägg till maxBytesPerTrigger-tröskelvärde
  • [SPARK-47244] [SC-158122][ANSLUT] SparkConnectPlanner göra interna funktioner privata
  • [SPARK-47266] [SC-158146][ANSLUT] Returnera ProtoUtils.abbreviate samma typ som indata
  • [SPARK-46961] [SC-158183][SS] Använda ProcessorContext för att lagra och hämta handtag
  • [SPARK-46862] [SC-154548][SQL] Inaktivera CSV-kolumnrensning i flerradsläge
  • [SPARK-46950] [SC-155803][CORE][SQL] Justera not available codec felklass
  • [SPARK-46368] [SC-153236][CORE] Stöd readyz i REST Submission API
  • [SPARK-46806] [SC-154108][PYTHON] Förbättra felmeddelandet för spark.table när argumenttypen är fel
  • [SPARK-47211] [SC-158008][ANSLUT][PYTHON] Åtgärda ignorerad PySpark Connect-strängsortering
  • [SPARK-46552] [SC-151366][SQL] SparkUnsupportedOperationException Ersätt med UnsupportedOperationException icatalyst
  • [SPARK-47147] [SC-157842][PYTHON][SQL] Åtgärda fel med sorterad strängkonvertering i PySpark
  • [SPARK-47144] [SC-157826][ANSLUT][SQL][PYTHON] Åtgärda Spark Connect-sorteringsfel genom att lägga till protobuf-fältet collateId
  • [SPARK-46575] [SC-153200][SQL][HIVE] Gör HiveThriftServer2.startWithContext DevelopApi retriable och åtgärda flakiness av ThriftServerWithSparkContextInHttpSuite
  • [SPARK-46696] [SC-153832][CORE] I ResourceProfileManager ska funktionsanrop ske efter variabeldeklarationer
  • [SPARK-47214] [SC-157862][Python] Skapa UDTF-API för "analysera"-metoden för att särskilja konstanta NULL-argument och andra typer av argument
  • [SPARK-46766] [SC-153909][SQL][AVRO] Stöd för ZSTD-buffertpool för AVRO-datakälla
  • [SPARK-47192] [SC-157819] Konvertera vissa _LEGACY_ERROR_TEMP_0035 fel
  • [SPARK-46928] [SC-157341][SS] Lägg till stöd för ListState i godtyckligt tillstånds-API v2.
  • [SPARK-46881] [SC-154612][CORE] Stöd spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][CORE] Stöd spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][SQL] Åtgärda felet som använder felaktig parquet-komprimeringskod lz4raw
  • [SPARK-46791] [SC-154018][SQL] Stöd för Java-uppsättning i JavaTypeInference
  • [SPARK-46332] [SC-150224][SQL] Migrera CatalogNotFoundException till felklassen CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][SQL] Gör så att standardvärdet från den bredare typen smal literal för v2 beter sig på samma sätt som v1
  • [SPARK-46664] [SC-153181][CORE] Förbättra Master för att snabbt återställa vid noll arbetare och appar
  • [SPARK-46759] [SC-153839][SQL][AVRO] Codec xz och zstandard har stöd för komprimeringsnivå för avro-filer

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Se Underhållsuppdateringar för Databricks Runtime 15.2.

Systemmiljö

  • Operativsystem: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta lake: 3.2.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
svart 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klicka 8.0.4 cloudpickle 2.2.1 Comm 0.1.2
contourpy 1.0.5 kryptografi 41.0.3 cyklist 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
felsökning 1.6.7 dekoratör 5.1.1 distlib 0.3.8
entrypoints 0,4 Verkställande 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 nyckelring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 emballage 23.2
Pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Kudde 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantisk 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6,0 pyzmq 23.2.0
begäranden 2.31.0 RSA 4,9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 sex 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5,11
stack-data 0.2.0 statsmodels 0.14.0 orubblighet 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tromb 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 obevakade uppgraderingar 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
hjul 0.38.4 zipp 3.11.0

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-ögonblicksbilden.

Bibliotek Version Bibliotek Version Bibliotek Version
arrow 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backportar 1.4.1 bas 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 start 1.3-28
brygga 1.0-10 Brio 1.1.4 kvast 1.0.5
bslib 0.6.1 cachem 1.0.8 anropare 3.7.3
textmarkör 6.0-94 cellranger 1.1.0 Chron 2.3-61
klass 7.3-22 cli 3.6.2 clipr 0.8.0
klocka 0.7.0 cluster 2.1.4 codetools 0.2-19
färgområde 2.1-0 commonmark 1.9.1 kompilator 4.3.2
config 0.3.2 Konflikt 1.2.0 cpp11 0.4.7
krita 1.5.2 autentiseringsuppgifter 2.0.1 hårlock 5.2.0
data.table 1.15.0 datauppsättningar 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Desc 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 smälta 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellips 0.3.2 evaluate (utvärdera) 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
främmande 0.8-85 smida 0.2.0 Fs 1.6.3
framtid 1.33.1 future.apply 1.11.1 gurgla 1.5.2
Generika 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 lim 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafik 4.3.2 grDevices 4.3.2 gitter 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 hamn 2.5.4
highr 0.10 Hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Id 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iteratorer 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 stickning 1.45 Märkning 0.4.3
senare 1.3.2 Galler 0.21-8 lava 1.7.3
livscykel 1.0.4 lyssna 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 MASSA 7.3-60
Matris 1.5-4.1 pmise 2.0.1 metoder 4.3.2
mgcv 1.8-42 MIME 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallellt 1.36.0 pelare 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 berömma 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Förlopp 1.2.3
progressr 0.14.0 Löften 1.2.1 Proto 1.0.0
proxyserver 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reakterbar 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recept 1.0.9 Returmatch 2.0.0 rematch2 2.1.2
Fjärrkontroller 2.4.2.1 reprex 2.1.0 omforma2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversioner 2.1.2 rvest 1.0.3 Sass 0.4.8
våg 1.3.0 väljare 0.4-2 sessioninfo 1.2.2
form 1.4.6 skinande 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 rumslig 7.3-15 Splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 statistik 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
överlevnad 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
avmarkera 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 verktyg 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 verktyg 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 morrhår 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 Zip 2.3.1

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics ström 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tingeling 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profilerare 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffert 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine ättikslag 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow pilformat 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow pilvektor 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy murgröna 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus åhörarkommentarer 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-samlingar 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-fortsättning 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty brygga-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty brygga plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty brygga-server 9.4.52.v20230823
org.eclipse.jetty brygga-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty brygga-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator vilolägesverifierare 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1