Dela via

Databricks Runtime 15.4 LTS (Beta)

  • Artikel

Viktigt!

Databricks Runtime 15.4 LTS är i Beta. Innehållet i de miljöer som stöds kan ändras under betaversionen. Ändringar kan inkludera listan över paket eller versioner av installerade paket.

Följande viktig information innehåller information om Databricks Runtime 15.4 LTS, som drivs av Apache Spark 3.5.0.

Förändringar i beteende

Ändra till standardschemabindningsläget för vyer

Vyerna anpassas nu till schemaändringar i den underliggande frågan med hjälp av schemakompensation med vanliga regler för gjutning. Det här är en ändring från det tidigare standardläget BINDING , vilket gav upphov till fel när en säker gjutning inte kunde utföras när vyn refererades till.

Se FUNKTIONEN SKAPA VY och gjuten.

Tillåt inte att du använder den odokumenterade ! syntaxen i stället NOT för externa booleska uttryck

Med den här versionen tillåts inte längre användning av ! som synonym för NOT utanför booleska uttryck. Till exempel instruktioner som följande: CREATE ... IF ! EXISTS, IS ! NULL, en ! NULL kolumn- eller fältegenskap ! IN och ! BETWEEN måste ersättas med: CREATE ... IF NOT EXISTS, IS NOT NULL, en NOT NULL kolumn- eller fältegenskap NOT IN och NOT BETWEEN.

Den här ändringen säkerställer konsekvens, överensstämmer med SQL-standarden och gör din SQL mer portabel.

Den booleska prefixoperatorn ! (till exempel !is_mgr eller !(true AND false)) påverkas inte av den här ändringen.

Tillåt inte syntax för odokumenterad kolumndefinition i vyer

Databricks stöder CREATE VIEW med namngivna kolumner och kolumnkommenterar. Tidigare har specifikationen av kolumntyper, NOT NULL begränsningar eller DEFAULT tillåtits. Med den här versionen kan du inte längre använda den här syntaxen.

Den här ändringen säkerställer konsekvens, överensstämmer med SQL-standarden och stöder framtida förbättringar.

Konsekvent felhantering för Base64-avkodning i Spark och Photon

Den här versionen ändrar hur Photon hanterar Base64-avkodningsfel för att matcha Spark-hanteringen av dessa fel. Före dessa ändringar kunde sökvägen för generering av Photon- och Spark-kod ibland inte generera parsningsfel, medan Spark tolkade körningen korrekt upphöjd IllegalArgumentException eller ConversionInvalidInputError. Den här uppdateringen säkerställer att Photon konsekvent genererar samma undantag som Spark under Base64-avkodningsfel, vilket ger mer förutsägbar och tillförlitlig felhantering.

Om du lägger till en CHECK begränsning för en ogiltig kolumn returneras nu UNRESOLVED_COLUMN. WITH_SUGGESTION felklass

För att ge mer användbara felmeddelanden i Databricks Runtime 15.3 och senare returnerar en ALTER TABLE ADD CONSTRAINT instruktion som innehåller en CHECK begränsning som refererar till ett ogiltigt kolumnnamn UNRESOLVED_COLUMN. WITH_SUGGESTION felklass. Tidigare returnerades en INTERNAL_ERROR .

Nya funktioner och förbättringar

Api:er för typade datauppsättningar med Scala-UDF:er

Den här versionen innehåller stöd för typbeskrivna API:er för datauppsättningar med användardefinierade Scala-funktioner (exklusive användardefinierade aggregeringsfunktioner) i Unity Catalog-aktiverade kluster med läget för delad åtkomst. Se API:er för typade datauppsättningar.

Aktivera UniForm Iceberg med ALTER TABLE

Nu kan du aktivera UniForm Iceberg på befintliga tabeller utan att skriva om datafiler. Se Aktivera genom att ändra en befintlig tabell.

funktionen try_url_decode

Den här versionen introducerar funktionen try_url_decode , som avkodar en URL-kodad sträng. Om strängen inte har rätt format returnerar NULL funktionen i stället för att skapa ett fel.

Om du vill kan du tillåta att optimeraren förlitar sig på ogenomträngliga begränsningar för sekundärnyckel

För att förbättra frågeprestandan kan du nu ange nyckelordet RELY för FOREIGN KEY begränsningar när du skapar eller ändrar en tabell.

Parallelliserade jobbkörningar för selektiva överskrivningar

Selektiva överskrivningar med nu replaceWhere kör jobb som tar bort data och infogar nya data parallellt, vilket förbättrar frågeprestanda och klusteranvändning.

Förbättrad prestanda för ändringsdataflöde med selektiva överskrivningar

Selektiva överskrivningar med hjälp av replaceWhere tabeller med ändringsdataflöde skriver inte längre separata ändringsdatafiler för infogade data. Dessa åtgärder använder en dold _change_type kolumn som finns i de underliggande Parquet-datafilerna för att registrera ändringar utan skrivförstärkning.

Förbättrad frågesvarstid för COPY INTO kommandot

Den här versionen innehåller en ändring som förbättrar frågesvarstiden för COPY INTO kommandot. Den här förbättringen implementeras genom att göra inläsningen av tillståndet av RocksDB-tillståndsarkivet asynkront. Med den här ändringen bör du se en förbättring av starttiderna för frågor med stora tillstånd, till exempel frågor med ett stort antal redan inmatade filer.

Stöd för att ta bort tabellfunktionen för kontrollbegränsningar

Nu kan du släppa checkConstraints tabellfunktionen från en Delta-tabell med hjälp av ALTER TABLE table_name DROP FEATURE checkConstraints. Se Inaktivera kontrollbegränsningar.

Beräkning med en användare stöder detaljerad åtkomstkontroll, materialiserade vyer och strömmande tabeller (offentlig förhandsversion)

När en arbetsyta är aktiverad för serverlös beräkning lägger Databricks Runtime 15.4 LTS till stöd för detaljerad åtkomstkontroll vid beräkning med en användare. När en fråga kommer åt något av följande objekt skickar beräkningsresursen för en användare på Databricks Runtime 15.4 LTS frågan till den serverlösa beräkningen för att köra datafiltrering:

  • Vyer som definierats över tabeller där användaren inte har behörighet.SELECT
  • Dynamiska vyer.
  • Tabeller med radfilter eller kolumnmasker tillämpade.
  • Materialiserade vyer och strömmande tabeller.

Dessa frågor stöds inte vid beräkning med en användare som kör Databricks Runtime 15.3 och nedan.

Mer information finns i Detaljerad åtkomstkontroll för beräkning med en användare.

Utökat stöd för Java- och Scala-bibliotek

Från och med Databricks Runtime 15.4 LTS är alla Java- och Scala-bibliotek som paketeras med Databricks Runtime tillgängliga i alla beräkningsåtkomstlägen när du använder Unity Catalog. Mer information om språkstöd för Unity Catalog-aktiverad beräkning finns i Begränsningar för beräkningsåtkomstläge för Unity Catalog.

Utökat stöd för Scala Dataset-åtgärder

Med den här versionen stöder Unity Catalog-aktiverade beräkningsresurser som använder läget för delad åtkomst följande Scala-åtgärderDataset: map, mapPartitions, foreachPartition, flatMapreduce och filter.

Scala är GA på delad beräkning i Unity Catalog

Med den här versionen är Scala allmänt tillgängligt i enhetskatalogaktiverad beräkning med delad åtkomst, inklusive stöd för skalära användardefinierade funktioner (UDF: er). Strukturerad direktuppspelning, Hive UDF:er och användardefinierade Hive-aggregeringsfunktioner stöds inte. En fullständig lista över begränsningar finns i Begränsningar för beräkningsåtkomstläge för Unity Catalog.

Felkorrigeringar

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • azure-core från 1.30.1 till 1.30.2
    • google-auth från 2.29.0 till 2.31.0
    • google-cloud-storage från 2.16.0 till 2.17.0
    • google-resumable-media från 2.7.0 till 2.7.1
    • googleapis-common-protos från 1.63.0 till 1.63.2
    • mlflow-skinny från 2.11.3 till 2.11.4
    • proto-plus från 1.23.0 till 1.24.0
    • s3transfer från 0.10.1 till 0.10.2
  • Uppgraderade R-bibliotek:
  • Uppgraderade Java-bibliotek:
    • com.databricks.databricks-sdk-java från 0.17.1 till 0.27.0
    • com.ibm.icu.icu4j från 72.1 till 75.1
    • io.delta.delta-sharing-client_2.12 från 1.0.5 till 1.1.1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider från 1.6.1-linux-x86_64 till 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 15.3 och följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-49054] [DBRRM-1153] [SQL] Standardvärdet för kolumner bör ha stöd för current_* funktioner
  • [SPARK-48503] [DBRRM-1150] [SC-172196] [SQL] Tillåt gruppering av uttryck i skalär underfrågor, om de är bundna till yttre rader
  • [SPARK-48873] [SC-171061] [SQL] Använd UnsafeRow i JSON-parser.
  • [SPARK-48834] [BEHAVE-79] [SC-170972] [SQL] Inaktivera variantindata/utdata till python-skalära UDF:er, UDF:er, UDAF:er under frågekompilering
  • [SPARK-48441] [SC-170980] [SQL] [WARMFIX] Åtgärda StringTrim-beteende för icke-UTF8_BINARY sortering
  • [SPARK-48440] [SC-170895] [SQL] [WARMFIX] Åtgärda StringTranslate-beteende för icke-UTF8_BINARY sortering
  • [SPARK-48872] [SC-170866] [PYTHON] Minska kostnaderna för _capture_call_site
  • [SPARK-48862] [SC-170845] [PYTHON] [ANSLUT] Undvik att anropa _proto_to_string när INFO-nivån inte är aktiverad
  • [SPARK-48852] [SC-170837] [ANSLUT] Åtgärda strängtrimningsfunktionen i connect
  • [SPARK-48791] [SC-170658] [CORE] Åtgärda perf-regression som orsakas av ackumulatorernas registreringskostnader med hjälp av CopyOnWriteArrayList
  • [SPARK-48118] [SQL] Stöd SPARK_SQL_LEGACY_CREATE_HIVE_TABLE för env-variabel
  • [SPARK-48241] [SC-165811] [SQL] CSV-parsningsfel med kolumner av typen char/varchar
  • [SPARK-48168] [SC-166900] [SQL] Stöd för att lägga till bitvis skiftande operatorer
  • [SPARK-48148] [SC-165630] [CORE] JSON-objekt bör inte ändras när de läse som STRING
  • [SPARK-46625] [SC-170561] CTE med identifierarsatsen som referens
  • [SPARK-48771] [SC-170546] [SQL] Snabba upp LogicalPlanIntegrity.validateExprIdUniqueness för stora frågeplaner
  • [SPARK-48831] [BEHAVE-76] [SC-170554] [ANSLUT] Gör standardkolumnnamnet cast kompatibelt med Spark Classic
  • [SPARK-48623] [SC-170544] [CORE] Strukturerade loggningsmigreringar [del 2]
  • [SPARK-48296] [SC-166138] [SQL] Codegen-stöd för to_xml
  • [SPARK-48027] [SC-165154] [SQL] InjectRuntimeFilter för anslutning på flera nivåer bör kontrollera den underordnade kopplingstypen
  • [SPARK-46957] [SC-169807] [CORE] [15.x] [15.3] [15.2] Inaktivera migrerade shuffle-filer bör kunna rensas från executor
  • [SPARK-48686] [SC-170365] [SQL] Förbättra prestanda för ParserUtils.unescapeSQLString
  • [SPARK-48798] [SC-170588] [PYTHON] Introduktion spark.profile.render för SparkSession-baserad profilering
  • [SPARK-48048] [SC-169099] Återställ "[SC-164846][CONNECT][SS] Stöd för lyssnare på klientsidan har lagts till för Scala"
  • [SPARK-47910] [SC-168929] [CORE] stäng strömmen när DiskBlockObjectWriter stängerResurser för att undvika minnesläckage
  • [SPARK-48816] [SC-170547] [SQL] Förkortning för intervallkonverterare i UnivocityParser
  • [SPARK-48589] [SC-170132] [SQL] [SS] Lägg till alternativet snapshotStartBatchId och snapshotPartitionId till tillståndsdatakällan
  • [SPARK-48280] [SC-170293] [SQL] Förbättra sorteringstestytan med hjälp av uttrycksvandring
  • [SPARK-48837] [SC-170540] [ML] I CountVectorizer läser du bara binär parameter en gång per transformering, inte en gång per rad
  • [SPARK-48803] [SC-170541] [SQL] Generera internt fel i Orc(De)serialiserare för att justera mot ParquetWriteSupport
  • [SPARK-48764] [SC-170129] [PYTHON] Filtrera bort IPython-relaterade ramar från användarstacken
  • [SPARK-48818] [SC-170414] [PYTHON] Förenkla percentile funktioner
  • [SPARK-48479] [SC-169079] [SQL] Stöd för att skapa skalär- och tabell-SQL-UDF:er i parser
  • [SPARK-48697] [SC-170122] [LC-4703] [SQL] Lägga till sorteringsmedvetna strängfilter
  • [SPARK-48800] [SC-170409] [ANSLUT] [SS] Deflake ClientStreamingQuerySuite
  • [SPARK-48738] [SC-169814] [SQL] Rätt sedan versionen för det inbyggda func-aliaset random, position, mod, cardinality, current_schema, user, session_user,char_length,character_length
  • [SPARK-48638] [SC-169575] [ANSLUT] Lägga till ExecutionInfo-stöd för DataFrame
  • [SPARK-48064] [SC-164697] [SQL] Uppdatera felmeddelanden för rutinrelaterade felklasser
  • [SPARK-48810] [ANSLUT] Sessionsstopps-API:et ska vara idempotent och misslyckas inte om sessionen redan är stängd av servern
  • [SPARK-48650] [15.x] [PYTHON] Visa rätt anropswebbplats från IPython Notebook
  • [SPARK-48271] [SC-166076] [SQL] Omvandla matchningsfel i RowEncoder till UNSUPPORTED_DATA_TYPE_FOR_ENCODER
  • [SPARK-48709] [SC-169603] [SQL] Åtgärda matchningsfel för varchar-typmatchning för DataSourceV2 CTAS
  • [SPARK-48792] [SC-170335] [SQL] Åtgärda regression för INSERT med partiell kolumnlista till en tabell med tecken/varchar
  • [SPARK-48767] [SC-170330] [SQL] Åtgärda vissa felmeddelanden när variant typdata är ogiltiga
  • [SPARK-48719] [SC-170339] [SQL] Åtgärda beräkningsfelet RegrSlope för & RegrIntercept när den första parametern är null
  • [SPARK-48815] [SC-170334] [ANSLUT] Uppdatera miljön när anslutningssessionen stoppas
  • [SPARK-48646] [SC-169020] [PYTHON] Förfina API-docstring och typtips för Python-datakälla
  • [SPARK-48806] [SC-170310] [SQL] Skicka verkligt undantag när url_decode misslyckas
  • [SPARK-48653] [SC-169267] [PYTHON] Åtgärda ogiltiga felklassreferenser för Python-datakälla
  • [SPARK-47777] [SC-168818] åtgärda python-strömmande datakällans anslutningstest
  • [SPARK-48732] [SC-169793] [SQL] Rensa inaktuell API-användning relaterad till JdbcDialect.compileAggregate
  • [SPARK-48675] [SC-169538] [SQL] Åtgärda cachetabell med sorterad kolumn
  • [SPARK-48623] [SC-169034] [CORE] Strukturerad loggningsmigrering
  • [SPARK-48655] [SC-169542] [SQL] SPJ: Lägga till tester för shuffle-överhoppning för aggregerade frågor
  • [SPARK-48586] [SC-169808] [SS] Ta bort låsförvärv i doMaintenance() genom att göra en djup kopia av filmappningar i RocksDBFileManager i load()
  • [SPARK-48799] [Backport] [15.x] [SC-170283] [SS] Omstrukturera versionshantering för operatormetadata, läsa/skriva och anropare
  • [SPARK-48808] [SC-170309] [SQL] Åtgärda NPE när du ansluter thriftserver via Hive 1.2.1 och resultatschemat är tomt
  • [SPARK-48715] [SC-170291] [SQL] Integrera UTF8String-validering i implementeringar av sorteringsmedvetna strängfunktioner
  • [SPARK-48747] [SC-170120] [SQL] Lägga till iterator för kodpunkt i UTF8String
  • [SPARK-48748] [SC-170115] [SQL] CachenumChars i UTF8String
  • [SPARK-48744] [SC-169817] [Kärna] Loggposten ska bara konstrueras en gång
  • [SPARK-46122] [SC-164313] [SQL] Ange spark.sql.legacy.createHiveTableByDefault till false som standard
  • [SPARK-48765] [SC-170119] [DISTRIBUERA] Förbättra standardvärdeutvärderingen för SPARK_IDENT_STRING
  • [SPARK-48759] [SC-170128] [SQL] Lägg till migreringsdokument för BETEENDEförändring i CREATE TABLE AS SELECT sedan Spark 3.4
  • [SPARK-48598] [SC-169484] [PYTHON] [ANSLUT] Sprida cachelagrat schema i dataramsåtgärder
  • [SPARK-48766] [SC-170126] [PYTHON] Dokumentera beteendeskillnaden extraction mellan element_at och try_element_at
  • [SPARK-48768] [SC-170124] [PYTHON] [ANSLUT] Ska inte cachelagrad explain
  • [SPARK-48770] [Backport] [15.x] [SC-170133] [SS] Ändra till att läsa operatormetadata en gång på drivrutinen för att kontrollera om vi kan hitta information om numColsPrefixKey som används för sessionsfönster-agg-frågor
  • [SPARK-48656] [SC-169529] [CORE] Gör en längdkontroll och kasta COLLECTION_SIZE_LIMIT_EXCEEDED fel i CartesianRDD.getPartitions
  • [SPARK-48597] [SC-168817] [SQL] Introducera en markör för egenskapen isStreaming i textrepresentationen av en logisk plan
  • [SPARK-48472] [SC-169044] [SQL] Aktivera reflekterande uttryck med sorterade strängar
  • [SPARK-48699] [SC-169597] [SQL] Förfina sorterings-API
  • [SPARK-48682] [SC-169812] [SQL] [BEHAVE-58] Använda ICU i InitCap-uttryck för UTF8_BINARY strängar
  • [SPARK-48282] [SC-169813] [SQL] Ändra strängsökningslogik för UTF8_BINARY_LCASE sortering (StringReplace, FindInSet)
  • [SPARK-47353] [SC-169599] [SQL] Aktivera sorteringsstöd för modeuttrycket
  • [SPARK-48320] [SPARK-48490] Synkronisera de senaste Logging-funktionerna och testfallen från OSS Spark
  • [SPARK-48629] [SC-169479] Migrera residualkoden till ett strukturerat loggningsramverk
  • [SPARK-48681] [SC-169469] [SQL] [BEHAVE-58] Använda ICU i lägre/övre uttryck för UTF8_BINARY strängar
  • [SPARK-48573] [15.x] [SC-169582] [SQL] Uppgradera ICU-version
  • [SPARK-48687] [Backport] [15.x] [SS] Lägg till ändring för att utföra tillståndsschemavalidering och uppdatering av drivrutinen för tillståndskänsliga frågor
  • [SPARK-47579] [15.x] [SC-167310] [CORE] [PART4] Migrera logInfo med variabler till ett strukturerat loggningsramverk
  • [SPARK-48008] [SC-167363] [1/2] Stöd för UDAF:er i Spark Connect
  • [SPARK-48713] [SQL] Lägg till indexintervallkontroll för UnsafeRow.pointTo när baseObject är bytematris
  • [SPARK-48718] [ES-1159458] [SC-169581] [SQL] Hantera och åtgärda ärendet när deserialiseraren i en grupp löses under tillämpningen av DeduplicateRelation-regeln
  • [SPARK-48578] [SC-169505] [SQL] lägg till UTF8-strängvalideringsrelaterade funktioner
  • [SPARK-48670] [SC-169598] [SQL] Ge förslag som en del av felmeddelandet när ogiltigt sorteringsnamn anges
  • [SPARK-48059] [SPARK-48145] [SPARK-48134] [SPARK-48182] [SPARK-48209] [SPA... … RK-48291] Strukturerat loggramverk på Java-sidan
  • [SPARK-47599] [15.x] [SC-166000] [MLLIB] MLLib: Migrera logWarn med variabler till ett strukturerat loggningsramverk
  • [SPARK-48705] [SC-169590] [PYTHON] Använd uttryckligen worker_main när det börjar med pyspark
  • [SPARK-48706] [SC-169589] [PYTHON] Python UDF i högre ordning ska inte utlösa interna fel
  • [SPARK-48498] [BEHAVE-38] [SC-168060] [SQL] Gör alltid utfyllnad av tecken i predikat
  • [SPARK-48662] [SC-169533] [SQL] Åtgärda StructsToXml-uttryck med sortering
  • [SPARK-48482] [SC-167702] [PYTHON] [15.x] dropDuplicates och dropDuplicatesWIthinWatermark bör acceptera variabellängd args
  • [SPARK-48678] [SC-169463] [CORE] Prestandaoptimeringar för SparkConf.get(ConfigEntry)
  • [SPARK-48576] [SQL] Byt namn på UTF8_BINARY_LCASE till UTF8_LCASE
  • [SPARK-47927] [SC-164123] [SQL]: Åtgärda nullatribut i UDF-avkodaren
  • [SPARK-47579] [SC-165297] [CORE] [PART1] Migrera logInfo med variabler till ett strukturerat loggningsramverk (nytt)
  • [SPARK-48695] [SC-169473] [PYTHON] TimestampNTZType.fromInternal inte använda de inaktuella metoderna
  • [SPARK-48431] [SC-167290] [LC-4066] [SQL] Vidarebefordra inte predikat för sorterade kolumner till filläsare
  • [SPARK-47579] Återställ "[SC-165297][CORE][PART1] Migrera logInfo med variabler till strukturerat loggningsramverk"
  • [SPARK-47585] [SC-164306] [SQL] SQL Core: Migrera logInfo med variabler till ett strukturerat loggningsramverk
  • [SPARK-48466] [SC-169042] [SQL] Skapa en dedikerad nod för EmptyRelation i AQE
  • [SPARK-47579] [SC-165297] [CORE] [PART1] Migrera logInfo med variabler till ett strukturerat loggningsramverk
  • [SPARK-48410] [SC-168320] [SQL] Åtgärda InitCap-uttryck för UTF8_BINARY_LCASE och ICU-sortering
  • [SPARK-48318] [SC-167709] [SQL] Aktivera stöd för hashkoppling för alla sorteringar (komplexa typer)
  • [SPARK-48435] [SC-168128] [SQL] UNICODE-sortering bör inte stödja binär likhet
  • [SPARK-48555] [SC-169041] [SQL] [PYTHON] [ANSLUT] Stöd för att använda Kolumner som parametrar för flera funktioner i pyspark/scala
  • [SPARK-48591] [SC-169081] [PYTHON] Lägga till en hjälpfunktion för att förenkla Column.py
  • [SPARK-48574] [SC-169043] [SQL] Åtgärda stöd för StructTypes med sortering
  • [SPARK-48305] [SC-166390] [SQL] Lägga till sorteringsstöd för CurrentLike-uttryck
  • [SPARK-48342] [SC-168941] [SQL] Introduktion av SQL Scripting Parser
  • [SPARK-48649] [SC-169024] [SQL] Lägg till konfigurationerna "ignoreInvalidPartitionPaths" och "spark.sql.files.ignoreInvalidPartitionPaths" för att tillåta att ogiltiga partitionssökvägar ignoreras
  • [SPARK-48000] [SC-167194] [SQL] Aktivera stöd för hashkoppling för alla sorteringar (StringType)
  • [SPARK-48459] [SC-168947] [ANSLUT] [PYTHON] Implementera DataFrameQueryContext i Spark Connect
  • [SPARK-48602] [SC-168692] [SQL] Få csv-generatorn att ha stöd för olika utdataformat med spark.sql.binaryOutputStyle
  • [SPARK-48283] [SC-168129] [SQL] Ändra strängjämförelse för UTF8_BINARY_LCASE
  • [SPARK-48610] [SC-168830] [SQL]-refaktor: använd extra idMap i stället för OP_ID_TAG
  • [SPARK-48634] [SC-169021] [PYTHON] [ANSLUT] Undvik att statiskt initiera trådpoolen i ExecutePlanResponseReattachableIterator
  • [SPARK-48648] [SC-168932] [PYTHON] [ANSLUT] Gör SparkConnectClient.tags korrekt threadlocal
  • [SPARK-47911] [SC-164658] [SQL] Introducerar en universell BinaryFormatter för att göra binära utdata konsekventa
  • [SPARK-48642] [SC-168889] [CORE] False SparkOutOfMemoryError orsakad av dödande uppgift vid spill
  • [SPARK-48572] [SC-168844] [SQL] Korrigera uttrycken DateSub, DateAdd, WindowTime, TimeWindow och SessionWindow
  • [SPARK-48600] [SC-168841] [SQL] Åtgärda implicit gjutning av FrameLessOffsetWindowFunction-uttryck
  • [SPARK-48644] [SC-168933] [SQL] Gör en längdkontroll och kasta COLLECTION_SIZE_LIMIT_EXCEEDED fel i Hex.hex
  • [SPARK-48587] [SC-168824] [VARIANT] Undvik lagringsförstärkning vid åtkomst till en undervariant
  • [SPARK-48647] [SC-168936] [PYTHON] [ANSLUT] Förfina felmeddelandet för YearMonthIntervalType i df.collect
  • [SPARK-48307] [SC-167802] [SQL] InlineCTE bör behålla icke-infogade relationer i den ursprungliga WithCTE-noden
  • [SPARK-48596] [SC-168581] [SQL] Förbättring av perf för beräkning av hexsträng under lång tid
  • [SPARK-48621] [SC-168726] [SQL] Åtgärda som förenkling i Optimizer för sorterade strängar
  • [SPARK-47148] [SC-164179] [SQL] Undvik att materialisera AQE ExchangeQueryStageExec vid annulleringen
  • [SPARK-48584] [SC-168579] [SQL] Förbättring av perf för unescapePathName
  • [SPARK-48281] [SC-167260] [SQL] Ändra strängsökningslogik för UTF8_BINARY_LCASE sortering (StringInStr, SubstringIndex)
  • [SPARK-48577] [SC-168826] [SQL] Ogiltig ersättning av UTF-8 byte-sekvens
  • [SPARK-48595] [SC-168580] [CORE] Rensa inaktuell API-användning relaterad till commons-compress
  • [SPARK-48030] [SC-164303] [SQL] SPJ: cache rowOrdering och structType för InternalRowComparableWrapper
  • [SPARK-48004] [SC-164005] [SQL] Lägg till WriteFilesExecBase-drag för v1-skrivning
  • [SPARK-48551] [SC-168438] [SQL] Förbättring av prestanda för escapePathName
  • [SPARK-48565] [SC-168437] [Användargränssnitt] Åtgärda tråddumpningsvisning i användargränssnittet
  • [SPARK-48364] [SC-166782] [SQL] Lägg till AbstractMapType-typgjutning och korrigera RaiseError-parameterkarta för att arbeta med sorterade strängar
  • [SPARK-48421] [SC-168689] [SQL] SPJ: Lägg till dokumentation
  • [SPARK-48604] [SC-168698] [SQL] Ersätt inaktuellt new ArrowType.Decimal(precision, scale) metodanrop
  • [SPARK-46947] [SC-157561] [CORE] Fördröj minneshanterarens initiering tills plugin-programmet driver läses in
  • [SPARK-48411] [SC-168576] [SS] [PYTHON] Lägg till E2E-test för DropDuplicateWithinWatermark
  • [SPARK-48543] [SC-168697] [SS] Spåra fel vid verifiering av tillståndsrad med hjälp av explicit felklass
  • [SPARK-48221] [SC-167143] [SQL] Ändra strängsökningslogik för UTF8_BINARY_LCASE sortering (Contains, StartsWith, EndsWith, StringLocate)
  • [SPARK-47415] [SC-168441] [SQL] Lägga till sorteringsstöd för Levenshtein-uttryck
  • [SPARK-48593] [SC-168719] [PYTHON] [ANSLUT] Åtgärda strängrepresentationen av lambda-funktionen
  • [SPARK-48622] [SC-168710] [SQL] hämta SQLConf en gång när du löser kolumnnamn
  • [SPARK-48594] [SC-168685] [PYTHON] [ANSLUT] Byt parent namn på fältet till child i ColumnAlias
  • [SPARK-48403] [SC-168319] [SQL] Åtgärda lägre och övre uttryck för UTF8_BINARY_LCASE och ICU-sortering
  • [SPARK-48162] [SC-166062] [SQL] Lägga till sorteringsstöd för MISC-uttryck
  • [SPARK-48518] [SC-167718] [CORE] Gör så att LZF-komprimering kan köras parallellt
  • [SPARK-48474] [SC-167447] [CORE] Åtgärda klassnamnet för loggen i SparkSubmitArguments & SparkSubmit
  • [SPARK-48012] [SC-168267] [SQL] SPJ: Stöd för transfromuttryck för enkelsidig blandning
  • [SPARK-48552] [SC-168212] [SQL] CSV-schemainferens med flera rader bör också utlösa FAILED_READ_FILE
  • [SPARK-48560] [SC-168268] [SS] [PYTHON] Gör StreamingQueryListener.spark settable
  • [SPARK-48569] [SC-168321] [SS] [ANSLUT] Hantera kantfall i query.name
  • [SPARK-48544] [SC-168323] [SQL] Minska minnestrycket för tomma TreeNode BitSets
  • [SPARK-47260] [SC-167323] [SQL] Tilldela namn till felklass _LEGACY_ERROR_TEMP_3250
  • [SPARK-48564] [SC-168327] [PYTHON] [ANSLUT] Sprida cachelagrat schema i uppsättningsåtgärder
  • [SPARK-48155] [SC-165910] [SQL] AQEPropagateEmptyRelation för anslutning bör kontrollera om förblir underordnad är bara BroadcastQueryStageExec
  • [SPARK-48506] [SC-167720] [CORE] Kortnamn för komprimeringskod är skiftlägesokänsliga förutom händelseloggning
  • [SPARK-48447] [SC-167607] [SS] Kontrollera tillståndslagerproviderklassen innan du anropar konstruktorn
  • [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff och DateTimeUtils.timestampAdd bör inte utlösa INTERNAL_ERROR undantag
  • [SPARK-48513] [Backport] [15.x] [SC-168085] [SS] Lägg till felklass för tillståndsschemakompatibilitet och mindre refaktorisering
  • [SPARK-48413] [SC-167669] [SQL] ALTER COLUMN med sortering
  • [SPARK-48561] [SC-168250] [PS] [ANSLUT] Kasta PandasNotImplementedError för ritningsfunktioner som inte stöds
  • [SPARK-48465] [SC-167531] [SQL] Undvik icke-op tom relationsspridning
  • [SPARK-48553] [SC-168166] [PYTHON] [ANSLUT] Cachelagrade fler egenskaper
  • [SPARK-48540] [SC-168069] [CORE] Undvik inställningar för inläsning av ivy-utdata till stdout
  • [SPARK-48535] [SC-168057] [SS] Uppdatera konfigurationsdokument för att ange risken för problem med dataförlust/skada om hoppa över null-värden för konfiguration av stream-stream-kopplingar är aktiverat
  • [SPARK-48536] [SC-168059] [PYTHON] [ANSLUT] Cacheanvändar angivet schema i applyInPandas och applyInArrow
  • [SPARK-47873] [SC-163473] [SQL] Skriva sorterade strängar till Hive-metaarkivet med hjälp av den vanliga strängtypen
  • [SPARK-48461] [SC-167442] [SQL] Ersätt NullPointerExceptions med felklassen i AssertNotNull-uttrycket
  • [SPARK-47833] [SC-163191] [SQL] [CORE] Supply caller stackstrace för checkAndGlobPathIfNecessary AnalysisException
  • [SPARK-47898] [SC-163146] [SQL] Port HIVE-12270: Lägg till DBTokenStore-stöd till HS2-delegeringstoken
  • [SPARK-47578] [SC-167497] [R] Migrera RPackageUtils med variabler till ett strukturerat loggningsramverk
  • [SPARK-47875] [SC-162935] [CORE] Avlägsna spark.deploy.recoverySerializer
  • [SPARK-47552] [SC-160880] [CORE] Ange spark.hadoop.fs.s3a.connection.establish.timeout till 30-talet om det saknas
  • [SPARK-47972] [SC-167692] [SQL] Begränsa CAST-uttryck för sortering
  • [SPARK-48430] [SC-167489] [SQL] Åtgärda extrahering av kartvärde när kartan innehåller sorterade strängar
  • [SPARK-47318] [SC-162712] [CORE] [3.5] Lägger till HKDF-avrundning till AuthEngine-nyckelhärledning för att följa standardmetoderna för KEX
  • [SPARK-48503] [BEHAVE-29] [ES-1135236] [SQL] Åtgärda ogiltiga skalära underfrågor med grupp-by på icke-likvärdiga kolumner som var felaktigt tillåtna
  • [SPARK-48508] [SC-167695] [ANSLUT] [PYTHON] Cacheanvändaranvändar angivet schema i DataFrame.{to, mapInPandas, mapInArrow}
  • [SPARK-23015] [SC-167188] [WINDOWS] Åtgärda bugg i Windows där start av flera Spark-instanser inom samma sekund orsakar ett fel
  • [SPARK-45891] [SC-167608] Återställ " Beskriv fragmenteringsschemat för Variant"
  • [SPARK-48391] [SC-167554] [CORE] Använda addAll i stället för att lägga till funktion i frånAccumulatorInfos-metoden för TaskMetrics-klass
  • [SPARK-48496] [SC-167600] [CORE] Använda statiska regex Pattern-instanser i JavaUtils.timeStringAs och JavaUtils.byteStringAs
  • [SPARK-48476] [SC-167488] [SQL] åtgärda NPE-felmeddelande för null delmiter csv
  • [SPARK-48489] [SC-167598] [SQL] Skapa ett bättre användaranslutet fel vid läsning av ogiltigt schema från textdatakälla
  • [SPARK-48471] [SC-167324] [CORE] Förbättra dokumentationen och användningsguiden för historikservern
  • [SPARK-45891] [SC-167597] Beskriva fragmenteringsschema för variant
  • [SPARK-47333] [SC-159043] [SQL] Använd checkInputDataTypes för att kontrollera parametertyperna för funktionen to_xml
  • [SPARK-47387] [SC-159310] [SQL] Ta bort några felklasser som inte används
  • [SPARK-48265] [ES-1131440] [SQL] Härleda gruppgränsbatch för fönster ska utföra konstant vikning
  • [SPARK-47716] [SC-167444] [SQL] Undvik konflikt med visningsnamn i SQLQueryTestSuite semantisk sorteringstestfall
  • [SPARK-48159] [SC-167141] [SQL] Utöka stöd för sorterade strängar i datetime-uttryck
  • [SPARK-48462] [SC-167271] [SQL] [Tester] Använd withSQLConf i tester: Refactor HiveQuerySuite och HiveTableScanSuite
  • [SPARK-48392] [SC-167195] [CORE] Läs även in spark-defaults.conf när det tillhandahålls --properties-file
  • [SPARK-48468] [SC-167417] Lägg till LogicalQueryStage-gränssnittet i katalysator
  • [SPARK-47578] [SC-164988] [CORE] Manuell backport för Spark PR #46309: Migrera logWarning med variabler till strukturerat loggningsramverk
  • [SPARK-48415] [SC-167321] Återställ "[PYTHON] Refaktortypnamn för att stödja parametriserade datatyper"
  • [SPARK-46544] [SC-151361] [SQL] Stöd för v2 DESCRIBE TABLE EXTENDED med tabellstatistik
  • [SPARK-48325] [SC-166963] [CORE] Ange alltid meddelanden i ExecutorRunner.killProcess
  • [SPARK-46841] [SC-167139] [SQL] Lägg till sorteringsstöd för ICU-språk och sorteringsspecificerare
  • [SPARK-47221] [SC-157870] [SQL] Använder signaturer från CsvParser till AbstractParser
  • [SPARK-47246] [SC-158138] [SQL] Ersätt InternalRow.fromSeq med new GenericInternalRow för att spara en samlingskonvertering
  • [SPARK-47597] [SC-163932] [STREAMING] Manuell backport för Spark PR #46192: Direktuppspelning: Migrera logInfo med variabler till strukturerat loggningsramverk
  • [SPARK-48415] [SC-167130] [PYTHON] Omstrukturera för TypeName att stödja parametriserade datatyper
  • [SPARK-48434] [SC-167132] [PYTHON] [ANSLUT] Använd printSchema det cachelagrade schemat
  • [SPARK-48432] [ES-1097114] [SQL] Undvik att ta bort heltal i UnivocityParser
  • [SPARK-47463] [SC-162840] [SQL] Använd V2Predicate för att omsluta uttryck med returtyp av booleskt värde
  • [SPARK-47781] [SC-162293] [SQL] Hantera decimaler med negativ skalning för JDBC-datakällor
  • [SPARK-48394] [SC-166966] [CORE] Rensa mapIdToMapIndex vid avregistrering av mapoutput
  • [SPARK-47072] [SC-156933] [SQL] Åtgärda intervallformat som stöds i felmeddelanden
  • [SPARK-47001] [SC-162487] [SQL] Pushdown-verifiering i optimizer
  • [SPARK-48335] [SC-166387] [PYTHON] [ANSLUT] Gör _parse_datatype_string kompatibel med Spark Connect
  • [SPARK-48329] [SC-166518] [SQL] Aktivera spark.sql.sources.v2.bucketing.pushPartValues.enabled som standard
  • [SPARK-48412] [SC-166898] [PYTHON] Refaktordatatyp json parse
  • [SPARK-48215] [SC-166781] [SQL] Utöka stöd för sorterade strängar i date_format uttryck
  • [SPARK-45009] [SC-166873] [SQL] [FÖLJ UPP] Lägg till felklass och tester för dekorrelation av predikatunderfrågor i kopplingsvillkor som refererar till både kopplingsunderordnad
  • [SPARK-47960] [SC-165295] [SS] [15.x] Tillåt länkning av andra tillståndskänsliga operatorer efter transformWithState-operatorn.
  • [SPARK-48340] [SC-166468] [PYTHON] SupportTidsstämpelNTZ-slutsatsningsschema missar prefer_timestamp_ntz
  • [SPARK-48157] [SC-165902] [SQL] Lägga till sorteringsstöd för CSV-uttryck
  • [SPARK-48158] [SC-165652] [SQL] Lägga till sorteringsstöd för XML-uttryck
  • [SPARK-48160] [SC-166064] [SQL] Lägga till sorteringsstöd för XPATH-uttryck
  • [SPARK-48229] [SC-165901] [SQL] Lägga till sorteringsstöd för inputFile-uttryck
  • [SPARK-48367] [SC-166487] [ANSLUT] Åtgärda lint-scala för scalafmt för att identifiera filer som ska formateras korrekt
  • [SPARK-47858] [SC-163095] [SPARK-47852] [PYTHON] [SQL] Omstrukturera strukturen för DataFrame-felkontext
  • [SPARK-48370] [SC-166787] [ANSLUT] Kontrollpunkt och localCheckpoint i Scala Spark Connect-klienten
  • [SPARK-48247] [SC-166028] [PYTHON] Använd alla värden i en diktering när du härleder MapType-schema
  • [SPARK-48395] [SC-166794] [PYTHON] Korrigering StructType.treeString för parametriserade typer
  • [SPARK-48393] [SC-166784] [PYTHON] Flytta en grupp konstanter till pyspark.util
  • [SPARK-48372] [SC-166776] [SPARK-45716] [PYTHON] Implementera StructType.treeString
  • [SPARK-48258] [SC-166467] [PYTHON] [ANSLUT] Kontrollpunkt och localCheckpoint i Spark Connect

Systemmiljö

  • Operativsystem: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.78.0.19-CA-linux64
  • Scala: 2.12.18
  • Python: 3.11.0
  • R: 4.3.2
  • Delta lake: 3.2.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.2
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
svart 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klicka 8.0.4 cloudpickle 2.2.1 Comm 0.1.2
contourpy 1.0.5 kryptografi 41.0.3 cyklist 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
felsökning 1.6.7 dekoratör 5.1.1 distlib 0.3.8
entrypoints 0,4 Verkställande 0.8.3 facets-overview 1.1.1
filelock 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.31.0
google-cloud-core 2.4.1 google-cloud-storage 2.17.0 google-crc32c 1.5.0
google-resumable-media 2.7.1 googleapis-common-protos 1.63.2 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 nyckelring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 emballage 23.2
Pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Kudde 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.24.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantisk 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6,0 pyzmq 23.2.0
begäranden 2.31.0 RSA 4,9 s3transfer 0.10.2
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 sex 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5,11
stack-data 0.2.0 statsmodels 0.14.0 orubblighet 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tromb 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 obevakade uppgraderingar 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
hjul 0.38.4 zipp 3.11.0

Installerade R-bibliotek

R-bibliotek installeras från ögonblicksbilden Posit Upravljač za pakete CRAN.

Bibliotek Version Bibliotek Version Bibliotek Version
arrow 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backportar 1.4.1 bas 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 start 1.3-28
brygga 1.0-10 Brio 1.1.4 kvast 1.0.5
bslib 0.6.1 cachem 1.0.8 anropare 3.7.3
textmarkör 6.0-94 cellranger 1.1.0 Chron 2.3-61
klass 7.3-22 cli 3.6.2 clipr 0.8.0
klocka 0.7.0 cluster 2.1.4 codetools 0.2-19
färgområde 2.1-0 commonmark 1.9.1 kompilator 4.3.2
config 0.3.2 Konflikt 1.2.0 cpp11 0.4.7
krita 1.5.2 autentiseringsuppgifter 2.0.1 hårlock 5.2.0
data.table 1.15.0 datauppsättningar 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Desc 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 smälta 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellips 0.3.2 evaluate (utvärdera) 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
främmande 0.8-85 smida 0.2.0 Fs 1.6.3
framtid 1.33.1 future.apply 1.11.1 gurgla 1.5.2
Generika 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 lim 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafik 4.3.2 grDevices 4.3.2 gitter 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 hamn 2.5.4
highr 0.10 Hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Id 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iteratorer 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 stickning 1.45 Märkning 0.4.3
senare 1.3.2 Galler 0.21-8 lava 1.7.3
livscykel 1.0.4 lyssna 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 MASSA 7.3-60
Matris 1.5-4.1 pmise 2.0.1 metoder 4.3.2
mgcv 1.8-42 MIME 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallellt 1.36.0 pelare 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 berömma 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Förlopp 1.2.3
progressr 0.14.0 Löften 1.2.1 Proto 1.0.0
proxyserver 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reakterbar 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recept 1.0.9 Returmatch 2.0.0 rematch2 2.1.2
Fjärrkontroller 2.4.2.1 reprex 2.1.0 omforma2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversioner 2.1.2 rvest 1.0.3 Sass 0.4.8
våg 1.3.0 väljare 0.4-2 sessioninfo 1.2.2
form 1.4.6 skinande 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 rumslig 7.3-15 Splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 statistik 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
överlevnad 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
avmarkera 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 verktyg 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 verktyg 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 morrhår 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 Zip 2.3.1

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics ström 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tingeling 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profilerare 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.1.1
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffert 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine ättikslag 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow pilformat 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow pilvektor 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy murgröna 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus åhörarkommentarer 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-samlingar 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-fortsättning 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty brygga-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty brygga plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty brygga-server 9.4.52.v20230823
org.eclipse.jetty brygga-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty brygga-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator vilolägesverifierare 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1