Databricks Runtime 9.0 (stöds inte)

  • Artikel

Följande viktig information innehåller information om Databricks Runtime 9.0 och Databricks Runtime 9.0 Photon, som drivs av Apache Spark 3.1.2. Databricks släppte dessa bilder i augusti 2021. Foton finns i offentlig förhandsversion.

Korrigering

I en tidigare version av dessa viktig information angavs felaktigt att Apache Parquet-beroenden uppgraderades från 1.10 till 1.12. Faktum är att Parquet-beroenden förblir på version 1.10. Den felaktiga versionsanteckningen har tagits bort.

Nya funktioner och förbättringar

Nytt API för sammanfattningsstatistik för datamängder (offentlig förhandsversion)

Med det nya dbutils.data.summarize kommandot i Databricks Utilities kan du starta ett Spark-jobb som automatiskt beräknar sammanfattningsstatistik på kolumnerna i en Spark DataFrame och sedan visar resultatet interaktivt. Den här funktionen är tillgänglig i Scala och Python. Se Dataverktyg (dbutils.data).

Enklare konfiguration av extern datakälla för Azure Synapse-anslutningsappen

Med det nya externalDataSource alternativet i anslutningsappen Frågedata i Azure Synapse Analytics kan du använda en företablerad extern datakälla för att läsa från en Azure Synapse-databas. Alternativet externalDataSource tar bort behovet av den CONTROL behörighet som tidigare krävdes.

När du anger externalDataSourcemåste den externa datakällan och det tempDir alternativ som används för att konfigurera tillfällig lagring referera till samma container i lagringskontot.

Du kan också begränsa sessionen till en angiven varaktighet för Amazon Redshift-anslutningsappen

Med det nya fs.s3a.assumed.role.session.duration alternativet i Query Amazon Redshift med Azure Databricks-anslutningsappen kan du ange en varaktighet för sessionen när Redshift har åtkomst till den tillfälliga S3-bucketen med en antagen roll.

Auto Loader

Optimerad fillista

Optimering av automatisk inläsning ger prestandaförbättringar och kostnadsbesparingar när du listar kapslade kataloger i molnlagring, inklusive AWS S3, Azure Data Lake Storage Gen2 (ADLS Gen2) och Google Cloud Storage (GCS).

Om du till exempel hade filer som laddades upp som /some/path/YYYY/MM/DD/HH/fileName, för att hitta alla filer i dessa kataloger, använde Auto Loader för att göra en parallell lista över alla underkataloger, vilket orsakade 365 (per dag) * 24 (per timme) = 8760 LIST API-kataloganrop till den underliggande lagringen för varje års katalog. Genom att ta emot ett utplattat svar från dessa lagringssystem minskar Auto Loader antalet API-anrop till antalet filer i lagringssystemet dividerat med antalet resultat som returneras av varje API-anrop (1 000 för S3, 5 000 för ADLS Gen2 och 1 024 för GCS), vilket avsevärt minskar molnkostnaderna.

Optimerad lagring av avbildningsdata

Automatisk inläsning kan nu automatiskt identifiera bilddata som matas in och optimera dess lagring i Delta-tabeller för att förbättra läs- och skrivprestanda. Se Mata in bild- eller binärdata till Delta Lake för ML.

Bildminiatyrer för binära filer (offentlig förhandsversion)

Bilder i binaryFile format som läses in eller sparas som Delta-tabeller med automatisk inläsning har anteckningar kopplade så att bildminiatyrerna visas när du visar tabellen i en Azure Databricks-anteckningsbok. Mer information finns i Bilder.

DirectoryRename händelser möjliggör atomisk bearbetning av flera filer

Automatiska inläsningsströmmar som skapats i Databricks Runtime 9.0 och senare i Azure Data Lake Storage Gen2 konfigurerar filhändelsemeddelanden för att inkludera katalogbyten och lyssna RenameDirectory på händelser. Du kan använda katalogbyten för att få flera filer att visas atomiskt för automatisk inläsning.

SQL

Exkludera kolumner i SELECT * (offentlig förhandsversion)

SELECT * stöder nu ett EXCEPT nyckelord som gör att du kan exkludera angivna kolumner på den översta nivån från expansionen. Från en tabell med schema (a, b, c) expanderas till exempel SELECT * EXCEPT (b) FROM tbl till (a, c).

SQL-skalärfunktioner (offentlig förhandsversion)

CREATE FUNCTION har nu stöd för SQL-skalärfunktioner. Du kan skapa skalära funktioner som tar en uppsättning argument och returnerar ett värde av en enda skalär typ. SQL-funktionstexten kan vara vilket uttryck som helst. Till exempel:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Mer information finns i CREATE FUNCTION (SQL och Python).

Referens för föregående alias och kolumner i FROM underfrågor (offentlig förhandsversion)

Underfrågor i satsen för FROM en fråga kan nu föregås av nyckelordet LATERAL som gör att de kan referera till alias och kolumner i föregående FROM objekt. Till exempel:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

Nyckelordet LATERAL stöder INNER, CROSSoch LEFT (OUTER) JOIN.

Se Parametrar och parametrar.

R-stöd

R-bibliotek med notebook-omfattning (offentlig förhandsversion)

Med bibliotek med notebook-omfång kan du installera bibliotek och skapa en miljö som är begränsad till en notebook-session. De här biblioteken påverkar inte andra notebook-filer som körs i samma kluster. Biblioteken är tillgängliga både på drivrutins- och arbetsnoderna, så du kan referera till dem i användardefinierade funktioner. Se R-bibliotek med notebook-omfång.

Varningsmeddelanden i R-notebook-filer

Standardvärdet för warn alternativet är nu inställt på 1 inuti R-notebook-filer. Därför exponeras alla varningar nu som en del av kommandoresultatet. Mer information om alternativet finns i warn Alternativ Inställningar.

Undvik att göra om genom att ange inledande tillstånd för tillståndskänslig bearbetning med strukturerad direktuppspelning

Nu kan du ange ett användardefinierat initialt tillstånd för strukturerad tillståndskänslig bearbetning för direktuppspelning med operatorn [flat]MapGroupsWithState .

Se Ange inledande tillstånd för mapGroupsWithState.

En implementering med låg blandning av Delta MERGE INTO-kommandot är nu tillgänglig (offentlig förhandsversion)

Delta-kommandot MERGE INTO har en ny implementering tillgänglig som minskar blandning av oförändrade rader. Detta förbättrar prestanda för kommandot och hjälper till att bevara befintlig klustring i tabellen, till exempel Z-beställning. Om du vill aktivera låg blandningssammanslagning anger du spark.databricks.delta.merge.enableLowShuffle till true. Se Låg blandningssammanslagning i Azure Databricks.

Felkorrigeringar

  • Du kan inte längre skriva över en vy genom att skapa en vy med samma namn.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • certifi från 2021.5.30 till 2020.12.5
    • chardet från 3.0.4 till 4.0.0
    • Cython från 0.29.21 till 0.29.23
    • dekoratör från 4.4.2 till 5.0.6
    • ipython från 7.19.0 till 7.22.0
    • joblib från 0.17.0 till 1.0.1
    • jupyter-client från 6.1.7 till 6.1.12
    • jupyter-core från 4.6.3 till 4.7.1
    • kiwisolver från 1.3.0 till 1.3.1
    • matplotlib från 3.2.2 till 3.4.2
    • pandas från 1.1.5 till 1.2.4
    • pip från 20.2.4 till 21.0.1
    • prompt-toolkit från 3.0.8 till 3.0.17
    • protobuf från 3.17.3 till 3.17.2
    • ptyprocess från 0.6.0 till 0.7.0
    • pyarrow från 1.0.1 till 4.0.0
    • Pygments från 2.7.2 till 2.8.1
    • pyzmq från 19.0.2 till 20.0.0
    • begäranden från 2.24.0 till 2.25.1
    • s3transfer från 0.3.6 till 0.3.7
    • scikit-learn från 0.23.2 till 0.24.1
    • scipy från 1.5.2 till 1.6.2
    • seaborn från 0.10.0 till 0.11.1
    • setuptools från 50.3.1 till 52.0.0
    • statsmodels från 0.12.0 till 0.12.2
    • tornado från 6.0.4 till 6.1
    • virtualenv från 20.2.1 till 20.4.1
    • hjul från 0.35.1 till 0.36.2
  • Uppgraderade R-bibliotek:
    • Matris från 1.3-3 till 1.3-4

Apache Spark

Databricks Runtime 9.0 innehåller Apache Spark 3.1.2. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 8.4 (stöds inte) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-35886] [SQL] [3.1] PromotePrecision bör inte skriva över genCodePromotePrecision bör inte skriva över genCode
  • [SPARK-35879] [CORE] [SHUFFLE] Åtgärda prestandaregression som orsakas av collectFetchRequests
  • [SPARK-35817] [SQL] [3.1] Återställa prestanda för frågor mot breda Avro-tabeller
  • [SPARK-35841] [SQL] Gjutningssträng till decimaltyp fungerar inte om...
  • [SPARK-35783] [SQL] Ange listan över lästa kolumner i aktivitetskonfigurationen för att minska läsningen av ORC-data
  • [SPARK-35576] [SQL] [3.1] Redigera känslig information i resultatet av kommandot Set
  • [SPARK-35449] [SQL] [3.1] Extrahera endast vanliga uttryck från CaseWhen-värden om elseValue har angetts
  • [SPARK-35288] [SQL] StaticInvoke bör hitta metoden utan exakta argumentklasser
  • [SPARK-34794] [SQL] Åtgärda problem med lambda-variabelnamn i kapslade DataFrame-funktioner
  • [SPARK-35278] [SQL] Invoke bör hitta metoden med rätt antal parametrar
  • [SPARK-35226] [SQL] Stöd för alternativet RefreshKrb5Config i JDBC-datakällor
  • [SPARK-35244] [SQL] Anropa bör utlösa det ursprungliga undantaget
  • [SPARK-35213] [SQL] Behåll rätt ordning på kapslade structs i kedjade medField-åtgärder
  • [SPARK-35087] [Användargränssnitt] Vissa kolumner i tabellen Aggregated Metrics by Executor of stage-detail page visas felaktigt.
  • [SPARK-35168] [SQL] mapred.reduce.tasks ska vara shuffle.partitions not adaptive.coalescePartitions.initialPartitionNum
  • [SPARK-35127] [Användargränssnitt] När vi växlar mellan olika sceninformationssidor kan postobjektet på den nyligen öppnade sidan vara tomt
  • [SPARK-35142] [PYTHON] [ML] Åtgärda felaktig returtyp för rawPredictionUDF i OneVsRestModel
  • [SPARK-35096] [SQL] SchemaPruning bör följa spark.sql.caseSensitiv konfiguration
  • [SPARK-34639] [SQL] [3.1] RelationalGroupedDataset.alias bör inte skapa UnresolvedAlias
  • [SPARK-35080] [SQL] Tillåt endast en delmängd av korrelerade likhetspredikat när en underfråga aggregeras
  • [SPARK-35117] [Användargränssnitt] Ändra förloppsindikatorn tillbaka för att markera förhållandet mellan pågående aktiviteter
  • [SPARK-35136] Ta bort det inledande null-värdet för LiveStage.info
  • [SPARK-34834] [NÄTVERK] Åtgärda en potentiell Netty-minnesläcka i TransportResponseHandler
  • [SPARK-35045] [SQL] Lägg till ett internt alternativ för att styra indatabufferten i osparlighet
  • [SPARK-35014] Åtgärda mönstret PhysicalAggregation så att de inte skriver om de vikbara uttrycken
  • [SPARK-35019] [PYTHON] [SQL] Åtgärda matchningsfel för typtips i pyspark.sql.*
  • [SPARK-34926] [SQL] [3.1] PartitioningUtils.getPathFragment() bör respektera att partitionsvärdet är null
  • [SPARK-34630] [PYTHON] Lägg till typehint för pyspark.Version
  • [SPARK-34963] [SQL] Åtgärda kapslad kolumnrensning för att extrahera skiftlägesokänsligt structfält från matrisen struct
  • [SPARK-34988] [CORE] [3.1] Uppgradera Brygga för CVE-2021-28165
  • [SPARK-34922] [SQL] [3.1] Använd en relativ kostnadsjämförelsefunktion i CBO
  • [SPARK-34970] [SQL] [SÄKERHET] [3.1] Alternativ för Redact-karttyp i utdata från explain()
  • [SPARK-34923] [SQL] Metadatautdata bör vara tomma för fler planer
  • [SPARK-34949] [CORE] Förhindra att BlockManager omregistreras när Executor stängs av
  • [SPARK-34939] [CORE] Generera undantag för hämtningsfel när det inte går att deserialisera sända kartstatusar
  • [SPARK-34909] [SQL] Åtgärda konvertering av negativ till osignerad i conv()
  • [SPARK-34845] [CORE] ProcfsMetricsGetter bör inte returnera mått för partiella procfs
  • [SPARK-34814] [SQL] LikeSimplification ska hantera NULL
  • [SPARK-34876] [SQL] Fyll defaultResult för icke-nullbara aggregeringar
  • [SPARK-34829] [SQL] Åtgärda resultat från högre ordningsfunktioner
  • [SPARK-34840] [SHUFFLE] Åtgärdar fall av skada i sammanfogad shuffle ...
  • [SPARK-34833] [SQL] Använd högerutfyllnad korrekt för korrelerade underfrågor
  • [SPARK-34630] [PYTHON] [SQL] Typehint har lagts till för pyspark.sql.Column.contains
  • [SPARK-34763] [SQL] col(), $"name" och df("name") ska hantera citerade kolumnnamn korrekt
  • [SPARK-33482][SPARK-34756] [SQL] Åtgärda fileScan-likhetskontroll
  • [SPARK-34790] [CORE] Inaktivera hämtning av shuffle-block i batch när io-kryptering är aktiverat
  • [SPARK-34803] [PYSPARK] Skicka den upphöjda ImportError om pandas eller pyarrow inte kan importeras
  • [SPARK-34225] [CORE] Koda inte längre när en URI-formulärsträng skickas för att lägga tillFile eller addJar
  • [SPARK-34811] [CORE] Redact fs.s3a.access.key som hemlighet och token
  • [SPARK-34796] [SQL] [3.1] Initiera räknarvariabeln för LIMIT code-gen i doProduce()
  • [SPARK-34128] [SQL] Ignorera oönskade TTransportException-varningar som ingår i THRIFT-4805
  • [SPARK-34776] [SQL] Kapslad kolumnrensning bör inte rensa fönsterproducerade attribut
  • [SPARK-34087] [3.1] [SQL] Åtgärda minnesläcka av ExecutionListenerBus
  • [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords bör använda Spark-klassladdare i stället för kontext
  • [SPARK-34719] [SQL] [3.1] Lös vyfrågan korrekt med duplicerade kolumnnamn
  • [SPARK-34766] [SQL] [3.1] Avbilda inte maven-konfigurationen för vyer
  • [SPARK-34731] [CORE] Undvik ConcurrentModificationException när du redigerar egenskaper i EventLoggingListener
  • [SPARK-34737] [SQL] [3.1] Flyttal för inmatning till dubbel TIMESTAMP_SECONDS
  • [SPARK-34749] [SQL] [3.1] Förenkla resolveCreateNamedStruct
  • [SPARK-34768] [SQL] Respektera standardstorleken för indatabufferten i Univocity
  • [SPARK-34770] [SQL] InMemoryCatalog.tableExists bör inte misslyckas om databasen inte finns
  • [SPARK-34504] [SQL] Undvik onödiga lösningar av SQL-temporära vyer för DDL-kommandon
  • [SPARK-34727] [SQL] Åtgärda avvikelse i gjutningsflöt till tidsstämpel
  • [SPARK-34723] [SQL] Rätt parametertyp för underuttryckseliminering under hela fasen
  • [SPARK-34724] [SQL] Åtgärda tolkad utvärdering med hjälp av getMethod i stället för getDeclaredMethod
  • [SPARK-34713] [SQL] Åtgärda grupp efter CreateStruct med ExtractValue
  • [SPARK-34697] [SQL] Tillåt DESCRIBE FUNCTION och SHOW FUNCTIONS förklara om || (strängsammanfogningsoperator)
  • [SPARK-34682] [SQL] Använd PrivateMethodTester i stället för reflektion
  • [SPARK-34682] [SQL] Åtgärda regression i canonicalization-felkontrollen i CustomShuffleReaderExec
  • [SPARK-34681] [SQL] Åtgärda bugg för fullständig yttre blandad hashkoppling när vänster sida skapas med ett villkor som inte är lika med
  • [SPARK-34545] [SQL] Åtgärda problem med valueCompare-funktionen i pyrolit
  • [SPARK-34607] [SQL] [3.1] Lägg till Utils.isMemberClass för att åtgärda ett felformaterat klassnamnsfel på jdk8u
  • [SPARK-34596] [SQL] Använd Utils.getSimpleName för att undvika att träffa felaktigt klassnamn i NewInstance.doGenCode
  • [SPARK-34613] [SQL] Korrigeringsvyn samlar inte in konfiguration av inaktiverade tips
  • [SPARK-32924] [WEBUI] Gör varaktighetskolumnen i huvudgränssnittet sorterad i rätt ordning
  • [SPARK-34482] [SS] Korrigera aktiv SparkSession för StreamExecution.logicalPlan
  • [SPARK-34567] [SQL] CreateTableAsSelect bör också uppdatera mått
  • [SPARK-34599] [SQL] Åtgärda problemet med att INSERT INTO OVERWRITE inte stöder partitionskolumner som innehåller punkt för DSv2
  • [SPARK-34577] [SQL] Åtgärda släpp/lägg till kolumner i en datauppsättning med DESCRIBE NAMESPACE
  • [SPARK-34584] [SQL] Statisk partition bör också följa StoreAssignmentPolicy när du infogar i v2-tabeller
  • [SPARK-34555] [SQL] Lösa metadatautdata från DataFrame
  • [SPARK-34534] Åtgärda blockIds-ordning när du använder FetchShuffleBlocks för att hämta block
  • [SPARK-34547] [SQL] Använd endast metadatakolumner för lösning som sista utväg
  • [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap misslyckas för kolumnnamn med en punkt
  • [SPARK-34561] [SQL] Åtgärda släpp/lägg till kolumner från/till en datauppsättning med v2 DESCRIBE TABLE
  • [SPARK-34556] [SQL] Kontroll av duplicerade statiska partitionskolumner bör respektera skiftlägeskänslig konfiguration
  • [SPARK-34392] [SQL] Stöd för ZoneOffset +h:mm i DateTimeUtils. getZoneId
  • [SPARK-34550] [SQL] Hoppa över InSet null-värde under push-filtret till Hive-metaarkivet
  • [SPARK-34543] [SQL] Respektera konfigurationen spark.sql.caseSensitive när partitionsspecifikationen matchas i v1 SET LOCATION
  • [SPARK-34436] [SQL] DPP stöder LIKE ANY/ALL-uttryck
  • [SPARK-34531] [CORE] Ta bort experimentell API-tagg i PrometheusServlet
  • [SPARK-34497] [SQL] Åtgärda inbyggda JDBC-anslutningsproviders för att återställa JVM-säkerhetskontextändringar
  • [SPARK-34515] [SQL] Åtgärda NPE om InSet innehåller null-värde under getPartitionsByFilter
  • [SPARK-34490] [SQL] Analysen bör misslyckas om vyn refererar till en borttagen tabell
  • [SPARK-34473] [SQL] Undvik NPE i DataFrameReader.schema(StructType)
  • [SPARK-34384] [CORE] Lägga till saknade dokument för ResourceProfile-API:er
  • [SPARK-34373] [SQL] HiveThriftServer2 startWithContext kan hänga med ett rasproblem
  • [SPARK-20977] [CORE] Använd ett icke-slutligt fält för tillståndet CollectionAccumulator
  • [SPARK-34421] [SQL] Lösa tillfälliga funktioner och vyer i vyer med CTE:er
  • [SPARK-34431] [CORE] Läs bara in hive-site.xml en gång
  • [SPARK-34405] [CORE] Åtgärda medelvärdet för timersLabels i klassen PrometheusServlet
  • [SPARK-33438] [SQL] Ange ivrigt objekt med definierade SQL-konfigurationer för kommando set -v
  • [SPARK-34158] Felaktig URL för den enda utvecklaren Matei i pom.xml
  • [SPARK-34346] [CORE] [SQL] [3.1] io.file.buffer.size som anges av spark.buffer.size åsidosätter genom att läsa in hive-site.xml av misstag kan orsaka perf regression
  • [SPARK-34359] [SQL] [3.1] Lägg till en äldre konfiguration för att återställa utdataschemat för SHOW DATABASES
  • [SPARK-34331] [SQL] Påskynda DS v2-metadata col resolution
  • [SPARK-34318] [SQL] [3.1] Dataset.colRegex bör fungera med kolumnnamn och kvalificerare som innehåller nya rader
  • [SPARK-34326] [CORE] [SQL] Åtgärda UT:erna som lagts till i SPARK-31793 beroende på längden på den temporära sökvägen
  • [SPARK-34319] [SQL] Lösa duplicerade attribut för FlatMapCoGroupsInPandas/MapInPandas
  • [SPARK-34310] [CORE] [SQL] Ersätter karta och platta ut med flatMap
  • [SPARK-34083] [SQL] [3.1] Använda ursprungliga TPCDS-definitioner för kollumen char/varchar
  • [SPARK-34233] [SQL] [3.1] FIX NPE för utfyllnad av tecken i binär jämförelse
  • [SPARK-34270] [SS] Kombinera StateStoreMetrics bör inte åsidosätta StateStoreCustomMetric
  • [SPARK-34144] [SQL] Undantag som utlöses vid försök att skriva LocalDate- och Instant-värden till en JDBC-relation
  • [SPARK-34273] [CORE] Registrera inte BlockManager igen när SparkContext stoppas
  • [SPARK-34262] [SQL] [3.1] Uppdatera cachelagrade data i v1-tabellen i ALTER TABLE .. SET LOCATION
  • [SPARK-34275] [CORE] [SQL] [MLLIB] Ersätter filter och storlek med antal
  • [SPARK-34260] [SQL] Åtgärda UnresolvedException när du skapar temporär vy två gånger
  • [SPARK-33867] [SQL] Instant- och LocalDate-värden hanteras inte när SQL-frågor genereras
  • [SPARK-34193] [CORE] TorrentBroadcast block manager avveckling ras fix
  • [SPARK-34221] [WEBUI] Kontrollera att om ett steg misslyckas på användargränssnittssidan kan motsvarande felmeddelande visas korrekt
  • [SPARK-34236] [SQL] Åtgärda v2 Overwrite w/ null static partition raise Cannot translate expression to source filter: null
  • [SPARK-34212] [SQL] Åtgärda felaktig decimalläsning från Parquet-filer
  • [SPARK-34244] [SQL] Ta bort Scala-funktionsversionen av regexp_extract_all
  • [SPARK-34235] [SS] Skapa spark.sql.hive som ett privat paket
  • [SPARK-34232] [CORE] Redact SparkListenerEnvironmentUpdate-händelsen i loggen
  • [SPARK-34229] [SQL] Avro bör läsa decimalvärden med filschemat
  • [SPARK-34223] [SQL] ÅTGÄRDA NPE för statisk partition med null i InsertIntoHadoopFsRelationCommand
  • [SPARK-34192] [SQL] Flytta utfyllnad av tecken till skrivsidan och ta bort längdkontrollen även på lässidan
  • [SPARK-34203] [SQL] Konvertera null partitionsvärden till __HIVE_DEFAULT_PARTITION__ i v1-katalogen In-Memory
  • [SPARK-33726] [SQL] Korrigering för duplicerade fältnamn under aggregering
  • [SPARK-34133] [AVRO] Respektera skiftlägeskänslighet när du utför catalyst-till-avro-fältmatchning
  • [SPARK-34187] [SS] Använd tillgängligt förskjutningsintervall som erhålls vid avsökning vid kontroll av förskjutningsverifiering
  • [SPARK-34052] [SQL] [3.1] Lagra SQL-text för en temporär vy som skapats med "CACHE TABLE .. SOM VÄLJ ..."
  • [SPARK-34213] [SQL] Uppdatera cachelagrade data för v1-tabellen i LOAD DATA
  • [SPARK-34191] [PYTHON] [SQL] Lägg till skrivningar för udf-överlagring
  • [SPARK-34200] [SQL] Tvetydig kolumnreferens bör överväga attributtillgänglighet
  • [SPARK-33813] [SQL] [3.1] Åtgärda problemet med att JDBC-källan inte kan behandla MS SQL Server-rumsliga typer
  • [SPARK-34178] [SQL] Kopiera taggar för den nya noden som skapats av MultiInstanceRelation.newInstance
  • [SPARK-34005] [CORE] [3.1] Uppdatera högsta minnesmått för varje köre i aktivitetsslut
  • [SPARK-34115] [CORE] Kontrollera SPARK_TESTING som lat val för att undvika avmattning
  • [SPARK-34153] [SQL] [3.1] [3.0] Ta bort oanvänd getRawTable() från HiveExternalCatalog.alterPartitions()
  • [SPARK-34130] [SQL] Impove preformace for char varchar padding and length check with StaticInvoke
  • [SPARK-34027] [SQL] [3.1] Uppdatera cacheminnet i ALTER TABLE .. RECOVER PARTITIONS
  • [SPARK-34151] [SQL] java.io.File.toURL Ersätter med java.io.File.toURI.toURL
  • [SPARK-34140] [SQL] [3.1] Flytta QueryCompilationErrors.scala till org/apache/spark/sql/errors
  • [SPARK-34080] [ML] [PYTHON] Lägg till UnivariateFeatureSelector
  • [SPARK-33790] [CORE] [3.1] Minska rpc-anropet för getFileStatus i SingleFileEventLogFileReader
  • [SPARK-34118] [CORE] [SQL] [3.1] Ersätter filter och söker efter tomhet med finns eller forall
  • [SPARK-34114] [SQL] bör inte trimmas rätt för kontroll och utfyllnad av teckenlängd på lässidan
  • [SPARK-34086] [SQL] [3.1] RaiseError genererar för mycket kod och kan misslyckas med codegen i längdkontroll för teckenvarchar
  • [SPARK-34075] [SQL] [CORE] Dolda kataloger listas för partitionsinferens
  • [SPARK-34076] [SQL] SQLContext.dropTempTable misslyckas om cacheminnet inte är tomt
  • [SPARK-34084] [SQL] [3.1] Åtgärda automatisk uppdatering av tabellstatistik i ALTER TABLE .. ADD PARTITION
  • [SPARK-34090] [SS] Cache HadoopDelegationTokenManager.isServiceEnabled-resultat som används i KafkaTokenUtil.needTokenUpdate
  • [SPARK-34069] [CORE] Uppgifter för avlivningsbarriärer bör respektera SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-34091] [SQL] Shuffle batch fetch bör kunna inaktiveras när den har aktiverats
  • [SPARK-34059] [SQL] [CORE] [3.1] Använd för/foreach i stället för karta för att se till att köra den ivrigt
  • [SPARK-34002] [SQL] Åtgärda användningen av kodaren i ScalaUDF
  • [SPARK-34060] [SQL] [3.1] Åtgärda Cachelagring av Hive-tabeller när statistik uppdateras av ALTER TABLE .. DROP PARTITION
  • [SPARK-31952] [SQL] Åtgärda felaktiga mått för minnesspill när du utför aggregering
  • [SPARK-33591] [SQL] [3.1] Identifiera null i partitionsspecifikationsvärden
  • [SPARK-34055] [SQL] [3.1] Uppdatera cacheminnet i ALTER TABLE .. ADD PARTITION
  • [SPARK-34039] [SQL] [3.1] ReplaceTable bör ogiltigförklara cacheminnet
  • [SPARK-34003] [SQL] Åtgärda regelkonflikter mellan PaddingAndLengthCheckForCharVarchar och ResolveAggregateFunctions
  • [SPARK-33938] [SQL] [3.1] Optimera som alla/alla av LikeSimplification
  • [SPARK-34021] [R] Åtgärda hyperlänkar i SparkR-dokumentationen för CRAN-överföring
  • [SPARK-34011] [SQL] [3.1] [3.0] Uppdatera cacheminnet i ALTER TABLE .. RENAME TO PARTITION
  • [SPARK-33948] [SQL] Åtgärda CodeGen-fel för metoden MapObjects.doGenCode i Scala 2.13
  • [SPARK-33635] [SS] Justera ordningen på kontrollen i KafkaTokenUtil.needTokenUpdate för att åtgärda perf-regression
  • [SPARK-33029] [CORE] [WEBUI] Åtgärda att körsidan för användargränssnittet felaktigt markerar drivrutinen som exkluderad
  • [SPARK-34015] [R] Åtgärda indatatidsinställningen i gapply
  • [SPARK-34012] [SQL] Håll beteendet konsekvent när konfigurationen spark.sql.legacy.parser.havingWithoutGroupByAsWhere är sann med migreringsguiden
  • [SPARK-33844] [SQL] [3.1] Kommandot InsertIntoHiveDir bör också kontrollera col-namnet
  • [SPARK-33935] [SQL] Åtgärda CBO-kostnadsfunktionen
  • [SPARK-33100] [SQL] Ignorera ett semikolon i en hakparenteserad kommentar i spark-sql
  • [SPARK-34000] [CORE] Åtgärda stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
  • [SPARK-33992] [SQL] åsidosätter transformUpWithNewOutput för att lägga till allowInvokingTransformsInAnalyzer
  • [SPARK-33894] [SQL] Ändra synligheten för privata skiftlägesklasser i mllib för att undvika körningskompileringsfel med Scala 2.13
  • [SPARK-33950] [SQL] [3.1] [3.0] Uppdatera cacheminnet i v1 ALTER TABLE .. DROP PARTITION
  • [SPARK-33980] [SS] Ogiltigförklara tecken/varchar i spark.readStream.schema
  • [SPARK-33945] [SQL] [3.1] Hanterar ett slumpmässigt frö som består av ett exprträd
  • [SPARK-33398] Åtgärda inläsning av trädmodeller före Spark 3.0
  • [SPARK-33963] [SQL] Canonicalize HiveTableRelation w/o table stats
  • [SPARK-33906] [WEBUI] Åtgärda felet på sidan körgränssnitt som fastnat på grund av odefinierad peakMemoryMetrics
  • [SPARK-33944] [SQL] Felaktig loggning för lagernycklar i SharedState-alternativ
  • [SPARK-33936] [SQL] [3.1] Lägg till versionen när anslutningsappens gränssnitt lades till
  • [SPARK-33916] [CORE] Åtgärda återställningslagringsförskjutning och förbättra komprimeringskodexemplets testtäckning
  • [SPARK-33899] [SQL] [3.1] Åtgärda kontrollfel i v1 VISA TABELLER/VYER på spark_catalog
  • [SPARK-33901] [SQL] Åtgärda tecken- och varchar-visningsfel efter DDL:er
  • [SPARK-33897] [SQL] Det går inte att ange alternativet kors i kopplingsmetoden
  • [SPARK-33907] [SQL] [3.1] Endast rensa kolumner i JsonToStructs om parsningsalternativen är tomma
  • [SPARK-33621][SPARK-33784] [SQL] [3.1] Lägg till ett sätt att mata in regler för omskrivning av datakälla
  • [SPARK-33900] [WEBUI] Visa shuffle read size/records korrekt när endast remotebytesread är tillgängligt
  • [SPARK-33892] [SQL] Visa tecken/varchar i DESC och VISA SKAPA TABELL
  • [SPARK-33895] [SQL] Char och Varchar misslyckas i MetaOperation för ThriftServer
  • [SPARK-33659] [SS] Dokumentera det aktuella beteendet för DataStreamWriter.toTable API
  • [SPARK-33893] [CORE] Exkludera återställningsblockhanterare från executorList
  • [SPARK-33277] [PYSPARK] [SQL] Använd ContextAwareIterator för att sluta använda när aktiviteten är slut
  • [SPARK-33889] [SQL] [3.1] Åtgärda NPE från SHOW PARTITIONS V2-tabeller
  • [SPARK-33879] [SQL] Char Varchar-värden misslyckas med att matcha fel som partitionskolumner
  • [SPARK-33877] [SQL] SQL-referensdokument för INSERT med en kolumnlista
  • [SPARK-33876] [SQL] Lägg till längdkontroll för läsning av tecken/varchar från tabeller med en extern plats
  • [SPARK-33846] [SQL] Inkludera kommentarer för ett kapslat schema i StructType.toDDL
  • [SPARK-33860] [SQL] Gör CatalystTypeConverters.convertToCatalyst matcha specialmatrisvärde
  • [SPARK-33834] [SQL] Verifiera ALTER TABLE CHANGE COLUMN med Char och Varchar
  • [SPARK-33853] [SQL] FÖRKLARA CODEGEN och BenchmarkQueryTest visar inte underfrågaskod
  • [SPARK-33836] [SS] [PYTHON] Exponera DataStreamReader.table och DataStreamWriter.toTable
  • [SPARK-33829] [SQL] [3.1] Om du byter namn på v2-tabeller bör cacheminnet återskapas
  • [SPARK-33756] [SQL] Gör BytesToBytesMaps MapIterator idempotent
  • [SPARK-33850] [SQL] EXPLAIN FORMATTED visar inte planen för underfrågor om AQE är aktiverat
  • [SPARK-33841] [CORE] [3.1] Åtgärda problem med jobb som försvinner tillfälligt från SHS under hög belastning
  • [SPARK-33593] [SQL] Vektorläsaren fick felaktiga data med binär partitionsvärde
  • [SPARK-26341] [WEBUI] Exponera körminnesmått på stegnivå på fliken Faser
  • [SPARK-33831] [Användargränssnitt] Uppdatera till brygga 9.4.34
  • [SPARK-33822] [SQL] CastSupport.cast Använda metoden i HashJoin
  • [SPARK-33774] [Användargränssnitt] [CORE] Tillbaka till master" returnerar 500-fel i fristående kluster
  • [SPARK-26199][SPARK-31517] [R] Åtgärda strategi för hantering ... namn i mutate
  • [SPARK-33819] [CORE] [3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader bör vara package private
  • [SPARK-33697] [SQL] RemoveRedundantProjects bör kräva kolumnordning som standard
  • [SPARK-33752] [SQL] [3.1] Undvik att getSimpleMessage of AnalysisException lägger till semikolon upprepade gånger
  • [SPARK-33788] [SQL] [3.1] [3.0] [2.4] Kasta NoSuchPartitionsException från HiveExternalCatalog.dropPartitions()
  • [SPARK-33803] [SQL] Sortera tabellegenskaper efter nyckel i kommandot DESCRIBE TABLE
  • [SPARK-33786] [SQL] Lagringsnivån för en cache ska respekteras när ett tabellnamn ändras
  • [SPARK-33273] [SQL] Åtgärda ett konkurrenstillstånd vid körning av underfrågor
  • [SPARK-33653] [SQL] [3.1] DSv2: UPPDATERA TABELLEN bör återskapa själva tabellen
  • [SPARK-33777] [SQL] Sortera utdata från V2 SHOW PARTITIONER
  • [SPARK-33733] [SQL] PullOutNondeterministic bör kontrollera och samla in deterministiska fält
  • [SPARK-33764] [SS] Gör underhållsintervall för tillståndslager till SQL-konfiguration
  • [SPARK-33729] [SQL] När du uppdaterar cacheminnet bör Spark inte använda cachelagrad plan vid cachelagring av data
  • [SPARK-33742] [SQL] [3.1] Kasta partitionerAlreadyExistException från HiveExternalCatalog.createPartitions()
  • [SPARK-33706] [SQL] Kräv fullständigt angiven partitionsidentifierare i partitionExists()
  • [SPARK-33740] [SQL] hadoop-konfigurationer i hive-site.xml kan åsidosätta befintliga hadoop-konfigurationer
  • [SPARK-33692] [SQL] Vyn bör använda den insamlade katalogen och namnområdet för att söka efter funktionen
  • [SPARK-33669] Fel felmeddelande från YARN-programmets tillståndsövervakare när sc.stop i yarn-klientläge
  • [SPARK-32110] [SQL] normalisera särskilda flytande tal i HyperLogLog++
  • [SPARK-33677] [SQL] Hoppa över LikeSimplification-regeln om mönstret innehåller ett escapeChar
  • [SPARK-33693] [SQL] inaktuell spark.sql.hive.convertCTAS
  • [SPARK-33641] [SQL] Ogiltigförklara nya tecken/varchar-typer i offentliga API:er som ger felaktiga resultat
  • [SPARK-32680] [SQL] Förbearbeta inte V2 CTAS med olöst fråga
  • [SPARK-33676] [SQL] Kräv exakt matchning av partitionsspecifikationen till schemat i V2 ALTER TABLE .. ADD/DROP PARTITION
  • [SPARK-33670] [SQL] Kontrollera att partitionsprovidern är Hive i v1 SHOW TABLE EXTENDED
  • [SPARK-33663] [SQL] Cachelagring bör inte anropas för icke-befintliga temporära vyer
  • [SPARK-33667] [SQL] Respektera konfigurationen spark.sql.caseSensitive när partitionsspecifikationen matchas i v1 SHOW PARTITIONS
  • [SPARK-33652] [SQL] DSv2: DeleteFrom ska uppdatera cacheminnet

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 9.0.

Systemmiljö

  • Operativsystem: Ubuntu 20.04.2 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
Antergos Linux 2015.10 (ISO-Rullande) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 Certifi 2020.12.5
Chardet 4.0.0 Apparat 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Dekoratör 5.0.6 distlib 0.3.2
distro-info 0.23ubuntu1 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 Ipython 7.22.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 Koalas 1.8.1 matplotlib 3.4.2
Numpy 1.19.2 Pandas 1.2.4 parso 0.7.0
Patsy 0.5.1 Pexpect 4.8.0 pickleshare 0.7.5
Kudde 8.2.0 Pip 21.0.1 plotly 4.14.3
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
Pygobject 3.36.0 Pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
begäranden 2.25.1 requests-unixsocket 0.2.0 Försöker 1.3.3
s3transfer 0.3.7 scikit-learn 0.24.1 Scipy 1.6.2
seaborn 0.11.1 Setuptools 52.0.0 Sex 1.15.0
ssh-import-id 5,10 statsmodels 0.12.2 threadpoolctl 2.1.0
Tornado 6.1 traitlets 5.0.5 obevakade uppgraderingar 0,1
urllib3 1.25.11 Virtualenv 20.4.1 wcwidth 0.2.5
Hjul 0.36.2

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2021-07-28.

Bibliotek Version Bibliotek Version Bibliotek Version
Askpass 1,1 assertthat 0.2.1 Backports 1.2.1
bas 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
start 1.3-28 Brygga 1.0-6 Brio 1.1.0
Kvast 0.7.2 anropare 3.5.1 textmarkör 6.0-86
cellranger 1.1.0 Chron 2.3-56 klass 7.3-19
cli 2.2.0 clipr 0.7.1 cluster 2.1.2
Codetools 0.2-18 Färgrymd 2.0-0 commonmark 1,7
Kompilator 4.1.0 config 0,3 covr 3.5.1
cpp11 0.2.4 Krita 1.3.4 autentiseringsuppgifter 1.3.0
Överhörning 1.1.0.1 Curl 4.3 data.table 1.13.4
datauppsättningar 4.1.0 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 Devtools 2.3.2 diffobj 0.3.2
Digest 0.6.27 dplyr 1.0.2 DT 0,16
ellips 0.3.1 evaluate (utvärdera) 0,14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 Utländska 0.8-81 Forge 0.2.0
Fs 1.5.0 Framtiden 1.21.0 Generika 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 Globals 0.14.0
Lim 1.4.2 Gower 0.2.2 grafik 4.1.0
grDevices 4.1.0 Rutnät 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 Tillflyktsort 2.3.1
highr 0,8 Hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
Ipred 0.9-9 isoband 0.2.3 Iteratorer 1.0.13
jsonlite 1.7.2 Kernsmooth 2.23-20 stickning 1,30
Märkning 0.4.2 Senare 1.1.0.1 Galler 0.20-44
Lava 1.6.8.1 lazyeval 0.2.2 livscykel 0.2.0
lyssna 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1,1 MASSACHUSETTS 7.3-54 Matris 1.3-4
pmise 1.1.0 metoder 4.1.0 Mgcv 1.8-36
Mime 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 Nlme 3.1-152 Nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallellt 1.22.0 Pelaren 1.4.7 pkgbuild 1.1.0
Pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 Beröm 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
Förlopp 1.2.2 Löften 1.1.1 Proto 1.0.0
Ps 1.5.0 Purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 Rcolorbrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recept 0.1.15
Returmatch 1.0.1 rematch2 2.1.2 Fjärrkontroller 2.2.0
reprex 0.3.0 omforma2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2,6 RODBC 1.3-17
roxygen2 7.1.1 Rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversioner 2.0.2 rvest 0.3.6 Skalor 1.1.1
väljare 0.4-2 sessioninfo 1.1.1 Form 1.4.5
Blanka 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 Rumsliga 7.3-11 Splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 Statistik 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
Överlevnad 3.2-11 sys 3.4 Tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 Tibble 3.0.4
tidyr 1.1.2 avmarkera 1.1.0 tidyverse 1.3.0
Timedate 3043.102 tinytex 0,28 verktyg 4.1.0
usethis 2.0.0 utf8 1.1.4 verktyg 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 Morrhår 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 Yaml 2.2.1 Zip 2.1.1

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.koffein Koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib kärna 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profilerare 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-träd hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pilformat 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pilvektor 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recept 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-anteckningar 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubering
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-kodning 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus åhörarkommentarer 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-fortsättning 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty brygga-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty brygga plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty brygga-server 9.4.36.v20210114
org.eclipse.jetty brygga-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty brygga-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator vilolägesverifierare 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Oanvända 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0,52