Databricks Runtime 10.3 (stöds inte)

Följande viktig information innehåller information om Databricks Runtime 10.3 och Databricks Runtime 10.3 Photon, som drivs av Apache Spark 3.2.1. Foton finns i offentlig förhandsversion. Databricks släppte dessa bilder i februari 2022.

Nya funktioner och förbättringar

Parquet- och Avro-författare använder nu sessionens tidszon när tidsstämplar i Parquet-datakällor ska byggas om

Parquet- och Avro-skrivare använder nu tidszonen för sessionen medan tidsstämpeln återbaserar i läge i legacy stället för att använda JVM-standardtidszonen. Sessionens tidszon är inställd på JVM-tidszonen som standard.

Nya funktioner i Spark SQL

Följande Spark SQL-funktioner stöds nu i den här versionen:

  • aes_decrypt: dekrypterar indata med hjälp av AES.
  • aes_encrypt: krypterar indata med hjälp av AES.
  • contains: avgör om ett uttryck innehåller ett annat uttryck.
  • endswith: avgör om ett uttryck slutar med ett annat uttryck.
  • percentile_cont: returnerar ett percentilvärde.
  • startswith: avgör om ett uttryck börjar med ett annat uttryck.

Låg blandningssammanslagning är nu allmänt tillgänglig

Delta-kommandot MERGE INTO använder en teknik som kallas låg blandningssammanslagning, vilket minskar blandning av oförändrade rader. Detta förbättrar prestanda för kommandot och hjälper till att bevara befintlig klustring i tabellen, till exempel Z-beställning. Den här funktionen introducerades i Databricks Runtime 9.0 för offentlig förhandsversion och har nu nått allmän tillgänglighet. Om du vill aktivera låg blandningssammanslagning anger du spark.databricks.delta.merge.enableLowShuffle till true. Se Låg blandningssammanslagning i Azure Databricks.

Nya COPY INTO-funktioner: valideringsläge och schemautveckling

Valideringsläge: COPY INTO stöder nu ett VALIDATE läge där de data som ska läsas in i en tabell verifieras men inte skrivs till tabellen. Dessa valideringar omfattar:

  • Om data kan parsas.
  • Om schemat matchar tabellens eller om schemat behöver utvecklas.
  • Om alla null- och kontrollbegränsningar är uppfyllda.

Exempel på användning:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

Standardvärdet är att verifiera alla data som ska läsas in. Du kan ange ett antal rader som ska verifieras med nyckelordet ROWS , till exempel VALIDATE 15 ROWS. -instruktionen COPY INTO returnerar en förhandsgranskning av data på 50 rader eller mindre, när ett antal mindre än 50 används med nyckelordet ROWS ).

Schemautveckling: COPY INTO stöder nu schemautveckling med mergeSchema alternativet i COPY_OPTIONS. Om du vill utveckla schemat för en tabell måste du ha OWN behörigheter för tabellen.

Exempel på användning:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Se KOPIERA TILL.

Identitetskolumner stöds nu i Delta-tabeller (offentlig förhandsversion)

Delta Lake stöder nu identitetskolumner. När du skriver till en Delta-tabell som definierar en identitetskolumn, och du inte anger värden för den kolumnen, tilldelar Delta nu automatiskt ett unikt och statistiskt ökande eller minskande värde. Se SKAPA TABELL [USING].

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • distlib från 0.3.3 till 0.3.4
    • filelock från 3.4.0 till 3.4.2
    • numpy från 1.19.2 till 1.20.1
    • ritat från 5.3.1 till 5.5.0
  • Uppgraderade R-bibliotek:
    • backports från 1.4.0 till 1.4.1
    • brio från 1.1.2 till 1.1.3
    • kvast från 0.7.10 till 0.7.11
    • klass från 7.3-19 till 7.3-20
    • cpp11 från 0.4.1 till 0.4.2
    • DBI från 1.1.1 till 1.1.2
    • devtools från 2.4.2 till 2.4.3
    • sammandrag från 0,6,28 till 0,6,29
    • dtplyr från 1.1.0 till 1.2.0
    • fansi från 0.5.0 till 1.0.2
    • utländsk från 0,8-81 till 0,8-82
    • fs från 1.5.0 till 1.5.2
    • gert från 1.4.3 till 1.5.0
    • lim från 1.5.0 till 1.6.0
    • httpuv från 1.6.3 till 1.6.5
    • jsonlite från 1.7.2 till 1.7.3
    • stickning från 1,36 till 1,37
    • MASS från 7,3-54 till 7,3-55
    • Matris från 1.3-4 till 1.4-0
    • nlme från 3.1-152 till 3.1-155
    • nnet frm 7.3-16 till 7.3-17
    • openssl från 1.4.5 till 1.4.6
    • parallellt från 1.29.0 till 1.30.0
    • pkgbuild från 1.2.0 till 1.3.1
    • pkgload från 1.2.3 till 1.2.4
    • progressr från 0.9.0 till 0.10.0
    • Rcpp från 1.0.7 till 1.0.8
    • readr från 2.1.0 till 2.1.1
    • remotes från 2.4.1 till 2.4.2
    • RSQLite från 2.2.8 till 2.2.9
    • sessioninfo från 1.2.1 till 1.2.2
    • sparklyr från 1.7.2 till 1.7.4
    • testthat från 3.1.0 till 3.1.1
    • tinytex från 0,35 till 0,36
    • usethis från 2.1.3 till 2.1.5
    • vroom från 1.5.6 till 1.5.7
    • från 2.4.2 till 2.4.3
    • xfun från 0,28 till 0,29
    • xml2 från 1.3.2 till 1.3.3
  • Uppgraderade Java-bibliotek:
    • dev.ludovic.netlib.arpack från 1.3.2 till 2.2.1
    • dev.ludovic.netlib.blas från 1.3.2 till 2.2.1
    • dev.ludovic.netlib.lapack från 1.3.2 till 2.2.1
    • io.delta.delta-sharing-spark_2.12 från 0.2.0 till 0.3.0

Apache Spark

Databricks Runtime 10.3 innehåller Apache Spark 3.2.1. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 10.2 (stöds inte) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-37896] [SQL] Implementera en ConstantColumnVector och förbättra prestanda för dolda filmetadata
  • [SPARK-37924] [SQL] Sortera tabellegenskaper efter nyckel i VISA SKAPA TABELL på VIEW (v1)
  • [SPARK-37636] [SQL] Migrera CREATE NAMESPACE för att använda V2-kommandot som standard
  • [SPARK-37381] [SQL] Förena v1- och v2 VISA CREATE TABLE-tester
  • [SPARK-37876] [CORE] [SQL] Flytta SpecificParquetRecordReaderBase.listDirectory till TestUtils
  • [SPARK-37854] [CORE] Ersätt typkontroll med mönstermatchning i Spark-kod
  • [SPARK-36967] [CORE] Rapportera korrekt blandningsblockstorlek om den är skev
  • [SPARK-37864] [SQL] Stöd för vektoriserade läs booleska värden använder RLE-kodning med Parquet DataPage V2
  • [SPARK-37862] [SQL] RecordBinaryComparator bör snabbt hoppa över kontrollen av justering med en icke-justerad plattform
  • [SPARK-37855] [SQL] IllegalStateException vid transformering av en matris i en kapslad struct
  • [SPARK-37858] [SQL] Kasta SparkRuntimeException med felklasser från AES-funktioner
  • [SPARK-37841] [SQL] BasicWriteTaskStatsTracker bör inte försöka hämta status för en överhoppad fil
  • [SPARK-37860] [Användargränssnitt] Åtgärda aktivitetsindex på tidslinjen för aktivitetshändelsen på scensidan
  • [SPARK-36879] [SQL] Stöd för Parquet v2-datasidekodning (DELTA_BINARY_PACKED) för den vektoriserade sökvägen
  • [SPARK-37828] [SQL] Push-ned filter via OmbalanseringPartitioner
  • [SPARK-37802] [SQL] [3.2] Sammansatt fältnamn bör fungera med aggregerad push-nedtryckning
  • [SPARK-37826] [SQL] Använd zstd codec-namn i ORC-filnamn för hive orc impl
  • [SPARK-37820] [SQL] Ersätt ApacheCommonBase64 med JavaBase64 för sträng-funcs
  • [SPARK-37832] [SQL] Orc struct-konverteraren bör använda en matris för att söka efter fältkonverterare i stället för en länkad lista
  • [SPARK-37786] [SQL] StreamingQueryListener-stöd använder SQLConf.get för att hämta motsvarande SessionStates SQLConf
  • [SPARK-37527] [SQL] Översätta fler standardaggregeringsfunktioner för pushdown
  • [SPARK-37777] [SQL] Uppdatera SQL-syntaxen för SHOW FUNCTIONS
  • [SPARK-8582] [CORE] Checkpoint ivrigt när ombedd att göra det på riktigt
  • [SPARK-37822] [SQL] StringSplit ska returnera en matris på element som inte är null
  • [SPARK-37812] [SQL] När du deserialiserar en Orc-struct återanvänder du resultatraden när det är möjligt
  • [SPARK-37367] [SQL] Återaktiveringsbart undantagstest i DDLParserSuite.create-vyn – basic
  • [SPARK-37796] [SQL] ByteArrayMethods-matrisEquals bör snabbt hoppa över kontrollen av justering med ojusterad plattform
  • [SPARK-37817] [SQL] [Mindre] Ta bort oåtkomlig kod i complexTypeExtractors.scala
  • [SPARK-37807] [SQL] Åtgärda ett stavfel i HttpAuthenticationException-meddelande
  • [SPARK-37750] [SQL] ANSI-läge: Du kan också returnera nullresultat om elementet inte finns i matrisen/kartan
  • [SPARK-37789] [SQL] Lägg till en klass som representerar allmänna mängdfunktioner i DS V2
  • [SPARK-37785] [SQL] [CORE] Lägg till Utils.isInRunningSparkTask
  • [SPARK-37780] [SQL] QueryExecutionListener-stöd använder SQLConf.get för att hämta motsvarande SessionStates SQLConf
  • [SPARK-37783] [SS] [SQL] [CORE] Aktivera tail-rekursion där det är möjligt
  • [SPARK-37726] [SQL] Lägga till mått för spillstorlek för sorteringskoppling
  • [SPARK-37800] [SQL] TreeNode.argString formaterar felaktigt argument av typen Set[_]
  • [SPARK-37716] [SQL] Förbättra felmeddelanden när ett lateraltjoin har icke-deterministiska uttryck
  • [SPARK-37779] [SQL] Gör ColumnarToRowExec-planen kanonisktillämpbar efter (de)serialisering
  • [SPARK-37578] [SQL] Uppdatera aktivitetsmått från anpassade mått för ds v2
  • [SPARK-37676] [SQL] Stöd för ANSI-sammansättningsfunktion: percentile_cont
  • [SPARK-37724] [SQL] ANSI-läge: inaktivera reserverade ANSI-nyckelord som standard
  • [SPARK-37705] [SQL] [3.2] Ändra tidsstämplar i sessionens tidszon som sparats i Parquet/Avro-metadata
  • [SPARK-34755] [SQL] Stöd för utils för format för transformeringsnummer
  • [SPARK-36703] [SQL] Ta bort sorteringen om den är underordnad RepartitionByExpression
  • [SPARK-37369] [SQL] Undvik redundant ColumnarToRow-övergång på InMemoryTableScan
  • [SPARK-37450] [SQL] Rensa onödiga fält från Generera
  • [SPARK-37728] [SQL] Läsning av kapslade kolumner med ORC-vektoriserad läsare kan orsaka ArrayIndexOutOfBoundsException
  • [SPARK-37564] [SQL] Lägg till kod-gen för sorteringsaggregering utan grupperingsnycklar
  • [SPARK-37659] [Användargränssnitt] [3.2] Åtgärda FsHistoryProvider-konkurrensvillkor mellan list- och borttagningslogginformation
  • [SPARK-37727] [SQL] Visa ignorerade konfigurationer och dölj varningar för konfiguration som redan har angetts i SparkSession.builder.getOrCreate
  • [SPARK-37391] [SQL] Jdbc Anslut ionProvider anger om den ändrar säkerhetskontexten
  • [SPARK-37273] [SQL] Stöd för dolda filmetadatakolumner i Spark SQL
  • [SPARK-36876] [SQL] Stöd för dynamisk partitionsrensning för HiveTableScanExec
  • [SPARK-37546] [SQL] V2 ReplaceTableAsSelect-kommandot bör kvalificera platsen
  • [SPARK-37545] [SQL] V2 CreateTableAsSelect-kommandot bör kvalificera platsen
  • [SPARK-37707] [SQL] Tillåt lagringstilldelning och implicit gjutning mellan datetime-typer
  • [SPARK-37644] [SQL] Stöd för fullständig aggregering av datakälla v2
  • [SPARK-37695] [CORE] [SHUFFLE] Hoppa över diagnos ob sammanfogade block från push-baserad shuffle
  • [SPARK-35295] [ML] Ersätt fullständigt com.github.fommil.netlib med dev.ludovic.netlib:2.0
  • [SPARK-37694] [SQL] Tillåt inte borttagning av resurser i spark sql cli
  • [SPARK-37330] [SQL] Migrera ReplaceTableStatement till v2-kommandot
  • [SPARK-27974] [SQL] Stöd för ANSI-mängdfunktion: array_agg
  • [SPARK-36902] [SQL] Migrera Kommandot CreateTableAsSelectStatement till v2
  • [SPARK-37678] [PYTHON] Åtgärda _cleanup_and_return signatur
  • [SPARK-37613] [SQL] Stöd för ANSI-mängdfunktion: regr_count
  • [SPARK-37689] [SQL] Expandera bör stödjas i PropagateEmptyRelation
  • [SPARK-37654] [SQL] Åtgärda NPE i Row.getSeq när fältet är Null
  • [SPARK-37496] [SQL] Migrera ReplaceTableAsSelectStatement till v2-kommandot
  • [SPARK-37483] [SQL] Stöd för push-överföring uppifrån N till JDBC-datakälla V2
  • [SPARK-37577] [SQL] Åtgärda ClassCastException: ArrayType kan inte castas till StructType för generera beskärning
  • [SPARK-37310] [SQL] Migrera ALTER NAMESPACE ... ANGE EGENSKAPER för att använda V2-kommandot som standard
  • [SPARK-37501] [SQL] CREATE/REPLACE TABLE bör kvalificera plats för v2-kommandot
  • [SPARK-37343] [SQL] Implementera createIndex, IndexExists och dropIndex i JDBC (Postgres dialekt)
  • [SPARK-37060] [CORE] [3.2] Hantera drivrutinsstatussvar från säkerhetskopieringshanterare
  • [SPARK-37629] [SQL] Påskynda Expression.canonicalized
  • [SPARK-37633] [SQL] Unwrap cast bör hoppa över om nedslaget misslyckades med en...
  • [SPARK-37631] [SQL] Kodrensning vid befordran av strängar till dubbel typ i matematiska funktioner
  • [SPARK-37569] [SQL] Markera inte kapslade vyfält som nullbara
  • [SPARK-37557] [SQL] Ersätt objekthash med sorteringsaggregat om underordnad redan är sorterad
  • [SPARK-36850] [SQL] Migrera CreateTableStatement till v2-kommandoramverket
  • [SPARK-37592] [SQL] Förbättra prestanda för JoinSelection
  • [SPARK-37217] [SQL] Antalet dynamiska partitioner bör tidigt kontrollera när du skriver till externa tabeller
  • [SPARK-37584] [SQL] Ny SQL-funktion: map_contains_key
  • [SPARK-37455] [SQL] Ersätt hash med sorteringsaggregat om underordnad redan är sorterad
  • [SPARK-34735] [SQL] [Användargränssnitt] Lägga till ändrade konfigurationer för SQL-körning i användargränssnittet
  • [SPARK-37540] [SQL] Identifiera mer tidsresor som inte stöds
  • [SPARK-37376] [SQL] Introducera ett nytt DataSource V2-gränssnitt HasPartitionKey
  • [SPARK-37666] [SQL] Ange GCM som standardläge i aes_encrypt()/aes_decrypt()
  • [SPARK-37573] [SQL] IsolatedClientLoader bör återgå till relaterad version, inte alltid hadoop-2.7.4
  • [SPARK-37561] [SQL] Undvik att läsa in alla funktioner när du hämtar Hives DelegeringToken
  • [SPARK-37370] [SQL] Lägg till SQL-konfigurationer för att styra nyligen tillagda kopplingskod-gen i 3.3
  • [SPARK-37311] [SQL] Migrera ALTER NAMESPACE ... ANGE PLATS för att använda V2-kommandot som standard
  • [SPARK-37192] [SQL] Migrera SHOW TBLPROPERTIES för att använda V2-kommandot som standard
  • [SPARK-37219] [SQL] Lägg till AS OF-syntaxstöd
  • [SPARK-37316] [SQL] Lägg till kod-gen för förekomsten av sorteringskoppling
  • [SPARK-37591] [SQL] Stöd för GCM-läget genom aes_encrypt()/aes_decrypt()
  • [SPARK-37586] [SQL] Lägg till args och padding i modeaes_encrypt()/aes_decrypt()
  • [SPARK-12567] [SQL] Lägga till aes_encrypt- och aes_decrypt inbyggda funktioner
  • [SPARK-37392] [SQL] Åtgärda prestandafelet när du härleder begränsningar för Generera
  • [SPARK-37481] [Kärna] [WebUI] Åtgärda försvinnandet av överhoppade steg när de försöker igen
  • [SPARK-37533] [SQL] Ny SQL-funktion: try_element_at
  • [SPARK-37451] [SQL] Korrigera typ av gjuten sträng till decimaltyp om spark.sql.legacy.allowNegativeScaleOfDecimal är aktiverat
  • [SPARK-37062] [SS] Introducera en ny datakälla för att tillhandahålla konsekvent uppsättning rader per mikrobatch
  • [SPARK-37552] [SQL] convert_timezone() Lägg till funktionen
  • [SPARK-37555] [SQL] spark-sql ska skicka den sista kommentaren som inte är slut till serverdelen
  • [SPARK-37286] [SQL] Flytta kompileringsaggregat från JDBCRDD till JdbcDialect
  • [SPARK-37485] [CORE] [SQL] Ersätt map med uttryck som inte ger något resultat med foreach
  • [SPARK-37556] [SQL] Deser void-klassen misslyckas med Java-serialisering
  • [SPARK-37520] [SQL] Lägg till strängfunktionerna startswith() och endswith()
  • [SPARK-37471] [SQL] spark-sql-stöd ; i kapslad kommentar med hakparentes
  • [SPARK-37360] [SQL] Stöd för TidsstämpelNTZ i JSON-datakälla
  • [SPARK-37508] [SQL] Lägg till contains()-strängfunktion
  • [SPARK-37494] [SQL] Unify v1 och v2 options output of SHOW CREATE TABLE command
  • [SPARK-37524] [SQL] Vi bör släppa alla tabeller efter att ha testat dynamisk partitionsrensning.
  • [SPARK-37389] [SQL] Kontrollera ej avgränsade kommentarer
  • [SPARK-37220] [SQL] Dela inte indatafilen för Parquet-läsaren med aggregerad push-ned
  • [SPARK-37326] [SQL] Stöd för TidsstämpelNTZ i CSV-datakälla
  • [SPARK-35867] [SQL] Aktivera vektoriserad läsning för VectorizedPlainValuesReader.readBooleans
  • [SPARK-37484] [CORE] [SQL] Ersätt get och getOrElse med getOrElse
  • [SPARK-37492] [SQL] Optimera Orc-testkoden med withAllNativeOrcReaders
  • [SPARK-37458] [SS] Ta bort onödig SerializeFromObject från planen för foreachBatch

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 10.3.

Systemmiljö

  • Operativsystem: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
Antergos Linux 2015.10 (ISO-Rullande) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 Blekmedel 3.3.0 boto3 1.16.7
botocore 1.19.7 Certifi 2020.12.5 Cffi 1.14.5
Chardet 4.0.0 Apparat 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Dekoratör 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0,3
facets-overview 1.0.0 filelock 3.4.2 idna 2.10
ipykernel 5.3.4 Ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 Koalas 1.8.2
Markering Valv 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook-fil 6.3.0 Numpy 1.20.1
Förpackning 20.9 Pandas 1.2.4 pandocfilter 1.4.3
parso 0.7.0 Patsy 0.5.1 Pexpect 4.8.0
pickleshare 0.7.5 Kudde 8.2.0 Pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
Pygobject 3.36.0 Pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
begäranden 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 Scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 Setuptools 52.0.0 Sex 1.15.0
ssh-import-id 5,10 statsmodels 0.12.2 Uthållighet 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
Tornado 6.1 traitlets 5.0.5 obevakade uppgraderingar 0,1
urllib3 1.25.11 Virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 Hjul 0.36.2 widgetsnbextension 3.5.1

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2022-01-19.

Bibliotek Version Bibliotek Version Bibliotek Version
Askpass 1,1 assertthat 0.2.1 Backports 1.4.1
bas 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 start 1.3-28
Brygga 1.0-6 Brio 1.1.3 Kvast 0.7.11
bslib 0.3.1 cachem 1.0.6 anropare 3.7.0
textmarkör 6.0-90 cellranger 1.1.0 Chron 2.3-56
klass 7.3-20 cli 3.1.0 clipr 0.7.1
cluster 2.1.2 Codetools 0.2-18 Färgrymd 2.0-2
commonmark 1,7 Kompilator 4.1.2 config 0.3.1
cpp11 0.4.2 Krita 1.4.2 autentiseringsuppgifter 1.3.2
Curl 4.3.2 data.table 1.14.2 datauppsättningar 4.1.2
DBI 1.1.2 dbplyr 2.1.1 Desc 1.4.0
Devtools 2.4.3 diffobj 0.3.5 Digest 0.6.29
dplyr 1.0.7 dtplyr 1.2.0 e1071 1.7-9
ellips 0.3.2 evaluate (utvärdera) 0,14 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 Utländska 0.8-82
Forge 0.2.0 Fs 1.5.2 Framtiden 1.23.0
future.apply 1.8.1 Gurgla 1.2.0 Generika 0.1.1
Gert 1.5.0 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 Globals 0.14.0
Lim 1.6.0 googledrive 2.0.0 googlesheets4 1.0.0
Gower 0.2.2 grafik 4.1.2 grDevices 4.1.2
Rutnät 4.1.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 Tillflyktsort 2.4.3 highr 0,9
Hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.5 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 Id 1.0.1 Ini 0.3.1
Ipred 0.9-12 isoband 0.2.5 Iteratorer 1.0.13
jquerylib 0.1.4 jsonlite 1.7.3 Kernsmooth 2.23-20
stickning 1,37 Märkning 0.4.2 Senare 1.3.0
Galler 0.20-45 Lava 1.6.10 livscykel 1.0.1
lyssna 0.8.0 lubridate 1.8.0 magrittr 2.0.1
Markdown 1,1 MASSACHUSETTS 7.3-55 Matris 1.4-0
pmise 2.0.1 metoder 4.1.2 Mgcv 1.8-38
Mime 0,12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 Nlme 3.1-155 Nnet 7.3-17
numDeriv 2016.8-1.1 openssl 1.4.6 parallel 4.1.2
parallellt 1.30.0 Pelaren 1.6.4 pkgbuild 1.3.1
Pkgconfig 2.0.3 pkgload 1.2.4 plogr 0.2.0
plyr 1.8.6 Beröm 1.0.0 prettyunits 1.1.1
Proc 1.18.0 processx 3.5.2 prodlim 2019.11.13
Förlopp 1.2.2 progressr 0.10.0 Löften 1.2.0.1
Proto 1.0.0 Proxy 0.4-26 Ps 1.6.0
Purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
Rcolorbrewer 1.1-2 Rcpp 1.0.8 RcppEigen 0.3.3.9.1
readr 2.1.1 readxl 1.3.1 recept 0.1.17
Returmatch 1.0.1 rematch2 2.1.2 Fjärrkontroller 2.4.2
reprex 2.0.1 omforma2 1.4.4 rlang 0.4.12
rmarkdown 2,11 RODBC 1.3-19 roxygen2 7.1.2
Rpart 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.9 rstudioapi 0,13 rversioner 2.1.1
rvest 1.0.2 Sass 0.4.0 Skalor 1.1.1
väljare 0.4-2 sessioninfo 1.2.2 Form 1.4.6
Blanka 1.7.1 sourcetools 0.1.7 sparklyr 1.7.4
SparkR 3.2.0 Rumsliga 7.3-11 Splines 4.1.2
sqldf 0.4-11 SQUAREM 2021.1 Statistik 4.1.2
stats4 4.1.2 stringi 1.7.6 stringr 1.4.0
Överlevnad 3.2-13 sys 3.4 Tcltk 4.1.2
TeachingDemos 2.10 testthat 3.1.1 Tibble 3.1.6
tidyr 1.1.4 avmarkera 1.1.1 tidyverse 1.3.1
Timedate 3043.102 tinytex 0.36 verktyg 4.1.2
tzdb 0.2.0 usethis 2.1.5 utf8 1.2.2
verktyg 4.1.2 uuid 1.0-3 vctrs 0.3.8
viridisLite 0.4.0 Vroom 1.5.7 Waldo 0.3.1
Morrhår 0,4 withr 2.4.3 xfun 0,29
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.2.1 Zip 2.2.0

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.koffein Koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib kärna 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tingeling 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profilerare 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib Arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.3.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-träd hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pilformat 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pilvektor 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-inkubering
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-kodning 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus åhörarkommentarer 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-fortsättning 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty brygga-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty brygga plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty brygga-server 9.4.43.v20210629
org.eclipse.jetty brygga-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty brygga-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator vilolägesverifierare 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Oanvända 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1