Databricks Runtime 10.1 (niet ondersteund)

  • Artikel

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 10.1 en Databricks Runtime 10.1 Photon, mogelijk gemaakt door Apache Spark 3.2.0. Databricks heeft deze afbeeldingen uitgebracht in november 2021. Photon bevindt zich in openbare preview.

Nieuwe functies en verbeteringen

Nieuwe Delta-tabelinstellingen voor het comprimeren van kleine bestanden

De eigenschap delta.autoOptimize.autoCompact Delta-tabel accepteert nu de nieuwe waarden van auto en legacy naast de bestaande waarden van true en false. Wanneer deze instelling is ingesteld op auto (aanbevolen), gebruikt Automatisch comprimeren betere standaardwaarden, zoals het instellen van 32 MB als de grootte van het doelbestand (hoewel het standaardgedrag in de toekomst kan worden gewijzigd). Wanneer deze is ingesteld op legacy of true, gebruikt automatische compressie 128 MB als doelbestandsgrootte.

In plaats van deze eigenschap in te stellen voor een afzonderlijke tabel, kunt u de spark.databricks.delta.autoCompact.enabled configuratie autoinstellen op , legacyof true automatisch comprimeren inschakelen voor alle Delta-tabellen. Deze configuratie heeft voorrang op de gerelateerde tabeleigenschap tijdens de huidige sessie.

De doelbestandsgrootte voor automatisch comprimeren kan worden beheerd met de spark.databricks.delta.autoCompact.maxFileSize configuratie.

Zie Automatische compressie voor Delta Lake in Azure Databricks voor meer informatie over automatische compressie.

Nieuwe metrische gegevens voor rijgroepen voor Parquet-queryscans

Query's met Parquet scannen nu metrische gegevens voor rijgroepen in de Spark-gebruikersinterface. Deze metrische gegevens voor rijgroepen zijn:

  • totaal aantal parquet-rijgroepen
  • aantal parquet-rijgroepen gelezen

Trigger.AvailableNow voor streamingquery's van Delta-bronnen

Deze wijziging ondersteunt een nieuw type trigger voor Delta-bronstreamingquery's in Scala: Trigger.AvailableNow. Het is alsof Trigger.Once, waarmee alle beschikbare gegevens worden verwerkt en de query wordt gestopt. Trigger.AvailableNow Biedt echter een betere schaalbaarheid, omdat gegevens in meerdere batches kunnen worden verwerkt in plaats van één. Deze wijziging introduceert geen nieuwe interface; hiermee wordt een bestaande Spark-API geïmplementeerd. Deze trigger ondersteunt ook alle opties voor snelheidsbeperking die al door Delta als bron worden ondersteund.

Voorbeeld:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Zie de dekking in Trigger.AvailableNowWhat is Auto Loader?

Trigger.AvailableNow voor automatisch laden

Trigger.AvailableNow is een nieuwe streamingtriggermodus die vergelijkbaar is met Trigger.Once. Trigger.Once verwerkt alle beschikbare gegevens en stopt de query. Trigger.AvailableNow heeft een betere schaalbaarheid, omdat gegevens in meerdere batches kunnen worden verwerkt in plaats van één. Auto Loader biedt nu ondersteuning Trigger.AvailableNow voor zowel directory-vermeldingen als bestandsmeldingsmodi voor Scala. Zie de dekking in Trigger.AvailableNowWhat is Auto Loader?

Delta-ondersteuning voor Hadoop-bestandssysteemconfiguraties die worden doorgegeven via DataFrame-opties

Net als bij Parquet biedt Delta nu ondersteuning voor het lezen van DataFrameReader Hadoop-bestandssysteemconfiguraties en DataFrameWriter opties wanneer de tabel wordt gelezen of geschreven, met behulp van DataFrameReader.load(path) of DataFrameWriter.save(path). Zie Delta-opslagreferenties configureren.

Asynchrone statuscontrolepunten worden nu ondersteund in stateful streamingtaken (openbare preview)

Asynchrone statuscontrolepunten is een nieuwe functie die de end-to-end microbatchlatentie in stateful streamingtaken met grote statusupdates vermindert. Zie controlepunten voor Asynchrone status voor stateful query's.

Sparklyr met referentiepassthrough

U kunt nu de sparklyr-API's gebruiken om gegevens naar en van cloudopslag te lezen en te schrijven met behulp van referentiepassthrough. Deze functionaliteit is beperkt tot standaardclusters met toegang tot één gebruiker. Zie Toegang tot Azure Data Lake Storage met behulp van Microsoft Entra ID (voorheen Azure Active Directory) referentiepassthrough (verouderd).

Databricks Utilities-gegevens geven een overzicht van precisiebeheer (openbare preview)

Een nieuwe precise parameter voor dbutils.data.summarize het bepalen van de precisie van samenvattingsresultaten. Wanneer precise deze is ingesteld op onwaar (de standaardinstelling), retourneert de samenvatting geschatte resultaten voor afzonderlijke aantallen, percentiel en frequente itemaantallen. Wanneer precise deze waarde is ingesteld op waar, worden samenvattingen nu berekend met exacte afzonderlijke aantallen en frequente itemaantallen, met nauwkeurigere percentielschattingen. Zie de opdracht summarize (dbutils.data.summarize).

Azure Databricks-notebooks kunnen nu worden gebruikt met de IPython-kernel

U kunt nu een Azure Databricks-cluster configureren om de IPython-kernel te gebruiken om Python-code uit te voeren. Met behulp van de IPython-kernel in Azure Databricks wordt ondersteuning toegevoegd voor weergave- en uitvoerhulpprogramma's van IPython. De IPython-kernel legt ook de stdout- en stderr-uitvoer vast van onderliggende processen die zijn gemaakt door een notebook, zodat deze uitvoer kan worden opgenomen in de opdrachtresultaten van het notebook.

Zie IPython-kernel voor meer informatie.

Nieuwe functies in Spark SQL

De volgende objecten en opdrachten zijn toegevoegd voor het werken met gegevens in Unity Catalog (preview):

De volgende opdrachten zijn toegevoegd voor Delta Sharing (preview) waarmee u alleen-lezengegevens kunt delen met ontvangers buiten uw organisatie:

Bugfixes

  • Er is een racevoorwaarde opgelost die een queryfout kan veroorzaken met een IOException zoals No FileSystem for scheme of waardoor wijzigingen sparkContext.hadoopConfiguration niet van kracht kunnen worden in query's.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • filelock van 3.0.12 tot 3.3.1
    • koala's van 1.8.1 tot 1.8.2
    • plotly from 5.1.0 to 5.3.0
  • Bijgewerkte R-bibliotheken:
    • bslib van 0.3.0 tot 0.3.1
    • caret van 6,0-88 tot 6,0-90
    • cpp11 van 0.3.1 tot 0.4.0
    • data.table van 1.14.0 tot 1.14.2
    • desc van 1.3.0 tot 1.4.0
    • diffobj van 0.3.4 tot 0.3.5
    • digest van 0.6.27 tot 0.6.28
    • generics van 0.1.0 tot 0.1.1
    • hms van 1.1.0 tot 1.1.1
    • breisel van 1,34 tot 1,36
    • rooster van 0,20-44 tot 0,20-45
    • levenscyclus van 1.0.0 tot 1.0.1
    • lubridate van 1.7.10 tot 1.8.0
    • mgcv van 1,8-37 tot 1,8-38
    • mime van 0.11 tot 0.12
    • pkgload van 1.2.2 tot 1.2.3
    • voortgang van 0.8.0 tot 0.9.0
    • rcmdcheck van 1.3.3 tot 1.4.0
    • leesbewerking van 2.0.1 tot 2.0.2
    • recepten van 0.1.16 tot 0.1.17
    • afstandsbedieningen van 2.4.0 tot 2.4.1
    • rlang van 0.4.11 tot 0.4.12
    • rvest van 1.0.1 tot 1.0.2
    • glanzend van 1.6.0 tot 1.7.1
    • stringi van 1.7.4 tot 1.7.5
    • testthat van 3.0.4 tot 3.1.0
    • tidyr van 1.1.3 tot 1.1.4
    • tinytex van 0,33 tot 0,34
    • usethis from 2.0.1 to 2.1.2
    • xfun van 0,26 tot 0,27
  • Bijgewerkte Java-bibliotheken:
    • com.zaxxer.HikariCP van 3.1.0 tot 4.0.3

Apache Spark

Databricks Runtime 10.1 bevat Apache Spark 3.2.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 10.0 (niet ondersteund) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-37037] [SQL] Bytematrix sorteren verbeteren door compareTo-functie van UTF8String en ByteArray te combineren
  • [SPARK-37091] [R] SystemRequirements voor het opnemen van Java < 18
  • [SPARK-37041] [SQL] Backport HIVE-15025: SSL-ondersteuning (Secure-Socket-Layer) voor HMS
  • [SPARK-37098] [SQL] Tabeleigenschappen wijzigen moet cache ongeldig maken
  • [SPARK-36992] [SQL] Bytematrix sorteren verbeteren door de functie getPrefix van UTF8String en ByteArray te combineren
  • [SPARK-37047] [SQL] Lpad- en rpad-functies toevoegen voor binaire tekenreeksen
  • [SPARK-37076] [SQL] StructType.toString expliciet implementeren voor Scala 2.13
  • [SPARK-37075] [SQL] UDAF-expressies verplaatsen van sql/katalysator naar sql/core
  • [SPARK-37084] [SQL] spark.sql.files.openCostInBytes instellen op bytesConf
  • [SPARK-37088] [PYSPARK] [SQL] Schrijfthread mag geen toegang krijgen tot invoer nadat de listener voor taakvoltooiing is geretourneerd
  • [SPARK-37069] [SQL] Goede terugval wanneer Hive.getWithoutRegisterFns niet beschikbaar is
  • [SPARK-37050] [PYTHON] Installatie-instructies voor Conda bijwerken
  • [SPARK-37067] [SQL] ZoneId.of() gebruiken om de tijdzonetekenreeks in DatetimeUtils te verwerken
  • [SPARK-35925] [SQL] Ondersteuning voor DayTimeIntervalType in de functie width-bucket
  • [SPARK-35926] [SQL] Ondersteuning voor YearMonthIntervalType toevoegen voor width_bucket
  • [SPARK-35973] [SQL] Opdracht Toevoegen SHOW CATALOGS
  • [SPARK-36922] [SQL] De functies SIGN/SIGNUM moeten ANSI-intervallen ondersteunen
  • [SPARK-37078] [CORE] Ondersteuning voor oude sinkconstructors met drie parameters
  • [SPARK-37061] [SQL] CustomMetrics herstellen bij het gebruik van binnenste klassen
  • [SPARK-35918] [AVRO] Afhandeling van niet-overeenkomende schema's voor lezen/schrijven en verbeteren van foutberichten
  • [SPARK-36871] [SQL] CreateViewStatement migreren naar v2-opdracht
  • [SPARK-36898] [SQL] De hash-joinfactor voor willekeurige volgorde configureren
  • [SPARK-36921] [SQL] ANSI-intervallen ondersteunen op DIV
  • [SPARK-36794] [SQL] Dubbele joinsleutels negeren bij het maken van relaties voor SEMI/ANTI-hash-join
  • [SPARK-36867] [SQL] Foutbericht met GROUP BY-alias oplossen
  • [SPARK-36914] [SQL] DropIndex en listIndexes implementeren in JDBC (MySQL dialect)
  • [SPARK-35531] [SQL] Geef hive Table rechtstreeks door aan HiveClient wanneer aanroep getPartitions wordt aangeroepen om onnodige conversie van HiveTable -> CatalogTable -> HiveTable te voorkomen
  • [SPARK-36718] [SQL] Alleen projecten samenvouwen als we geen dure expressies dupliceren
  • [SPARK-37046] [SQL]: de weergave Wijzigen behoudt geen kolomcase
  • [SPARK-36978] [SQL] De regel InferConstraints moet isNotNull-beperkingen maken voor het geneste veld dat wordt geopend in plaats van het geneste hoofdtype
  • [SPARK-37052] [CORE] Spark mag alleen het uitgebreide argument doorgeven aan de hoofdklasse wanneer sql shell is
  • [SPARK-37017] [SQL] Het bereik van gesynchroniseerd beperken om mogelijke impasses te voorkomen
  • [SPARK-37032] [SQL] Koppeling met verbroken SQL-syntaxis in SQL-verwijzingspagina herstellen
  • [SPARK-36905] [SQL] Problemen met het lezen van hive-weergaven zonder expliciete kolomnamen oplossen
  • [SPARK-36678] SHOW TABLES migreren om standaard V2-opdracht te gebruiken
  • [SPARK-36943] [SQL] Leesbaarheid van ontbrekende kolomfout verbeteren
  • [SPARK-36980] [SQL] Ondersteuningsquery invoegen met CTE
  • [SPARK-37001] [SQL] Schakel standaard twee toewijzingsniveaus uit voor uiteindelijke hashaggregatie
  • [SPARK-36970] [SQL] Handmatig uitgeschakelde indeling B van date_format de functie om Java 17 compatibel te maken met Java 8
  • [SPARK-36546] [SQL] Matrixondersteuning toevoegen aan samenvoeging op naam
  • [SPARK-36979] [SQL] RewriteLateralSubquery-regel toevoegen aan niet-uitbecludableRules
  • [SPARK-36949] [SQL] Tabellen van Hive-providers niet met ANSI-intervallen
  • [SPARK-36849] [SQL] UseStatement migreren naar v2-opdrachtframework
  • [SPARK-36868] [SQL] CreateFunctionStatement migreren naar v2-opdrachtframework
  • [SPARK-36841] [SQL] Ansi-syntaxis set catalog xxx toevoegen om de huidige catalogus te wijzigen
  • [SPARK-36821] [SQL] Klasse ColumnarBatch uitbreidbaar maken - addendum
  • [SPARK-36963] [SQL] Max_by/min_by toevoegen aan sql.functions
  • [SPARK-36913] [SQL] CreateIndex en IndexExists implementeren in DS V2 JDBC (MySQL dialect)
  • [SPARK-36848] [SQL] ShowCurrentNamespaceStatement migreren naar v2-opdrachtframework
  • [SPARK-36526] [SQL] DSV2-indexondersteuning: add supportsIndex interface
  • [SPARK-36960] [SQL] Pushdownfilters met ANSI-intervalwaarden naar ORC
  • [SPARK-36929] [SQL] Ongebruikte methode RemoveSubqueryAliasesSuite#assertEquivalent
  • [SPARK-36931] [SQL] Ansi-intervallen van/naar ORC-gegevensbronnen ondersteunen
  • [SPARK-34980] [SQL] Ondersteuning voor samenvoegingspartitie via samenvoeging in AQE
  • [SPARK-36809] [SQL] Broadcast verwijderen voor InSubqueryExec die wordt gebruikt in DPP
  • [SPARK-36813] [SQL] [PYTHON] Een infrastructuur voorstellen voor as-of-join en imlement ps.merge_asof
  • [SPARK-36918] [SQL] Typen negeren bij het vergelijken van structs voor unionByName
  • [SPARK-36891] [SQL] SpecificParquetRecordReaderBase herstructureren en meer dekking toevoegen aan gevectoriseerde Parquet-decodering
  • [SPARK-36920] [SQL] ANSI-intervallen ondersteunen op ABS()
  • [SPARK-36888] [SQL] testcases voor sha2-functie toevoegen
  • [SPARK-36889] [SQL] Respect spark.sql.parquet.filterPushdown door v2 parquet scan builder
  • [SPARK-36830] [SQL] Ansi-intervallen van/naar JSON-gegevensbronnen ondersteunen
  • [SPARK-36870] [SQL] Introduceer INTERNAL_ERROR foutklasse
  • [SPARK-36831] [SQL] Ondersteuning voor het lezen en schrijven van ANSI-intervallen van/naar CSV-gegevensbronnen.
  • [SPARK-36550] [SQL] Doorgifteoorzaak wanneer UDF-weerspiegeling mislukt
  • [SPARK-36866] [SQL] Pushdownfilters met ANSI-intervalwaarden naar Parquet
  • [SPARK-33832] [SQL] Vertekening van code voor scheeftrekken en verbetering afdwingen
  • [SPARK-36642] [SQL] df.withMetadata pyspark API toevoegen
  • [SPARK-35765] [SQL] Afzonderlijke aggs zijn niet dubbelgevoelig
  • [SPARK-36825] [SQL] Gegevensframes lezen/schrijven met ANSI-intervallen van/naar parquet-bestanden
  • [SPARK-36829] [SQL] Null-controle herstructureren voor collectionOperators
  • [SPARK-32712] [SQL] Ondersteuning voor het schrijven van hive-bucketed table (Hive-bestandsindelingen met Hive-hash)
  • [SPARK-36797] [SQL] Samenvoeging moet geneste kolommen oplossen als kolommen op het hoogste niveau
  • [SPARK-36838] [SQL] Door InSet gegenereerde codeprestaties verbeteren
  • [SPARK-36683] [SQL] Nieuwe ingebouwde SQL-functies toevoegen: SEC en CSC
  • [SPARK-36721] [SQL] Booleaanse ekwaliteiten vereenvoudigen als één zijde letterlijk is
  • [SPARK-36760] [SQL] Interface supportsPushDownV2Filters toevoegen
  • [SPARK-36652] [SQL] Dynamische joinselectie van AQE mag niet van toepassing zijn op niet-equi join
  • [SPARK-36745] [SQL] ExtractEquiJoinKeys moet de oorspronkelijke predicaten retourneren voor joinsleutels
  • [SPARK-36107] [SQL] De eerste set queryuitvoeringsfouten herstructureren om foutklassen te gebruiken
  • [SPARK-32709] [SQL] Ondersteuning voor het schrijven van hive-tabel met buckets (Parquet/ORC-indeling met Hive-hash)
  • [SPARK-36735] [SQL] Overhead van de relationele cache aanpassen voor DPP
  • [SPARK-33832] [SQL] Ondersteuning voor het optimaliseren van scheve join, zelfs als u extra shuffle introduceert
  • [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec moet alle voorwaarden gebruiken in plaats van niet-equi-voorwaarde
  • [SPARK-35221] [SQL] De controle van ondersteunde join-hints toevoegen
  • [SPARK-36814] [SQL] Klasse ColumnarBatch uitbreidbaar maken
  • [SPARK-36663] [SQL] Ondersteuning voor kolomnamen met alleen nummers in ORC-gegevensbronnen
  • [SPARK-36751] [SQL] [PYTHON] [R] Bit/octet_length API's toevoegen aan Scala, Python en R
  • [SPARK-36733] [SQL] Een prestatieprobleem in SchemaPruning oplossen wanneer een struct veel velden bevat
  • [SPARK-36724] [SQL] Ondersteuning timestamp_ntz als een type tijdkolom voor SessionWindow
  • [SPARK-36556] [SQL] DSV2-filters toevoegen
  • [SPARK-36687] [SQL] [CORE] Naam van foutklassen wijzigen met _ERROR achtervoegsel
  • [SPARK-35803] [SQL] Ondersteuning voor DataSource V2 CreateTempViewUsing
  • [SPARK-36642] [SQL] Voeg df.withMetadata toe: een syntaxis-suger om de metagegevens van een dataframe bij te werken

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 10.1.

Systeemomgeving

  • Besturingssysteem: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
Bleekmiddel 3.3.0 boto3 1.16.7 botocore 1.19.7
certifi 2020.12.5 Cffi 1.14.5 Chardet 4.0.0
cycler 0.10.0 Cython 0.29.23 dbus-python 1.2.16
Decorator 5.0.6 defusedxml 0.7.1 distlib 0.3.3
distro-info 0.23opgegeven1 invoerpunten 0,3 facets-overview 1.0.0
filelock 3.3.1 idna 2.10 ipykernel 5.3.4
Ipython 7.22.0 ipython-genutils 0.2.0 ipywidgets 7.6.3
Jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.7.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 koala's 1.8.2 MarkupSafe 2.0.1
matplotlib 3.4.2 mistune 0.8.4 nbclient 0.5.3
nbconvert 6.0.7 nbformat 5.1.3 nest-asyncio 1.5.1
notebook 6.3.0 Numpy 1.19.2 Verpakking 20.9
Pandas 1.2.4 pandocfilters 1.4.3 parso 0.7.0
Patsy 0.5.1 Pexpect 4.8.0 pickleshare 0.7.5
Kussen 8.2.0 Pip 21.0.1 plotly 5.3.0
prometheus-client 0.10.1 prompt-toolkit 3.0.17 protobuf 3.17.2
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow 4.0.0
pycparser 2,20 Pygments 2.8.1 Pygobject 3.36.0
Pyparsing 2.4.7 pyrsistent 0.17.3 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 Scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 Setuptools 52.0.0 Zes 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 Vasthoudendheid 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
Tornado 6.1 traitlets 5.0.5 upgrades zonder toezicht 0,1
urllib3 1.25.11 Virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 Wiel 0.36.2 widgetsnbextension 3.5.1

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2021-10-26.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Askpass 1.1 assertthat 0.2.1 Backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 opstarten 1.3-28
Brouwsel 1.0-6 Brio 1.1.2 Bezem 0.7.9
bslib 0.3.1 cachem 1.0.6 beller 3.7.0
caret 6.0-90 cellranger 1.1.0 Chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 Codetools 0.2-18 Colorspace 2.0-2
commonmark 1,7 Compiler 4.1.1 configuratie 0.3.1
cpp11 0.4.0 Crayon 1.4.1 aanmeldingsgegevens 1.3.1
curl 4.3.2 data.table 1.14.2 gegevenssets 4.1.1
DBI 1.1.1 dbplyr 2.1.1 Desc 1.4.0
Devtools 2.4.2 diffobj 0.3.5 Digest 0.6.28
dplyr 1.0.7 dtplyr 1.1.0 e1071 1.7-9
ellipsis 0.3.2 evaluate 0,14 fansi 0.5.0
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 Buitenlandse 0.8-81
Forge 0.2.0 Fs 1.5.0 Toekomst 1.22.1
future.apply 1.8.1 Gorgelen 1.2.0 Generics 0.1.1
Gert 1.4.1 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-2 Globals 0.14.0
Lijm 1.4.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 0.2.2 afbeeldingen 4.1.1 grDevices 4.1.1
Raster 4.1.1 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 haven 2.4.3 highr 0,9
Hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.3 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 Ini 0.3.1
Ipred 0.9-12 isoband 0.2.5 Iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.2 Kernsmooth 2.23-20
breiwerk 1.36 Labeling 0.4.2 Later 1.3.0
Lattice 0.20-45 lava 1.6.10 levenscyclus 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
Markdown 1.1 MASS 7.3-54 Matrix 1.3-4
memoise 2.0.0 methoden 4.1.1 Mgcv 1.8-38
Mime 0,12 ModelMetrics 1.2.2.2 modeller 0.1.8
munsell 0.5.0 Nlme 3.1-152 Nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.5 parallel 4.1.1
parallel 1.28.1 Pijler 1.6.4 pkgbuild 1.2.0
Pkgconfig 2.0.3 pkgload 1.2.3 plogr 0.2.0
plyr 1.8.6 Lof 1.0.0 prettyunits 1.1.1
Proc 1.18.0 processx 3.5.2 prodlim 2019.11.13
Voortgang 1.2.2 progressr 0.9.0 Beloften 1.2.0.1
Proto 1.0.0 Proxy 0.4-26 ps 1.6.0
Purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
Rcolorbrewer 1.1-2 Rcpp 1.0.7 leesbewerking 2.0.2
readxl 1.3.1 recepten 0.1.17 Rematch 1.0.1
opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.1 reprex 2.0.1
hervorm2 1.4.4 rlang 0.4.12 rmarkdown 2,11
RODBC 1.3-19 roxygen2 7.1.2 Rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.2
Sass 0.4.0 Schalen 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 Vorm 1.4.6 Glanzende 1.7.1
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
Ruimtelijke 7.3-11 Splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 Stats 4.1.1 stats4 4.1.1
stringi 1.7.5 stringr 1.4.0 Overleving 3.2-13
sys 3.4 Tcltk 4.1.1 TeachingDemos 2.10
testthat 3.1.0 tibble 3.1.5 tidyr 1.1.4
tidyselect 1.1.1 tidyverse 1.3.1 Timedate 3043.102
tinytex 0.34 tools 4.1.1 tzdb 0.1.2
usethis 2.1.2 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
Vroom 1.5.5 Waldo 0.3.1 whisker 0,4
withr 2.4.2 xfun 0.27 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 Yaml 2.2.1
Zip 2.2.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.cafeïne Cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.netje.netlib Arpack 1.3.2
dev.netje.netlib Blas 1.3.2
dev.netje.netlib Lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.2.0
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrische gegevensgrafiet 4.1.1
io.dropwizard.metrics metrische statuscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collector 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.annotatie javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extra's 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pijlvector 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-codering 1.12.0-databricks-0003
org.apache.parquet parquet-format-structuren 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-gearceerd 4.20
org.apache.yetus aantekeningen voor doelgroepen 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-vervolg 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Ongebruikte 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel katten-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1