Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of mappen te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen om mappen te wijzigen.
Notitie
Deze Databricks Runtime-versie heeft het einde van de levensduur bereikt en is niet meer beschikbaar. Zie End-of-Support en end-of-life history voor einddatums. Zie de ondersteuningslevenscycli van Databricks Runtime voor informatie over het ondersteuningsbeleid en de planning van Databricks.
Databricks heeft deze versie uitgebracht in november 2020.
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 7.4, mogelijk gemaakt door Apache Spark 3.0.
Nieuwe functies
In deze sectie:
- Delta Lake-functies en -verbeteringen
- Automatisch laden biedt nu ondersteuning voor het delegeren van installatie van bestandsmeldingsbronnen aan beheerders
-
Met nieuwe
USAGEbevoegdheden hebben beheerders meer controle over bevoegdheden voor gegevenstoegang - DBFS FUSE nu ingeschakeld voor clusters met passthrough
Delta Lake-functies en -verbeteringen
Deze release biedt de volgende Delta Lake-functies en -verbeteringen:
- Met de nieuwe API kan Delta Lake controleren of gegevens die aan een tabel zijn toegevoegd, voldoen aan beperkingen
- Met de nieuwe API kunt u een Delta-tabel terugdraaien naar een oudere versie van de tabel
- Nieuwe beginversie staat alleen de meest recente wijzigingen in een Delta Lake-streamingbron toe
-
Verbeterde stabiliteit van
OPTIMIZE
Met de nieuwe API kan Delta Lake controleren of gegevens die aan een tabel zijn toegevoegd, voldoen aan beperkingen
Delta Lake ondersteunt CHECK nu beperkingen. Wanneer dit is opgegeven, controleert Delta Lake automatisch of de gegevens die aan een tabel zijn toegevoegd, voldoen aan de opgegeven expressie.
Gebruik de CHECK opdracht om beperkingen toe te voegenALTER TABLE ADD CONSTRAINTS. Zie Beperkingen voor Azure Databricks voor meer informatie.
Met de nieuwe API kunt u een Delta-tabel terugdraaien naar een oudere versie van de tabel
U kunt uw Delta-tabellen nu terugdraaien naar oudere versies met behulp van de RESTORE opdracht:
SQL
RESTORE <table> TO VERSION AS OF n;
RESTORE <table> TO TIMESTAMP AS OF 'yyyy-MM-dd HH:mm:ss';
Python
from delta.tables import DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp('yyyy-MM-dd')
Scala
import io.delta.tables.DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp("yyyy-MM-dd")
RESTORE maakt een nieuwe commit die alle wijzigingen in uw tabel terugdraait sinds de versie die u wilt herstellen. Alle bestaande gegevens en metagegevens worden hersteld, waaronder het schema, beperkingen, streamingtransactie-id's, COPY INTO metagegevens en de versie van het tabelprotocol. Zie Een Delta-tabel herstellen voor meer informatie.
Nieuwe beginversie staat alleen de meest recente wijzigingen in een Delta Lake-streamingbron toe
Als u alleen de meest recente wijzigingen wilt retourneren, geeft u op startingVersion als latest. Zie Beginpositie opgeven voor meer informatie.
Verbeterde stabiliteit van OPTIMIZE
OPTIMIZE (zonder partitiepredicaten) kan worden geschaald naar uitvoering op tabellen met tientallen miljoenen kleine bestanden. Voorheen kon het Apache Spark-stuurprogramma onvoldoende geheugen hebben en OPTIMIZE zou het niet voltooien.
OPTIMIZE verwerkt nu zeer grote tabellen met tientallen miljoenen bestanden.
Automatisch laden biedt nu ondersteuning voor het delegeren van de configuratie van bestandsmeldingsresources aan beheerders.
Met een nieuwe Scala-API kunnen beheerders bronnen voor bestandsmeldingen instellen voor Automatisch laden. Data engineers kunnen nu hun AutoLoader-streams gebruiken met minder machtigingen door de eerste resource-instelling te delegeren aan hun beheerders. Zie Bronnen voor bestandsmeldingen handmatig configureren of beheren.
Met nieuwe USAGE bevoegdheden hebben beheerders meer controle over bevoegdheden voor gegevenstoegang
Als u een actie wilt uitvoeren op een object in een database, moet u nu de USAGE bevoegdheid voor die database krijgen, naast de bevoegdheden die nodig zijn om de actie uit te voeren. De USAGE bevoegdheid wordt verleend voor een database of een catalogus. Met de introductie van de USAGE bevoegdheid kan een eigenaar van een tabel niet langer eenzijdig besluiten om deze te delen met een andere gebruiker. De gebruiker moet ook de USAGE bevoegdheid hebben voor de database die de tabel bevat.
In werkruimten waarvoor toegangsbeheer voor tabellen is ingeschakeld, heeft de users groep automatisch de USAGE bevoegdheid voor de root CATALOG.
Zie USAGE bevoegdheid voor meer informatie.
DBFS FUSE nu ingeschakeld voor clusters met passthrough
U kunt nu lezen en schrijven vanuit DBFS met behulp van de FUSE-koppeling op /dbfs/ wanneer u een cluster met hoge gelijktijdigheid gebruikt dat is ingeschakeld voor referentiepassthrough. Reguliere montages worden ondersteund. Koppelingen waarvoor passthrough-referenties zijn vereist, worden niet ondersteund.
Verbeteringen
Spark SQL ondersteunt IFF en CHARINDEX als synoniemen voor IF en POSITION
In Databricks Runtime IF() is een synoniem voor CASE WHEN <cond> THEN <expr1> ELSE <expr2> END
Databricks Runtime ondersteunt IFF() nu als synoniem voor IF()
SELECT IFF(c1 = 1, 'Hello', 'World'), c1 FROM (VALUES (1), (2)) AS T(c1)
=> (Hello, 1)
(World, 2)
CHARINDEX is een alternatieve naam voor de POSITION functie.
CHARINDEX zoekt de positie van het eerste exemplaar van een tekenreeks in een andere tekenreeks met een optionele startindex.
VALUES(CHARINDEX('he', 'hello from hell', 2))
=> 12
Meerdere uitvoer per cel zijn standaard ingeschakeld voor Python-notebooks
Databricks Runtime 7.1 heeft ondersteuning geïntroduceerd voor meerdere uitvoer per cel in Python-notebooks (en %python-cellen in niet-Python-notebooks), maar u moest de functie voor uw notebook inschakelen. Deze functie is standaard ingeschakeld in Databricks Runtime 7.4. Zie Meerdere uitvoer per cel weergeven.
Verbeteringen voor automatisch aanvullen voor Python-notebooks
Automatisch aanvullen voor Python toont aanvullende typegegevens die zijn gegenereerd op basis van statische analyse van de code met behulp van de Jedi-bibliotheek. U kunt op de Tab-toets drukken om een lijst met opties weer te geven.
Verbeterde display ML-vectoren van Spark in de preview van de Spark DataFrame
De display notatie toont nu labels voor vectortype (sparse of dicht), lengte, indexen (voor sparse vectoren) en waarden.
Andere oplossingen
- Er is een probleem met pickling verholpen in
collections.namedtuplenotebooks. - Er is een probleem opgelost met het kiezen van interactief gedefinieerde klassen en methoden.
- Er is een fout opgelost waardoor oproepen naar
mlflow.start_run()mislukten op de passthrough of clusters die zijn ingeschakeld voor toegangscontrole voor tabellen.
Bibliotheekupgrades
- Bijgewerkte Python-bibliotheken:
- jedi heeft een upgrade uitgevoerd van 0.14.1 naar 0.17.2.
- koalas bijgewerkt van 1.2.0 naar 1.3.0.
- parso bijgewerkt van 0.5.2 naar 0.7.0.
- Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.
Apache Spark
Databricks Runtime 7.4 bevat Apache Spark 3.0.1. Deze release bevat alle Spark-fixes en verbeteringen die zijn opgenomen in Databricks Runtime 7.3 LTS (EoL) en de volgende aanvullende bugfixes en verbeteringen in Spark:
- [SPARK-33170] [SQL] SQL-configuratie toevoegen om het gedrag van snel mislukken in FileFormatWriter te beheren
- [SPARK-33136] [SQL] Herstel van per ongeluk gewisselde parameter in V2WriteCommand.outputResolved
- [SPARK-33134] [SQL] Gedeeltelijke resultaten alleen retourneren voor hoofd-JSON-objecten
- [SPARK-33038] [SQL] AQE-eerste en huidige abonnement combineren...
- [SPARK-33118] [SQL] AANMAKEN VAN EEN TIJDELIJKE TABLE mislukt met locatie
- [SPARK-33101] [ML] Laat het LibSVM-formaat de Hadoop-configuratie vanuit datasetopties doorgeven naar het onderliggende HDFS-bestandssysteem
- [SPARK-33035] [SQL] Hiermee worden de verouderde vermeldingen van kenmerktoewijzing bijgewerkt in QueryPlan#transformUpWithNewOutput
- [SPARK-33091] [SQL] Vermijd het gebruik van map in plaats van foreach om mogelijke neveneffecten bij de aanroepers van OrcUtils.readCatalystSchema te voorkomen.
- [SPARK-33073] [PYTHON] Foutafhandeling van Pandas naar Arrow-conversiefouten verbeteren
- [SPARK-33043] [ML] Behandel spark.driver.maxResultSize=0 in RowMatrix heuristische berekening
- [SPARK-29358] [SQL] Als unionByName optioneel ontbrekende kolommen doorvoeren met null-waarden
- [SPARK-32996] [WEB-UI] Lege ExecutorMetrics afhandelen in ExecutorMetricsJsonSerializer
- [SPARK-32585] [SQL] Scala-inventarisatie in ScalaReflection ondersteunen
- [SPARK-33019] [CORE] Spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1 standaard gebruiken
- [SPARK-33018] [SQL] Probleem met schattingsstatistieken oplossen als kind 0 bytes heeft
- [SPARK-32901] [CORE] Niet geheugen toewijzen tijdens het spillen van UnsafeExternalSorter
- [SPARK-33015] [SQL] MillisToDays() gebruiken in de regel ComputeCurrentTime
- [SPARK-33015] [SQL] De huidige datum slechts één keer berekenen
- [SPARK-32999] [SQL] Gebruik Utils.getSimpleName om te voorkomen dat u een ongeldige klassenaam in TreeNode raakt
- [SPARK-32659] [SQL] Broadcast Array in plaats van Set in InSubqueryExec
- [SPARK-32718] [SQL] Overbodige trefwoorden voor intervaleenheden verwijderen
- [SPARK-32886] [WEBUI] fix link met status 'niet gedefinieerd' in gebeurtenistijdlijn.
- [SPARK-32898] [CORE] Foute executorRunTime oplossen wanneer de taak is gedood voordat de echte start is gestart
- [SPARK-32635] [SQL] Een nieuwe testcase toevoegen in de katalysatormodule
- [SPARK-32930] [CORE] Afgeschafte isFile-/isDirectory-methoden vervangen
- [SPARK-32906] [SQL] Struct-veldnamen mogen niet veranderen na het normaliseren van floats
- [SPARK-24994] [SQL] UnwrapCastInBinaryComparison optimizer toevoegen om integrale letterlijke gegevens te vereenvoudigen
- [SPARK-32635] [SQL] Corrigeren van berekenbare propagatie
-
[SPARK-32738] [CORE] Verminder het aantal actieve threads als er een fatale fout optreedt in
Inbox.process - [SPARK-32900] [CORE] UnsafeExternalSorter toestaan om te spillen wanneer er null-waarden zijn
- [SPARK-32897] [PYTHON] Er wordt geen afschaffingswaarschuwing weergegeven bij SparkSession.builder.getOrCreate
- [SPARK-32715] [CORE] Geheugenlek oplossen wanneer delen van broadcast niet kunnen worden opgeslagen
- [SPARK-32715] [CORE] Geheugenlek oplossen wanneer delen van broadcast niet kunnen worden opgeslagen
- [SPARK-32872] [CORE] Voorkomen dat BytesToBytesMap op MAX_CAPACITY de groeidrempel overschrijdt
- [SPARK-32876] [SQL] Standaard terugvalversies aanpassen naar 3.0.1 en 2.4.7 in HiveExternalCatalogVersionsSuite
- [SPARK-32840] [SQL] Ongeldige intervalwaarden kunnen per ongeluk aan de eenheid vastzitten.
- [SPARK-32819] [SQL] parameter ignoreNullability moet recursief zijn
- [SPARK-32832] [SS] Gebruik CaseInsensitiveMap voor DataStreamReader/Writer-opties
- [SPARK-32794] [SS] Probleem met zeldzaam randgeval in micro-batch engine opgelost met enkele stateful query's + no-data-batches + V1-bronnen
- [SPARK-32813] [SQL] Standaardconfiguratie van ParquetSource vectorized reader ophalen bij afwezigheid van een actieve SparkSession
- [SPARK-32823] [web-UI] De rapportage van de master UI-resources herstellen
- [SPARK-32824] [CORE] Het foutbericht verbeteren wanneer de gebruiker de .amount in een resourceconfiguratie vergeet
- [SPARK-32614] [SQL] Pas geen verwerking van opmerkingen toe als 'opmerking' niet is uitgeschakeld voor CSV
- [SPARK-32638] [SQL] Corrigeert verwijzingen bij het toevoegen van aliassen in WidenSetOperationTypes
- [SPARK-32810] [SQL] CSV-/JSON-gegevensbronnen moeten paden door globbing vermijden bij het afleiden van het schema
- [SPARK-32815] [ML] Fout bij het laden van libSVM-gegevensbronnen in bestandspaden met glob-metacharacters oplossen
- [SPARK-32753] [SQL] Alleen tags kopiëren naar knooppunt zonder tags
- [SPARK-32785] [SQL] Interval met zwevende delen mag niet null opleveren
- [SPARK-32764] [SQL] -0.0 moet gelijk zijn aan 0,0
- [SPARK-32810] [SQL] CSV-/JSON-gegevensbronnen moeten globbing van paden voorkomen bij het afleiden van het schema
- [SPARK-32779] [SQL] Vermijd het gebruik van gesynchroniseerde API van SessionCatalog in withClient-stroom. Dit leidt tot DeadLock
- [SPARK-32791] [SQL] Metrische gegevens van niet-gepartitioneerde tabellen mogen geen dynamische tijd voor het verwijderen van partities hebben
- [SPARK-32767] [SQL] Bucket join moet werken als spark.sql.shuffle.partitions groter is dan bucketnummer
- [SPARK-32788] [SQL] Niet-gepartitioneerde tabelscan mag geen partitiefilter hebben
- [SPARK-32776] [SS] Limiet in streaming mag niet worden weg-geoptimaliseerd door PropagateEmptyRelation.
- [SPARK-32624] [SQL] Regressie oplossen in CodegenContext.addReferenceObj op geneste Scala-types
- [SPARK-32659] [SQL] Test verbeteren voor het verwijderen van DPP op niet-atomisch type
- Het thread-safe maken van BytesToBytesMap-iteratoren
- [SPARK-32693] [SQL] Twee dataframes vergelijken met hetzelfde schema, behalve de eigenschap nullable
- [SPARK-28612] [SQL] Corrigeer methodebeschrijving van DataFrameWriterV2.replace()
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 7.4.
Systeemomgeving
- Besturingssysteem: Ubuntu 18.04.5 LTS
- Java: Zulu 8.48.0.53-CA-linux64 (build 1.8.0_265-b11)
- Scala: 2.12.10
- Python: 3.7.5
- R: R versie 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
Geïnstalleerde Python-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | terugroepactie | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certificaat | 2020.6.20 | cffi | 1.14.0 |
| chardet | 3.0.4 | cryptografie | 2.8 | wielrijder | 0.10.0 |
| Cython | 0.29.15 | decorateur | 4.4.1 | docutils | 0.15.2 |
| invoerpunten | 0,3 | IDNA | 2.8 | ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils | 0.2.0 | Jedi | 0.17.2 |
| jmespath | 0.10.0 | joblib | 0.14.1 | jupyter-client (softwarepakket voor Jupyter-notebooks) | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | koalas | 1.3.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | Pandas | 1.0.1 |
| parso | 0.7.0 | Patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | pip | 20.0.2 | prompt-hulpmiddelenpakket | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | Verzoeken | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | Scipy (een wetenschappelijke bibliotheek voor Python) | 1.4.1 | geboren op zee | 0.10.0 |
| setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) | 45.2.0 | Zes | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | tornado | 6.0.3 | Traitlets (Python library voor het configureren van Python-objecten) | 4.3.3 |
| upgrades zonder toezicht | 0,1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | wiel | 0.34.2 |
Geïnstalleerde R-bibliotheken
R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-snapshot op XXXX-XX-XX.
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| wachtwoord vragen | 1.1 | verzeker dat | 0.2.1 | terugimporten | 1.1.8 |
| basis | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| beetje | 1.1-15.2 | 64-bitsysteem | 0.9-7 | Druppel | 1.2.1 |
| opstarten | 1.3-25 | brouwsel | 1.0-6 | bezem | 0.7.0 |
| beller | 3.4.3 | Caret | 6.0-86 | cellranger (softwaretool voor genetische analyse) | 1.1.0 |
| Chron | 2.3-55 | klasse | 7.3-17 | CLI | 2.0.2 |
| Clipr | 0.7.0 | groep | 2.1.0 | codetools | 0.2-16 |
| kleurenruimte | 1.4-1 | commonmark | 1,7 | programmacompileerder | 3.6.3 |
| configuratie | 0,3 | covr | 3.5.0 | kleurpotlood | 1.3.4 |
| Overspraak | 1.1.0.1 | curl | 4.3 | gegevenstabel | 1.12.8 |
| gegevenssets | 3.6.3 | DBI | 1.1.0 | dbplyr | 1.4.4 |
| Beschrijving | 1.2.0 | devtools | 2.3.0 | verwerken | 0.6.25 |
| dplyr (een R-pakket voor gegevensmanipulatie) | 0.8.5 | DT | 0,14 | beletselteken | 0.3.1 |
| beoordelen | 0,14 | fans | 0.4.1 | kleuren | 2.0.3 |
| snelle kaart | 1.0.1 | dwangarbeiders | 0.5.0 | foreach | 1.5.0 |
| buitenlands | 0.8-76 | smeden | 0.2.0 | fs | 1.4.2 |
| Generics | 0.0.2 | ggplot2 | 3.3.2 | Gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | globale variabelen | 0.12.5 |
| lijm | 1.4.1 | Gower | 0.2.2 | afbeeldingen | 3.6.3 |
| grDevices | 3.6.3 | netwerk | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | toevluchtsoord/schuilplaats | 2.3.1 |
| hoger | 0,8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.1 | httpuv | 1.5.4 | httr | 1.4.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| IPRED | 0.9-9 | isoband | 0.2.2 | Iterators | 1.0.12 |
| jsonlite | 1.7.0 | KernSmooth | 2.23-17 | knitr | 1,29 |
| etikettering | 0,3 | daarna | 1.1.0.1 | latwerk | 0.20-41 |
| lava | 1.6.7 | lazyeval | 0.2.2 | levenscyclus | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | Markdown | 1.1 |
| MASSA | 7.3-53 | Matrix | 1.2-18 | memoriseer | 1.1.0 |
| methoden | 3.6.3 | mgcv | 1.8-33 | Mime | 0,9 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.8 | munsell | 0.5.0 |
| nlme | 3.1-149 | nnet | 7.3-14 | numDeriv | 2016.8 tot 1.1 |
| OpenSSL-software | 1.4.2 | evenwijdig | 3.6.3 | pilaar | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | prijzen | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.16.2 | Processx | 3.4.3 |
| prodlim | 2019.11.13 | Voortgang | 1.2.2 | Beloften | 1.1.1 |
| Proto | 1.0.0 | P.S. | 1.3.3 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.4.1 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | readr | 1.3.1 | readxl (een programma voor het lezen van Excel-bestanden) | 1.3.1 |
| recepten | 0.1.13 | Rematch | 1.0.1 | opnieuw overeenkomen2 | 2.1.2 |
| Afstandsbedieningen | 2.1.1 | reprex (reproduceerbaar voorbeeld) | 0.3.0 | reshape2 | 1.4.4 |
| Rex | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.7 |
| rmarkdown | 2.3 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart (een R-pakket voor beslissingsboommodellering) | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.0 | rstudioapi | 0,11 | rversions | 2.0.2 |
| rvest (een softwarepakket voor webscraping) | 0.3.5 | weegschaal | 1.1.1 | Selectr | 0,4-2 |
| sessiegegevens | 1.1.1 | vorm | 1.4.4 | glanzend en nieuw | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.3.1 | SparkR | 3.0.0 |
| ruimtelijk | 7.3-11 | Splines | 3.6.3 | sqldf | 0.4-11 |
| SQUAREM | 2020.3 | Statistieken | 3.6.3 | statistieken4 | 3.6.3 |
| strings | 1.4.6 | stringr | 1.4.0 | survival | 3.2-7 |
| sys | 3.3 | tcltk | 3.6.3 | OnderwijsDemo's | 2.10 |
| testthat | 2.3.2 | tibble | 3.0.3 | tidyr | 1.1.0 |
| tidyselect | 1.1.0 | tidyverse | 1.3.0 | tijd en datum | 3043.102 |
| tinytex | 0,24 | gereedschappen | 3.6.3 | gebruik dit | 1.6.1 |
| utf8 | 1.1.4 | hulpmiddelen | 3.6.3 | UUID (Universally Unique Identifier) | 0.1-4 |
| vctrs | 0.3.1 | viridisLite | 0.3.0 | snor | 0,4 |
| verwelken | 2.2.0 | xfun | 0,15 | xml2 | 1.3.2 |
| xopen | 1.0.0 | xtable | 1.8-4 | YAML | 2.2.1 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)
| Groeps-id | Artefact-ID | Versie |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling (Amazon Web Services Java Software Development Kit voor automatisch schalen) | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config (configuratie) | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | AWS Java SDK Datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | AWS Java SDK - Elastic Load Balancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier (AWS Java SDK Glacier) | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | AWS Java SDK Import/Export | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logbestanden | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-MachineLearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway (een Java software development kit voor het beheren van opslaggateways in AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-ondersteuning | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-bibliotheken | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stroom | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-gearceerd | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | klasgenoot | 1.3.4 |
| com.fasterxml.jackson.core | Jackson-annotaties | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | cafeïne | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | kern | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_systeem-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native systeem voor Linux x86_64, inclusief natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson (een Java-bibliotheek voor het converteren van Java-objecten naar JSON en vice versa) | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guave | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profielmaker | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.UITGAVE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | Azure-Data-Lake-Store-SDK | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.ning | compress-lzf (een compressie-algoritme) | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-functie_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuratie | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.0 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| gemeenschappelijke collecties | gemeenschappelijke collecties | 3.2.2 |
| commons-configuratie | commons-configuratie | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| bestandsupload van commons | bestandsupload van commons | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| gemeenschappelijke-logboekvoorziening | gemeenschappelijke-logboekvoorziening | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool (gemeenschappelijke pool) | commons-pool (gemeenschappelijke pool) | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | luchtdrukmachine | 0.10 |
| io.dropwizard.metrics | metrische gegevenskern | 4.1.1 |
| io.dropwizard.metrics | graphite-metriek | 4.1.1 |
| io.dropwizard.metrics | metrische gezondheidscontroles | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 (een Jetty-implementatie voor het meten van prestatie-indicatoren) | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json (metrische gegevens in JSON-formaat) | 4.1.1 |
| io.dropwizard.metrics | metriekgegevens voor JVM | 4.1.1 |
| io.dropwizard.metrics | metrieke gegevens-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| jakarta.annotatie | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activering | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transactie-API | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| Javolution | Javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | Pyroliet | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-CSV | 2.2.0 |
| net.sneeuwvlok | snowflake-ingest-sdk | 0.9.6 |
| net.sneeuwvlok | snowflake-jdbc | 3.12.8 |
| net.sneeuwvlok | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | tekenreekstemplate | 3.2.1 |
| org.apache.ant | mier | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher (startprogramma voor Ant) | 1.9.2 |
| org.apache.arrow | pijlnotatie | 0.15.1 |
| org.apache.arrow | pijlgeheugen | 0.15.1 |
| org.apache.arrow | pijlvector | 0.15.1 |
| org.apache.avro | AVRO | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress - een bibliotheek voor compressie | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-tekst | 1.6 |
| org.apache.curator | beheerder-cliënt | 2.7.1 |
| org.apache.curator | curatorraamwerk | 2.7.1 |
| org.apache.curator | curator-recepten | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-aantekeningen | 2.7.4 |
| org.apache.hadoop | hadoop-authenticatie | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | Hadoop-HDFS (Hadoop Distributed File System) | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common (gebruikelijk in softwareterminologie) | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core (kernmodule van hadoop-mapreduce-client) | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common (hadoop-yarn-server-algemeen) | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore (metadata opslag voor Hive) | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-opslag-API | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common (if no translation is needed for understanding, the original can be kept as is) | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubatie |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | klimop | 2.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | orc-shims | 1.5.10 |
| org.apache.parquet | parquet-kolom | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | parquet-codering | 1.10.1-databricks6 |
| org.apache.parquet | parquet-indeling | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | snelheid | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | annotaties voor specifieke doelgroepen | 0.5.0 |
| org.apache.zookeeper | dierentuinverzorger | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-ASL | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | algemene compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-vervolg | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | Jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy (een omgekeerde proxy server gebaseerd op Jetty) | 9.4.18.v20190429 |
| org.eclipse.jetty | Jetty-beveiliging | 9.4.18.v20190429 |
| org.eclipse.jetty | Jetty Server | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-lokalisator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-hulpbronnenzoeker | 1.0.3 |
| org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | Algemene Jersey | 2.30 |
| org.glassfish.jersey.core | Jersey-Server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | vulplaatjes | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | ongebruikt | 1.0.0 |
| org.springframework | kern van Spring | 4.1.4.RELEASE |
| org.springframework | lente-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | katten-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |