Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of mappen te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen om mappen te wijzigen.
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 9.1 LTS en Databricks Runtime 9.1 LTS Photon, mogelijk gemaakt door Apache Spark 3.1.2. Databricks heeft deze versie uitgebracht in september 2021. Photon bevindt zich in openbare preview.
Opmerking
LTS betekent dat deze versie op lange termijn wordt ondersteund. Zie de levenscyclus van de Databricks Runtime LTS-versie.
Nieuwe functies en verbeteringen
- Schemahints voor automatisch laden werken nu met matrix- en kaarttypen
- Avro-bestandsondersteuning voor samenvoegingsschema
- Auto Loader ondersteuning voor incrementele lijstopstelling (publieke preview)
- Delta ondersteunt nu willekeurige replaceWhere
- Auto Loader voor Google Cloud ondersteunt nu bestandsmeldingen (openbare preview)
- CREATE FUNCTION biedt nu ondersteuning voor het maken van tabelfuncties
-
Kafka Streaming Source rapporteert
estimatedTotalBytesBehindLatestnu metrische gegevens - Voor structs binnen arrays worden structvelden door Delta MERGE INTO nu op naam opgelost en evolueren structschema's.
Schemahints voor automatisch laden werken nu met matrix- en kaarttypen
Matrix- en kaarttypen worden ondersteund in overschrijven van schema-inferentie met schemahints voor Auto Loader.
Voorbeelden van schemahints voor matrices zijn:
-
arr Array<TYPE>wijzigt het matrixtype. -
arr.element TYPEwijzigt het matrixtype (met behulp van hetelementtrefwoord). -
arr.element.x TYPEwijzigt een genest veldtype binnen een array met structuren.
De eerste twee voorbeelden geven aanwijzingen om het type array arr naar TYPE te wijzigen, maar ze gebruiken verschillende syntaxis. In het derde voorbeeld arr is een matrix van structuren met een veld x. In dit voorbeeld ziet u hoe u het type wijzigt x in TYPE.
Voorbeelden van schemahints voor kaarten zijn:
-
m Map<KEY-TYPE, VALUE-TYPE>wijzigt de kaartsleutel en waardetypen. -
m.key TYPEwijzigt het type kaartsleutels. -
m.value TYPEwijzigt het type kaartwaarden. -
m.key.x TYPEwijzigt het veldtype in een kaartsleutel. -
m.value.x TYPEwijzigt het veldtype van een kaartwaarde.
In het eerste voorbeeld worden zowel de sleutel- als waardetypen van de map m gewijzigd in KEY_TYPE en VALUE_TYPE resp. De tweede en derde voorbeelden kunnen worden gebruikt als alleen het sleuteltype of alleen het waardetype moet worden gewijzigd. In de vierde en vijfde voorbeelden m is een kaart met sleutel en waarde van structuurtypen met een veld x. In dit voorbeeld ziet u hoe u het type wijzigt x in TYPE.
Avro-bestandsondersteuning voor samenvoegingsschema
De Avro-bestandsindeling ondersteunt nu de mergeSchema-optie bij het lezen van bestanden. Als de instelling mergeSchema waar is bij het lezen van Avro-bestanden, wordt een schema afgeleid uit een set Avro-bestanden in plaats van uit één bestand. Dit verbetert de bruikbaarheid door een schema uit te stellen dat mogelijk alle bestanden kan lezen, zelfs als hun afzonderlijke schema's verschillen. Zie Configuratie.
Ondersteuning voor incrementele oplijsting in Auto Loader (openbare preview)
In het geval van lexicografische gegenereerde bestanden, wat is Auto Loader? maakt nu gebruik van lexicale bestandsvolgorde en bestaande geoptimaliseerde API's om de directory-vermelding efficiënter te maken door vermelding van eerder opgenomen bestanden in plaats van door de hele map weer te geven. Automatisch laden detecteert automatisch of een bepaalde map standaard geschikt is voor incrementele vermeldingen. Als u dit gedrag expliciet wilt beheren, stelt u de nieuwe cloudFiles.useIncrementalListing optie in op (true), uit (false) of automatisch (auto). Als u dit gedrag instelt op true, kunt u ook de cloudFiles.backfillInterval-optie instellen om regelmatige backfills over uw gegevens te plannen, om ervoor te zorgen dat al uw gegevens volledig zijn opgenomen.
Delta ondersteunt nu willekeurige replaceWhere
In combinatie met de overschrijfmodus kan de replaceWhere optie worden gebruikt om gegevens tegelijk te overschrijven die overeenkomen met een predicaat dat in de optie is gedefinieerd. Voorheen ondersteunde replaceWhere alleen een voorwaarde voor partitiekolommen, maar het kan nu een willekeurige expressie zijn. Zie Schrijven naar een tabel.
Auto Loader voor Google Cloud ondersteunt nu bestandsmeldingen (openbare preview)
Auto Loader ondersteunt nu de modus voor bestandsmeldingen in Google Cloud. Stel .option("cloudFiles.useNotifications", "true") in zodat Auto Loader automatisch Google Cloud Pub/Sub-resources voor u kan instellen. Met de modus voor bestandsmeldingen worden nieuwe bestanden gedetecteerd en opgenomen wanneer ze binnenkomen zonder de invoermap weer te geven. Zie Automatische laadstroom configureren in de meldingsmodus voor bestanden.
CREATE FUNCTION biedt nu ondersteuning voor het maken van tabelfuncties
Naast het maken van een scalaire functie die een scalaire waarde retourneert, kunt u nu een tabelfunctie maken die een set rijen retourneert. Zie CREATE FUNCTION(SQL en Python).
Kafka Streaming Source rapporteert nu estimatedTotalBytesBehindLatest metriek
Kafka-streamingbron rapporteert nu een schatting van het aantal bytes dat achterloopt op de laatst beschikbare byte na elke batch. U kunt deze metrische waarde gebruiken om de voortgang van de stream bij te houden. Zie Kafka-metrieken ophalen.
Voorbeeld van metrische uitvoer:
StreamingQueryProgress {
"batchId": 0,
.....
"sources": [ {
"description" : "KafkaV2[Subscribe[topic-0]]",
"metrics":{
"avgOffsetsBehindLatest" : "1.0",
"estimatedTotalBytesBehindLatest" : "80.0", // new
"maxOffsetsBehindLatest" : "1",
"minOffsetsBehindLatest" : "1"
} ],
....
}
Voor structs in arrays worden met Delta MERGE INTO structvelden nu op naam opgelost en structschema's geëvolueerd.
Delta MERGE INTO ondersteunt nu de resolutie van structvelden op naam en automatische schemaontwikkeling voor matrices van structs. Wanneer automatische schema-evolutie is ingeschakeld door spark.databricks.delta.schema.autoMerge.enabled op waar te zetten, zullen UPDATE en INSERT clausules struct-velden binnen een array op naam oplossen, converteren naar het overeenkomstige gegevenstype dat is gedefinieerd in de doelarray en aanvullende of ontbrekende velden in de bron of het doel aanvullen met null-waarden. Wanneer automatische schema-evolutie is uitgeschakeld, zullen de UPDATE- en INSERT-uitspraken structvelden in een array op naam oplossen, maar zullen niet in staat zijn de aanvullende velden automatisch te evolueren. Zie Tabelschema bijwerken.
Fouten opgelost
- Er is een geheugenlek opgelost in de Amazon S3-connector die kan optreden in langlopende taken of services, die zijn veroorzaakt door de JVM-functionaliteit
DeleteOnExit.
Bibliotheekverbeteringen
- Bijgewerkte Python-bibliotheken:
- plotly van 4.14.3 naar 5.1.0
- Bijgewerkte R-bibliotheken:
- basis van 4.1.0 tot 4.1.1
- bslib van 0.2.5.1 tot 0.3.0
- cachem van 1.0.5 tot 1.0.6
- compiler van 4.1.0 tot 4.1.1
- gegevenssets van 4.1.0 tot 4.1.1
- toekomst van 1.21.0 tot 1.22.1
- bijgewerkt van 1.3.1 naar 1.3.2
- afbeeldingen van 4.1.0 tot 4.1.1
- grDevices van 4.1.0 tot 4.1.1.1
- grid van 4.1.0 tot 4.1.1
- Bijgewerkte Java-bibliotheken:
- org.eclipse.jetty van 9.4.36.v20210114 tot 9.4.42.v20210604
Apache Spark
Databricks Runtime 9.1 LTS bevat Apache Spark 3.1.2. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 9.0 (EoL) en de volgende aanvullende bugfixes en verbeteringen in Spark:
- [SPARK-36674][SQL][CHERRY-PICK] Ondersteuning van ILIKE - niet hoofdlettergevoelig LIKE
- [SPARK-36353][SQL][3.1] RemoveNoopOperators moet het uitvoerschema behouden
- [SPARK-35876][SQL][3.1] ArraysZip moet veldnamen behouden om te voorkomen dat ze opnieuw worden geschreven door analyzer/optimizer
- [SPARK-36398][SQL] Gevoelige informatie redact in Spark Thrift Server-logboek
- [SPARK-36498][SQL] Reorganiseer de innerlijke velden van de invoerquery volgens byName V2
- [SPARK-36614][CORE][UI] Correcte reden voor verlies van uitvoerder veroorzaakt door decommissionering in de gebruikersinterface
- [SPARK-36012][SQL] Null-vlag toevoegen in SHOW CREATE TABLE
- [SPARK-36509][CORE] Los het probleem op dat executors nooit opnieuw worden gepland als de worker stopt in een zelfstandig cluster
- Gebruik WeakReference in plaats van SoftReference in LevelDB
- [SPARK-36564][CORE] NullPointerException in LiveRDDDistribution.toApi verhelpen
- [SPARK-36086][SQL][3.1] De alias CollapseProject project replace moet de oorspronkelijke kolomnaam gebruiken
- [SPARK-33527][SQL] De functie van decoderen uitbreiden, zodat deze consistent is met basisdatabases
- [SPARK-36400][SPARK-36398][SQL][WEBUI] ThriftServer herkennen spark.sql.redaction.string.regex
- [SPARK-34054][CORE] BlockManagerDecommissioner-code opschonen
- [SPARK-36500][CORE] Verhelp temp_shuffle bestandslek bij het onderbreken van een taak
- [SPARK-36489][SQL] Statistische functies zonder groeperingssleutels, op tabellen met één bucket, retourneren meerdere rijen
- [SPARK-36464][CORE] Initialisatie van onderliggende groottevariabelen in ChunkedByteBufferOutputStream opgelost voor het schrijven van meer dan 2 GB gegevens
- [SPARK-36339][SQL][3.0] Verwijzingen naar groepering die geen deel van de aggregatie moeten worden vervangen
- [SPARK-36354][CORE] EventLogFileReader mag roljende logboekmappen zonder logboeken overslaan
- [SPARK-36242][CORE][3.1] Zorg ervoor dat het 'spill'-bestand is gesloten voordat 'success' wordt ingesteld op 'true' in de methode ExternalSorter.spillMemoryIteratorToDisk
-
[SPARK-36211][PYTHON] Correcte typering van
udfterugkeerwaarde - [SPARK-34222][SQL] Booleaanse vereenvoudigingsregel verbeteren
- [SPARK-35027][CORE] Sluit de inputStream in FileAppender af tijdens het schrijven…
- [SPARK-36269][SQL] Herstel alleen het instellen van gegevenskolommen naar Hive-kolomnamenconfiguratie
- [SPARK-36213][SQL] Normaliseer PartitionSpec voor de opdracht Tabel beschrijven met PartitionSpec
- [SPARK-36210][SQL] De volgorde van kolominvoeging behouden in Dataset.withColumns
- [SPARK-36079][SQL] Op null gebaseerde filterschatting moet altijd in het bereik [0, 1] staan
-
[SPARK-28266][SQL] convertToLogicalRelation mag eigenschap niet interpreteren
pathbij het lezen van Hive-tabellen
Onderhoudsupdates
Zie Databricks Runtime 9.1 LTS onderhoudsupdates.
Systeemomgeving
- Besturingssysteem: Ubuntu 20.04.4 LTS
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.10
- Python: 3.8.10
- R: 4.1.1
- Delta Lake: 1.0.0
Geïnstalleerde Python-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (ISO-Rolling) | Appdirs (een hulpprogramma voor het beheren van applicatiedirectories) | 1.4.4 | terugroepactie | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | certificaat | 2020.12.5 |
| chardet | 4.0.0 | wielrijder | 0.10.0 | Cython | 0.29.23 |
| dbus-python | 1.2.16 | decorateur | 5.0.6 | distlib | 0.3.2 |
| distro-info | 0.23ubuntu1 | facettenoverzicht | 1.0.0 | bestandsvergrendeling | 3.0.12 |
| IDNA | 2.10 | ipykernel | 5.3.4 | ipython | 7.22.0 |
| ipython-genutils | 0.2.0 | Jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 1.0.1 | jupyter-client (softwarepakket voor Jupyter-notebooks) | 6.1.12 | jupyter-core | 4.7.1 |
| kiwisolver | 1.3.1 | koala's | 1.8.1 | matplotlib | 3.4.2 |
| numpy | 1.19.2 | Pandas | 1.2.4 | parso | 0.7.0 |
| Patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Kussen | 8.2.0 | ropje | 21.0.1 | plotly | 5.1.0 |
| prompt-hulpmiddelenpakket | 3.0.17 | protocolbuffers | 3.17.2 | psycopg2 | 2.8.5 |
| ptyprocess | 0.7.0 | pyarrow | 4.0.0 | Pygments | 2.8.1 |
| PyGObject | 3.36.0 | pyparsing | 2.4.7 | python-apt | 2.0.0+ubuntu0.20.4.5 |
| python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) | 2.8.1 | pytz | 2020.5 | pyzmq | 20.0.0 |
| Verzoeken | 2.25.1 | requests-unixsocket | 0.2.0 | s3transfer | 0.3.7 |
| scikit-learn | 0.24.1 | Scipy (een wetenschappelijke bibliotheek voor Python) | 1.6.2 | geboren op zee | 0.11.1 |
| setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) | 52.0.0 | Zes | 1.15.0 | ssh-import-id | 5.10 |
| statsmodels | 0.12.2 | vasthoudendheid | 8.0.1 | threadpoolctl | 2.1.0 |
| tornado | 6.1 | Traitlets (Python library voor het configureren van Python-objecten) | 5.0.5 | automatische upgrades zonder toezicht | 0,1 |
| urllib3 | 1.25.11 | virtualenv | 20.4.1 | wcwidth | 0.2.5 |
| wiel | 0.36.2 |
Geïnstalleerde R-bibliotheken
R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2021-09-08. De momentopname is niet meer beschikbaar.
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| wachtwoord vragen | 1.1 | verzeker dat | 0.2.1 | terugimporten | 1.2.1 |
| basis | 4.1.1 | base64enc | 0.1-3 | beetje | 4.0.4 |
| 64-bitsysteem | 4.0.5 | Druppel | 1.2.2 | opstarten | 1.3-28 |
| brouwen | 1.0-6 | Brio | 1.1.2 | bezem | 0.7.9 |
| bslib | 0.3.0 | cachem | 1.0.6 | oproeper | 3.7.0 |
| Caret | 6.0-88 | cellranger (softwaretool voor genetische analyse) | 1.1.0 | Chrono | 2.3-56 |
| klasse | 7.3-19 | CLI | 3.0.1 | Clipr | 0.7.1 |
| groep | 2.1.2 | codetools | 0.2-18 | kleurenruimte | 2.0-2 |
| commonmark | 1,7 | programmacompileerder | 4.1.1 | configuratie | 0.3.1 |
| cpp11 | 0.3.1 | krijt | 1.4.1 | inloggegevens | 1.3.1 |
| curl | 4.3.2 | gegevenstabel | 1.14.0 | gegevenssets | 4.1.1 |
| DBI | 1.1.1 | dbplyr | 2.1.1 | beschrijving | 1.3.0 |
| devtools | 2.4.2 | diffobj | 0.3.4 | samenvatten | 0.6.27 |
| dplyr (een R-pakket voor gegevensmanipulatie) | 1.0.7 | dtplyr | 1.1.0 | ellips | 0.3.2 |
| beoordelen | 0,14 | fans | 0.5.0 | kleuren | 2.1.0 |
| snelle kaart | 1.1.0 | dwangarbeiders | 0.5.1 | foreach | 1.5.1 |
| buitenland | 0.8-81 | smederij | 0.2.0 | fs | 1.5.0 |
| toekomst | 1.22.1 | future.apply | 1.8.1 | gorgelen | 1.2.0 |
| Generieken | 0.1.0 | Gert | 1.3.2 | ggplot2 | 3.3.5 |
| Gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-2 |
| globale variabelen | 0.14.0 | lijm | 1.4.2 | googledrive | 2.0.0 |
| googlesheets4 | 1.0.0 | Gower | 0.2.2 | afbeeldingen | 4.1.1 |
| grDevices | 4.1.1 | raster / netwerk | 4.1.1 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | toevluchtsoord/schuilplaats | 2.4.3 |
| hoger | 0,9 | HMS | 1.1.0 | htmltools | 0.5.2 |
| htmlwidgets | 1.5.3 | httpuv | 1.6.2 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | identiteiten | 1.0.1 |
| ini | 0.3.1 | IPRED | 0.9-11 | isoband | 0.2.5 |
| Iteratoren | 1.0.13 | jquerylib | 0.1.4 | jsonlite | 1.7.2 |
| KernSmooth | 2.23-20 | knitr | 1.33 | Etikettering | 0.4.2 |
| daarna | 1.3.0 | latwerk | 0.20-44 | lava | 1.6.10 |
| levenscyclus | 1.0.0 | luisteren | 0.8.0 | lubridate | 1.7.10 |
| magrittr | 2.0.1 | Markdown | 1.1 | MASSA | 7.3-54 |
| Matrix | 1.3-4 | memoriseer | 2.0.0 | Methoden | 4.1.1 |
| mgcv | 1.8-36 | mimekunst | 0.11 | ModelMetrics | 1.2.2.2 |
| modelleur | 0.1.8 | munsell | 0.5.0 | nlme | 3.1-152 |
| nnet | 7.3-16 | numDeriv | 2016.8 tot 1.1 | OpenSSL-software | 1.4.5 |
| evenwijdig | 4.1.1 | op een parallelle wijze | 1.27.0 | pilaar | 1.6.2 |
| pkgbuild | 1.2.0 | pkgconfig | 2.0.3 | pkgload | 1.2.1 |
| plogr | 0.2.0 | plyr | 1.8.6 | prijzen | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | Processx | 3.5.2 |
| prodlim | 2019.11.13 | vooruitgang | 1.2.2 | progressr | 0.8.0 |
| beloften | 1.2.0.1 | Proto | 1.0.0 | P.S. | 1.6.0 |
| purrr | 0.3.4 | r2d3 | 0.2.5 | R6 | 2.5.1 |
| randomForest | 4.6-14 | rappdirs | 0.3.3 | rcmdcheck | 1.3.3 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.7 | readr | 2.0.1 |
| readxl (een programma voor het lezen van Excel-bestanden) | 1.3.1 | Recepten | 0.1.16 | Herwedstrijd | 1.0.1 |
| revanche2 | 2.1.2 | Afstandsbedieningen | 2.4.0 | reprex (reproduceerbaar voorbeeld) | 2.0.1 |
| reshape2 | 1.4.4 | rlang | 0.4.11 | rmarkdown | 2.10 |
| RODBC | 1.3-18 | roxygen2 | 7.1.1 | rpart (een R-pakket voor beslissingsboommodellering) | 4.1-15 |
| rprojroot | 2.0.2 | Rserve | 1.8-8 | RSQLite | 2.2.8 |
| rstudioapi | 0,13 | rversions | 2.1.1 | rvest (een softwarepakket voor webscraping) | 1.0.1 |
| Sass | 0.4.0 | weegschalen | 1.1.1 | Selectr | 0,4-2 |
| sessiegegevens | 1.1.1 | vorm | 1.4.6 | glanzend | 1.6.0 |
| sourcetools | 0.1.7 | sparklyr | 1.7.1 | SparkR | 3.1.1 |
| ruimtelijk | 7.3-11 | Spieën | 4.1.1 | sqldf | 0.4-11 |
| SQUAREM | 2021.1 | statistieken | 4.1.1 | statistieken4 | 4.1.1 |
| strings | 1.7.4 | stringr | 1.4.0 | overleven | 3.2-13 |
| sys | 3.4 | tcltk | 4.1.1 | OnderwijsDemo's | 2.10 |
| testthat | 3.0.4 | tibble | 3.1.4 | tidyr | 1.1.3 |
| tidyselect | 1.1.1 | tidyverse | 1.3.1 | tijd en datum | 3043.102 |
| tinytex | 0,33 | gereedschappen | 4.1.1 | tzdb | 0.1.2 |
| gebruik dit | 2.0.1 | utf8 | 1.2.2 | hulpmiddelen | 4.1.1 |
| UUID (Universally Unique Identifier) | 0.1-4 | vctrs | 0.3.8 | viridisLite | 0.4.0 |
| Vroom | 1.5.4 | Waldo | 0.3.0 | snorharen | 0,4 |
| verwelken | 2.4.2 | xfun | 0.25 | xml2 | 1.3.2 |
| xopen | 1.0.0 | xtable | 1.8-4 | YAML | 2.2.1 |
| ZIP-bestand | 2.2.0 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)
| Groeps-id | Artefact-ID | Versie |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling (Amazon Web Services Java Software Development Kit voor automatisch schalen) | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config (configuratie) | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | AWS Java SDK Datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | AWS Java SDK - Elastic Load Balancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier (AWS Java SDK Glacier) | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue (een softwareontwikkelingskit voor het werken met AWS Glue in Java) | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | AWS Java SDK Import/Export | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logbestanden | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-MachineLearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacecommerceanalytics | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway (een Java software development kit voor het beheren van opslaggateways in AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-ondersteuning | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-bibliotheken | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | beek | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-gekleurd | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | klasgenoot | 1.3.4 |
| com.fasterxml.jackson.core | Jackson-annotaties | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | cafeïne | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | kern | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_systeem-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native systeem voor Linux x86_64, inclusief natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson (een Java-bibliotheek voor het converteren van Java-objecten naar JSON en vice versa) | 2.2.4 |
| com.google.crypto.tink | Tink | 1.6.0 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guave | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profielmaker | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.UITGAVE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | Azure-Data-Lake-Store-SDK | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf (een compressie-algoritme) | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-functie_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuratie | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| gemeenschappelijke collecties | gemeenschappelijke collecties | 3.2.2 |
| commons-configuratie | commons-configuratie | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| bestandsupload van commons | bestandsupload van commons | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| gemeenschappelijke-logboekvoorziening | gemeenschappelijke-logboekvoorziening | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool (gemeenschappelijke pool) | commons-pool (gemeenschappelijke pool) | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | luchtdrukmachine | 0.10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | kern van metrische gegevens | 4.1.1 |
| io.dropwizard.metrics | graphite-metriek | 4.1.1 |
| io.dropwizard.metrics | meetwaarden-gezondheidscontroles | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 (een Jetty-implementatie voor het meten van prestatie-indicatoren) | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json (metrische gegevens in JSON-formaat) | 4.1.1 |
| io.dropwizard.metrics | metriekgegevens voor JVM | 4.1.1 |
| io.dropwizard.metrics | metrieke gegevens-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common (algemene module voor eenvoudige client) | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | verzamelaar | 0.12.0 |
| jakarta.annotatie | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activatie | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transactie-API | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| Javolution | Javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| Maven-bomen | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | Pyroliet | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-CSV | 2.2.0 |
| net.sneeuwvlok | snowflake-ingest-sdk | 0.9.6 |
| net.sneeuwvlok | snowflake-jdbc | 3.13.3 |
| net.sneeuwvlok | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | StringTemplate | 3.2.1 |
| org.apache.ant | mier | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher (startprogramma voor Ant) | 1.9.2 |
| org.apache.arrow | pijl-formaat | 2.0.0 |
| org.apache.arrow | pijlpunt-geheugen-kern | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | vector met pijl | 2.0.0 |
| org.apache.avro | AVRO | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress - een bibliotheek voor compressie | 1,20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-tekst | 1.6 |
| org.apache.curator | beheerder-cliënt | 2.7.1 |
| org.apache.curator | curatorraamwerk | 2.7.1 |
| org.apache.curator | curatorrecepten | 2.7.1 |
| org.apache.derby | Derbywedstrijd | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-aantekeningen | 2.7.4 |
| org.apache.hadoop | hadoop-authenticatie | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | Hadoop-HDFS (Hadoop Distributed File System) | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common (gebruikelijk in softwareterminologie) | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core (kernmodule van hadoop-mapreduce-client) | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common (hadoop-yarn-server-algemeen) | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-opslag-API | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common (if no translation is needed for understanding, the original can be kept as is) | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubatie |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | klimop | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-kolom | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | Parquet-encoding | 1.10.1-databricks9 |
| org.apache.parquet | Parquet-formaat | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | annotaties voor het publiek | 0.5.0 |
| org.apache.zookeeper | dierentuinverzorger | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-ASL | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | algemene compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-voortzetting | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-http | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-io | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-jndi | 9.4.42.v20210604 |
| org.eclipse.jetty | Jetty-plus | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-proxy (een omgekeerde proxy server gebaseerd op Jetty) | 9.4.42.v20210604 |
| org.eclipse.jetty | Jetty-beveiliging | 9.4.42.v20210604 |
| org.eclipse.jetty | Jetty Server | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-servlet | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-servlets | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-util | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-webapp | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-xml | 9.4.42.v20210604 |
| org.eclipse.jetty.websocket | WebSocket-API | 9.4.42.v20210604 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.42.v20210604 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.42.v20210604 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.42.v20210604 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.42.v20210604 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-lokalisator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-hulpbronnenzoeker | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-opnieuw verpakt | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | Algemene Jersey | 2.30 |
| org.glassfish.jersey.core | Jersey-Server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | passchijven | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | ongebruikt | 1.0.0 |
| org.springframework | kern van Spring | 4.1.4.RELEASE |
| org.springframework | lente-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | katten-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |