Databricks Runtime 7.2 (niet ondersteund)
Databricks heeft deze afbeelding uitgebracht in augustus 2020.
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 7.2, mogelijk gemaakt door Apache Spark 3.0.
Nieuwe functies
Databricks Runtime 7.2 bevat de volgende nieuwe functies.
Automatisch laadprogramma is algemeen beschikbaar
Auto Loader is een efficiënte methode voor het incrementeel opnemen van een groot aantal bestanden in Delta Lake. Het is nu algemeen beschikbaar en voegt de volgende functies toe: adreslijstvermelding, API voor cloudresourcebeheer, optie voor snelheidsbeperking en optievalidatie.
Optie voor de modus Directory-vermelding
Auto Loader voegt naast de bestaande modus voor bestandsmeldingen een nieuwe mapweergavemodus toe om te bepalen wanneer er nieuwe bestanden zijn.
- Modus voor adreslijstvermelding: In sommige scenario's zijn er slechts enkele bestanden waarin regelmatig moet worden gestreamd. In dergelijke gevallen is het identificeren van nieuwe bestanden door parallelle vermelding van de invoermap en het opnemen ervan redelijk efficiënt. Hiermee kunt u autoladerstreams starten zonder enige machtigingsconfiguratie. De lijstweergavemodus is de standaardmodus voor automatisch laden van Databricks Runtime 7.2 en hoger.
- Modus voor bestandsmeldingen: u kunt expliciet kiezen voor de modus voor bestandsmeldingen. Dit is beter presterend en schaalbaar voor grote invoermappen, maar hiervoor moet u machtigingen configureren voor de meldingsservice om u te abonneren op bestandsevenementen en deze in te stellen
.option("cloudFiles.useNotifications", "true"). Bestaande automatische loaderstreams zijn gestart op Databricks Runtime 7.1 en hieronder kiezen automatisch voor de modus voor bestandsmeldingen wanneer ze upgraden naar Databricks Runtime 7.2.
Zie Wat is Automatisch laadprogramma? voor meer informatie.
Api voor cloudresourcebeheer
U kunt nu onze Scala-API gebruiken om cloudresources te beheren die zijn gemaakt door Auto Loader. U kunt meldingsservices weergeven en specifieke meldingsservices verwijderen met behulp van deze API. Zie Bronnen voor bestandsmeldingen handmatig configureren of beheren voor meer informatie.
Optie voor snelheidsbeperking
U kunt nu de cloudFiles.maxBytesPerTrigger optie gebruiken om de hoeveelheid verwerkte gegevens in elke microbatch te beperken. U kunt een bytetekenreeks opgeven, bijvoorbeeld 10g om elke microbatch te beperken tot 10 GB aan gegevens. Dit is een zacht maximum. Als u bestanden hebt die elk 3 GB zijn, verwerkt Azure Databricks 12 GB in een microbatch. Deze optie heeft geen effect wanneer deze wordt gebruikt met Trigger.Once(). Wanneer deze optie niet is opgegeven, wordt de standaardwaarde van cloudFiles.maxFilesPerTrigger 1000 bestanden gebruikt voor snelheidsbeperking. Wanneer Azure Databricks samen wordt cloudFiles.maxFilesPerTriggergebruikt, verbruikt azure databricks tot de laagste limiet van of cloudFiles.maxBytesPerTrigger, afhankelijk van cloudFiles.maxFilesPerTrigger wat het eerst wordt bereikt.
Zie Wat is Automatisch laadprogramma? voor meer informatie.
Optievalidatie
Automatisch laden valideert nu de opties die u opgeeft. Als u een onbekende optie opgeeft, retourneert automatisch laden een fout in plaats van de optie op de achtergrond te negeren. De validatie detecteert ook inconsistenties in uw opgegeven opties. Als u bijvoorbeeld instelt cloudFiles.useNotifications op false en tegelijkertijd machtigingsopties voor Azure Event Grid- en Queue Storage-services opgeeft, validation mislukt dit. Als u de optievalidatie wilt overslaan, stelt u in op cloudFiles.validateOptionsfalse.
Wijzigingen in standaardoptiewaarden en compatibiliteit
Het standaardgedrag van sommige opties voor automatisch laden is gewijzigd in Databricks Runtime 7.2. Om compatibiliteit te garanderen, blijft het gedrag van streams die zijn gestart op Databricks Runtime 7.1 en hieronder ongewijzigd, zelfs nadat u een upgrade hebt uitgevoerd naar het uitvoeren van dergelijke streams op een cluster waarop Databricks Runtime 7.2 of hoger wordt uitgevoerd. Zie Wat is automatisch laadprogramma?
Een Delta-tabel efficiënt kopiëren met clone (openbare preview)
U kunt nu efficiënt een ondiepe of diepe kloon van een Delta-tabel maken met een specifieke versie met de clone opdracht. Een diepe kloon is een zelfstandige kloon van een Delta-tabel die wordt gevormd door de bestanden parallel van de brontabel naar de doeltabel te kopiëren. Een ondiepe kloon is een goedkoop gemaakte kloon die geen bestanden naar de doeltabel kopieert, maar verwijst naar bestanden in de oorspronkelijke tabel. Wijzigingen in een diepe of ondiepe kloon zijn alleen van invloed op de kloon en niet op de oorspronkelijke tabel. Zie Een tabel klonen in Azure Databricks.
Verbeteringen
Snowflake-connector: de connector is bijgewerkt naar versie 2.8.1, met ondersteuning voor Spark 3.0.
PySpark-bruikbaarheid: wanneer een PySpark- of pandas UDF mislukt, wordt in Azure Databricks nu de uitzondering aan de Python-zijde weergegeven en wordt de meest recent uitgevoerde regel notebookcode (indien van toepassing) boven aan het foutbericht weergegeven.
Referentiepassthrough:
- U kunt nu de LDA-transformatiefunctie gebruiken op een cluster met passthrough-functionaliteit.
- U kunt nu de opslagcontrolepuntmap instellen op een cluster met passthrough-functionaliteit.
Clusterbibliotheken: Azure Databricks verwerkt nu alle clusterbibliotheken in de volgorde waarin ze op het cluster zijn geïnstalleerd. In Databricks Runtime 7.1 en lager zijn alleen Maven- en CRAN-bibliotheken verwerkt in de volgorde waarin ze op het cluster zijn geïnstalleerd. Andere bibliotheken zijn geïnstalleerd in een niet-deterministische volgorde.
TensorBoard:
- TensorBoard-processen beheren met de
tensorboard.notebookAPI. - U kunt meerdere TensorBoard-back-ends uitvoeren op één cluster.
- In Python-notebooks geeft u de TensorBoard-gebruikersinterface inline weer met behulp van de
%tensorboardmagic-opdracht line. dbutils.tensorboardis afgeschaft.
Zie TensorBoard.
- TensorBoard-processen beheren met de
Bijgewerkte Python-bibliotheken:
- jmespath bijgewerkt van 0.9.4 naar 0.10.0.
- koalas bijgewerkt van 1.0.1 naar 1.1.0.
Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.
Apache Spark
Databricks Runtime 7.2 bevat Apache Spark 3.0.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 7.1 (niet ondersteund) en de volgende aanvullende foutoplossingen en verbeteringen die zijn aangebracht in Spark:
- [SPARK-32234] [SQL] Spark SQL-opdrachten mislukken bij het selecteren van de orc-tabellen
- [SPARK-30616] [SQL] TTL-configuratieoptie introduceren voor SQL Metadata Cache
- [SPARK-21117] [SQL] Ingebouwde ondersteuning voor SQL-functies - WIDTH_BUCKET
- [SPARK-32168] [SQL] Fout met de juistheid van verborgen partitionering in SQL-overschrijven oplossen
- [SPARK-31935] Hadoop-bestandssysteemconfiguratie moet effectief zijn in opties voor gegevensbronnen
- [SPARK-32270] [SQL] TextFileFormat gebruiken in schemadeductie van CSV met een andere codering
- [SPARK-28481] [SQL] Meer expressies moeten NullIntolerant uitbreiden
- [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NL Hint mag het resultaat van niet-Cartesische productdeelname niet wijzigen
- [SPARK-32232] [ML] [PYSPARK] Zorg ervoor dat ML dezelfde standaard oplosserwaarden heeft tussen Scala en Python
- [SPARK-32238] [SQL] Gebruik Utils.getSimpleName om te voorkomen dat er een ongeldige klassenaam wordt bereikt in ScalaUDF
- [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NL Hint mag het resultaat van niet-Cartesische productdeelname niet wijzigen
- [SPARK-32256] [SQL] Forceren om Hadoop VersionInfo te initialiseren in HiveExternalCatalog
- [SPARK-32159] [SQL] Integratie tussen Aggregator[Array[_], _, _] en UnresolvedMapObjects oplossen
- [SPARK-32160] [CORE] [PYSPARK] SparkContext niet maken in uitvoerders
- [SPARK-32168] [SQL] Fout met de juistheid van verborgen partitionering in SQL-overschrijven oplossen
- [SPARK-32024] [WEBUI] ApplicationStoreInfo.size bijwerken tijdens initialisatie van HistoryServerDiskManager
- [SPARK-32214] [SQL] De typeconversiefunctie die wordt gegenereerd in makeFromJava voor 'ander' type gebruikt een verkeerde variabele
- [SPARK-30703] [SQL] Ongeldige opmerking voor SqlBase.g4 bijwerken
- [SPARK-32163] [SQL] Geneste snoei moet zelfs met cosmetische variaties werken
- [SPARK-32124] [CORE] Gebruik de ongeldige waarde Int.MinValue om de toewijzingsindex te vullen wanneer de gebeurtenislogboeken van de oude Spark-versie
- [SPARK-32167] [SQL] GetArrayStructFields corrigeren om de null-waarde van het binnenste veld samen te respecteren
- [SPARK-32130] [SQL] Tijdstempeldeductie inschakelen in JsonBenchmark
- [SPARK-32121] [SHUFFLE] Windows-besturingssysteem in ExecutorDiskUtils ondersteunen
- [SPARK-32130] [SQL] De JSON-optie
inferTimestampstandaard uitschakelen - [SPARK-31935] [SQL] Hadoop-bestandssysteemconfiguratie moet effectief zijn in opties voor gegevensbronnen
- [SPARK-32095] [SQL] Documentatie bijwerken om het gebruik van bijgewerkte statistieken weer te geven
- [SPARK-32131] [SQL] AnalysisException-berichten bij UNION/EXCEPT/MINUS-bewerkingen corrigeren
- [SPARK-32068] [WEBUI] Probleem met taak lauchtime corrigeren vanwege tijdzone op het tabblad Fase
- [SPARK-29999] [SS] Test opgelost om de werkelijke map met metagegevenslogboeken te controleren
- [SPARK-32127] [SQL] Controleer de regels voor MERGE INTO moet mergeAction.conditition anders gebruiken dan MergeAction.children
- [SPARK-32038] [SQL] De aliasnaam vrij maken na float/dubbele normalisatie
- [SPARK-32126] [SS] Scope Session.active in IncrementalExecution
- [SPARK-32115] [SQL] Subtekenreeks corrigeren voor het verwerken van gehele getallen overflows
- [SPARK-32098] [PYTHON] iloc gebruiken voor positionele segmentering in plaats van directe segmentering in createDataFrame met Arrow
- [SPARK-32080][SPARK-31998] [SQL] ArrowColumnVector ListArray-accessor vereenvoudigen
- [SPARK-32028] [WEBUI] Fix app id link for multi attempts app in history summary page
- [SPARK-31918] [R] Algemene S4-methoden onder SparkR-naamruimte negeren tijdens het opschonen van de sluiting ter ondersteuning van R 4.0.0+
- [SPARK-32038] [SQL] NormalizeFloatingNumbers moet ook werken aan afzonderlijke statistische functies
- [SPARK-32034] [SQL] Poort HIVE-14817: Sluit de SessionManager timeoutChecker-thread correct af bij het afsluiten
- [SPARK-32021] [SQL] Verhoog de precisie van seconden en breuken van
make_interval - [SPARK-31980] [SQL] Functiereeks() mislukt als het begin en einde van het bereik gelijk zijn aan datums
- [SPARK-32020] [SQL] Beter foutbericht wanneer SPARK_HOME of spark.test.home niet is ingesteld
- [SPARK-32011] [PYTHON] [CORE] Waarschuwingen over pin-threadmodi en handleiding voor het gebruik van collectWithJobGroup verwijderen
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 7.2.
Systeemomgeving
- Besturingssysteem: Ubuntu 18.04.4 LTS
- Java: 1.8.0_252
- Scala: 2.12.10
- Python: 3.7.5
- R: R versie 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
Geïnstalleerde Python-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.6.20 | Cffi | 1.14.0 |
| Chardet | 3.0.4 | Cryptografie | 2.8 | cycler | 0.10.0 |
| Cython | 0.29.15 | Decorator | 4.4.1 | Docutils | 0.15.2 |
| invoerpunten | 0,3 | idna | 2.8 | ipykernel | 5.1.4 |
| Ipython | 7.12.0 | ipython-genutils | 0.2.0 | Jedi | 0.14.1 |
| jmespath | 0.10.0 | joblib | 0.14.1 | jupyter-client | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | koala's | 1.1.0 |
| matplotlib | 3.1.3 | Numpy | 1.18.1 | Pandas | 1.0.1 |
| parso | 0.5.2 | Patsy | 0.5.1 | Pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 0.15.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | Pygobject | 3.26.1 |
| Pyopenssl | 19.1.0 | Pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | requests | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | Scipy | 1.4.1 | seaborn | 0.10.0 |
| Setuptools | 45.2.0 | Zes | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | Tornado | 6.0.3 | traitlets | 4.3.3 |
| upgrades zonder toezicht | 0,1 | urllib3 | 1.25.8 | Virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | Wiel | 0.34.2 |
Geïnstalleerde R-bibliotheken
R-bibliotheken worden geïnstalleerd vanuit Microsoft CRAN-momentopname op 2020-07-14.
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| Askpass | 1.1 | assertthat | 0.2.1 | Backports | 1.1.8 |
| base | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 1.1-15.2 | bit64 | 0.9-7 | blob | 1.2.1 |
| opstarten | 1.3-25 | Brouwsel | 1.0-6 | Bezem | 0.7.0 |
| beller | 3.4.3 | caret | 6.0-86 | cellranger | 1.1.0 |
| Chron | 2.3-55 | class | 7.3-17 | cli | 2.0.2 |
| clipr | 0.7.0 | cluster | 2.1.0 | Codetools | 0.2-16 |
| Colorspace | 1.4-1 | commonmark | 1,7 | Compiler | 3.6.3 |
| configuratie | 0,3 | covr | 3.5.0 | Crayon | 1.3.4 |
| Overspraak | 1.1.0.1 | curl | 4.3 | data.table | 1.12.8 |
| gegevenssets | 3.6.3 | DBI | 1.1.0 | dbplyr | 1.4.4 |
| Desc | 1.2.0 | Devtools | 2.3.0 | Digest | 0.6.25 |
| dplyr | 0.8.5 | DT | 0,14 | ellipsis | 0.3.1 |
| evaluate | 0,14 | fansi | 0.4.1 | farver | 2.0.3 |
| fastmap | 1.0.1 | forcats | 0.5.0 | foreach | 1.5.0 |
| Buitenlandse | 0.8-76 | Forge | 0.2.0 | Fs | 1.4.2 |
| Generics | 0.0.2 | ggplot2 | 3.3.2 | Gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | Globals | 0.12.5 |
| Lijm | 1.4.1 | Gower | 0.2.2 | afbeeldingen | 3.6.3 |
| grDevices | 3.6.3 | Raster | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.1 | httpuv | 1.5.4 | httr | 1.4.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | Ini | 0.3.1 |
| Ipred | 0.9-9 | isoband | 0.2.2 | Iterators | 1.0.12 |
| jsonlite | 1.7.0 | Kernsmooth | 2.23-17 | breiwerk | 1,29 |
| Labeling | 0,3 | Later | 1.1.0.1 | Lattice | 0.20-41 |
| lava | 1.6.7 | lazyeval | 0.2.2 | levenscyclus | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | Markdown | 1.1 |
| MASS | 7.3-51.6 | Matrix | 1.2-18 | memoise | 1.1.0 |
| methoden | 3.6.3 | Mgcv | 1.8-31 | Mime | 0,9 |
| ModelMetrics | 1.2.2.2 | modeller | 0.1.8 | munsell | 0.5.0 |
| Nlme | 3.1-147 | Nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.2 | parallel | 3.6.3 | Pijler | 1.4.6 |
| pkgbuild | 1.1.0 | Pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | Lof | 1.0.0 |
| prettyunits | 1.1.1 | Proc | 1.16.2 | processx | 3.4.3 |
| prodlim | 2019.11.13 | Voortgang | 1.2.2 | Beloften | 1.1.1 |
| Proto | 1.0.0 | ps | 1.3.3 | Purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.4.1 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | Rcolorbrewer | 1.1-2 |
| Rcpp | 1.0.5 | leesbewerking | 1.3.1 | readxl | 1.3.1 |
| recepten | 0.1.13 | Rematch | 1.0.1 | opnieuw overeenkomen2 | 2.1.2 |
| Afstandsbedieningen | 2.1.1 | reprex | 0.3.0 | hervorm2 | 1.4.4 |
| Rex | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.7 |
| rmarkdown | 2.3 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| Rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.0 | rstudioapi | 0,11 | rversions | 2.0.2 |
| rvest | 0.3.5 | Schalen | 1.1.1 | selectr | 0.4-2 |
| sessioninfo | 1.1.1 | Vorm | 1.4.4 | Glanzende | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.3.1 | SparkR | 3.0.0 |
| Ruimtelijke | 7.3-11 | Splines | 3.6.3 | sqldf | 0.4-11 |
| SQUAREM | 2020.3 | Stats | 3.6.3 | stats4 | 3.6.3 |
| stringi | 1.4.6 | stringr | 1.4.0 | Overleving | 3.1-12 |
| sys | 3.3 | Tcltk | 3.6.3 | TeachingDemos | 2.10 |
| testthat | 2.3.2 | tibble | 3.0.3 | tidyr | 1.1.0 |
| tidyselect | 1.1.0 | tidyverse | 1.3.0 | Timedate | 3043.102 |
| tinytex | 0,24 | tools | 3.6.3 | usethis | 1.6.1 |
| utf8 | 1.1.4 | utils | 3.6.3 | uuid | 0.1-4 |
| vctrs | 0.3.1 | viridisLite | 0.3.0 | whisker | 0,4 |
| withr | 2.2.0 | xfun | 0,15 | xml2 | 1.3.2 |
| xopen | 1.0.0 | xtable | 1.8-4 | Yaml | 2.2.1 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | Stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-gearceerd | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Klasgenoot | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotaties | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeïne | Cafeïne | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | kern | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | Jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuratie | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.8.3 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuratie | commons-configuratie | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrische gegevenskern | 4.1.1 |
| io.dropwizard.metrics | metrische gegevensgrafiet | 4.1.1 |
| io.dropwizard.metrics | metrische statuscontroles | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| jakarta.annotatie | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activering | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extra's | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-CSV | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | Stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pijlnotatie | 0.15.1 |
| org.apache.arrow | pijlgeheugen | 0.15.1 |
| org.apache.arrow | pijlvector | 0.15.1 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recepten | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-aantekeningen | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | Ivy | 2.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | orc-shims | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-common | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-codering | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-indeling | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-databricks4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | snelheid | 1.5 |
| org.apache.xbean | xbean-asm7-gearceerd | 4.15 |
| org.apache.yetus | aantekeningen voor doelgroepen | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-vervolg | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | sluimerstand-validator | 6.1.0.Final |
| org.javassist | Javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | Ongebruikte | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | Xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | katten-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1,24 |
| Oro | Oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |