Databricks Runtime 8.3 (niet ondersteund)
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 8.3 en Databricks Runtime 8.3 Photon, mogelijk gemaakt door Apache Spark 3.1.1. Databricks heeft deze afbeeldingen uitgebracht in juni 2021. Photon bevindt zich in openbare preview.
Nieuwe functies en verbeteringen
- Gegenereerde kolommen in Delta-tabellen (openbare preview)
- Functies en verbeteringen voor automatisch laden
- Delta-tabellen maken met nieuwe programmatische API's (openbare preview)
- Juiste berekening van Delta-tabelgrootten in SQL
ANALYZE - Gedetailleerde metrische gegevens van rocksDB-prestaties bij het gebruik van RocksDBStateStore
- Automatisch geoptimaliseerde schrijfbewerkingen
- Bucketed joins inschakelen als slechts één join-zijde is gebucket
- Verbeterde beveiliging bij het definiëren van Spark UDF's (openbare preview)
- Minder aanvragen voor schemaregister voor query's met
from_avro - Meerdere resultaten in R met ListResults (openbare preview)
Gegenereerde kolommen in Delta-tabellen (openbare preview)
Delta Lake ondersteunt nu gegenereerde kolommen, een speciaal type kolom waarvan de waarden automatisch worden gegenereerd op basis van een door de gebruiker opgegeven functie boven andere kolommen in de Delta-tabel. U kunt de meeste ingebouwde SQL-functies gebruiken om de waarden van deze gegenereerde kolommen te genereren. U kunt bijvoorbeeld automatisch een datumkolom genereren (voor het partitioneren van de tabel op datum) uit de tijdstempelkolom; schrijfbewerkingen in de tabel hoeven alleen de gegevens voor de tijdstempelkolom op te geven. U kunt Delta-tabellen met gegenereerde kolommen maken met behulp van SQL-, Scala-, Java- of Python-API's.
Zie Gegenereerde delta lake-kolommen voor meer informatie.
Functies en verbeteringen voor automatisch laden
- Schemadeductie voor CSV-bestanden in Automatisch laden
- Verbeterde opstarttijd voor AutoLoader-streams
- Snellere lijst met mappen in Automatisch laden
- Minder opslagoverhead voor controlepunten voor automatische laadprogramma's
- Automatisch laadprogramma bevat het bestandspad in de kolom met geredde gegevens, indien beschikbaar
- Auto Loader ondersteunt bestandsnamen in Azure Data Lake Storage Gen2 in de modus voor bestandsmeldingen
Schemadeductie voor CSV-bestanden in Automatisch laden
Auto Loader ondersteunt nu schemadeductie en evolutie van CSV-bestanden. Automatisch laden biedt de volgende mogelijkheden boven op de bestaande CSV-parser in Apache Spark:
- Schema samenvoegen: Automatisch laden kan CSV-bestanden opnemen met een ander schema (verschillend aantal kolommen, verschillende volgorde van kolommen) over bestanden.
- Kolom met geredde gegevens: u kunt de kolom met geredde gegevens gebruiken om onverwachte gegevens te redden die in uw CSV-bestanden kunnen worden weergegeven. Dit omvat gegevens die niet kunnen worden geparseerd in het gegevenstype dat wordt verwacht, kolommen met een andere behuizing of null-waarden in de koptekst of extra kolommen die geen deel uitmaakten van het verwachte schema.
Zie Schemadeductie en evolutie configureren in AutoLoader voor meer informatie.
Verbeterde opstarttijd voor AutoLoader-streams
Automatisch laadprogramma's voeren nu de eerste backfill voor de stream asynchroon uit wanneer deze voor het eerst wordt gestart, wat leidt tot een veel snellere opstarttijd voor de stream. Hierdoor kunt u uw code snel herhalen met productiegegevens, met name wanneer u gegevens moet opnemen uit mappen die miljoenen of miljarden bestanden bevatten.
Daarnaast zijn de bootstraptijd van streams die opnieuw worden opgestart ook verbeterd, omdat we het downloaden en uploaden van de RocksDB-bestanden hebben geparallelliseerd die automatisch laadprogramma's gebruikt om precies één keer semantiek te bieden.
Snellere lijst met mappen in Automatisch laden
We hebben de efficiëntie van adreslijstvermelding in AutoLoader aanzienlijk verbeterd. Een neveneffect van deze prestatieverbetering is dat de stroom meer lijstaanvragen naar het opslagsysteem kan verzenden wanneer er geen nieuwe gegevens zijn die moeten worden verwerkt, wat kan leiden tot een toename van de kosten voor lijstaanvragen. Als algemene best practice raadt Databricks u aan een redelijk triggerinterval in te stellen voor productiestreamingpijplijnen. Zie Overwegingen voor productie voor gestructureerd streamen.
Minder opslagoverhead voor controlepunten voor automatische laadprogramma's
Automatisch laden streams nu automatisch verouderde bestanden in de controlepuntmap asynchroon opschonen om de grootte van de controlepuntmap voor onbepaalde tijd te behouden en de opslagkosten te verlagen.
Automatisch laadprogramma bevat het bestandspad in de kolom met geredde gegevens, indien beschikbaar
De kolom met geredde gegevens bevat automatisch het bestandspad van de geredde gegevens, indien van toepassing in een kolom met de naam _file_ path. Dit kan u helpen bij het opsporen van de hoofdoorzaak van problemen met de gegevenskwaliteit. De kolom is niet opgenomen als het gegevensschema een kolom bevat met de naam _file_path. U kunt de SQL-configuratie spark.databricks.sql.rescuedDataColumn.filePath.name gebruiken om de naam van de kolom zo nodig te wijzigen.
Auto Loader ondersteunt bestandsnamen in Azure Data Lake Storage Gen2 in de modus voor bestandsmeldingen
Auto Loader ondersteunt nu BlobRenamed-gebeurtenissen voor Azure Data Lake Storage Gen2 wanneer deze wordt uitgevoerd in de modus voor bestandsmeldingen. Als u bestanden wilt verwerken die zijn geüpload naar een Azure Data Lake Storage Gen2-container via een hernoembewerking met bestandsmeldingen, start u een nieuwe stream met Automatisch laden met behulp van Databricks Runtime 8.3. Om ervoor te zorgen dat een bestand precies eenmaal wordt verwerkt, moet u ervoor zorgen dat de bronmap waarvan het bestand de naam wordt gewijzigd, niet wordt bekeken door automatisch laden.
Delta-tabellen maken met nieuwe programmatische API's (openbare preview)
U kunt nu programmatisch nieuwe Delta-tabellen maken (met behulp van Scala, Java en Python) zonder DataFrame-API's te gebruiken. Met nieuwe DeltaTableBuilder api's DeltaColumnBuilder kunt u alle tabeldetails opgeven die u kunt opgeven met behulp van SQL CREATE TABLE.
Zie Een tabel maken voor meer informatie.
Juiste berekening van Delta-tabelgrootten in SQL ANALYZE
Bestaande analyselogica berekent de tabelgrootte voor Delta-tabellen onjuist en werkt de catalogus bij met een onjuiste grootte. De oplossing is om de grootte van een Delta-tabel op te halen uit het Delta-logboek.
Gedetailleerde metrische gegevens van rocksDB-prestaties bij het gebruik van RocksDBStateStore
Als u uw Structured Streaming-query hebt geconfigureerd voor het gebruik van RocksDB als de statusopslag, kunt u nu beter inzicht krijgen in de prestaties van RocksDB, met gedetailleerde metrische gegevens over ophalen/plaatsen van latenties, compressielatenties, cachetreffers enzovoort. Deze metrische gegevens zijn beschikbaar via de api's voor StreamingQueryListenerhet StreamingQueryProgress bewaken van een streamingquery.
Zie RocksDB-statusopslag configureren in Azure Databricks voor meer informatie.
Automatisch geoptimaliseerde schrijfbewerkingen
Geoptimaliseerde schrijfbewerkingen voor gepartitioneerde Delta-tabellen worden nu automatisch ingeschakeld voor bijwerk- en verwijderquery's met subquery's.
Bucketed joins inschakelen als slechts één join-zijde is gebucket
Met een nieuwe configuratie spark.databricks.sql.minBucketsForBucketedJoin kan een bucketed join worden ingeschakeld als er slechts één join-zijde is gebucket en het aantal buckets niet kleiner is dan deze configuratiewaarde. Deze configuratiewaarde is standaard hetzelfde als het standaardgetal voor willekeurige partities (200).
Verbeterde beveiliging bij het definiëren van Spark UDF's (openbare preview)
Functies voor gebruikersgegevens current_user en is_member kunnen niet meer worden overschreven door tijdelijke functies, waaronder Python spark.udf.register of SQL create or replace temp function.
Minder aanvragen voor schemaregister voor query's met from_avro
Query's met from_avro schemaregisterondersteuning genereren niet langer zoveel aanvragen voor de schemaregisterservice, waardoor operationele kosten worden bespaard.
Meerdere resultaten in R met ListResults (openbare preview)
Databricks R-notebooks ondersteunen nu meerdere resultaten in elke cel. Eerder werd slechts één resultaat weergegeven voor elke notebookcel. Op dit moment worden de resultaten van één cel in R-notebooks weergegeven in de volgende volgorde:
- RShiny-URL
- Plotten
- displayHTML-uitvoer
- Tabellen
- stdout
Bibliotheekupgrades
- Bijgewerkte Python-bibliotheek:
- koalas bijgewerkt van 1.7.0 naar 1.8.0.
- Pandas heeft een upgrade uitgevoerd van 1.1.3 naar 1.1.5.
- s3transfer bijgewerkt van 0.3.4 naar 0.3.6.
- Bijgewerkte R-bibliotheek:
- SparkR heeft een upgrade uitgevoerd van 3.1.1 naar 3.1.2.
- Bijgewerkte Java-bibliotheek:
- mariadb-java-client van 2.1.2 tot 2.2.5.
- parquet-column van 1.10.1-databricks6 tot 1.10.1-databricks9
- parquet-common van 1.10.1-databricks6 tot 1.10.1-databricks9
- parquet-encoding van 1.10.1-databricks6 naar 1.10.1-databricks9
- parquet-hadoop van 1.10.1-databricks6 tot 1.10.1-databricks9
- parquet-jackson van 1.10.1-databricks6 tot 1.10.1-databricks9
Apache Spark
Databricks Runtime 8.3 bevat Apache Spark 3.1.1. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 8.2 (niet ondersteund) en de volgende aanvullende foutoplossingen en verbeteringen in Spark:
- [SPARK-34614] [SQL] ANSI-modus: Casting String to Boolean should throw exception on parse error
- [SPARK-34246] [OPVOLGEN] De definitie van 'findTightestCommonT...
- [SPARK-35213] [SQL] Behoud de juiste volgorde van geneste structs in gekoppelde withField-bewerkingen
- [SPARK-35096] [SQL] SchemaPruning moet voldoen aan spark.sql.caseSensitive config
- [SPARK-35227] [BUILD] De resolver voor spark-packages in SparkSubmit bijwerken
- [SPARK-35224] [SQL] Bufferoverloop in oplossen
MutableProjectionSuite - [SPARK-34245] [CORE] Controleren of master uitvoerders verwijderen die de voltooide status niet hebben verzonden
- [SPARK-34856] [SQL] ANSI-modus: Het casten van complexe typen toestaan als tekenreekstype
- [SPARK-34946] [SQL] Niet-ondersteunde gecorreleerde scalaire subquery in aggregaat blokkeren
- [SPARK-35014] Het PhysicalAggregation-patroon herstellen om vouwbare expressies niet opnieuw te schrijven
- [SPARK-34769] [SQL] AnsiTypeCoercion: retourneer dichtstbijzijnde con...
Systeemomgeving
- Besturingssysteem: Ubuntu 18.04.5 LTS
- Java: Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
- Scala: 2.12.10
- Python: 3.8.8
- R: R versie 4.0.4 (2021-02-15)
- Delta Lake 1.0.0
Geïnstalleerde Python-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2020.12.5 | Cffi | 1.14.3 | Chardet | 3.0.4 |
| Cryptografie | 3.1.1 | cycler | 0.10.0 | Cython | 0.29.21 |
| Decorator | 4.4.2 | distlib | 0.3.1 | Docutils | 0.15.2 |
| invoerpunten | 0,3 | facets-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | Ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | Jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | koala's | 1.8.0 | matplotlib | 3.2.2 |
| Numpy | 1.19.2 | Pandas | 1.1.5 | parso | 0.7.0 |
| Patsy | 0.5.1 | Pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pip | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.0 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2,20 | Pygments | 2.7.2 |
| Pyopenssl | 19.1.0 | Pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| requests | 2.24.0 | opnieuw proberen | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | Scipy | 1.5.2 | seaborn | 0.10.0 |
| Setuptools | 50.3.1 | Zes | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | Tornado | 6.0.4 | traitlets | 5.0.5 |
| urllib3 | 1.25.11 | Virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| Wiel | 0.35.1 |
Geïnstalleerde R-bibliotheken
R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2020-11-02.
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| Askpass | 1.1 | assertthat | 0.2.1 | Backports | 1.2.1 |
| base | 4.0.4 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| opstarten | 1.3-27 | Brouwsel | 1.0-6 | Brio | 1.1.0 |
| Bezem | 0.7.2 | beller | 3.5.1 | caret | 6.0-86 |
| cellranger | 1.1.0 | Chron | 2.3-56 | class | 7.3-18 |
| cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.1 |
| Codetools | 0.2-18 | Colorspace | 2.0-0 | commonmark | 1,7 |
| Compiler | 4.0.4 | configuratie | 0,3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | Crayon | 1.3.4 | aanmeldingsgegevens | 1.3.0 |
| Overspraak | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
| gegevenssets | 4.0.4 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| Desc | 1.2.0 | Devtools | 2.3.2 | diffobj | 0.3.2 |
| Digest | 0.6.27 | dplyr | 1.0.2 | DT | 0,16 |
| ellipsis | 0.3.1 | evaluate | 0,14 | fansi | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | Buitenlandse | 0.8-81 | Forge | 0.2.0 |
| Fs | 1.5.0 | Toekomst | 1.21.0 | Generics | 0.1.0 |
| Gert | 1.0.2 | ggplot2 | 3.3.2 | Gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | Globals | 0.14.0 |
| Lijm | 1.4.2 | Gower | 0.2.2 | afbeeldingen | 4.0.4 |
| grDevices | 4.0.4 | Raster | 4.0.4 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | Ini | 0.3.1 |
| Ipred | 0.9-9 | isoband | 0.2.3 | Iterators | 1.0.13 |
| jsonlite | 1.7.2 | Kernsmooth | 2.23-18 | breiwerk | 1,30 |
| Labeling | 0.4.2 | Later | 1.1.0.1 | Lattice | 0.20-41 |
| lava | 1.6.8.1 | lazyeval | 0.2.2 | levenscyclus | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| Markdown | 1.1 | MASS | 7.3-53.1 | Matrix | 1.3-2 |
| memoise | 1.1.0 | methoden | 4.0.4 | Mgcv | 1.8-33 |
| Mime | 0,9 | ModelMetrics | 1.2.2.2 | modeller | 0.1.8 |
| munsell | 0.5.0 | Nlme | 3.1-152 | Nnet | 7.3-15 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.0.4 |
| parallel | 1.22.0 | Pijler | 1.4.7 | pkgbuild | 1.1.0 |
| Pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | Lof | 1.0.0 | prettyunits | 1.1.1 |
| Proc | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| Voortgang | 1.2.2 | Beloften | 1.1.1 | Proto | 1.0.0 |
| ps | 1.5.0 | Purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | Rcolorbrewer | 1.1-2 | Rcpp | 1.0.5 |
| leesbewerking | 1.4.0 | readxl | 1.3.1 | recepten | 0.1.15 |
| Rematch | 1.0.1 | opnieuw overeenkomen2 | 2.1.2 | Afstandsbedieningen | 2.2.0 |
| reprex | 0.3.0 | hervorm2 | 1.4.4 | Rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | Rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-7 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversions | 2.0.2 | rvest | 0.3.6 | Schalen | 1.1.1 |
| selectr | 0.4-2 | sessioninfo | 1.1.1 | Vorm | 1.4.5 |
| Glanzende | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.2 | Ruimtelijke | 7.3-11 | Splines | 4.0.4 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | Stats | 4.0.4 |
| stats4 | 4.0.4 | stringi | 1.5.3 | stringr | 1.4.0 |
| Overleving | 3.2-7 | sys | 3.4 | Tcltk | 4.0.4 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| Timedate | 3043.102 | tinytex | 0,28 | tools | 4.0.4 |
| usethis | 2.0.0 | utf8 | 1.1.4 | utils | 4.0.4 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| Waldo | 0.2.3 | whisker | 0,4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | Yaml | 2.2.1 | Zip | 2.1.1 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | Stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-gearceerd | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Klasgenoot | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotaties | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeïne | Cafeïne | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | kern | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | Jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuratie | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuratie | commons-configuratie | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrische gegevenskern | 4.1.1 |
| io.dropwizard.metrics | metrische gegevensgrafiet | 4.1.1 |
| io.dropwizard.metrics | metrische statuscontroles | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Collector | 0.12.0 |
| jakarta.annotatie | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activering | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extra's | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-CSV | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | Stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pijlnotatie | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | pijlvector | 2.0.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1,20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recepten | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-aantekeningen | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | Ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-codering | 1.10.1-databricks9 |
| org.apache.parquet | parquet-indeling | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | snelheid | 1.5 |
| org.apache.xbean | xbean-asm7-gearceerd | 4.15 |
| org.apache.yetus | aantekeningen voor doelgroepen | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-vervolg | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | sluimerstand-validator | 6.1.0.Final |
| org.javassist | Javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.0 |
| org.roaringbitmap | Shims | 0.9.0 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | Ongebruikte | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | Xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | katten-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1,24 |
| Oro | Oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |