Databricks Runtime 9.1 LTS

  • Artikel

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 9.1 LTS en Databricks Runtime 9.1 LTS Photon, mogelijk gemaakt door Apache Spark 3.1.2. Databricks heeft deze afbeeldingen uitgebracht in september 2021. Photon bevindt zich in openbare preview.

Notitie

LTS betekent dat deze versie op lange termijn wordt ondersteund. Zie de levenscyclus van de Databricks Runtime LTS-versie.

Nieuwe functies en verbeteringen

Schemahints voor automatisch laden werken nu met matrix- en kaarttypen

Matrix- en kaarttypen worden ondersteund in onderdrukkingsschemadeductie met schemahints voor automatisch laden.

Voorbeelden van schemahints voor matrices zijn:

  1. arr Array<TYPE> wijzigt het matrixtype.
  2. arr.element TYPE wijzigt het matrixtype (met behulp van het element trefwoord).
  3. arr.element.x TYPE wijzigt een geneste veldtype in een matrix met structuren.

De eerste twee voorbeelden zijn hints om het type matrix arr te TYPEwijzigen in, maar ze gebruiken verschillende syntaxis. In het derde voorbeeld arr is een matrix van structuren met een veld x. In dit voorbeeld ziet u hoe u het type wijzigt x in TYPE.

Voorbeelden van schemahints voor kaarten zijn:

  1. m Map<KEY-TYPE, VALUE-TYPE> wijzigt de kaartsleutel en waardetypen.
  2. m.key TYPE wijzigt het type kaartsleutels.
  3. m.value TYPE wijzigt het type kaartwaarden.
  4. m.key.x TYPE wijzigt het veldtype in een kaartsleutel.
  5. m.value.x TYPE wijzigt het veldtype van een kaartwaarde.

In het eerste voorbeeld worden zowel de sleutel- als waardetypen van de toewijzing m gewijzigd in KEY_TYPE respectievelijk VALUE_TYPE . De tweede en derde voorbeelden kunnen worden gebruikt als alleen het sleuteltype of alleen het waardetype moet worden gewijzigd. In de vierde en vijfde voorbeelden m is een kaart met sleutel en waarde van structuurtypen met een veld x. In dit voorbeeld ziet u hoe u het type wijzigt x in TYPE.

Avro-bestandsondersteuning voor samenvoegingsschema

De Avro-bestandsindeling ondersteunt nu de optie bij het mergeSchema lezen van bestanden. Als de instelling mergeSchema waar is bij het lezen van Avro-bestanden, wordt een schema afgeleid uit een set Avro-bestanden in plaats van uit één bestand. Dit verbetert de bruikbaarheid door een schema uit te stellen dat mogelijk alle bestanden kan lezen, zelfs als hun afzonderlijke schema's verschillen. Zie Configuratie.

Ondersteuning voor incrementele vermelding van automatische laadprogramma's (openbare preview)

In het geval van lexicografische gegenereerde bestanden, wat is Auto Loader? maakt nu gebruik van lexicale bestandsvolgorde en bestaande geoptimaliseerde API's om de directory-vermelding efficiënter te maken door vermelding van eerder opgenomen bestanden in plaats van door de hele map weer te geven. Automatisch laden detecteert automatisch of een bepaalde map standaard geschikt is voor incrementele vermeldingen. Als u dit gedrag expliciet wilt beheren, stelt u de nieuwe cloudFiles.useIncrementalListing optie in op (true), uit (false) of automatisch (auto). Als u dit gedrag trueinstelt op, kunt u ook de cloudFiles.backfillInterval optie instellen om regelmatige backfills over uw gegevens te plannen om ervoor te zorgen dat al uw gegevens volledig zijn opgenomen.

Delta ondersteunt nu willekeurige replaceWhere

In combinatie met de overschrijfmodus kan de replaceWhere optie worden gebruikt om gegevens tegelijk te overschrijven die overeenkomen met een predicaat dat in de optie is gedefinieerd. Voorheen werd replaceWhere een predicaat alleen ondersteund voor partitiekolommen, maar het kan nu een willekeurige expressie zijn. Zie Schrijven naar een tabel.

Auto Loader voor Google Cloud ondersteunt nu bestandsmeldingen (openbare preview)

Auto Loader ondersteunt nu de modus voor bestandsmeldingen in Google Cloud. Instellen .option("cloudFiles.useNotifications", "true") dat automatisch laden automatisch Google Cloud Pub/Sub-resources voor u kan instellen. Met de modus voor bestandsmeldingen worden nieuwe bestanden gedetecteerd en opgenomen wanneer ze binnenkomen zonder de invoermap weer te geven. Zie Wat is de meldingsmodus voor het automatisch laden van bestanden?

CREATE FUNCTION biedt nu ondersteuning voor het maken van tabelfuncties

Naast het maken van een scalaire functie die een scalaire waarde retourneert, kunt u nu een tabelfunctie maken die een set rijen retourneert. Zie CREATE FUNCTION (SQL en Python).

Kafka Streaming Source rapporteert estimatedTotalBytesBehindLatest nu metrische gegevens

De Kafka-streamingbron rapporteert nu een schatting van het aantal bytes achter de meest recente byte die beschikbaar is na elke batch. U kunt deze metrische waarde gebruiken om de voortgang van de stream bij te houden. Zie Metrische gegevens van Kafka ophalen.

Voorbeeld van metrische uitvoer:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

Voor structs in matrices zet Delta MERGE INTO nu structvelden op naam en ontwikkelt structschema's

Delta MERGE INTO ondersteunt nu de resolutie van structvelden op naam en automatische schemaontwikkeling voor matrices van structs. Wanneer automatische schemaontwikkeling is ingeschakeld door deze in te stellen spark.databricks.delta.schema.autoMerge.enabled op waar, UPDATE en INSERT met componenten worden structvelden in een matrix op naam omgezet, wordt naar het overeenkomstige gegevenstype gecast dat is gedefinieerd in de doelmatrix en worden aanvullende of ontbrekende velden in de bron of het doel ingevuld met null-waarden. Wanneer automatische schemaontwikkeling is uitgeschakeld en INSERT met componenten worden structvelden in een matrix op naam omgezet, UPDATE maar kunnen de aanvullende velden niet verder worden ontwikkeld. Zie Automatische schemaontwikkeling voor matrices van structs.

Bugfixes

  • Er is een geheugenlek opgelost in de Amazon S3-connector die kan optreden in langlopende taken of services, die zijn veroorzaakt door de JVM-functionaliteit DeleteOnExit .

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • plotly from 4.14.3 to 5.1.0
  • Bijgewerkte R-bibliotheken:
    • basis van 4.1.0 tot 4.1.1
    • bslib van 0.2.5.1 tot 0.3.0
    • cachem van 1.0.5 tot 1.0.6
    • compiler van 4.1.0 tot 4.1.1
    • gegevenssets van 4.1.0 tot 4.1.1
    • toekomst van 1.21.0 tot 1.22.1
    • gert van 1.3.1 tot 1.3.2
    • afbeeldingen van 4.1.0 tot 4.1.1
    • grDevices van 4.1.0 tot 4.1.1.1
    • raster van 4.1.0 tot 4.1.1
  • Bijgewerkte Java-bibliotheken:
    • org.eclipse.jetty van 9.4.36.v20210114 tot 9.4.42.v20210604

Apache Spark

Databricks Runtime 9.1 LTS bevat Apache Spark 3.1.2. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 9.0 (niet ondersteund) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-36674][SQL] [CHERRY-PICK] OndersteuningS-ILIKE - niet hoofdlettergevoelig LIKE
  • [SPARK-36353][SQL] [3.1] RemoveNoopOperators moet het uitvoerschema behouden
  • [SPARK-35876][SQL] [3.1] ArraysZip moet veldnamen behouden om te voorkomen dat ze opnieuw worden geschreven door analyzer/optimizer
  • [SPARK-36398][SQL] Gevoelige informatie redact in Spark Thrift Server-logboek
  • [SPARK-36498][SQL] Binnenste velden van de invoerquery in byName V2 opnieuw ordenen
  • [SPARK-36614][CORE] [UI] Juiste reden voor uitvoerderverlies veroorzaakt door uit bedrijf nemen in de gebruikersinterface
  • [SPARK-36012][SQL] Null-vlag toevoegen in SHOW CREATE TABLE
  • [SPARK-36509][CORE] Los het probleem op dat uitvoerders nooit opnieuw worden gepland als de werkrol stopt met een zelfstandig cluster
  • [SPARK-36603][CORE] WeakReference niet SoftReference gebruiken in LevelDB
  • [SPARK-36564][CORE] NullPointerException in LiveRDDDistribution.toApi herstellen
  • [SPARK-36086][SQL] [3.1] De alias CollapseProject project replace moet de oorspronkelijke kolomnaam gebruiken
  • [SPARK-33527][SQL] De functie van decoderen uitbreiden, zodat deze consistent is met basisdatabases
  • [SPARK-36400][SPARK-36398][SQL] [WEBUI] ThriftServer herkennen spark.sql.redaction.string.regex
  • [SPARK-34054][CORE] BlockManagerDecommissioner-code opschonen
  • [SPARK-36500][CORE] Probleem oplossen temp_shuffle bestand lekken wanneer een taak wordt onderbroken
  • [SPARK-36489][SQL] Statistische functies zonder groeperingssleutels, op tabellen met één bucket, retourneren meerdere rijen
  • [SPARK-36464][CORE] Initialisatie van onderliggende groottevariabelen in ChunkedByteBufferOutputStream opgelost voor het schrijven van meer dan 2 GB gegevens
  • [SPARK-36339][SQL] [3.0] Verwijzingen naar groepering die geen deel van de aggregatie moeten worden vervangen
  • [SPARK-36354][CORE] EventLogFileReader mag rolling logboekmappen zonder logboeken overslaan
  • [SPARK-36242][CORE] [3.1] Ensure spill file closed before set success = true in ExternalSorter.spillMemoryIteratorToDisk method
  • [SPARK-36211][PYTHON] Correct typen van udf retourwaarde
  • [SPARK-34222][SQL] Booleaanse vereenvoudigingsregel verbeteren
  • [SPARK-35027][CORE] Sluit de inputStream in FileAppender wanneer deze wordt geschreven...
  • [SPARK-36269][SQL] Alleen gegevenskolommen instellen op configuratie van Hive-kolomnamen
  • [SPARK-36213][SQL] Normaliseer PartitionSpec voor de opdracht Tabel beschrijven met PartitionSpec
  • [SPARK-36210][SQL] De volgorde van kolominvoeging behouden in Dataset.withColumns
  • [SPARK-36079][SQL] Op null gebaseerde filterschatting moet altijd in het bereik [0, 1] staan
  • [SPARK-28266][SQL] convertToLogicalRelation mag eigenschap niet interpreteren path bij het lezen van Hive-tabellen

Onderhoudsupdates

Zie updates voor databricks Runtime 9.1 LTS-onderhoud.

Systeemomgeving

  • Besturingssysteem: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
Chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Decorator 5.0.6 distlib 0.3.2
distro-info 0.23opgegeven1 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 Ipython 7.22.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koala's 1.8.1 matplotlib 3.4.2
Numpy 1.19.2 Pandas 1.2.4 parso 0.7.0
Patsy 0.5.1 Pexpect 4.8.0 pickleshare 0.7.5
Kussen 8.2.0 Pip 21.0.1 plotly 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
Pygobject 3.36.0 Pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 Scipy 1.6.2 seaborn 0.11.1
Setuptools 52.0.0 Zes 1.15.0 ssh-import-id 5.10
statsmodels 0.12.2 Vasthoudendheid 8.0.1 threadpoolctl 2.1.0
Tornado 6.1 traitlets 5.0.5 upgrades zonder toezicht 0,1
urllib3 1.25.11 Virtualenv 20.4.1 wcwidth 0.2.5
Wiel 0.36.2

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2021-09-08.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Askpass 1.1 assertthat 0.2.1 Backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 opstarten 1.3-28
Brouwsel 1.0-6 Brio 1.1.2 Bezem 0.7.9
bslib 0.3.0 cachem 1.0.6 beller 3.7.0
caret 6.0-88 cellranger 1.1.0 Chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 Codetools 0.2-18 Colorspace 2.0-2
commonmark 1,7 Compiler 4.1.1 configuratie 0.3.1
cpp11 0.3.1 Crayon 1.4.1 aanmeldingsgegevens 1.3.1
curl 4.3.2 data.table 1.14.0 gegevenssets 4.1.1
DBI 1.1.1 dbplyr 2.1.1 Desc 1.3.0
Devtools 2.4.2 diffobj 0.3.4 Digest 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 ellipsis 0.3.2
evaluate 0,14 fansi 0.5.0 farver 2.1.0
fastmap 1.1.0 forcats 0.5.1 foreach 1.5.1
Buitenlandse 0.8-81 Forge 0.2.0 Fs 1.5.0
Toekomst 1.22.1 future.apply 1.8.1 Gorgelen 1.2.0
Generics 0.1.0 Gert 1.3.2 ggplot2 3.3.5
Gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
Globals 0.14.0 Lijm 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 Gower 0.2.2 afbeeldingen 4.1.1
grDevices 4.1.1 Raster 4.1.1 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.4.3
highr 0,9 Hms 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.3 httpuv 1.6.2 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
Ini 0.3.1 Ipred 0.9-11 isoband 0.2.5
Iterators 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
Kernsmooth 2.23-20 breiwerk 1.33 Labeling 0.4.2
Later 1.3.0 Lattice 0.20-44 lava 1.6.10
levenscyclus 1.0.0 listenv 0.8.0 lubridate 1.7.10
magrittr 2.0.1 Markdown 1.1 MASS 7.3-54
Matrix 1.3-4 memoise 2.0.0 methoden 4.1.1
Mgcv 1.8-36 Mime 0,11 ModelMetrics 1.2.2.2
modeller 0.1.8 munsell 0.5.0 Nlme 3.1-152
Nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
parallel 4.1.1 parallel 1.27.0 Pijler 1.6.2
pkgbuild 1.2.0 Pkgconfig 2.0.3 pkgload 1.2.1
plogr 0.2.0 plyr 1.8.6 Lof 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.2
prodlim 2019.11.13 Voortgang 1.2.2 progressr 0.8.0
Beloften 1.2.0.1 Proto 1.0.0 ps 1.6.0
Purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
Rcolorbrewer 1.1-2 Rcpp 1.0.7 leesbewerking 2.0.1
readxl 1.3.1 recepten 0.1.16 Rematch 1.0.1
opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.0 reprex 2.0.1
hervorm2 1.4.4 rlang 0.4.11 rmarkdown 2.10
RODBC 1.3-18 roxygen2 7.1.1 Rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.1
Sass 0.4.0 Schalen 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 Vorm 1.4.6 Glanzende 1.6.0
sourcetools 0.1.7 sparklyr 1.7.1 SparkR 3.1.1
Ruimtelijke 7.3-11 Splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 Stats 4.1.1 stats4 4.1.1
stringi 1.7.4 stringr 1.4.0 Overleving 3.2-13
sys 3.4 Tcltk 4.1.1 TeachingDemos 2.10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse 1.3.1 Timedate 3043.102
tinytex 0,33 tools 4.1.1 tzdb 0.1.2
usethis 2.0.1 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
Vroom 1.5.4 Waldo 0.3.0 whisker 0,4
withr 2.4.2 xfun 0.25 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 Yaml 2.2.1
Zip 2.2.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.cafeïne Cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuratie commons-configuratie 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrische gegevensgrafiet 4.1.1
io.dropwizard.metrics metrische statuscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collector 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extra's 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pijlvector 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recepten 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-aantekeningen 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-codering 1.10.1-databricks9
org.apache.parquet parquet-indeling 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-gearceerd 4.15
org.apache.yetus aantekeningen voor doelgroepen 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.42.v20210604
org.eclipse.jetty jetty-vervolg 9.4.42.v20210604
org.eclipse.jetty jetty-http 9.4.42.v20210604
org.eclipse.jetty jetty-io 9.4.42.v20210604
org.eclipse.jetty jetty-jndi 9.4.42.v20210604
org.eclipse.jetty jetty-plus 9.4.42.v20210604
org.eclipse.jetty jetty-proxy 9.4.42.v20210604
org.eclipse.jetty jetty-security 9.4.42.v20210604
org.eclipse.jetty jetty-server 9.4.42.v20210604
org.eclipse.jetty jetty-servlet 9.4.42.v20210604
org.eclipse.jetty jetty-servlets 9.4.42.v20210604
org.eclipse.jetty jetty-util 9.4.42.v20210604
org.eclipse.jetty jetty-util-ajax 9.4.42.v20210604
org.eclipse.jetty jetty-webapp 9.4.42.v20210604
org.eclipse.jetty jetty-xml 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-api 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-client 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-common 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-server 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-servlet 9.4.42.v20210604
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Ongebruikte 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel katten-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0,52