Share via


Databricks Runtime 7.3 LTS (EoL)

Notitie

Deze Databricks Runtime-versie heeft het einde van de levensduur bereikt en is niet meer beschikbaar. Zie End-of-Support en end-of-life history voor einddatums. Zie de ondersteuningslevenscycli van Databricks Runtime voor informatie over het ondersteuningsbeleid en de planning van Databricks.

Databricks heeft deze versie uitgebracht in september 2020. Het werd in oktober 2020 tot Long Term Support (LTS) verklaard.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 7.3 LTS, mogelijk gemaakt door Apache Spark 3.0.

Zie de migratiehandleiding voor Databricks Runtime 6.x voor hulp bij de migratie van Databricks Runtime 7.x.

Nieuwe functies

Delta Lake-functies en -verbeteringen

Deze release biedt de volgende Delta Lake-functies en -verbeteringen:

In deze sectie

Optimalisaties van Delta Lake-prestaties verminderen de overhead aanzienlijk

Deze release maakt een verzameling optimalisaties mogelijk die de overhead van Delta Lake-bewerkingen van seconden tot tientallen milliseconden verminderen. Als u deze optimalisaties wilt inschakelen, moet u alle clusters bijwerken die schrijven naar en lezen van uw Delta-tabel naar Databricks Runtime 7.3 LTS of hoger.

Kloongegevens zijn nu beschikbaar

Operationele statistieken voor kloonbewerkingen worden nu vastgelegd en kunnen worden weergegeven wanneer u de operatie uitvoert DESCRIBE HISTORY. Zie Tabeldetails controleren met een beschrijving voor meer informatie.

Verbeteringen in Delta Lake MERGE INTO

  • Samenvoegen biedt nu ondersteuning voor elk aantal MATCHED en NOT MATCHED clausules.
  • Samenvoegquery's die overeenkomende rijen onvoorwaardelijke verwijderen, genereren geen fouten meer bij meerdere overeenkomsten.

Geef de initiële positie op voor Delta Lake Structured Streaming-bron

De Delta Lake Structured Streaming-connector ondersteunt startingVersion nu en startingTimestamp opties om het beginpunt van de streamingquery op te geven zonder de hele tabel te verwerken. Zie Beginpositie opgeven voor meer informatie.

Adaptieve queryuitvoering

Adaptieve queryuitvoering (AQE) is een framework voor het opnieuw optimaliseren van query's waarmee queryplannen dynamisch worden aangepast tijdens de uitvoering op basis van verzamelde runtimestatistieken. AQE is standaard ingeschakeld in Databricks Runtime 7.3 LTS. U kunt nu alle AQE-functies uitproberen. Zie Adaptieve queryuitvoering voor meer informatie.

Verbeteringen

Automatisch laden

  • Biedt nu ondersteuning voor Azure Data Lake Storage Gen1 in de modus directory-vermelding
  • Als de bestandsindeling is text of binaryFile u het schema niet meer hoeft op te geven. Omdat de twee bestandsindelingen een vast schema hebben, kan Automatisch laden automatisch een vast schema gebruiken.

Lengtecontrole voor kolommen van de nieuwe Azure Synapse Analytics-connector

U kunt nu een nieuwe parameter maxbinlength gebruiken om de kolomlengte van BinaryType kolommen te bepalen. Deze parameter wordt vertaald als VARBINARY(maxbinlength).

De vorige (niet-configureerbare) standaardwaarde was VARBINARY(MAX), wat problemen veroorzaakte bij het maken van tabellen met binaire kolommen en het standaardindexeringsschema. Het maken van de tabel mislukt, omdat de standaard columnstore-index MAX niet ondersteunt in de tekenreeks- en binaire kolommen.

Pandas naar Spark DataFrame-conversie is vereenvoudigd

Als u de volgende verbeteringen wilt inschakelen, stelt u de Spark-configuratie spark.databricks.execution.pandasZeroConfConversion.enabledin:

  • createDataFrame(pandas_df) is geoptimaliseerd voor Azure Databricks.
  • Er wordt een waarschuwing weergegeven als de conversie niet efficiënt kan worden uitgevoerd of niet mogelijk is.

Nieuw maxResultSize in toPandas() gesprek

Met een nieuwe configuratie-instelling (spark.databricks.driver.localMaxResultSize) kunt u maxResultSize bepalen voor een df.toPandas() gesprek. De limiet wordt tijdelijk gewijzigd in max(spark.driver.maxResultSize, spark.databricks.driver.localMaxResultSize). De standaardwaarde voor de configuratie-instelling is de fysieke geheugengrootte gedeeld door 4.

Er wordt een waarschuwing weergegeven als de df.toPandas() resultaatgrootte groter is dan spark.driver.maxResultSize en kleiner is dan spark.databricks.driver.localMaxResultSize.

Deze configuratie-instelling is alleen van invloed op DataFrames die zijn gemaakt door een df.toPandas() aanroep.

Notitie

spark.databricks.driver.localMaxResultSize wordt alleen van kracht wanneer spark.databricks.execution.pandasZeroConfConversion.enabled waar is.

Foutopsporing van pandas- en PySpark-UDFs

Wanneer een pandas- of PySpark UDF mislukt in een Azure Databricks-notebook, bevat het foutbericht nu het regelnummer waarin de code is mislukt en informatie over de hoofdoorzaak.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • koalas bijgewerkt van 1.1.0 naar 1.2.0.
    • pyarrow bijgewerkt van 0.15.1 naar 1.0.1.
  • Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.
  • OpenJDK 8-build wordt gewijzigd van Ubuntu OpenJDK 8 in Zulu OpenJDK 8.

Apache Spark

Databricks Runtime 7.3 LTS bevat Apache Spark 3.0.1. Deze release bevat alle Spark-fixes en verbeteringen die zijn opgenomen in Databricks Runtime 7.2 (EoL) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-32302][SPARK-28169] [SQL] Gedeeltelijk disjunctieve predikaten doorduwen door join/partities
  • [SPARK-32337] [SQL] Toon het initiële plan in de AQE-planweergavestring
  • [SPARK-30662] De API-wijzigingen voor HasBlockSize terugzetten
  • [SPARK-32620] [SQL] De metrische waarde numPartitions opnieuw instellen wanneer DPP is ingeschakeld
  • [SPARK-32646] [SQL] ORC predicaat pushdown moet werken met hoofdletterongevoelige analyse
  • [SPARK-32676] [ML] Dubbele caching in KMeans/BiKMeans oplossen
  • [SPARK-32092] [ML][pyspark] Gerelateerde code voor foldCol verwijderd
  • [SPARK-32594] [SQL] Overschrijf en gebruik Juliaanse dagen in DaysWritable
  • [SPARK-32608] [SQL] De SCRIPT TRANSFORM ROW FORMAT DELIMIT-waarde moet het juiste formaat toepassen
  • [SPARK-32092] [ML][pyspark] Fix parameters die niet worden gekopieerd in CrossValidatorModel.copy(), read() en write()
  • [SPARK-32672] [SQL] Gegevensbeschadiging in booleaanse bitsetcompressie oplossen
  • [SPARK-32663] [CORE] Vermijd afzonderlijke sluiting van gegroepeerde TransportClients (die moeten worden gesloten via de pool)
  • [SPARK-32621] [SQL] 'path' optie kan problemen veroorzaken bij het afleiden van het schema in CSV-/JSON-gegevensbronnen
  • [SPARK-28863] [SQL] Het fysieke plan niet opnieuw gebruiken
  • [SPARK-32608] [SQL] Script Transform RIJOPMAAK DELIMIT waarde moet de waarde formatteren
  • [SPARK-28863] [SQL] Introduceer AlreadyPlanned om heranalyse van V1FallbackWriters te voorkomen
  • [SPARK-32451] [R] Ondersteuning voor Apache Arrow 1.0.0
  • [SPARK-32652] [SQL] ObjectSerializerPruning mislukt voor RowEncoder
  • [SPARK-32518] [CORE] CoarseGrainedSchedulerBackend.maxNumConcurrentTasks moeten rekening houden met allerlei soorten resources
  • [SPARK-32559] [SQL] Los het probleem op waarbij de trimlogica in UTF8String.toInt/toLong niet-ASCII-tekens niet correct verwerkte.
  • [SPARK-32625] [SQL] Logboekfoutbericht bij terugvallen naar interpretermodus
  • [SPARK-32543] [R] Verwijderen van arrow::as_tibble gebruik in SparkR
  • [SPARK-31703] [SQL] Parquet RLE (Run-Length Encoding) float- en double-waarden worden onjuist gelezen op big endian platforms.
  • [SPARK-32586] [SQL] Fout in NumberFormatException-melding opgelost wanneer ANSI is ingeschakeld
  • [SPARK-32456] [SS] Controleer de functie 'Distinct' door aan te nemen dat het als een aggregaat voor gestructureerd streamen wordt behandeld
  • [SPARK-32576] [SQL] Ondersteuning voor postgreSQL-type bpchar en -matrix van tekentype
  • [SPARK-32559] [SQL] Los het probleem op waarbij de trimlogica in UTF8String.toInt/toLong niet-ASCII-tekens niet correct verwerkte.
  • [SPARK-32560] [SQL] Uitzonderingsbericht bij InsertIntoHiveTable.processInsert verbeteren
  • [SPARK-32546] [SQL] Tabelnamen rechtstreeks uit Hive-tabellen ophalen
  • [SPARK-32529] [CORE] Herstel het afbreken van de Historyserver-logscan door wijzigingen in de applicatiestatus.
  • [SPARK-32003] [CORE] Wanneer de externe shuffle-service wordt gebruikt, moet de uitvoer voor de executor bij een fout tijdens het ophalen worden uitgeschreven nadat de executor verloren is gegaan.
  • [SPARK-32160] [CORE][pyspark] Wijzig de naam van de configuratie om sparkContext in uitvoerders toe te staan/te weigeren
  • [SPARK-32160] [CORE][pyspark] Een configuratie toevoegen om te schakelen tussen toestaan/weigeren om SparkContext te maken in uitvoerders
  • [SPARK-32083] [SQL] AQE mag geen partities voor SinglePartition samenvoegen
  • [SPARK-32509] [SQL] Ongebruikt DPP True Filter in Canonicalization negeren
  • [SPARK-32332] [SQL] Ondersteuning voor kolomuitwisselingen
  • [SPARK-32227] Regressiefout in load-spark-env.cmd oplossen met Spark 3.0.0
  • [SPARK-32478] [R][sql] Foutbericht om schema-verschillen te tonen in gapply met Arrow-vectorisatie
  • [SPARK-32030] [SQL] Ondersteuning voor onbeperkte MATCHED- en NOT MATCHED-componenten in MERGE INTO de SQL-parser
  • [SPARK-32175] [CORE] De volgorde tussen initialisatie voor ExecutorPlugin en het starten van heartbeat-thread herstellen
  • [SPARK-32283] [CORE] Kryo moet meerdere gebruikersregisters ondersteunen
  • [SPARK-32424] [SQL] Stille gegevenswijziging bij het parseren van tijdstempels corrigeren bij overloop van de 'f'-waarde
  • [SPARK-32430] [SQL] SparkSessionExtensions uitbreiden om regels in de voorbereiding van de AQE-queryfase te injecteren
  • [SPARK-32310] [ML][pyspark] STANDAARDwaardepariteit van ML-parameters
  • [SPARK-32237] [SQL] Hint in CTE oplossen
  • [SPARK-32280][SPARK-32372] [SQL] ResolveReferences.dedupRight mag alleen kenmerken herschrijven voor bovenliggende knooppunten van het conflictplan
  • [SPARK-32364] [SQL] Toevoegen aanMap om originalMap en documentatie te retourneren
  • [SPARK-32364] [SQL] Use CaseInsensitiveMap voor DataFrameReader/Writer opties
  • [SPARK-32377] [SQL] CaseInsensitiveMap moet deterministisch zijn voor toevoeging
  • [SPARK-32365] [SQL] Een grensvoorwaarde voor negatieve index toevoegen in regexp_extract
  • [SPARK-32368] [SQL] pathGlobFilter, recursiveFileLookup en basePath moeten rekening houden met niet-hoofdlettergevoeligheid
  • [SPARK-32344] [SQL] Niet-evalueerbare expr is ingesteld op FIRST/LAST ignoreNullsExpr in distincte aggregaties
  • [SPARK-32234] [SQL] Spark SQL-opdrachten mislukken bij het selecteren van de orc-tabellen

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 7.3 LTS.

Systeemomgeving

  • Besturingssysteem: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.48.0.53-CA-linux64 (build 1.8.0_265-b11)
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R versie 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
asn1crypto 1.3.0 terugroepactie 0.1.0 boto3 1.12.0
botocore 1.15.0 certificaat 2020.6.20 cffi 1.14.0
chardet 3.0.4 cryptografie 2.8 wielrijder 0.10.0
Cython 0.29.15 decorateur 4.4.1 docutils 0.15.2
invoerpunten 0,3 IDNA 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 Jedi 0.14.1
jmespath 0.10.0 joblib 0.14.1 jupyter-client (softwarepakket voor Jupyter-notebooks) 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 koalas 1.2.0
matplotlib 3.1.3 numpy 1.18.1 Pandas 1.0.1
parso 0.5.2 Patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 pip 20.0.2 prompt-hulpmiddelenpakket 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 1.0.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.8.1 pytz 2019.3
pyzmq 18.1.1 Verzoeken 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 Scipy (een wetenschappelijke bibliotheek voor Python) 1.4.1 geboren op zee 0.10.0
setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) 45.2.0 Zes 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 Traitlets (Python library voor het configureren van Python-objecten) 4.3.3
upgrades zonder toezicht 0,1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 wiel 0.34.2

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit Microsoft CRAN-momentopname op 2020-07-14.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
wachtwoord vragen 1.1 verzeker dat 0.2.1 terugimporten 1.1.8
basis 3.6.3 base64enc 0.1-3 BH 1.72.0-3
beetje 1.1-15.2 64-bitsysteem 0.9-7 Druppel 1.2.1
opstarten 1.3-25 brouwsel 1.0-6 bezem 0.7.0
beller 3.4.3 Caret 6.0-86 cellranger (softwaretool voor genetische analyse) 1.1.0
Chron 2.3-55 klasse 7.3-17 CLI 2.0.2
Clipr 0.7.0 groep 2.1.0 codetools 0.2-16
kleurenruimte 1.4-1 commonmark 1,7 programmacompileerder 3.6.3
configuratie 0,3 covr 3.5.0 kleurpotlood 1.3.4
Overspraak 1.1.0.1 curl 4.3 gegevenstabel 1.12.8
gegevenssets 3.6.3 DBI 1.1.0 dbplyr 1.4.4
Beschrijving 1.2.0 devtools 2.3.0 verwerken 0.6.25
dplyr (een R-pakket voor gegevensmanipulatie) 0.8.5 DT 0,14 beletselteken 0.3.1
beoordelen 0,14 fans 0.4.1 kleuren 2.0.3
snelle kaart 1.0.1 dwangarbeiders 0.5.0 foreach 1.5.0
buitenlands 0.8-76 smeden 0.2.0 fs 1.4.2
Generics 0.0.2 ggplot2 3.3.2 Gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 globale variabelen 0.12.5
lijm 1.4.1 Gower 0.2.2 afbeeldingen 3.6.3
grDevices 3.6.3 netwerk 3.6.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 toevluchtsoord/schuilplaats 2.3.1
hoger 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.1 httpuv 1.5.4 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
IPRED 0.9-9 isoband 0.2.2 Iterators 1.0.12
jsonlite 1.7.0 KernSmooth 2.23-17 knitr 1,29
etikettering 0,3 daarna 1.1.0.1 latwerk 0.20-41
lava 1.6.7 lazyeval 0.2.2 levenscyclus 0.2.0
lubridate 1.7.9 magrittr 1.5 Markdown 1.1
MASSA 7.3-52 Matrix 1.2-18 memoriseer 1.1.0
methoden 3.6.3 mgcv 1.8-32 Mime 0,9
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-149 nnet 7.3-14 numDeriv 2016.8 tot 1.1
OpenSSL-software 1.4.2 evenwijdig 3.6.3 pilaar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 prijzen 1.0.0
prettyunits 1.1.1 pROC 1.16.2 Processx 3.4.3
prodlim 2019.11.13 Voortgang 1.2.2 Beloften 1.1.1
Proto 1.0.0 P.S. 1.3.3 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.3.1 readxl (een programma voor het lezen van Excel-bestanden) 1.3.1
recepten 0.1.13 Rematch 1.0.1 opnieuw overeenkomen2 2.1.2
Afstandsbedieningen 2.1.1 reprex (reproduceerbaar voorbeeld) 0.3.0 reshape2 1.4.4
Rex 1.2.0 rjson 0.2.20 rlang 0.4.7
rmarkdown 2.3 RODBC 1.3-16 roxygen2 7.1.1
rpart (een R-pakket voor beslissingsboommodellering) 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.0 rstudioapi 0,11 rversions 2.0.2
rvest (een softwarepakket voor webscraping) 0.3.5 weegschaal 1.1.1 Selectr 0,4-2
sessiegegevens 1.1.1 vorm 1.4.4 glanzend en nieuw 1.5.0
sourcetools 0.1.7 sparklyr 1.3.1 SparkR 3.0.0
ruimtelijk 7.3-11 Splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.3 Statistieken 3.6.3 statistieken4 3.6.3
strings 1.4.6 stringr 1.4.0 survival 3.1-12
sys 3.3 tcltk 3.6.3 OnderwijsDemo's 2.10
testthat 2.3.2 tibble 3.0.3 tidyr 1.1.0
tidyselect 1.1.0 tidyverse 1.3.0 tijd en datum 3043.102
tinytex 0,24 gereedschappen 3.6.3 gebruik dit 1.6.1
utf8 1.1.4 hulpmiddelen 3.6.3 UUID (Universally Unique Identifier) 0.1-4
vctrs 0.3.1 viridisLite 0.3.0 snor 0,4
verwelken 2.2.0 xfun 0,15 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 YAML 2.2.1

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-ID Versie
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling (Amazon Web Services Java Software Development Kit voor automatisch schalen) 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config (configuratie) 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws AWS Java SDK Datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws AWS Java SDK - Elastic Load Balancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier (AWS Java SDK Glacier) 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws AWS Java SDK Import/Export 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logbestanden 1.11.655
com.amazonaws AWS-Java-SDK-MachineLearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway (een Java software development kit voor het beheren van opslaggateways in AWS) 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-ondersteuning 1.11.655
com.amazonaws aws-java-sdk-swf-bibliotheken 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core Jackson-annotaties 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_systeem-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native systeem voor Linux x86_64, inclusief natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson (een Java-bibliotheek voor het converteren van Java-objecten naar JSON en vice versa) 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guave 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profielmaker 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.UITGAVE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure-Data-Lake-Store-SDK 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf (een compressie-algoritme) 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-functie_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.8.3
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
gemeenschappelijke collecties gemeenschappelijke collecties 3.2.2
commons-configuratie commons-configuratie 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
bestandsupload van commons bestandsupload van commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
gemeenschappelijke-logboekvoorziening gemeenschappelijke-logboekvoorziening 1.1.3
commons-net commons-net 3.1
commons-pool (gemeenschappelijke pool) commons-pool (gemeenschappelijke pool) 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift luchtdrukmachine 0.10
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics graphite-metriek 4.1.1
io.dropwizard.metrics metrische gezondheidscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 (een Jetty-implementatie voor het meten van prestatie-indicatoren) 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json (metrische gegevens in JSON-formaat) 4.1.1
io.dropwizard.metrics metriekgegevens voor JVM 4.1.1
io.dropwizard.metrics metrieke gegevens-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transactie-API 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
Javolution Javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine Pyroliet 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.sneeuwvlok snowflake-ingest-sdk 0.9.6
net.sneeuwvlok snowflake-jdbc 3.12.8
net.sneeuwvlok spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr tekenreekstemplate 3.2.1
org.apache.ant mier 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher (startprogramma voor Ant) 1.9.2
org.apache.arrow pijlnotatie 0.15.1
org.apache.arrow pijlgeheugen 0.15.1
org.apache.arrow pijlvector 0.15.1
org.apache.avro AVRO 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress - een bibliotheek voor compressie 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-tekst 1.6
org.apache.curator beheerder-cliënt 2.7.1
org.apache.curator curatorraamwerk 2.7.1
org.apache.curator curator-recepten 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-aantekeningen 2.7.4
org.apache.hadoop hadoop-authenticatie 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop Hadoop-HDFS (Hadoop Distributed File System) 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common (gebruikelijk in softwareterminologie) 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core (kernmodule van hadoop-mapreduce-client) 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common (hadoop-yarn-server-algemeen) 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore (metadata opslag voor Hive) 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-opslag-API 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common (if no translation is needed for understanding, the original can be kept as is) 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubatie
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy klimop 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-kolom 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-codering 1.10.1-databricks6
org.apache.parquet parquet-indeling 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity snelheid 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus annotaties voor specifieke doelgroepen 0.5.0
org.apache.zookeeper dierentuinverzorger 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino algemene compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-vervolg 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty Jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy (een omgekeerde proxy server gebaseerd op Jetty) 9.4.18.v20190429
org.eclipse.jetty Jetty-beveiliging 9.4.18.v20190429
org.eclipse.jetty Jetty Server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokalisator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-hulpbronnenzoeker 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core Algemene Jersey 2.30
org.glassfish.jersey.core Jersey-Server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap vulplaatjes 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark ongebruikt 1.0.0
org.springframework kern van Spring 4.1.4.RELEASE
org.springframework lente-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel katten-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52