Databricks Runtime 4.1 (niet ondersteund)

  • Artikel

Databricks heeft deze afbeelding uitgebracht in mei 2018.

Belangrijk

Deze release is afgeschaft op 17 januari 2019. Zie de ondersteuningslevenscycli van Databricks Runtime voor meer informatie over het afschaffingsbeleid en de planning van Databricks Runtime.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 4.1, mogelijk gemaakt door Apache Spark.

Delta Lake

Databricks Runtime versie 4.1 voegt belangrijke kwaliteitsverbeteringen en functionaliteit toe aan Delta Lake. Databricks raadt ten zeerste aan dat alle Delta Lake-klanten upgraden naar de nieuwe runtime. Deze release blijft in Private Preview, maar het vertegenwoordigt een kandidaatrelease in afwachting van de aanstaande algemene beschikbaarheidsrelease (GA).

Delta Lake is nu ook beschikbaar in Private Preview voor Azure Databricks-gebruikers. Neem contact op met uw accountmanager of meld u aan op https://databricks.com/product/databricks-delta.

Wijzigingen die fouten veroorzaken

  • Databricks Runtime 4.1 bevat wijzigingen in het transactieprotocol om nieuwe functies in te schakelen, zoals validatie. Tabellen die zijn gemaakt met Databricks Runtime 4.1 gebruiken automatisch de nieuwe versie en kunnen niet worden geschreven naar oudere versies van Databricks Runtime. U moet bestaande tabellen upgraden om te kunnen profiteren van deze verbeteringen. Als u een bestaande tabel wilt bijwerken, moet u eerst alle taken bijwerken die naar de tabel worden geschreven. Voer vervolgens het volgende uit:

    com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")

    Zie Hoe beheert Azure Databricks de compatibiliteit van Delta Lake-functies? voor meer informatie.

  • Schrijfbewerkingen worden nu gevalideerd op basis van het huidige schema van de tabel in plaats van, net als voorheen, automatisch kolommen toe te voegen die ontbreken in de doeltabel. Als u het vorige gedrag wilt inschakelen, stelt u de mergeSchema optie in op true. Zie delta lake-schemavalidatie.

  • Als u eerdere versies van Databricks Delta uitvoert, moet u alle taken upgraden voordat u Databricks Runtime 4.1 gebruikt. Als u een van deze fouten ziet, voert u een upgrade uit naar Databricks Runtime 4.1:

    java.lang.NumberFormatException: For input string: "00000000000000....crc"
scala.MatchError

  • Tabellen kunnen geen kolommen meer hebben die alleen per geval verschillen.

  • Deltaspecifieke tabelconfiguraties moeten nu worden voorafgegaan door delta.

Nieuwe functies

  • Schemabeheer - Databricks Delta valideert nu toevoeg- en overschrijfbewerkingen aan een bestaande tabel om ervoor te zorgen dat het schema dat wordt geschreven overeenkomt met het schema.

    • Databricks Delta blijft automatische schemamigratie ondersteunen.
    • Databricks Delta ondersteunt nu de volgende DDL om het schema expliciet te wijzigen:
      • ALTER TABLE ADD COLUMN nieuwe kolommen toevoegen aan een tabel
      • ALTER TABLE CHANGE COLUMNS om de volgorde van kolommen te wijzigen
      • ALTER TABLE [SET|UNSET] TBLPROPERTIES

    Zie Delta Lake-schemavalidatie voor meer informatie.

  • Verbeterde DDL- en tabelondersteuning

    • Volledige ondersteuning voor tabel-DDL en saveAsTable(). save() en saveAsTable() nu identieke semantiek hebben.
    • Alle DDL- en DML-opdrachten ondersteunen zowel tabelnaam delta.`<path-to-table>`als .
    • SHOW PARTITIONS
    • SHOW COLUMNS
    • DESC TABLE
    • Gedetailleerde tabelinformatie - U kunt de huidige lezer en schrijfversies van een tabel zien door deze uit te voeren DESCRIBE DETAIL. Zie Hoe beheert Azure Databricks de compatibiliteit van Delta Lake-functies?
    • Tabeldetails: informatie over herkomst is nu beschikbaar voor elke schrijfbewerking naar een tabel. De zijbalk Gegevens bevat ook gedetailleerde tabelinformatie en geschiedenis voor Databricks Delta-tabellen. Zie De details van de Delta Lake-tabel bekijken met een beschrijving.
    • Streamingtabellen - Streaming DataFrames kunnen worden gemaakt met behulp van spark.readStream.format("delta").table("<table-name>").
    • Tabellen met alleen toevoegen: Databricks Delta biedt nu ondersteuning voor basisgegevensbeheer. U kunt verwijderingen en wijzigingen in een tabel blokkeren door de tabeleigenschapdelta.appendOnly=true in te stellen.
    • MERGE INTO source : voegt uitgebreidere ondersteuning toe aan de bronqueryspecificatie van MERGE. U kunt bijvoorbeeld en ORDER BYINLINE TABLE in de bron opgevenLIMIT.
    • Volledige ondersteuning voor tabel-ACL's.

Prestatieverbeteringen

  • Minder overhead voor het verzamelen van statistieken: de efficiëntie van het verzamelen van statistieken is verbeterd en statistieken worden nu alleen verzameld voor een configureerbaar aantal kolommen, standaard ingesteld op 32. De schrijfprestaties van Databricks Delta zijn met maximaal 2x verbeterd vanwege de vermindering van de overhead voor het verzamelen van statistieken. Als u het aantal kolommen wilt configureren, stelt u de tabeleigenschap indelta.dataSkippingNumIndexedCols=<number-of-columns>.
  • Ondersteuning voor pushen van limieten - Statistieken worden gebruikt om het aantal bestanden te beperken dat wordt gescand op query's die over partitiekolommen beschikken LIMIT en predicaten hebben. Dit is van toepassing op query's in notebooks vanwege de impliciete limit=1000 werking voor alle notebookopdrachten.
  • Pushdown filteren in de streamingbron: streamingquery's gebruiken nu partitionering bij het starten van een nieuwe stream om irrelevante gegevens over te slaan.
  • Verbeterde parallellisme voor OPTIMIZE - OPTIMIZE nu wordt uitgevoerd als één Spark-taak en gebruikt alle parallelle uitvoeringen die beschikbaar zijn op het cluster (voorheen beperkt tot 100 gecomprimeerde bestanden tegelijk).
  • Gegevens overslaan in DML - UPDATE, DELETEen MERGE gebruiken nu statistieken bij het zoeken naar bestanden die moeten worden herschreven.
  • Verminderde bewaarperiode van controlepunten: controlepunten worden nu twee dagen bewaard (de geschiedenis blijft 30 behouden) om de opslagkosten voor het transactielogboek te verlagen.

API-gedrag

  • Het gedrag van insertInto(<table-name>) Databricks Delta is hetzelfde als andere gegevensbronnen.
    • Als er geen modus is opgegeven of modeErrorIfExistsis, Ignoreof Appendals de gegevens in het DataFrame worden toegevoegd aan de Databricks Delta-tabel.
    • Als mode dat het is Overwrite, verwijdert u alle gegevens in de bestaande tabel en voegt u de gegevens uit het DataFrame in de Databricks Delta-tabel in.
  • Als de cache is opgeslagen, moet de doeltabel MERGE van de cache handmatig worden uitgeschakeld.

Bruikbaarheidsverbeteringen

  • Validaties van workloadmigratie: veelvoorkomende fouten bij het migreren van workloads naar Databricks Delta veroorzaken nu een uitzondering in plaats van een fout:
    • Een format("parquet") tabel lezen of schrijven.
    • Rechtstreeks naar een partitie lezen of schrijven (dat wil /path/to/delta/part=1gezegd).
    • Submappen van een tabel leegmaken.
    • INSERT OVERWRITE DIRECTORY Parquet gebruiken op een tabel.
  • Niet-hoofdlettergevoelige configuratie: opties voor de eigenschappen van DataFrame Reader/Writer en tabel zijn nu niet hoofdlettergevoelig (inclusief zowel het leespad als het schrijfpad).
  • Kolomnamen: tabelkolomnamen kunnen nu puntjes bevatten.

Bekende problemen

  • De invoegingen van instructies met meerdere invoegingen bevinden zich in verschillende werkeenheden, in plaats van dezelfde transactie.

Bugfixes

  • Er is een oneindige lus opgelost bij het starten van een nieuwe stream in een tabel die snel wordt bijgewerkt.

Afgeschafte onderdelen

Structured Streaming verwerkt geen invoer die geen toevoeg is en genereert een uitzondering als er wijzigingen optreden in de tabel die als bron wordt gebruikt. Eerder kon u dit gedrag overschrijven met behulp van de ignoreFileDeletion vlag, maar deze is nu afgeschaft. Gebruik in plaats daarvan ignoreDeletes of ignoreChanges. Zie deltatabel als bron.

Andere wijzigingen en verbeteringen

  • Query Watchdog is ingeschakeld voor alle clusters die zijn gemaakt met de gebruikersinterface.
  • Verbeterde prestaties aan de stuurprogrammazijde voor de DBIO-cache
  • Verbeterde prestaties voor Parquet-decodering via een nieuwe systeemeigen Parquet-decoder
  • Verbeterde prestaties voor algemene subexpressie-verwijdering
  • Verbeterde prestaties voor het overslaan van gegevens voor grote tabellen die kleine tabellen samenvoegen (feitendimensietabel joins)
  • display() geeft nu kolommen weer met afbeeldingsgegevenstypen als uitgebreide HTML.
  • Verbeteringen in MLflow-modellen vastleggen, laden, registreren en implementeren
    • Dbml-local bijgewerkt naar de nieuwste versie 0.4.1
    • Fout opgelost met modellen die zijn geëxporteerd met threshold parameter opgegeven
    • Ondersteuning toegevoegd voor exporteren OneVsRestModel, GBTClassificationModel
  • Sommige geïnstalleerde Python-bibliotheken zijn bijgewerkt:
    • pip: van 9.0.1 tot 10.0.0b2
    • setuptools: van 38.5.1 tot 39.0.1
    • tornado: 4.5.3 tot 5.0.1
    • wiel: 0.30.0 tot 0.31.0
  • Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.
  • Azure Data Lake Store SDK bijgewerkt van 2.0.11 naar 2.2.8.
  • CUDA bijgewerkt naar 9.0 van 8.0 en CUDNN naar 7.0 van 6.0 voor GPU-clusters.

Apache Spark

Databricks Runtime 4.1 bevat Apache Spark 2.3.0. Deze release bevat alle fixes en verbeteringen die zijn opgenomen in Databricks Runtime 4.0 (niet-ondersteund) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-24007][SQL] EqualNullSafe voor FloatType en DoubleType kunnen een onjuist resultaat genereren door codegen.
  • [SPARK-23942][PYTHON] [SQL] Verzamelt in PySpark als actie voor een queryuitvoerer
  • [SPARK-23815][CORE] De overschrijfmodus voor dynamische Spark Writer-partitie kan mislukken bij het schrijven van uitvoer op meerdere niveaus
  • [SPARK-23748][SS] Probleem met continue SS-processen biedt geen ondersteuning voor subqueryAlias-probleem
  • [SPARK-23963][SQL] Een groot aantal kolommen in query's op de juiste manier verwerken in een Hive-tabel op basis van tekst
  • [SPARK-23867][SCHEDULER] gebruik droppedCount in logWarning
  • [SPARK-23816][CORE] Gedoode taken moeten FetchFailures negeren.
  • [SPARK-23809][SQL] Active SparkSession moet worden ingesteld door getOrCreate
  • [SPARK-23966][SS] Alle logica voor het schrijven van controlepuntenbestanden herstructureren in een algemene Interface van CheckpointFileManager
  • [SPARK-21351][SQL] Null-uitvoer bijwerken op basis van de uitvoer van kinderen
  • [SPARK-23847][PYTHON] [SQL] Asc_nulls_first, asc_nulls_last toevoegen aan PySpark
  • [SPARK-23822][SQL] Foutbericht verbeteren voor niet-overeenkomende Parquet-schema's
  • [SPARK-23823][SQL] Oorsprong behouden in transformExpression
  • [SPARK-23838][WEBUI] Het uitvoeren van een SQL-query wordt weergegeven als 'voltooid' op het tabblad SQL
  • [SPARK-23802][SQL] PropagateEmptyRelation kan het queryplan ongewijzigd laten
  • [SPARK-23727][SQL] Ondersteuning voor het pushen van filters voor DateType in Parquet
  • [SPARK-23574][SQL] Rapport SinglePartition in DataSourceV2ScanExec wanneer er precies één gegevenslezerfactory is.
  • [SPARK-23533][SS] Ondersteuning toevoegen voor het wijzigen van de startOffset van ContinuousDataReader
  • [SPARK-23491][SS] Expliciete taakannulering verwijderen uit ContinueExecution-herconfiguratie
  • [SPARK-23040][CORE] Retourneert interruptible iterator voor shuffle reader
  • [SPARK-23827][SS] StreamingJoinExec moet ervoor zorgen dat invoergegevens worden gepartitioneerd in een specifiek aantal partities
  • [SPARK-23639][SQL] Token verkrijgen voor init-metastore-client in SparkSQL CLI
  • [SPARK-23806]Broadcast.unpersist kan een fatale uitzondering veroorzaken bij gebruik...
  • [SPARK-23599][SQL] RandomUUIDGenerator gebruiken in Uuid-expressie
  • [SPARK-23599][SQL] Een UUID-generator toevoegen uit pseudo-willekeurige getallen
  • [SPARK-23759][UI] Kan de Spark-gebruikersinterface niet binden aan specifieke hostnaam/IP
  • [SPARK-23769][CORE] Opmerkingen verwijderen die de Scalastyle-controle onnodig uitschakelen
  • [SPARK-23614][SQL] Onjuiste exchange voor hergebruik corrigeren wanneer caching wordt gebruikt
  • [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs moet de CSE-status correct opslaan/herstellen
  • [SPARK-23729][CORE] URI-fragment respecteren bij het omzetten van globs
  • [SPARK-23550][CORE] Hulpprogramma's opschonen
  • [SPARK-23288][SS] Uitvoermetrieken oplossen met Parquet Sink
  • [SPARK-23264][SQL] Scala herstellen. MatchError in literals.sql.out
  • [SPARK-23649][SQL] Tekens overslaan die niet zijn toegestaan in UTF-8
  • [SPARK-23691][PYTHON] Gebruik waar mogelijk sql_conf hulpprogramma's in PySpark-tests
  • [SPARK-23644][CORE] [UI] Absoluut pad gebruiken voor REST-aanroep in SHS
  • [SPARK-23706][PYTHON] spark.conf.get(value, default=None) moet Geen produceren in PySpark
  • [SPARK-23623][SS] Vermijd gelijktijdig gebruik van in cache opgeslagen consumenten in CachedKafkaConsumer
  • [SPARK-23670][SQL] Geheugenlek in SparkPlanGraphWrapper oplossen
  • [SPARK-23608][CORE] [WEBUI] Synchronisatie toevoegen in SHS tussen attachSparkUI en detachSparkUI-functies om gelijktijdig wijzigingsprobleem met Jetty-handlers te voorkomen
  • [SPARK-23671][CORE] Oplossingsvoorwaarde om de SHS-threadgroep in te schakelen.
  • [SPARK-23658][LAUNCHER] InProcessAppHandle gebruikt de verkeerde klasse in getLogger
  • [SPARK-23642][DOCS] AccumulatorV2-subklasse isZero scaladoc fix
  • [SPARK-22915][MLLIB] Streamingtests voor spark.ml.feature, van N tot Z
  • [SPARK-23598][SQL] Methoden in BufferedRowIterator openbaar maken om runtimefout voor een grote query te voorkomen
  • [SPARK-23546][SQL] Staatloze methoden/waarden herstructureren in CodegenContext
  • [SPARK-23523][SQL] Corrigeer het onjuiste resultaat dat wordt veroorzaakt door de regel OptimizeMetadataOnlyQuery
  • [SPARK-23462][SQL] verbeteren ontbrekend veldfoutbericht in StructType
  • [SPARK-23624][SQL] Document van methode pushFilters herzien in Datasource V2
  • [SPARK-23173][SQL] Voorkom dat beschadigde Parquet-bestanden worden gemaakt bij het laden van gegevens uit JSON
  • [SPARK-23436][SQL] De partitie alleen afleiden als datum als deze kan worden gecast naar Datum
  • [SPARK-23406][SS] Self-joins voor stream-stream inschakelen
  • [SPARK-23490][SQL] Controleer storage.locationUri met bestaande tabel in CreateTable
  • [SPARK-23524]Grote lokale willekeurige blokken mogen niet worden gecontroleerd op beschadiging.
  • [SPARK-23525][SQL] ONDERSTEUNING VOOR ALTER TABLE CHANGE COLUMN COMMENT voor externe Hive-tabel
  • [SPARK-23434][SQL] Spark mag metagegevensmap niet waarschuwen voor een HDFS-bestandspad
  • [SPARK-23457][SQL] Listeners voor taakvoltooiing eerst registreren in ParquetFileFormat
  • [SPARK-23329][SQL] Documentatie van trigonometrische functies herstellen
  • [SPARK-23569][PYTHON] Toestaan pandas_udf te werken met type-aantekeningen in Python3-functies
  • [SPARK-23570][SQL] Spark 2.3.0 toevoegen in HiveExternalCatalogVersionsSuite
  • [SPARK-23517][PYTHON] Maak _pyspark.util. exception_message de tracering van Java naast Py4JJavaError produceren
  • [SPARK-23508][CORE] BlockmanagerId herstellen in geval blockManagerIdCache oorzaakoom
  • [SPARK-23448][SQL] Gedrag van JSON- en CSV-parser in document verduidelijken
  • [SPARK-23365][CORE] Pas num executors niet aan bij het doden van niet-actieve uitvoerders.
  • [SPARK-23438][DSTREAMS] DStreams-gegevensverlies met WAL oplossen wanneer het stuurprogramma vastloopt
  • [SPARK-23475][UI] Ook overgeslagen fasen weergeven
  • [SPARK-23518][SQL] Vermijd metastore-toegang wanneer de gebruikers alleen gegevensframes willen lezen en schrijven
  • [SPARK-23406][SS] Self-joins voor stream-stream inschakelen
  • [SPARK-23541][SS] Toestaan dat de Kafka-bron gegevens kan lezen met een grotere parallelle uitvoering dan het aantal artikelpartities
  • [SPARK-23097][SQL] [SS] Tekstsocketbron migreren naar V2
  • [SPARK-23362][SS] Kafka Microbatch-bron migreren naar v2
  • [SPARK-23445]ColumnStat-herstructurering
  • [SPARK-23092][SQL] MemoryStream migreren naar DataSourceV2-API's
  • [SPARK-23447][SQL] Codegen-sjabloon opschonen voor Letterlijk
  • [SPARK-23366]Dynamisch leespad verbeteren in ReadAheadInputStream
  • [SPARK-22624][PYSPARK] Bereikpartitionering in willekeurige volgorde beschikbaar maken

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 4.1.

Systeemomgeving

  • Besturingssysteem: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 voor Python 2-clusters en 3.5.2 voor Python 3-clusters.
  • R: R versie 3.4.4 (2018-03-15)
  • GPU-clusters: de volgende NVIDIA GPU-bibliotheken zijn geïnstalleerd:
    • Tesla bestuurder 375.66
    • CUDA 9.0
    • cuDNN 7.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
Boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 Cffi 1.7.0
Chardet 2.3.0 colorama 0.3.7 Configobj 5.0.6
Cryptografie 1.5 cycler 0.10.0 Cython 0.24.1
Decorator 4.0.10 Docutils 0,14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 Futures 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
Ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
Lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 Numpy 1.11.1 openpyxl 2.3.2
Pandas 0.19.2 pathlib2 2.1.0 Patsy 0.4.1
Pexpect 4.0.1 pickleshare 0.7.4 Kussen 3.3.1
Pip 10.0.0b2 Ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 Pygobject 3.20.0 Pyopenssl 16.0.0
Pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
Scipy 0.18.1 Schuren 0.32 seaborn 0.7.1
Setuptools 39.0.1 Simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 Zes 1.10.0 statsmodels 0.6.1
Tornado 5.0.1 traitlets 4.3.0 urllib3 1.19.1
Virtualenv 15.0.1 wcwidth 0.1.7 Wiel 0.31.0
Wsgiref 0.1.2

Geïnstalleerde R-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Abind 1.4-5 assertthat 0.2.0 Backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
Bitops 1.0-6 blob 1.1.1 opstarten 1.3-20
Brouwsel 1.0-6 Bezem 0.4.4 car 3.0-0
carData 3.0-1 caret 6.0-79 cellranger 1.1.0
Chron 2.3-52 class 7.3-14 cli 1.0.0
cluster 2.0.7 Codetools 0.2-15 Colorspace 1.3-2
commonmark 1.4 Compiler 3.4.4 Crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
gegevenssets 3.4.4 DBI 0,8 ddalpha 1.3.1.1
DEoptimR 1.0-8 Desc 1.1.1 Devtools 1.13.5
dichromat 2.0-0 Digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 Buitenlandse 0.8-69
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 Lijm 1.2.0 Gower 0.1.2
afbeeldingen 3.4.4 grDevices 3.4.4 Raster 3.4.4
gsubfn 0,7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 Hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 Ipred 0.9-6
Iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
Kernsmooth 2.23-15 Labeling 0,3 Lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 Littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
Mapproj 1.2.6 Kaarten 3.3.0 maptools 0.9-2
MASS 7.3-49 Matrix 1.2-13 MatrixModels 0.4-1
memoise 1.1.0 methoden 3.4.4 Mgcv 1.8-23
Mime 0,5 minqa 1.2.4 Mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 Mvtnorm 1.0-7
Nlme 3.1-137 nloptr 1.0.4 Nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 Pijler 1.2.1
Pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 Lof 1.0.0 prettyunits 1.0.2
Proc 1.11.0 prodlim 1.6.1 Proto 1.0.0
Psych 1.8.3.3 Purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 Rcolorbrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 leesbewerking 1.1.1 readxl 1.0.0
recepten 0.1.2 Rematch 1.0.1 hervorm2 1.4.3
Rio 0.5.10 rlang 0.2.0 Robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 Rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0,7 Schalen 0.5.0 sfsmisc 1.1-2
Sp 1.2-7 SparkR 2.3.0 SparseM 1.77
Ruimtelijke 7.3-11 Splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 Stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
Overleving 2.41-3 Tcltk 3.4.4 TeachingDemos 2.10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 Timedate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics Stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-gearceerd 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.0.0
com.fasterxml.jackson.core jackson-annotaties 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuratie commons-configuratie 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metrische gegevenskern 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrische gegevensgrafiet 3.1.5
io.dropwizard.metrics metrische statuscontroles 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx Collector 0,7
javax.activation activering 1.1.1
javax.annotatie javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.validation validatie-API 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extra's 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 0.8.0
org.apache.arrow pijlgeheugen 0.8.0
org.apache.arrow pijlvector 0.8.0
org.apache.avro Avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recepten 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-aantekeningen 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy Ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet parquet-codering 1.8.2-databricks1
org.apache.parquet parquet-indeling 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-gearceerd 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino Janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-vervolg 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate sluimerstand-validator 5.1.1.Final
org.iq80.snappy Snappy 0,2
org.javassist Javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark Ongebruikte 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani Xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
Oro Oro 2.0.8
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0,52