Databricks Runtime 4.1 (EoS)
Notitie
Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.
Databricks heeft deze afbeelding uitgebracht in mei 2018.
Belangrijk
Deze release is afgeschaft op 17 januari 2019. Zie databricks-ondersteuningslevenscyclussen voor meer informatie over het afschaffingsbeleid en de planning van Databricks Runtime.
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 4.1, mogelijk gemaakt door Apache Spark.
Delta Lake
Databricks Runtime versie 4.1 voegt belangrijke kwaliteitsverbeteringen en functionaliteit toe aan Delta Lake. Databricks raadt ten zeerste aan dat alle Delta Lake-klanten upgraden naar de nieuwe runtime. Deze release blijft in Private Preview, maar het vertegenwoordigt een kandidaatrelease in afwachting van de aanstaande algemene beschikbaarheidsrelease (GA).
Delta Lake is nu ook beschikbaar in Private Preview voor Azure Databricks-gebruikers. Neem contact op met uw accountmanager of meld u aan op https://databricks.com/product/databricks-delta.
Wijzigingen die fouten veroorzaken
Databricks Runtime 4.1 bevat wijzigingen in het transactieprotocol om nieuwe functies in te schakelen, zoals validatie. Tabellen die zijn gemaakt met Databricks Runtime 4.1 gebruiken automatisch de nieuwe versie en kunnen niet worden geschreven naar oudere versies van Databricks Runtime. U moet bestaande tabellen upgraden om te kunnen profiteren van deze verbeteringen. Als u een bestaande tabel wilt bijwerken, moet u eerst alle taken bijwerken die naar de tabel worden geschreven. Voer vervolgens het volgende uit:
com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")
Zie Hoe beheert Azure Databricks de compatibiliteit van Delta Lake-functies? voor meer informatie.
Schrijfbewerkingen worden nu gevalideerd op basis van het huidige schema van de tabel in plaats van automatisch kolommen toe te voegen die ontbreken in de doeltabel. Als u het vorige gedrag wilt inschakelen, stelt u de
mergeSchema
optie in optrue
.Als u eerdere versies van Databricks Delta uitvoert, moet u alle taken upgraden voordat u Databricks Runtime 4.1 gebruikt. Als u een van deze fouten ziet, voert u een upgrade uit naar Databricks Runtime 4.1:
java.lang.NumberFormatException: For input string: "00000000000000....crc" scala.MatchError
Tabellen kunnen geen kolommen meer hebben die alleen per geval verschillen.
Deltaspecifieke tabelconfiguraties moeten nu worden voorafgegaan door
delta.
Nieuwe functies
Schemabeheer - Databricks Delta valideert nu toevoeg- en overschrijfbewerkingen aan een bestaande tabel om ervoor te zorgen dat het schema dat wordt geschreven overeenkomt met het schema.
- Databricks Delta blijft automatische schemaontwikkeling ondersteunen.
- Databricks Delta ondersteunt nu de volgende DDL om het schema expliciet te wijzigen:
ALTER TABLE ADD COLUMN
nieuwe kolommen toevoegen aan een tabelALTER TABLE CHANGE COLUMNS
om de volgorde van kolommen te wijzigenALTER TABLE [SET|UNSET] TBLPROPERTIES
Zie Schema afdwingen voor meer informatie.
Verbeterde DDL- en tabelondersteuning
- Volledige ondersteuning voor tabel-DDL en
saveAsTable()
.save()
ensaveAsTable()
nu identieke semantiek hebben. - Alle DDL- en DML-opdrachten ondersteunen zowel tabelnaam
delta.`<path-to-table>`
als . SHOW PARTITIONS
SHOW COLUMNS
DESC TABLE
- Gedetailleerde tabelinformatie - U kunt de huidige lezer en schrijfversies van een tabel zien door deze uit te voeren
DESCRIBE DETAIL
. Zie Hoe beheert Azure Databricks de compatibiliteit van Delta Lake-functies? - Tabeldetails: informatie over herkomst is nu beschikbaar voor elke schrijfbewerking naar een tabel. De zijbalk Gegevens bevat ook gedetailleerde tabelinformatie en geschiedenis voor Databricks Delta-tabellen. Zie De details van de Delta Lake-tabel bekijken met een beschrijving.
- Streamingtabellen - Streaming DataFrames kunnen worden gemaakt met behulp van
spark.readStream.format("delta").table("<table-name>")
. - Tabellen met alleen toevoegen: Databricks Delta biedt nu ondersteuning voor basisgegevensbeheer. U kunt verwijderingen en wijzigingen in een tabel blokkeren door de tabeleigenschap
delta.appendOnly=true
in te stellen. MERGE INTO
source : voegt uitgebreidere ondersteuning toe aan de bronqueryspecificatie vanMERGE
. U kunt bijvoorbeeld enORDER BY
INLINE TABLE
in de bron opgevenLIMIT
.- Volledige ondersteuning voor tabel-ACL's.
- Volledige ondersteuning voor tabel-DDL en
Prestatieverbeteringen
- Minder overhead voor het verzamelen van statistieken: de efficiëntie van het verzamelen van statistieken is verbeterd en statistieken worden nu alleen verzameld voor een configureerbaar aantal kolommen, standaard ingesteld op 32. De schrijfprestaties van Databricks Delta zijn met maximaal 2x verbeterd vanwege de vermindering van de overhead voor het verzamelen van statistieken. Als u het aantal kolommen wilt configureren, stelt u de tabeleigenschap
delta.dataSkippingNumIndexedCols=<number-of-columns>
in. - Ondersteuning voor pushen van limieten - Statistieken worden gebruikt om het aantal bestanden te beperken dat wordt gescand op query's die over partitiekolommen beschikken
LIMIT
en predicaten hebben. Dit is van toepassing op query's in notebooks vanwege de implicietelimit=1000
werking voor alle notebookopdrachten. - Pushdown filteren in de streamingbron: streamingquery's gebruiken nu partitionering bij het starten van een nieuwe stream om irrelevante gegevens over te slaan.
- Verbeterde parallellisme voor
OPTIMIZE
-OPTIMIZE
nu wordt uitgevoerd als één Spark-taak en gebruikt alle parallelle uitvoeringen die beschikbaar zijn op het cluster (voorheen beperkt tot 100 gecomprimeerde bestanden tegelijk). - Gegevens overslaan in DML -
UPDATE
,DELETE
enMERGE
gebruiken nu statistieken bij het zoeken naar bestanden die moeten worden herschreven. - Verminderde bewaarperiode van controlepunten: controlepunten worden nu twee dagen bewaard (de geschiedenis blijft 30 behouden) om de opslagkosten voor het transactielogboek te verlagen.
API-gedrag
- Het gedrag van
insertInto(<table-name>)
Databricks Delta is hetzelfde als andere gegevensbronnen.- Als er geen modus is opgegeven of
mode
ErrorIfExists
is,Ignore
ofAppend
als de gegevens in het DataFrame worden toegevoegd aan de Databricks Delta-tabel. - Als
mode
dat het isOverwrite
, verwijdert u alle gegevens in de bestaande tabel en voegt u de gegevens uit het DataFrame in de Databricks Delta-tabel in.
- Als er geen modus is opgegeven of
- Als de cache is opgeslagen, moet de doeltabel
MERGE
van de cache handmatig worden uitgeschakeld.
Bruikbaarheidsverbeteringen
- Validaties van workloadmigratie: veelvoorkomende fouten bij het migreren van workloads naar Databricks Delta veroorzaken nu een uitzondering in plaats van een fout:
- Een
format("parquet")
tabel lezen of schrijven. - Rechtstreeks naar een partitie lezen of schrijven (dat wil
/path/to/delta/part=1
gezegd). - Submappen van een tabel leegmaken.
INSERT OVERWRITE DIRECTORY
Parquet gebruiken op een tabel.
- Een
- Niet-hoofdlettergevoelige configuratie: opties voor de eigenschappen van DataFrame Reader/Writer en tabel zijn nu niet hoofdlettergevoelig (inclusief zowel het leespad als het schrijfpad).
- Kolomnamen: tabelkolomnamen kunnen nu puntjes bevatten.
Bekende problemen
- De invoegingen van instructies met meerdere invoegingen bevinden zich in verschillende werkeenheden, in plaats van dezelfde transactie.
Bugfixes
- Er is een oneindige lus opgelost bij het starten van een nieuwe stream in een tabel die snel wordt bijgewerkt.
Afgeschafte onderdelen
Structured Streaming verwerkt geen invoer die geen toevoeg is en genereert een uitzondering als er wijzigingen optreden in de tabel die als bron wordt gebruikt. Eerder kon u dit gedrag overschrijven met behulp van de ignoreFileDeletion
vlag, maar deze is nu afgeschaft. Gebruik in plaats daarvan ignoreDeletes
of ignoreChanges
. Zie deltatabel als bron.
Andere wijzigingen en verbeteringen
- Query Watchdog is ingeschakeld voor alle clusters die zijn gemaakt met de gebruikersinterface.
- Verbeterde prestaties aan de stuurprogrammazijde voor de DBIO-cache
- Verbeterde prestaties voor Parquet-decodering via een nieuwe systeemeigen Parquet-decoder
- Verbeterde prestaties voor algemene subexpressie-verwijdering
- Verbeterde prestaties voor het overslaan van gegevens voor grote tabellen die kleine tabellen samenvoegen (feitendimensietabel joins)
display()
geeft nu kolommen weer met afbeeldingsgegevenstypen als uitgebreide HTML.- Verbeteringen in MLflow-modellen vastleggen, laden, registreren en implementeren
- Dbml-local bijgewerkt naar de nieuwste versie 0.4.1
- Fout opgelost met modellen die zijn geëxporteerd met
threshold
parameter opgegeven - Ondersteuning toegevoegd voor exporteren
OneVsRestModel
,GBTClassificationModel
- Sommige geïnstalleerde Python-bibliotheken zijn bijgewerkt:
- pip: van 9.0.1 tot 10.0.0b2
- setuptools: van 38.5.1 tot 39.0.1
- tornado: 4.5.3 tot 5.0.1
- wiel: 0.30.0 tot 0.31.0
- Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.
- Azure Data Lake Store SDK bijgewerkt van 2.0.11 naar 2.2.8.
- CUDA bijgewerkt naar 9.0 van 8.0 en CUDNN naar 7.0 van 6.0 voor GPU-clusters.
Apache Spark
Databricks Runtime 4.1 bevat Apache Spark 2.3.0. Deze release bevat alle fixes en verbeteringen die zijn opgenomen in Databricks Runtime 4.0 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:
- [SPARK-24007][SQL] EqualNullSafe voor FloatType en DoubleType kunnen een onjuist resultaat genereren door codegen.
- [SPARK-23942][PYTHON] [SQL] Verzamelt in PySpark als actie voor een queryuitvoerer
- [SPARK-23815][CORE] De overschrijfmodus voor dynamische Spark Writer-partitie kan mislukken bij het schrijven van uitvoer op meerdere niveaus
- [SPARK-23748][SS] Probleem met continue SS-processen biedt geen ondersteuning voor subqueryAlias-probleem
- [SPARK-23963][SQL] Een groot aantal kolommen in query's op de juiste manier verwerken in een Hive-tabel op basis van tekst
- [SPARK-23867][SCHEDULER] gebruik droppedCount in logWarning
- [SPARK-23816][CORE] Gedoode taken moeten FetchFailures negeren.
- [SPARK-23809][SQL] Active SparkSession moet worden ingesteld door getOrCreate
- [SPARK-23966][SS] Alle logica voor het schrijven van controlepuntenbestanden herstructureren in een algemene Interface van CheckpointFileManager
- [SPARK-21351][SQL] Null-uitvoer bijwerken op basis van de uitvoer van kinderen
- [SPARK-23847][PYTHON] [SQL] Asc_nulls_first, asc_nulls_last toevoegen aan PySpark
- [SPARK-23822][SQL] Foutbericht verbeteren voor niet-overeenkomende Parquet-schema's
- [SPARK-23823][SQL] Oorsprong behouden in transformExpression
- [SPARK-23838][WEBUI] Het uitvoeren van een SQL-query wordt weergegeven als 'voltooid' op het tabblad SQL
- [SPARK-23802][SQL] PropagateEmptyRelation kan het queryplan ongewijzigd laten
- [SPARK-23727][SQL] Ondersteuning voor het pushen van filters voor DateType in Parquet
- [SPARK-23574][SQL] Rapport SinglePartition in DataSourceV2ScanExec wanneer er precies één gegevenslezerfactory is.
- [SPARK-23533][SS] Ondersteuning toevoegen voor het wijzigen van de startOffset van ContinuousDataReader
- [SPARK-23491][SS] Expliciete taakannulering verwijderen uit ContinueExecution-herconfiguratie
- [SPARK-23040][CORE] Retourneert interruptible iterator voor shuffle reader
- [SPARK-23827][SS] StreamingJoinExec moet ervoor zorgen dat invoergegevens worden gepartitioneerd in een specifiek aantal partities
- [SPARK-23639][SQL] Token verkrijgen voor init-metastore-client in SparkSQL CLI
- [SPARK-23806]Broadcast.unpersist kan een fatale uitzondering veroorzaken bij gebruik...
- [SPARK-23599][SQL] RandomUUIDGenerator gebruiken in Uuid-expressie
- [SPARK-23599][SQL] Een UUID-generator toevoegen uit pseudo-willekeurige getallen
- [SPARK-23759][UI] Kan de Spark-gebruikersinterface niet binden aan specifieke hostnaam/IP
- [SPARK-23769][CORE] Opmerkingen verwijderen die de Scalastyle-controle onnodig uitschakelen
- [SPARK-23614][SQL] Onjuiste exchange voor hergebruik corrigeren wanneer caching wordt gebruikt
- [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs moet de CSE-status correct opslaan/herstellen
- [SPARK-23729][CORE] URI-fragment respecteren bij het omzetten van globs
- [SPARK-23550][CORE] Hulpprogramma's opschonen
- [SPARK-23288][SS] Uitvoermetrieken oplossen met Parquet Sink
- [SPARK-23264][SQL] Scala herstellen. MatchError in literals.sql.out
- [SPARK-23649][SQL] Tekens overslaan die niet zijn toegestaan in UTF-8
- [SPARK-23691][PYTHON] Gebruik waar mogelijk sql_conf hulpprogramma's in PySpark-tests
- [SPARK-23644][CORE] [UI] Absoluut pad gebruiken voor REST-aanroep in SHS
- [SPARK-23706][PYTHON] spark.conf.get(value, default=None) moet Geen produceren in PySpark
- [SPARK-23623][SS] Vermijd gelijktijdig gebruik van in cache opgeslagen consumenten in CachedKafkaConsumer
- [SPARK-23670][SQL] Geheugenlek in SparkPlanGraphWrapper oplossen
- [SPARK-23608][CORE] [WEBUI] Synchronisatie toevoegen in SHS tussen attachSparkUI en detachSparkUI-functies om gelijktijdig wijzigingsprobleem met Jetty-handlers te voorkomen
- [SPARK-23671][CORE] Oplossingsvoorwaarde om de SHS-threadgroep in te schakelen.
- [SPARK-23658][LAUNCHER] InProcessAppHandle gebruikt de verkeerde klasse in getLogger
- [SPARK-23642][DOCS] AccumulatorV2-subklasse isZero scaladoc fix
- [SPARK-22915][MLLIB] Streamingtests voor spark.ml.feature, van N tot Z
- [SPARK-23598][SQL] Methoden in BufferedRowIterator openbaar maken om runtimefout voor een grote query te voorkomen
- [SPARK-23546][SQL] Staatloze methoden/waarden herstructureren in CodegenContext
- [SPARK-23523][SQL] Corrigeer het onjuiste resultaat dat wordt veroorzaakt door de regel OptimizeMetadataOnlyQuery
- [SPARK-23462][SQL] verbeteren ontbrekend veldfoutbericht in StructType
- [SPARK-23624][SQL] Document van methode pushFilters herzien in Datasource V2
- [SPARK-23173][SQL] Voorkom dat beschadigde Parquet-bestanden worden gemaakt bij het laden van gegevens uit JSON
- [SPARK-23436][SQL] De partitie alleen afleiden als datum als deze kan worden gecast naar Datum
- [SPARK-23406][SS] Self-joins voor stream-stream inschakelen
- [SPARK-23490][SQL] Controleer storage.locationUri met bestaande tabel in CreateTable
- [SPARK-23524]Grote lokale willekeurige blokken mogen niet worden gecontroleerd op beschadiging.
- [SPARK-23525][SQL] ONDERSTEUNING VOOR ALTER TABLE CHANGE COLUMN COMMENT voor externe Hive-tabel
- [SPARK-23434][SQL] Spark mag metagegevensmap niet waarschuwen voor een HDFS-bestandspad
- [SPARK-23457][SQL] Listeners voor taakvoltooiing eerst registreren in ParquetFileFormat
- [SPARK-23329][SQL] Documentatie van trigonometrische functies herstellen
- [SPARK-23569][PYTHON] Toestaan pandas_udf te werken met type-aantekeningen in Python3-functies
- [SPARK-23570][SQL] Spark 2.3.0 toevoegen in HiveExternalCatalogVersionsSuite
- [SPARK-23517][PYTHON] Maak _pyspark.util. exception_message de tracering van Java naast Py4JJavaError produceren
- [SPARK-23508][CORE] BlockmanagerId herstellen in geval blockManagerIdCache oorzaakoom
- [SPARK-23448][SQL] Gedrag van JSON- en CSV-parser in document verduidelijken
- [SPARK-23365][CORE] Pas num executors niet aan bij het doden van niet-actieve uitvoerders.
- [SPARK-23438][DSTREAMS] DStreams-gegevensverlies met WAL oplossen wanneer het stuurprogramma vastloopt
- [SPARK-23475][UI] Ook overgeslagen fasen weergeven
- [SPARK-23518][SQL] Vermijd metastore-toegang wanneer de gebruikers alleen gegevensframes willen lezen en schrijven
- [SPARK-23406][SS] Self-joins voor stream-stream inschakelen
- [SPARK-23541][SS] Toestaan dat de Kafka-bron gegevens kan lezen met een grotere parallelle uitvoering dan het aantal artikelpartities
- [SPARK-23097][SQL] [SS] Tekstsocketbron migreren naar V2
- [SPARK-23362][SS] Kafka Microbatch-bron migreren naar v2
- [SPARK-23445]ColumnStat-herstructurering
- [SPARK-23092][SQL] MemoryStream migreren naar DataSourceV2-API's
- [SPARK-23447][SQL] Codegen-sjabloon opschonen voor Letterlijk
- [SPARK-23366]Dynamisch leespad verbeteren in ReadAheadInputStream
- [SPARK-22624][PYSPARK] Bereikpartitionering in willekeurige volgorde beschikbaar maken
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 4.1.
Systeemomgeving
- Besturingssysteem: Ubuntu 16.04.4 LTS
- Java: 1.8.0_162
- Scala: 2.11.8
- Python: 2.7.12 voor Python 2-clusters en 3.5.2 voor Python 3-clusters.
- R: R versie 3.4.4 (2018-03-15)
- GPU-clusters: de volgende NVIDIA GPU-bibliotheken zijn geïnstalleerd:
- Tesla bestuurder 375.66
- CUDA 9.0
- cuDNN 7.0
Geïnstalleerde Python-bibliotheken
Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
---|---|---|---|---|---|
ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffiffi | 1.7.0 |
chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
cryptografie | 1.5 | wielrijder | 0.10.0 | Cython | 0.24.1 |
decorateur | 4.0.10 | docutils | 0,14 | enum34 | 1.1.6 |
et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
fusepy | 2.0.4 | Futures | 3.2.0 | ggplot | 0.6.8 |
html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
Pandas | 0.19.2 | pathlib2 | 2.1.0 | Patsy | 0.4.1 |
pexpect | 4.0.1 | pickleshare | 0.7.4 | Kussen | 3.3.1 |
pit | 10.0.0b2 | Ply | 3.9 | prompt-toolkit | 1.0.7 |
psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
scipy | 0.18.1 | schuren | 0.32 | seaborn | 0.7.1 |
setuptools | 39.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
singledispatch | 3.4.0.3 | Zes | 1.10.0 | statsmodels | 0.6.1 |
tornado | 5.0.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
virtualenv | 15.0.1 | wcwidth | 0.1.7 | wiel | 0.31.0 |
wsgiref | 0.1.2 |
Geïnstalleerde R-bibliotheken
Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
---|---|---|---|---|---|
abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.2 |
base | 3.4.4 | BH | 1.66.0-1 | bindr | 0.1.1 |
bindrcpp | 0.2.2 | bit | 1.1-12 | bit64 | 0.9-7 |
bitops | 1.0-6 | blob | 1.1.1 | opstarten | 1.3-20 |
brouwsel | 1.0-6 | bezem | 0.4.4 | car | 3.0-0 |
carData | 3.0-1 | caret | 6.0-79 | cellranger | 1.1.0 |
Chron | 2.3-52 | class | 7.3-14 | cli | 1.0.0 |
cluster | 2.0.7 | codetools | 0.2-15 | colorspace | 1.3-2 |
commonmark | 1.4 | compiler | 3.4.4 | Crayon | 1.3.4 |
curl | 3.2 | CVST | 0.2-1 | data.table | 1.10.4-3 |
gegevenssets | 3.4.4 | DBI | 0,8 | ddalpha | 1.3.1.1 |
DEoptimR | 1.0-8 | Desc | 1.1.1 | devtools | 1.13.5 |
dichromat | 2.0-0 | verteren | 0.6.15 | dimRed | 0.1.0 |
doMC | 1.3.5 | dplyr | 0.7.4 | DRR | 0.0.3 |
forcats | 0.3.0 | foreach | 1.4.4 | buitenlands | 0.8-69 |
gbm | 2.1.3 | ggplot2 | 2.2.1 | git2r | 0.21.0 |
glmnet | 2.0-16 | lijm | 1.2.0 | Gower | 0.1.2 |
afbeeldingen | 3.4.4 | grDevices | 3.4.4 | rooster | 3.4.4 |
gsubfn | 0,7 | gtable | 0.2.0 | h2o | 3.16.0.2 |
haven | 1.1.1 | Hms | 0.4.2 | httr | 1.3.1 |
hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
Iterators | 1.0.9 | jsonlite | 1.5 | kernlab | 0.9-25 |
KernSmooth | 2.23-15 | Labeling | 0,3 | latwerk | 0.20-35 |
lava | 1.6.1 | lazyeval | 0.2.1 | Littler | 0.3.3 |
lme4 | 1.1-17 | lubridate | 1.7.3 | magrittr | 1.5 |
mapproj | 1.2.6 | Kaarten | 3.3.0 | maptools | 0.9-2 |
MASSA | 7.3-49 | Matrix | 1.2-13 | MatrixModels | 0.4-1 |
memoise | 1.1.0 | methoden | 3.4.4 | mgcv | 1.8-23 |
Mime | 0,5 | minqa | 1.2.4 | mnormt | 1.5-5 |
ModelMetrics | 1.1.0 | munsell | 0.4.3 | mvtnorm | 1.0-7 |
nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
numDeriv | 2016.8-1 | openssl | 1.0.1 | openxlsx | 4.0.17 |
parallel | 3.4.4 | pbkrtest | 0.4-7 | pilaar | 1.2.1 |
pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.2.0 |
plyr | 1.8.4 | loven | 1.0.0 | prettyunits | 1.0.2 |
Proc | 1.11.0 | prodlim | 1.6.1 | Proto | 1.0.0 |
Psych | 1.8.3.3 | purrr | 0.2.4 | quantreg | 5.35 |
R.methodsS3 | 1.7.1 | R.oo | 1.21.0 | R.utils | 2.6.0 |
R6 | 2.2.2 | randomForest | 4.6-14 | RColorBrewer | 1.1-2 |
Rcpp | 0.12.16 | RcppEigen | 0.3.3.4.0 | RcppRoll | 0.2.2 |
RCurl | 1.95-4.10 | leesbewerking | 1.1.1 | readxl | 1.0.0 |
recepten | 0.1.2 | Rematch | 1.0.1 | hervorm2 | 1.4.3 |
Rio | 0.5.10 | rlang | 0.2.0 | robustbase | 0.92-8 |
RODBC | 1.3-15 | roxygen2 | 6.0.1 | rpart | 4.1-13 |
rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.0 |
rstudioapi | 0,7 | weegschaal | 0.5.0 | sfsmisc | 1.1-2 |
Sp | 1.2-7 | SparkR | 2.3.0 | SparseM | 1.77 |
ruimtelijk | 7.3-11 | Splines | 3.4.4 | sqldf | 0.4-11 |
SQUAREM | 2017.10-1 | statmod | 1.4.30 | Stats | 3.4.4 |
stats4 | 3.4.4 | stringi | 1.1.7 | stringr | 1.3.0 |
overleving | 2.41-3 | tcltk | 3.4.4 | TeachingDemos | 2.10 |
testthat | 2.0.0 | tibble | 1.4.2 | tidyr | 0.8.0 |
tidyselect | 0.2.4 | timeDate | 3043.102 | tools | 3.4.4 |
utf8 | 1.1.3 | utils | 3.4.4 | viridisLite | 0.3.0 |
snor | 0.3-2 | withr | 2.1.2 | xml2 | 1.2.0 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie)
Groeps-id | Artefact-id | Versie |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.7.3 |
com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
com.amazonaws | aws-java-sdk-config | 1.11.313 |
com.amazonaws | aws-java-sdk-core | 1.11.313 |
com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
com.amazonaws | aws-java-sdk-directory | 1.11.313 |
com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
com.amazonaws | aws-java-sdk-efs | 1.11.313 |
com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
com.amazonaws | aws-java-sdk-emr | 1.11.313 |
com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
com.amazonaws | aws-java-sdk-iam | 1.11.313 |
com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
com.amazonaws | aws-java-sdk-kms | 1.11.313 |
com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
com.amazonaws | aws-java-sdk-logs | 1.11.313 |
com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
com.amazonaws | aws-java-sdk-rds | 1.11.313 |
com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
com.amazonaws | aws-java-sdk-ses | 1.11.313 |
com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
com.amazonaws | aws-java-sdk-sns | 1.11.313 |
com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
com.amazonaws | aws-java-sdk-sts | 1.11.313 |
com.amazonaws | aws-java-sdk-support | 1.11.313 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
com.amazonaws | jmespath-java | 1.11.313 |
com.carrotsearch | hppc | 0.7.2 |
com.chuusai | shapeless_2.11 | 2.3.2 |
com.clearspring.analytics | stroom | 2.7.0 |
com.databricks | Rserve | 1.8-3 |
com.databricks | dbml-local_2.11 | 0.4.1-db1-spark2.3 |
com.databricks | dbml-local_2.11-tests | 0.4.1-db1-spark2.3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
com.esotericsoftware | kryo-gearceerd | 3.0.3 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | klasgenoot | 1.0.0 |
com.fasterxml.jackson.core | jackson-annotaties | 2.6.7 |
com.fasterxml.jackson.core | jackson-core | 2.6.7 |
com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | kern | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-natives | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | zstd-jni | 1.3.2-2 |
com.github.rwl | jtransforms | 2.4.0 |
com.google.code.findbugs | jsr305 | 2.0.1 |
com.google.code.gson | gson | 2.2.4 |
com.google.guava | guave | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.googlecode.javaewah | JavaEWAH | 0.3.2 |
com.h2database | h2 | 1.3.174 |
com.jamesmurty.utils | java-xmlbuilder | 1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.mchange | c3p0 | 0.9.5.1 |
com.mchange | mchange-commons-java | 0.2.10 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
com.ning | compress-lzf | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.11 | 0,3 |
com.twitter | chill-java | 0.8.4 |
com.twitter | chill_2.11 | 0.8.4 |
com.twitter | parquet-hadoop-bundle | 1.6.0 |
com.twitter | util-app_2.11 | 6.23.0 |
com.twitter | util-core_2.11 | 6.23.0 |
com.twitter | util-jvm_2.11 | 6.23.0 |
com.typesafe | configuratie | 1.2.1 |
com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
com.univocity | univocity-parsers | 2.5.9 |
com.vlkan | flatbuffers | 1.2.0-3f79e055 |
com.zaxxer | HikariCP | 2.4.1 |
commons-beanutils | commons-beanutils | 1.7.0 |
commons-beanutils | commons-beanutils-core | 1.8.0 |
commons-cli | commons-cli | 1.2 |
commons-codec | commons-codec | 1,10 |
commons-collections | commons-collections | 3.2.2 |
commons-configuratie | commons-configuratie | 1.6 |
commons-dbcp | commons-dbcp | 1.4 |
commons-digester | commons-digester | 1.8 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.4 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-net | commons-net | 2.2 |
commons-pool | commons-pool | 1.5.4 |
info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
io.airlift | aircompressor | 0,8 |
io.dropwizard.metrics | metrische gegevenskern | 3.1.5 |
io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
io.dropwizard.metrics | metrische gegevensgrafiet | 3.1.5 |
io.dropwizard.metrics | metrische statuscontroles | 3.1.5 |
io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
io.dropwizard.metrics | metrics-json | 3.1.5 |
io.dropwizard.metrics | metrics-jvm | 3.1.5 |
io.dropwizard.metrics | metrics-log4j | 3.1.5 |
io.dropwizard.metrics | metrics-servlets | 3.1.5 |
io.netty | netty | 3.9.9.Final |
io.netty | netty-all | 4.1.17.Final |
io.prometheus | simpleclient | 0.0.16 |
io.prometheus | simpleclient_common | 0.0.16 |
io.prometheus | simpleclient_dropwizard | 0.0.16 |
io.prometheus | simpleclient_servlet | 0.0.16 |
io.prometheus.jmx | verzamelaar | 0,7 |
javax.activation | activering | 1.1.1 |
javax.annotatie | javax.annotation-api | 1.2 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | jsp-api | 2.1 |
javax.transaction | jta | 1.1 |
javax.validation | validatie-API | 1.1.0.Final |
javax.ws.rs | javax.ws.rs-api | 2.0.1 |
javax.xml.bind | jaxb-api | 2.2.2 |
javax.xml.stream | stax-api | 1.0-2 |
javolution | javolution | 5.5.1 |
jline | jline | 2,11 |
joda-time | joda-time | 2.9.3 |
log4j | apache-log4j-extra's | 1.2.17 |
log4j | log4j | 1.2.17 |
net.hydromatic | eigenbase-properties | 1.1.5 |
net.iharder | base64 | 2.3.8 |
net.java.dev.jets3t | jets3t | 0.9.4 |
net.razorvine | pyrolite | 4.13 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-CSV | 2.2.0 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt | oncrpc | 1.0.7 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.4 |
org.antlr | antlr4-runtime | 4.7 |
org.antlr | tekenreekstemplate | 3.2.1 |
org.apache.ant | ant | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | pijlnotatie | 0.8.0 |
org.apache.arrow | pijlgeheugen | 0.8.0 |
org.apache.arrow | pijlvector | 0.8.0 |
org.apache.avro | avro | 1.7.7 |
org.apache.avro | avro-ipc | 1.7.7 |
org.apache.avro | avro-ipc-tests | 1.7.7 |
org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
org.apache.calcite | calcite-avatica | 1.2.0-incubating |
org.apache.calcite | calcite-core | 1.2.0-incubating |
org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
org.apache.commons | commons-compress | 1.4.1 |
org.apache.commons | commons-crypto | 1.0.0 |
org.apache.commons | commons-lang3 | 3.5 |
org.apache.commons | commons-math3 | 3.4.1 |
org.apache.curator | curator-client | 2.7.1 |
org.apache.curator | curator-framework | 2.7.1 |
org.apache.curator | curator-recepten | 2.7.1 |
org.apache.derby | Derby | 10.12.1.1 |
org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
org.apache.directory.api | api-util | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop | hadoop-aantekeningen | 2.7.3 |
org.apache.hadoop | hadoop-auth | 2.7.3 |
org.apache.hadoop | hadoop-client | 2.7.3 |
org.apache.hadoop | hadoop-common | 2.7.3 |
org.apache.hadoop | hadoop-hdfs | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
org.apache.htrace | htrace-core | 3.1.0-incubating |
org.apache.httpcomponents | httpclient | 4.5.4 |
org.apache.httpcomponents | httpcore | 4.4.8 |
org.apache.ivy | klimop | 2.4.0 |
org.apache.orc | orc-core-nohive | 1.4.1 |
org.apache.orc | orc-mapreduce-nohive | 1.4.1 |
org.apache.parquet | parquet-column | 1.8.2-databricks1 |
org.apache.parquet | parquet-common | 1.8.2-databricks1 |
org.apache.parquet | parquet-codering | 1.8.2-databricks1 |
org.apache.parquet | parquet-indeling | 2.3.1 |
org.apache.parquet | parquet-hadoop | 1.8.2-databricks1 |
org.apache.parquet | parquet-jackson | 1.8.2-databricks1 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.9.3 |
org.apache.xbean | xbean-asm5-gearceerd | 4.4 |
org.apache.zookeeper | zookeeper | 3.4.6 |
org.bouncycastle | bcprov-jdk15on | 1.58 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.jackson | jackson-xc | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.8 |
org.codehaus.janino | janino | 3.0.8 |
org.datanucleus | datanucleus-api-jdo | 3.2.6 |
org.datanucleus | datanucleus-core | 3.2.10 |
org.datanucleus | datanucleus-rdbms | 3.2.9 |
org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-vervolg | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.4.0-b34 |
org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
org.glassfish.jersey.core | jersey-client | 2.22.2 |
org.glassfish.jersey.core | jersey-common | 2.22.2 |
org.glassfish.jersey.core | jersey-server | 2.22.2 |
org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
org.hibernate | sluimerstand-validator | 5.1.1.Final |
org.iq80.snappy | bits | 0,2 |
org.javassist | javassist | 3.18.1-GA |
org.jboss.logging | jboss-logging | 3.1.3.GA |
org.jdbi | jdbi | 2.63.1 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.11 | 3.2.11 |
org.json4s | json4s-core_2.11 | 3.2.11 |
org.json4s | json4s-jackson_2.11 | 3.2.11 |
org.lz4 | lz4-java | 1.4.0 |
org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
org.mockito | mockito-all | 1.9.5 |
org.objenesis | objenesis | 2.1 |
org.postgresql | postgresql | 42.1.4 |
org.roaringbitmap | RoaringBitmap | 0.5.11 |
org.rocksdb | rocksdbjni | 5.2.1 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.11 | 2.11.8 |
org.scala-lang | scala-library_2.11 | 2.11.8 |
org.scala-lang | scala-reflect_2.11 | 2.11.8 |
org.scala-lang | scalap_2.11 | 2.11.8 |
org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.11 | 1.12.5 |
org.scalanlp | breeze-macros_2.11 | 0.13.2 |
org.scalanlp | breeze_2.11 | 0.13.2 |
org.scalatest | scalatest_2.11 | 2.2.6 |
org.slf4j | jcl-over-slf4j | 1.7.16 |
org.slf4j | jul-to-slf4j | 1.7.16 |
org.slf4j | slf4j-api | 1.7.16 |
org.slf4j | slf4j-log4j12 | 1.7.16 |
org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
org.spark-project.hive | hive-cli | 1.2.1.spark2 |
org.spark-project.hive | hive-exec | 1.2.1.spark2 |
org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
org.spark-project.spark | ongebruikt | 1.0.0 |
org.spire-math | spire-macros_2.11 | 0.13.0 |
org.spire-math | spire_2.11 | 0.13.0 |
org.springframework | spring-core | 4.1.4.RELEASE |
org.springframework | spring-test | 4.1.4.RELEASE |
org.tukaani | xz | 1.0 |
org.typelevel | machinist_2.11 | 0.6.1 |
org.typelevel | macro-compat_2.11 | 1.1.1 |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.2.6 |
org.yaml | snakeyaml | 1.16 |
oro | oro | 2.0.8 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |
xmlenc | xmlenc | 0,52 |