Databricks Runtime 7.0 (niet ondersteund)

  • Artikel

Databricks heeft deze afbeelding uitgebracht in juni 2020.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 7.0, mogelijk gemaakt door Apache Spark 3.0.

Nieuwe functies

Databricks Runtime 7.0 bevat de volgende nieuwe functies:

  • Scala 2.12

    Databricks Runtime 7.0 voert een upgrade uit van Scala van 2.11.12 naar 2.12.10. De wijzigingslijst tussen Scala 2.12 en 2.11 staat in de releaseopmerkingen van Scala 2.12.0.

  • Auto Loader (openbare preview), uitgebracht in Databricks Runtime 6.4, is verbeterd in Databricks Runtime 7.0

    Auto Loader biedt u een efficiëntere manier om nieuwe gegevensbestanden incrementeel te verwerken wanneer ze binnenkomen in een cloud-blobarchief tijdens ETL. Dit is een verbetering ten opzichte van gestructureerd streamen op basis van bestanden, waarmee nieuwe bestanden worden geïdentificeerd door herhaaldelijk de cloudmap weer te geven en de bestanden bij te houden die zijn gezien en die zeer inefficiënt kunnen zijn naarmate de map groeit. Automatisch laden is ook handiger en effectiever dan gestructureerd streamen op basis van bestandsmeldingen. Hiervoor moet u handmatig bestandsmeldingsservices configureren in de cloud en kunt u bestaande bestanden niet opnieuw doorvoeren. Zie Wat is Automatisch laadprogramma? voor meer informatie.

    In Databricks Runtime 7.0 hoeft u geen aangepaste Databricks Runtime-installatiekopieën meer aan te vragen om automatisch laden te kunnen gebruiken.

  • COPY INTO (Openbare preview), waarmee u gegevens kunt laden in Delta Lake met idempotente nieuwe pogingen, is verbeterd in Databricks Runtime 7.0

    Als openbare preview-versie in Databricks Runtime 6.4 kunt u met de COPY INTO SQL-opdracht gegevens laden in Delta Lake met idempotente nieuwe pogingen. Als u gegevens vandaag wilt laden in Delta Lake, moet u Apache Spark DataFrame-API's gebruiken. Als er fouten optreden tijdens het laden, moet u ze effectief afhandelen. De nieuwe COPY INTO opdracht biedt een vertrouwde declaratieve interface voor het laden van gegevens in SQL. Met de opdracht worden eerder geladen bestanden bijgehouden en kunt u deze veilig opnieuw uitvoeren in geval van fouten. Zie COPY INTO voor meer informatie.

Verbeteringen

  • De Azure Synapse-connector (voorheen SQL Data Warehouse) ondersteunt de COPY instructie.

    Het belangrijkste voordeel hiervan COPY is dat gebruikers met lagere bevoegdheden gegevens kunnen schrijven naar Azure Synapse zonder strikte CONTROL machtigingen voor Azure Synapse.

  • De %matplotlib inline magic-opdracht is niet langer vereist om Matplolib-objecten inline weer te geven in notebookcellen. Ze worden standaard altijd inline weergegeven.

  • Matplolib-afbeeldingen worden nu weergegeven met transparent=False, zodat door de gebruiker opgegeven achtergronden niet verloren gaan. Dit gedrag kan worden overschreven door de Spark-configuratie spark.databricks.workspace.matplotlib.transparent truein te stellen.

  • Bij het uitvoeren van gestructureerde streaming-productietaken op clusters met hoge gelijktijdigheidsmodus mislukt het opnieuw opstarten van een taak af en toe, omdat de eerder uitgevoerde taak niet correct is beëindigd. Databricks Runtime 6.3 heeft de mogelijkheid geïntroduceerd om de SQL-configuratie spark.sql.streaming.stopActiveRunOnRestart true op uw cluster in te stellen om ervoor te zorgen dat de vorige uitvoering stopt. Deze configuratie is standaard ingesteld in Databricks Runtime 7.0.

Belangrijke wijzigingen in de bibliotheek

Python-pakketten

Belangrijke Python-pakketten zijn bijgewerkt:

  • boto3 1.9.162 -> 1.12.0
  • matplotlib 3.0.3 -> 3.1.3
  • numpy 1.16.2 -> 1.18.1
  • pandas 0.24.2 -> 1.0.1
  • pip 19.0.3 -> 20.0.2
  • pyarrow 0.13.0 -> 0.15.1
  • psycopg2 2.7.6 -> 2.8.4
  • scikit-learn 0.20.3 -> 0.22.1
  • scipy 1.2.1 -> 1.4.1
  • seaborn 0.9.0 -> 0.10.0

Python-pakketten verwijderd:

  • boto (boto3 gebruiken)
  • Pycurl

Notitie

De Python-omgeving in Databricks Runtime 7.0 maakt gebruik van Python 3.7, wat verschilt van het geïnstalleerde Ubuntu-systeem Python: /usr/bin/python en /usr/bin/python2 zijn gekoppeld aan Python 2.7 en /usr/bin/python3 is gekoppeld aan Python 3.6.

R-pakketten

R-pakketten toegevoegd:

  • Bezem
  • highr
  • isoband
  • breiwerk
  • Markdown
  • modeller
  • reprex
  • rmarkdown
  • rvest
  • selectr
  • tidyverse
  • tinytex
  • xfun

R-pakketten verwijderd:

  • Abind
  • Bitops
  • car
  • carData
  • doMC
  • gbm
  • h2o
  • Littler
  • lme4
  • Mapproj
  • Kaarten
  • maptools
  • MatrixModels
  • minqa
  • Mvtnorm
  • nloptr
  • openxlsx
  • pbkrtest
  • pkgKitten
  • quantreg
  • R.methodsS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • Rio
  • Sp
  • SparseM
  • statmod
  • Zip

Java- en Scala-bibliotheken

  • Apache Hive-versie die wordt gebruikt voor het verwerken van door de gebruiker gedefinieerde Hive-functies en Hive SerDes bijgewerkt naar 2.3.
  • Voorheen werden Azure Storage- en Key Vault-JAR's verpakt als onderdeel van Databricks Runtime, waardoor u geen verschillende versies van deze bibliotheken kunt gebruiken die zijn gekoppeld aan clusters. Klassen onder com.microsoft.azure.storage en com.microsoft.azure.keyvault bevinden zich niet meer op het klassepad in Databricks Runtime. Als u afhankelijk bent van een van deze klassepaden, moet u nu Azure Storage SDK of Azure Key Vault SDK aan uw clusters koppelen.

Gedragswijzigingen

Deze sectie bevat gedragswijzigingen van Databricks Runtime 6.6 naar Databricks Runtime 7.0. Houd er rekening mee wanneer u workloads migreert van lagere Databricks Runtime-releases naar Databricks Runtime 7.0 en hoger.

Spark-gedragswijzigingen

Omdat Databricks Runtime 7.0 de eerste Databricks Runtime is die is gebouwd op Spark 3.0, zijn er veel wijzigingen waar u rekening mee moet houden wanneer u workloads migreert van Databricks Runtime 5.5 LTS of 6.x, die zijn gebouwd op Spark 2.4. Deze wijzigingen worden vermeld in de sectie 'Gedragswijzigingen' van elk functioneel gebied in de Sectie Apache Spark van dit artikel met opmerkingen bij de release:

Andere gedragswijzigingen

  • De upgrade naar Scala 2.12 omvat de volgende wijzigingen:

    • Pakketcelserialisatie wordt anders verwerkt. In het volgende voorbeeld ziet u de gedragswijziging en hoe u dit kunt afhandelen.

      Als deze wordt uitgevoerd foo.bar.MyObjectInPackageCell.run() zoals gedefinieerd in de volgende pakketcel, wordt de fout geactiveerd java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$

      package foo.bar

case class MyIntStruct(int: Int)

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._
import org.apache.spark.sql.Column

object MyObjectInPackageCell extends Serializable {

  // Because SparkSession cannot be created in Spark executors,
  // the following line triggers the error
  // Could not initialize class foo.bar.MyObjectInPackageCell$
  val spark = SparkSession.builder.getOrCreate()

  def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))

  val theUDF = udf(foo)

  val df = {
    val myUDFInstance = theUDF(col("id"))
    spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
  }

  def run(): Unit = {
    df.collect().foreach(println)
  }
}

      Als u deze fout wilt omzeilen, kunt u in een serialiseerbare klasse verpakken MyObjectInPackageCell .

    • Voor bepaalde gevallen die worden gebruikt DataStreamWriter.foreachBatch , is een broncode-update vereist. Deze wijziging is het gevolg van het feit dat Scala 2.12 automatische conversie van lambda-expressies naar SAM-typen heeft en dubbelzinnigheid kan veroorzaken.

      De volgende Scala-code kan bijvoorbeeld niet worden gecompileerd:

      streams
  .writeStream
  .foreachBatch { (df, id) => myFunc(df, id) }

      Als u de compilatiefout wilt oplossen, moet u de Java-API expliciet wijzigen foreachBatch { (df, id) => myFunc(df, id) }foreachBatch(myFunc _) of gebruiken: foreachBatch(new VoidFunction2 ...)

  • Omdat de Apache Hive-versie die wordt gebruikt voor het verwerken van door de gebruiker gedefinieerde Hive-functies en Hive SerDes wordt bijgewerkt naar 2.3, zijn er twee wijzigingen vereist:

    • De interface van SerDe Hive wordt vervangen door een abstracte klasse AbstractSerDe. Voor elke aangepaste Hive-implementatie SerDe is migratie naar AbstractSerDe vereist.
    • Dit betekent spark.sql.hive.metastore.jarsbuiltin dat de Hive 2.3-metastore-client wordt gebruikt voor toegang tot metastores voor Databricks Runtime 7.0. Als u toegang wilt krijgen tot externe metastores op basis van Hive 1.2, stelt u deze in spark.sql.hive.metastore.jars op de map die Hive 1.2 JAR's bevat.

Afschaffingen en verwijderingen

  • De index voor het overslaan van gegevens is afgeschaft in Databricks Runtime 4.3 en verwijderd in Databricks Runtime 7.0. U wordt aangeraden in plaats daarvan Delta-tabellen te gebruiken, die verbeterde mogelijkheden bieden voor het overslaan van gegevens.
  • In Databricks Runtime 7.0 gebruikt de onderliggende versie van Apache Spark Scala 2.12. Omdat bibliotheken die zijn gecompileerd op Scala 2.11 Databricks Runtime 7.0-clusters op onverwachte manieren kunnen uitschakelen, installeren clusters met Databricks Runtime 7.0 en hoger geen bibliotheken die zijn geconfigureerd voor installatie op alle clusters. Op het tabblad Clusterbibliotheken wordt een status Skipped en een afschaffingsbericht weergegeven waarin de wijzigingen in de verwerking van de bibliotheek worden uitgelegd. Als u echter een cluster hebt dat is gemaakt op een eerdere versie van Databricks Runtime voordat Azure Databricks-platform versie 3.20 is uitgebracht in uw werkruimte en u nu dat cluster bewerkt om Databricks Runtime 7.0 te gebruiken, worden alle bibliotheken die zijn geconfigureerd om te worden geïnstalleerd op alle clusters geïnstalleerd op dat cluster. In dit geval kunnen incompatibele JAR's in de geïnstalleerde bibliotheken ertoe leiden dat het cluster wordt uitgeschakeld. De tijdelijke oplossing is om het cluster te klonen of om een nieuw cluster te maken.

Apache Spark

Databricks Runtime 7.0 bevat Apache Spark 3.0.

In deze sectie:

Core, Spark SQL, Structured Streaming

Hoogtepunten

  • (Project Waterstof) Accelerator-aware Scheduler (SPARK-24615)
  • Uitvoering van adaptieve query's (SPARK-31412)
  • Dynamische partitie snoeien (SPARK-11150)
  • Opnieuw ontworpen pandas UDF-API met typehints (SPARK-28264)
  • Structured Streaming UI (SPARK-29543)
  • API voor catalogusinvoegtoepassingen (SPARK-31121)
  • Betere ANSI SQL-compatibiliteit

Prestatieverbeteringen

Uitbreidingen van uitbreidbaarheid

  • API voor catalogusinvoegtoepassingen (SPARK-31121)
  • Herstructureren van gegevensbron V2-API (SPARK-25390)
  • Ondersteuning voor Hive 3.0 en 3.1 -metastore (SPARK-27970),(SPARK-24360)
  • Spark-invoegtoepassingsinterface uitbreiden naar stuurprogramma (SPARK-29396)
  • Het metrische Spark-systeem uitbreiden met door de gebruiker gedefinieerde metrische gegevens met behulp van uitvoerprogramma-invoegtoepassingen (SPARK-28091)
  • Ontwikkelaars-API's voor uitgebreide ondersteuning voor Columnar Processing (SPARK-27396)
  • Ingebouwde bronmigratie met behulp van DSV2: parquet, ORC, CSV, JSON, Kafka, Text, Avro (SPARK-27589)
  • FunctionInjection toestaan in SparkExtensions (SPARK-25560)
  • Hiermee kan Aggregator worden geregistreerd als een UAF (SPARK-27296)

Verbeteringen Verbinding maken or

  • Kolomsnoeien door niet-deterministische expressies (SPARK-29768)
  • Ondersteuning spark.sql.statistics.fallBackToHdfs in gegevensbrontabellen (SPARK-25474)
  • Partities verwijderen met subqueryfilters op bestandsbron toestaan (SPARK-26893)
  • Pushdown van subquery's in gegevensbronfilters voorkomen (SPARK-25482)
  • Recursieve gegevens laden uit bestandsbronnen (SPARK-27990)
  • Parquet/ORC
  • CSV
    • Ondersteuning voor pushdownfilters in CSV-gegevensbron (SPARK-30323)
  • Hive SerDe
    • Geen schemadeductie bij het lezen van hive-serde-tabel met systeemeigen gegevensbron (SPARK-27119)
    • Hive CTAS-opdrachten moeten gegevensbron gebruiken als deze converteerbaar is (SPARK-25271)
    • Systeemeigen gegevensbron gebruiken om het invoegen van een gepartitioneerde Hive-tabel (SPARK-28573) te optimaliseren
  • Apache Kafka
    • Ondersteuning toevoegen voor Kafka-headers (SPARK-23539)
    • Ondersteuning voor Kafka-delegatietoken toevoegen (SPARK-25501)
    • Nieuwe optie voor Kafka-bron introduceren: offset per tijdstempel (starten/eindigen) (SPARK-26848)
    • Ondersteuning voor de minPartitions optie in Kafka-batchbron en streamingbron v1 (SPARK-30656)
    • Kafka upgraden naar 2.4.1 (SPARK-31126)
  • Nieuwe ingebouwde gegevensbronnen

Functieverbeteringen

Verbeteringen in SQL-compatibiliteit

  • Overschakelen naar Proleptische Gregoriaanse kalender (SPARK-26651)
  • De eigen datum/tijd-patroondefinitie van Spark bouwen (SPARK-31408)
  • AnSI-archieftoewijzingsbeleid introduceren voor tabelinvoeging (SPARK-28495)
  • Volg standaard de toewijzingsregel voor ANSI-opslag in tabelinvoeging (SPARK-28885)
  • Een SQLConf spark.sql.ansi.enabled (SPARK-28989) toevoegen
  • ANSI SQL-filtercomponent voor statistische expressie (SPARK-27986) ondersteunen
  • Ansi SQL-functie OVERLAY ondersteunen (SPARK-28077)
  • Ondersteuning voor ANSI geneste opmerkingen tussen haakjes (SPARK-28880)
  • Een uitzondering op overloop genereren voor gehele getallen (SPARK-26218)
  • Controle van overloop voor intervalberekeningen (SPARK-30341)
  • Een uitzondering genereren wanneer een ongeldige tekenreeks wordt gecast naar een numeriek type (SPARK-30292)
  • Interval vermenigvuldigen en het overloopgedrag van delen consistent maken met andere bewerkingen (SPARK-30919)
  • ANSI-typealiassen toevoegen voor teken en decimaal (SPARK-29941)
  • SQL Parser definieert gereserveerde ANSI-compatibele trefwoorden (SPARK-26215)
  • Gereserveerde trefwoorden als id's verbieden wanneer de ANSI-modus is ingeschakeld (SPARK-26976)
  • ANSI SQL-syntaxis LIKE ... ESCAPE ondersteunen (SPARK-28083)
  • Ondersteuning voor ANSI SQL Boolean-Prediccate syntaxis (SPARK-27924)
  • Betere ondersteuning voor gecorreleerde subqueryverwerking (SPARK-18455)

Verbeteringen in bewaking en foutopsporing

  • Nieuwe gebruikersinterface voor gestructureerd streamen (SPARK-29543)
  • SHS: Toestaan dat gebeurtenislogboeken voor het uitvoeren van streaming-apps worden geïmplementeerd (SPARK-28594)
  • Een API toevoegen waarmee een gebruiker willekeurige metrische gegevens kan definiëren en observeren voor batch- en streamingquery's (SPARK-29345)
  • Instrumentatie voor het bijhouden van planningstijd per query (SPARK-26129)
  • Plaats de metrische basisgegevens voor willekeurige volgorde in de SQL Exchange-operator (SPARK-26139)
  • SQL-instructie wordt weergegeven op HET TABBLAD SQL in plaats van aanroepen (SPARK-27045)
  • Knopinfo toevoegen aan SparkUI (SPARK-29449)
  • De gelijktijdige prestaties van History Server verbeteren (SPARK-29043)
  • EXPLAIN FORMATTED opdracht (SPARK-27395)
  • Ondersteuning voor het dumpen van afgekapte plannen en gegenereerde code voor een bestand (SPARK-26023)
  • Framework voor beschrijvende beschrijving verbeteren om de uitvoer van een query te beschrijven (SPARK-26982)
  • Opdracht toevoegen SHOW VIEWS (SPARK-31113)
  • De foutberichten van SQL-parser verbeteren (SPARK-27901)
  • Ondersteuning voor Prometheus-bewaking (SPARK-29429)

Verbeteringen in PySpark

  • Opnieuw ontworpen pandas UDF's met typehints (SPARK-28264)
  • Pandas UDF-pijplijn (SPARK-26412)
  • Ondersteuning voor StructType als argumenten en retourtypen voor Scalar Pandas UDF (SPARK-27240 )
  • Ondersteuning voor Dataframe Cogroup via Pandas UDF's (SPARK-27463)
  • Toevoegen mapInPandas om een iterator van DataFrames toe te staan (SPARK-28198)
  • Bepaalde SQL-functies moeten ook kolomnamen nemen (SPARK-26979)
  • PySpark SQL-uitzonderingen meer Pythonic maken (SPARK-31849)

Verbeteringen in documentatie en testdekking

  • Een SQL-referentie bouwen (SPARK-28588)
  • Een gebruikershandleiding bouwen voor WebUI (SPARK-28372)
  • Een pagina maken voor SQL-configuratiedocumentatie (SPARK-30510)
  • Versie-informatie toevoegen voor Spark-configuratie (SPARK-30839)
  • Poortregressietests van PostgreSQL (SPARK-27763)
  • Thrift-server test dekking (SPARK-28608)
  • Test dekking van UDF's (python UDF, pandas UDF, scala UDF) (SPARK-27921)

Andere belangrijke wijzigingen

  • Upgrade van ingebouwde Hive-uitvoering van 1.2.1 naar 2.3.6 (SPARK-23710, SPARK-28723, SPARK-31381)
  • Apache Hive 2.3-afhankelijkheid standaard gebruiken (SPARK-30034)
  • GA Scala 2.12 en verwijder 2.11 (SPARK-26132)
  • Logica verbeteren voor time-outuitvoerders in dynamische toewijzing (SPARK-20286)
  • Door schijf persistente RDD-blokken geleverd door de shuffle-service en genegeerd voor dynamische toewijzing (SPARK-27677)
  • Nieuwe uitvoerders verkrijgen om vast te komen vanwege blokkeren (SPARK-22148)
  • Delen van de geheugengroeptoewijzingen van Netty toestaan (SPARK-24920)
  • Impasse tussen TaskMemoryManager en UnsafeExternalSorter$SpillableIterator (SPARK-27338) oplossen
  • API's AdmissionControl introduceren voor StructuredStreaming (SPARK-30669)
  • Prestatieverbetering van De hoofdpagina van Spark-geschiedenis (SPARK-25973)
  • Aggregatie van metrische gegevens versnellen en verkleinen in SQL-listener (SPARK-29562)
  • Vermijd het netwerk wanneer blokken in willekeurige volgorde worden opgehaald van dezelfde host (SPARK-27651)
  • Lijst met bestanden verbeteren voor DistributedFileSystem (SPARK-27801)

Gedragswijzigingen voor Spark-kern, Spark SQL en Gestructureerd streamen

In de volgende migratiehandleidingen worden gedragswijzigingen tussen Apache Spark 2.4 en 3.0 vermeld. Voor deze wijzigingen zijn mogelijk updates vereist voor taken die u hebt uitgevoerd op lagere Versies van Databricks Runtime:

De volgende gedragswijzigingen worden niet behandeld in deze migratiehandleidingen:

  • In Spark 3.0 is de afgeschafte klasse org.apache.spark.sql.streaming.ProcessingTime verwijderd. Gebruik in plaats daarvan org.apache.spark.sql.streaming.Trigger.ProcessingTime. Evenzo is org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger verwijderd ten gunste van Trigger.Continuous, en org.apache.spark.sql.execution.streaming.OneTimeTrigger is verborgen ten gunste van Trigger.Once. (SPARK-28199)
  • In Databricks Runtime 7.0, bij het lezen van een Hive SerDe-tabel, wordt standaard het lezen van bestanden onder een submap die geen tabelpartitie is, door Spark niet toegeslagen. Als u deze wilt inschakelen, stelt u de configuratie spark.databricks.io.hive.scanNonpartitionedDirectory.enabled in als true. Dit heeft geen invloed op systeemeigen Spark-tabellezers en bestandslezers.

Programmeerhandleidingen:

MLlib

Hoogtepunten

Gedragswijzigingen voor MLlib

De volgende migratiehandleiding bevat gedragswijzigingen tussen Apache Spark 2.4 en 3.0. Voor deze wijzigingen zijn mogelijk updates vereist voor taken die u hebt uitgevoerd op lagere Versies van Databricks Runtime:

De volgende gedragswijzigingen worden niet behandeld in de migratiehandleiding:

  • In Spark 3.0 retourneert een logistieke regressie met meerdere klassen in Pyspark nu (correct) LogisticRegressionSummaryen niet de subklasse BinaryLogisticRegressionSummary. De aanvullende methoden die worden weergegeven door BinaryLogisticRegressionSummary , werken in dit geval toch niet. (SPARK-31681)
  •  In Spark 3.0 pyspark.ml.param.shared.Has* bieden combinaties geen set*(self, value) settermethoden meer, gebruik in plaats daarvan de respectieve self.set(self.*, value) methoden. Zie SPARK-29093 voor meer informatie. (SPARK-29093)

Programmeergids

SparkR

  • Pijloptimalisatie in de interoperabiliteit van SparkR (SPARK-26759)
  • Prestatieverbetering via vectorized R gapply(), dapply(), createDataFrame, collect()
  • 'Gretige uitvoering' voor R-shell, IDE (SPARK-24572)
  • R-API voor Power Iteratieclustering (SPARK-19827)

Gedragswijzigingen voor SparkR

De volgende migratiehandleiding bevat gedragswijzigingen tussen Apache Spark 2.4 en 3.0. Voor deze wijzigingen zijn mogelijk updates vereist voor taken die u hebt uitgevoerd op lagere Versies van Databricks Runtime:

Programmeergids

GraphX

Programmeerhandleiding: GraphX Programming Guide.

Afgeschafte onderdelen

  • Ondersteuning voor Python 2 afschappen (SPARK-27884)
  • Ondersteuning voor R < 3.4 wordt afgeschaft (SPARK-26014)

Bekende problemen

  • De dag van het jaar parseren met de patroonletter D retourneert het verkeerde resultaat als het jaarveld ontbreekt. Dit kan gebeuren in SQL-functies, zoals to_timestamp die datum/tijd-tekenreeks parseert tot datum/tijd-waarden met behulp van een patroontekenreeks. (SPARK-31939)
  • Join/Window/Aggregate binnen subquery's kan leiden tot verkeerde resultaten als de sleutels waarden -0.0 en 0.0 hebben. (SPARK-31958)
  • Een vensterquery kan onverwacht mislukken met een dubbelzinnige self-join-fout. (SPARK-31956)
  • Streamingquery's met dropDuplicates operator kunnen mogelijk niet opnieuw worden opgestart met het controlepunt dat is geschreven door Spark 2.x. (SPARK-31990)

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 7.0.

Systeemomgeving

  • Besturingssysteem: Ubuntu 18.04.4 LTS
  • Java: 1.8.0_252
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R versie 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.4.5 Cffi 1.14.0
Chardet 3.0.4 Cryptografie 2.8 cycler 0.10.0
Cython 0.29.15 Decorator 4.4.1 Docutils 0.15.2
invoerpunten 0,3 idna 2.8 ipykernel 5.1.4
Ipython 7.12.0 ipython-genutils 0.2.0 Jedi 0.14.1
jmespath 0.9.4 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 matplotlib 3.1.3
Numpy 1.18.1 Pandas 1.0.1 parso 0.5.2
Patsy 0.5.1 Pexpect 4.8.0 pickleshare 0.7.5
Pip 20.0.2 prompt-toolkit 3.0.3 psycopg2 2.8.4
ptyprocess 0.6.0 pyarrow 0.15.1 pycparser 2.19
Pygments 2.5.2 Pygobject 3.26.1 Pyopenssl 19.1.0
Pyparsing 2.4.6 PySocks 1.7.1 python-apt 1.6.5+ubuntu0.3
python-dateutil 2.8.1 pytz 2019.3 pyzmq 18.1.1
requests 2.22.0 s3transfer 0.3.3 scikit-learn 0.22.1
Scipy 1.4.1 seaborn 0.10.0 Setuptools 45.2.0
Zes 1.14.0 ssh-import-id 5.7 statsmodels 0.11.0
Tornado 6.0.3 traitlets 4.3.3 upgrades zonder toezicht 0,1
urllib3 1.25.8 Virtualenv 16.7.10 wcwidth 0.1.8
Wiel 0.34.2

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit Microsoft CRAN-momentopname op 2020-04-22.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Askpass 1.1 assertthat 0.2.1 Backports 1.1.6
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 1.1-15.2 bit64 0.9-7 blob 1.2.1
opstarten 1.3-25 Brouwsel 1.0-6 Bezem 0.5.6
beller 3.4.3 caret 6.0-86 cellranger 1.1.0
Chron 2.3-55 class 7.3-17 cli 2.0.2
clipr 0.7.0 cluster 2.1.0 Codetools 0.2-16
Colorspace 1.4-1 commonmark 1,7 Compiler 3.6.3
configuratie 0,3 covr 3.5.0 Crayon 1.3.4
Overspraak 1.1.0.1 curl 4.3 data.table 1.12.8
gegevenssets 3.6.3 DBI 1.1.0 dbplyr 1.4.3
Desc 1.2.0 Devtools 2.3.0 Digest 0.6.25
dplyr 0.8.5 DT 0,13 ellipsis 0.3.0
evaluate 0,14 fansi 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.0
Buitenlandse 0.8-76 Forge 0.2.0 Fs 1.4.1
Generics 0.0.2 ggplot2 3.3.0 Gh 1.1.0
git2r 0.26.1 glmnet 3.0-2 Globals 0.12.5
Lijm 1.4.0 Gower 0.2.1 afbeeldingen 3.6.3
grDevices 3.6.3 Raster 3.6.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.2.0
highr 0,8 Hms 0.5.3 htmltools 0.4.0
htmlwidgets 1.5.1 httpuv 1.5.2 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
Ipred 0.9-9 isoband 0.2.1 Iterators 1.0.12
jsonlite 1.6.1 Kernsmooth 2.23-17 breiwerk 1.28
Labeling 0,3 Later 1.0.0 Lattice 0.20-41
lava 1.6.7 lazyeval 0.2.2 levenscyclus 0.2.0
lubridate 1.7.8 magrittr 1.5 Markdown 1.1
MASS 7.3-51.6 Matrix 1.2-18 memoise 1.1.0
methoden 3.6.3 Mgcv 1.8-31 Mime 0,9
ModelMetrics 1.2.2.2 modeller 0.1.6 munsell 0.5.0
Nlme 3.1-147 Nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.1 parallel 3.6.3 Pijler 1.4.3
pkgbuild 1.0.6 Pkgconfig 2.0.3 pkgload 1.0.2
plogr 0.2.0 plyr 1.8.6 Lof 1.0.0
prettyunits 1.1.1 Proc 1.16.2 processx 3.4.2
prodlim 2019.11.13 Voortgang 1.2.2 Beloften 1.1.0
Proto 1.0.0 ps 1.3.2 Purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 Rcolorbrewer 1.1-2
Rcpp 1.0.4.6 leesbewerking 1.3.1 readxl 1.3.1
recepten 0.1.10 Rematch 1.0.1 opnieuw overeenkomen2 2.1.1
Afstandsbedieningen 2.1.1 reprex 0.3.0 hervorm2 1.4.4
Rex 1.2.0 rjson 0.2.20 rlang 0.4.5
rmarkdown 2.1 RODBC 1.3-16 roxygen2 7.1.0
Rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-6
RSQLite 2.2.0 rstudioapi 0,11 rversions 2.0.1
rvest 0.3.5 Schalen 1.1.0 selectr 0.4-2
sessioninfo 1.1.1 Vorm 1.4.4 Glanzende 1.4.0.2
sourcetools 0.1.7 sparklyr 1.2.0 SparkR 3.0.0
Ruimtelijke 7.3-11 Splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.2 Stats 3.6.3 stats4 3.6.3
stringi 1.4.6 stringr 1.4.0 Overleving 3.1-12
sys 3.3 Tcltk 3.6.3 TeachingDemos 2.10
testthat 2.3.2 tibble 3.0.1 tidyr 1.0.2
tidyselect 1.0.0 tidyverse 1.3.0 Timedate 3043.102
tinytex 0,22 tools 3.6.3 usethis 1.6.0
utf8 1.1.4 utils 3.6.3 vctrs 0.2.4
viridisLite 0.3.0 whisker 0,4 withr 2.2.0
xfun 0,13 xml2 1.3.1 xopen 1.0.0
xtable 1.8-4 Yaml 2.2.1

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.cafeïne Cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.8.3
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuratie commons-configuratie 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrische gegevensgrafiet 4.1.1
io.dropwizard.metrics metrische statuscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extra's 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.0
net.snowflake spark-snowflake_2.12 2.5.9-spark_2.4
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 0.15.1
org.apache.arrow pijlgeheugen 0.15.1
org.apache.arrow pijlvector 0.15.1
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recepten 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-aantekeningen 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-column 1.10.1.2-databricks4
org.apache.parquet parquet-common 1.10.1.2-databricks4
org.apache.parquet parquet-codering 1.10.1.2-databricks4
org.apache.parquet parquet-indeling 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.2-databricks4
org.apache.parquet parquet-jackson 1.10.1.2-databricks4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity snelheid 1.5
org.apache.xbean xbean-asm7-gearceerd 4.15
org.apache.yetus aantekeningen voor doelgroepen 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-vervolg 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap Shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Ongebruikte 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel katten-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1,24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0,52