Sdílet prostřednictvím

Databricks Runtime 7.0 (EoS)

  • Článek

Poznámka:

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Historie ukončení podpory. Všechny podporované verze databricks Runtime najdete v poznámkách k verzi Databricks Runtime a kompatibilitu.

Databricks vydala tuto verzi v červnu 2020.

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 7.0, který využívá Apache Spark 3.0.

Nové funkce

Databricks Runtime 7.0 obsahuje následující nové funkce:

  • Scala 2.12

    Databricks Runtime 7.0 upgraduje Scala z verze 2.11.12 na verzi 2.12.10. Seznam změn mezi Scala 2.12 a 2.11 je ve zprávě k vydání verze Scala 2.12.0.

  • Auto Loader (Public Preview) vydaný v Databricks Runtime 6.4 byl ve službě Databricks Runtime 7.0 vylepšen.

    Automatický zavaděč poskytuje efektivnější způsob, jak postupně zpracovávat nové datové soubory při jejich příchodu do cloudového úložiště objektů blob během ETL. Jedná se o vylepšení strukturovaného streamování založeného na souborech, které identifikuje nové soubory opakovaným výpisem cloudového adresáře a sledováním souborů, které byly vidět, a může být velmi neefektivní při růstu adresáře. Automatický zavaděč je také pohodlnější a efektivnější než strukturované streamování založené na oznámeních na základě souborů, které vyžaduje ruční konfiguraci služeb oznámení souborů v cloudu a neumožňuje obnovení stávajících souborů. Podrobnosti najdete v tématu Co je automatický zavaděč?.

    V Databricks Runtime 7.0 už nemusíte vyžadovat vlastní image Databricks Runtime, aby bylo možné použít automatický zavaděč.

  • COPY INTO (Public Preview), která umožňuje načíst data do Delta Lake s idempotentními opakováními, byla vylepšena v Databricks Runtime 7.0.

    Příkaz SQL vydaný ve verzi Public Preview v Databricks Runtime 6.4 COPY INTO umožňuje načíst data do Delta Lake s idempotentními opakováními. Pokud chcete načíst data do Delta Lake, musíte použít rozhraní API datového rámce Apache Spark. Pokud během zatížení dojde k selhání, musíte je efektivně zpracovat. Nový COPY INTO příkaz poskytuje známé deklarativní rozhraní pro načtení dat v SQL. Příkaz sleduje dříve načtené soubory a v případě selhání ho bezpečně znovu spustíte. Podrobnosti najdete v tématu COPY INTO.

Vylepšení

  • Konektor Azure Synapse (dříve SQL Data Warehouse) podporuje COPY příkaz.

    Hlavní výhodou COPY je, že nižší privilegovaní uživatelé můžou zapisovat data do Azure Synapse bez nutnosti striktních CONTROL oprávnění v Azure Synapse.

  • Příkaz %matplotlib inline magic už není nutný k zobrazení objektů Matplolib v buňkách poznámkového bloku. Ve výchozím nastavení se vždy zobrazují jako vložené.

  • Obrázky matplolib se teď vykreslují s transparent=False, aby se neztratila uživatelsky zadaná pozadí. Toto chování lze přepsat nastavením konfigurace spark.databricks.workspace.matplotlib.transparent trueSparku .

  • Při spouštění produkčních úloh strukturovaného streamování v clusterech s režimem vysoké souběžnosti by restartování úlohy občas selhalo, protože dříve spuštěná úloha nebyla správně ukončena. Databricks Runtime 6.3 zavedla možnost nastavit konfiguraci spark.sql.streaming.stopActiveRunOnRestart true SQL ve vašem clusteru, aby se zajistilo, že se předchozí spuštění zastaví. Tato konfigurace je ve výchozím nastavení nastavena v Databricks Runtime 7.0.

Změny hlavní knihovny

Balíčky Pythonu

Upgradovaly se hlavní balíčky Pythonu:

  • boto3 1.9.162 -> 1.12.0
  • matplotlib 3.0.3 -> 3.1.3
  • numpy 1.16.2 -> 1.18.1
  • pandas 0.24.2 –> 1.0.1
  • pip 19.0.3 -> 20.0.2
  • pyarrow 0.13.0 -> 0.15.1
  • psycopg2 2.7.6 -> 2.8.4
  • scikit-learn 0.20.3 –> 0.22.1
  • scipy 1.2.1 -> 1.4.1
  • seaborn 0.9.0 -> 0.10.0

Odebrané balíčky Pythonu:

  • boto (použití boto3)
  • pycurl

Poznámka:

Prostředí Pythonu v Databricks Runtime 7.0 používá Python 3.7, které se liší od nainstalovaného systému Ubuntu Python: /usr/bin/python jsou /usr/bin/python2 propojené s Pythonem 2.7 a /usr/bin/python3 jsou propojené s Pythonem 3.6.

Balíčky R

Přidány balíčky R:

  • koště
  • highr
  • isoband
  • pletení
  • sleva
  • modelr
  • reprex
  • rmarkdown
  • rvest
  • selektor
  • tidyverse
  • tinytex
  • xfun

Odebrané balíčky R:

  • abind
  • bitops
  • car
  • carData
  • doMC
  • Gbm
  • h2o
  • menší
  • lme4
  • mapproj
  • mapy
  • maptools
  • Maticové modely
  • minqa
  • mvtnorm
  • nloptr
  • openxlsx
  • pbkrtest
  • pkgKitten
  • quantreg
  • R.methodsS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • Rio
  • Sp
  • Řídký čas
  • statmod
  • zip

Knihovny Java a Scala

  • Verze Apache Hive používaná pro zpracování uživatelem definovaných funkcí Hive a Hive SerDes upgradované na verzi 2.3.
  • Dříve byly soubory JAR služby Azure Storage a Key Vault zabalené jako součást modulu Databricks Runtime, což by vám zabránilo v používání různých verzí těchto knihoven připojených ke clusterům. Třídy v rámci com.microsoft.azure.storage třídy a com.microsoft.azure.keyvault již nejsou na cestě třídy v Databricks Runtime. Pokud závisíte na některé z těchto cest tříd, musíte k clusterům připojit sadu SDK služby Azure Storage nebo sadu SDK služby Azure Key Vault.

Změny chování

Tato část uvádí změny chování z Databricks Runtime 6.6 na Databricks Runtime 7.0. Měli byste vědět o těchto úlohách při migraci úloh z nižších verzí Databricks Runtime do Databricks Runtime 7.0 a vyšší.

Změny chování Sparku

Vzhledem k tomu, že Databricks Runtime 7.0 je prvním Modulem Databricks Runtime založeným na Sparku 3.0, měli byste mít na paměti, že při migraci úloh z Databricks Runtime 5.5 LTS nebo 6.x, které jsou založené na Sparku 2.4. Tyto změny jsou uvedeny v části "Změny chování" každé funkční oblasti v části Apache Spark tohoto článku poznámky k verzi:

Jiné změny chování

  • Upgrade na Scala 2.12 zahrnuje následující změny:

    • Serializace buněk balíčku se zpracovává odlišně. Následující příklad ukazuje změnu chování a způsob jeho zpracování.

      Spuštění foo.bar.MyObjectInPackageCell.run() podle definice v následující buňce balíčku aktivuje chybu. java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$

      package foo.bar

case class MyIntStruct(int: Int)

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._
import org.apache.spark.sql.Column

object MyObjectInPackageCell extends Serializable {

  // Because SparkSession cannot be created in Spark executors,
  // the following line triggers the error
  // Could not initialize class foo.bar.MyObjectInPackageCell$
  val spark = SparkSession.builder.getOrCreate()

  def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))

  val theUDF = udf(foo)

  val df = {
    val myUDFInstance = theUDF(col("id"))
    spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
  }

  def run(): Unit = {
    df.collect().foreach(println)
  }
}

      Chcete-li tuto chybu obejít, můžete zabalit MyObjectInPackageCell do serializovatelné třídy.

    • Použití některých případů DataStreamWriter.foreachBatch bude vyžadovat aktualizaci zdrojového kódu. Tato změna je způsobená tím, že Scala 2.12 má automatický převod výrazů lambda na typy SAM a může způsobit nejednoznačnost.

      Například následující kód Scala se nedá zkompilovat:

      streams
  .writeStream
  .foreachBatch { (df, id) => myFunc(df, id) }

      Chcete-li opravit chybu kompilace, změňte foreachBatch { (df, id) => myFunc(df, id) } nebo foreachBatch(myFunc _) použijte rozhraní Java API explicitně: foreachBatch(new VoidFunction2 ...).

  • Vzhledem k tomu, že verze Apache Hivu používaná pro zpracování uživatelem definovaných funkcí Hive a Hive SerDes se upgraduje na verzi 2.3, vyžadují se dvě změny:

    • Rozhraní Hive SerDe je nahrazeno abstraktní třídou AbstractSerDe. Pro jakoukoli vlastní implementaci Hive SerDe je potřeba provést migraci AbstractSerDe .
    • Nastavení spark.sql.hive.metastore.jars znamená builtin , že klient metastoru Hive 2.3 se použije pro přístup k metastorům pro Databricks Runtime 7.0. Pokud potřebujete získat přístup k externím metastorům založeným na Hive 1.2, nastavte spark.sql.hive.metastore.jars složku, která obsahuje soubory JAR Hive 1.2.

Vyřazení a odebrání

  • Index přeskakování dat byl v Databricks Runtime 4.3 zastaralý a odebrán v Databricks Runtime 7.0. Místo toho doporučujeme používat tabulky Delta, které nabízejí vylepšené možnosti přeskakování dat.
  • V Databricks Runtime 7.0 používá základní verze Apache Sparku Scala 2.12. Vzhledem k tomu, že knihovny kompilované v jazyce Scala 2.11 můžou clustery Databricks Runtime 7.0 zakázat neočekávaným způsobem, clustery se spuštěným modulem Databricks Runtime 7.0 a novějším neinstalují knihovny nakonfigurované tak, aby se nainstalovaly na všechny clustery. Na kartě Knihovny clusteru se zobrazuje stav Skipped a zpráva o vyřazení, která vysvětluje změny v zpracování knihovny. Pokud ale máte cluster vytvořený ve starší verzi Databricks Runtime před vydáním platformy Azure Databricks verze 3.20 do vašeho pracovního prostoru a teď tento cluster upravíte tak, aby používal Databricks Runtime 7.0, všechny knihovny, které byly nakonfigurované tak, aby se nainstalovaly na všechny clustery, se do tohoto clusteru nainstalují. V takovém případě můžou všechny nekompatibilní žádosti o přijetí změn v nainstalovaných knihovnách způsobit zakázání clusteru. Alternativním řešením je klonování clusteru nebo vytvoření nového clusteru.

Apache Spark

Databricks Runtime 7.0 zahrnuje Apache Spark 3.0.

V této části:

Core, Spark SQL, strukturované streamování

Nejzajímavější body

  • (Projektový vodík) Plánovač podporující akcelerátor (SPARK-24615)
  • Adaptivní spouštění dotazů (SPARK-31412)
  • Dynamické vyřezávání oddílů (SPARK-11150)
  • Přepracované rozhraní API UDF pandas s popisy typů (SPARK-28264)
  • Uživatelské rozhraní strukturovaného streamování (SPARK-29543)
  • Rozhraní API modulu plug-in katalogu (SPARK-31121)
  • Lepší kompatibilita ANSI SQL

Vylepšení výkonu

  • Adaptivní spouštění dotazů (SPARK-31412)
    • Základní architektura (SPARK-23128)
    • Úprava čísel oddílů po náhodném prohazování (SPARK-28177)
    • Opakované použití dynamických poddotazů (SPARK-28753)
    • Místní čtečka náhodného náhodného prohazu (SPARK-28560)
    • Optimalizace nerovnoměrného spojení (SPARK-29544)
    • Optimalizace souvislých bloků náhodného prohazu čtení (SPARK-9853)
  • Dynamické vyřezávání oddílů (SPARK-11150)
  • Další pravidla optimalizátoru
    • Opětovné použití pravidlaSubquery (SPARK-27279)
    • Rule PushDownLeftSemiAntiJoin (SPARK-19712)
    • Rule PushLeftSemiLeftAntiThroughJoin (SPARK-19712)
    • Pravidlo ReplaceNullWithFalse (SPARK-25860)
    • Pravidlo eliminuje řazení bez omezení v poddotazu spojení/agregace (SPARK-29343)
    • Rule PruneHiveTablePartitions (SPARK-15616)
    • Vyřazování nepotřebných vnořených polí ze generování (SPARK-27707)
    • Pravidlo RewriteNonCorrelatedExists (SPARK-29800)
  • Minimalizace nákladů na synchronizaci mezipaměti tabulek (SPARK-26917), (SPARK-26617), (SPARK-26548)
  • Rozdělení kódu agregace na malé funkce (SPARK-21870)
  • Přidání dávkování v příkazu INSERT a ALTER TABLE ADD PARTITION (SPARK-29938)

Vylepšení rozšiřitelnosti

  • Rozhraní API modulu plug-in katalogu (SPARK-31121)
  • Refaktoring rozhraní API zdroje dat V2 (SPARK-25390)
  • Podpora metastoru Hive 3.0 a 3.1 (SPARK-27970),(SPARK-24360)
  • Rozšíření rozhraní modulu plug-in Spark na ovladač (SPARK-29396)
  • Rozšíření systému metrik Sparku o uživatelsky definované metriky pomocí modulů plug-in exekutoru (SPARK-28091)
  • Rozhraní API pro vývojáře pro rozšířenou podporu sloupcového zpracování (SPARK-27396)
  • Integrovaná migrace zdroje s využitím DSV2: parquet, ORC, CSV, JSON, Kafka, Text, Avro (SPARK-27589)
  • Allow FunctionInjection v SparkExtensions (SPARK-25560)
  • Umožňuje, aby agregátor byl registrován jako UDAF (SPARK-27296).

Vylepšení konektorů

  • Vyřazování sloupců prostřednictvím nedeterministických výrazů (SPARK-29768)
  • Podpora spark.sql.statistics.fallBackToHdfs v tabulkách zdrojů dat (SPARK-25474)
  • Povolit vyřezávání oddílů s filtry poddotazů ve zdroji souborů (SPARK-26893)
  • Vyhněte se odsdílení poddotazů ve filtrech zdroje dat (SPARK-25482)
  • Rekurzivní načítání dat ze zdrojů souborů (SPARK-27990)
  • Parquet/ORC
  • CSV
    • Podpora odsdílení filtrů ve zdroji dat CSV (SPARK-30323)
  • Hive SerDe
    • Při čtení tabulky Hive serde s nativním zdrojem dat (SPARK-27119) není odvozování schématu.
    • Příkazy Hive CTAS by měly používat zdroj dat, pokud se konvertibilní (SPARK-25271)
    • Použití nativního zdroje dat k optimalizaci vkládání dělené tabulky Hive (SPARK-28573)
  • Apache Kafka
    • Přidání podpory hlaviček Kafka (SPARK-23539)
    • Přidání podpory tokenu delegování Kafka (SPARK-25501)
    • Zavedení nové možnosti pro zdroj Kafka: posun podle časového razítka (počáteční/koncové) (SPARK-26848)
    • minPartitions Podpora možnosti ve zdroji batch Kafka a ve zdroji streamování verze 1 (SPARK-30656)
    • Upgrade Kafka na verzi 2.4.1 (SPARK-31126)
  • Nové integrované zdroje dat

Vylepšení funkcí

Vylepšení kompatibility SQL

  • Přechod na proleptický gregoriánský kalendář (SPARK-26651)
  • Vytvoření vlastní definice vzoru data a času Sparku (SPARK-31408)
  • Zavedení zásad přiřazení úložiště ANSI pro vložení tabulky (SPARK-28495)
  • Ve výchozím nastavení postupujte podle pravidla přiřazení úložiště ANSI v tabulce (SPARK-28885)
  • Přidání SQLConf spark.sql.ansi.enabled (SPARK-28989)
  • Podpora klauzule filtru ANSI SQL pro agregační výraz (SPARK-27986)
  • Podpora funkce ANSI SQL OVERLAY (SPARK-28077)
  • Podpora komentářů vnořených závorek ANSI (SPARK-28880)
  • Vyvolání výjimky při přetečení pro celá čísla (SPARK-26218)
  • Kontrola přetečení pro aritmetické operace intervalu (SPARK-30341)
  • Vyvolání výjimky při přetypování neplatného řetězce na číselný typ (SPARK-30292)
  • Násobení intervalu a rozdělení chování přetečení konzistentně s jinými operacemi (SPARK-30919)
  • Přidání aliasů typu ANSI pro znak a desetinné číslo (SPARK-29941)
  • Analyzátor SQL definuje rezervovaná klíčová slova kompatibilní se standardem ANSI (SPARK-26215)
  • Zakázat vyhrazená klíčová slova jako identifikátory, pokud je zapnutý režim ANSI (SPARK-26976)
  • Podpora syntaxe ANSI SQL LIKE ... ESCAPE (SPARK-28083)
  • Podpora syntaxe logických predikátů ANSI SQL (SPARK-27924)
  • Lepší podpora pro zpracování korelovaných poddotazů (SPARK-18455)

Vylepšení monitorování a ladění

  • Nové uživatelské rozhraní strukturovaného streamování (SPARK-29543)
  • SHS: Povolení přenosů protokolů událostí pro spouštění streamovaných aplikací (SPARK-28594)
  • Přidání rozhraní API, které uživateli umožňuje definovat a sledovat libovolné metriky u dávkových a streamovacích dotazů (SPARK-29345)
  • Instrumentace pro sledování času plánování dotazů (SPARK-26129)
  • Umístěte základní metriky náhodného prohazu do operátoru výměny SQL (SPARK-26139)
  • Příkaz SQL se místo volání zobrazuje na kartě SQL (SPARK-27045).
  • Přidání popisu do SparkUI (SPARK-29449)
  • Vylepšení souběžného výkonu serveru historie (SPARK-29043)
  • EXPLAIN FORMATTED příkaz (SPARK-27395)
  • Podpora zkrácených plánů dumpingu a vygenerovaného kódu do souboru (SPARK-26023)
  • Vylepšení rozhraní describe pro popis výstupu dotazu (SPARK-26982)
  • Příkaz Přidat SHOW VIEWS (SPARK-31113)
  • Vylepšení chybových zpráv analyzátoru SQL (SPARK-27901)
  • Nativní podpora monitorování prometheus (SPARK-29429)

Vylepšení PySpark

  • Přepracované funkce definované uživatelem pandas s nápovědou typu (SPARK-28264)
  • Kanál UDF Pandas (SPARK-26412)
  • Podpora typu StructType jako argumentů a návratových typů pro UDF skalární pandas (SPARK-27240 )
  • Podpora cogroup datového rámce prostřednictvím uživatelem definovaných souborů Pandas (SPARK-27463)
  • Přidání mapInPandas pro povolení iterátoru datových rámců (SPARK-28198)
  • Některé funkce SQL by měly mít také názvy sloupců (SPARK-26979)
  • Vytváření výjimek JAZYKa SQL PySpark s vyššími pythonovými výjimkami (SPARK-31849)

Vylepšení pokrytí dokumentace a testování

  • Vytvoření odkazu SQL (SPARK-28588)
  • Vytvoření uživatelské příručky pro WebUI (SPARK-28372)
  • Vytvoření stránky pro dokumentaci ke konfiguraci SQL (SPARK-30510)
  • Přidání informací o verzi pro konfiguraci Sparku (SPARK-30839)
  • Testy regrese portů z PostgreSQL (SPARK-27763)
  • Pokrytí testu thrift-server (SPARK-28608)
  • Pokrytí uživatelem definovaných uživatelem (Python UDF, pandas UDF, scala UDF) (SPARK-27921)

Další velmi vhodné změny

  • Integrovaný upgrade spuštění Hive z verze 1.2.1 na verzi 2.3.6 (SPARK-23710, SPARK-28723, SPARK-31381)
  • Použití závislosti Apache Hive 2.3 ve výchozím nastavení (SPARK-30034)
  • GA Scala 2.12 a odebrání verze 2.11 (SPARK-26132)
  • Vylepšení logiky pro exekutory časového limitu v dynamickém přidělování (SPARK-20286)
  • Bloky RDD trvalé na disku obsluhované službou náhodného prohazování a ignorovány pro dynamické přidělování (SPARK-27677)
  • Získání nových exekutorů, aby se zabránilo zablokování kvůli blokování (SPARK-22148)
  • Povolit sdílení přidělování fondů paměti Netty (SPARK-24920)
  • Oprava vzájemného zablokování mezi TaskMemoryManager a UnsafeExternalSorter$SpillableIterator (SPARK-27338)
  • Představení AdmissionControl rozhraní API pro StructuredStreaming (SPARK-30669)
  • Vylepšení výkonu hlavní stránky historie Sparku (SPARK-25973)
  • Zrychlení a snížení agregace metrik v naslouchacím procesu SQL (SPARK-29562)
  • Vyhněte se síti, když se bloky náhodného prohazování načítají ze stejného hostitele (SPARK-27651)
  • Vylepšení výpisu souborů pro DistributedFileSystem (SPARK-27801)

Změny chování jádra Sparku, Spark SQL a strukturovaného streamování

Následující průvodce migrací uvádí změny chování mezi Apache Sparkem 2.4 a 3.0. Tyto změny můžou vyžadovat aktualizace úloh, které jste spustili v nižších verzích Databricks Runtime:

Následující změny chování nejsou popsané v těchto průvodcích migrací:

  • Ve Sparku 3.0 se odebrala zastaralá třída org.apache.spark.sql.streaming.ProcessingTime . Místo toho použijte org.apache.spark.sql.streaming.Trigger.ProcessingTime. Stejně tak, org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger byl odstraněn ve prospěch Trigger.Continuous, a org.apache.spark.sql.execution.streaming.OneTimeTrigger byl skrytý ve prospěch Trigger.Once. (SPARK-28199)
  • Ve službě Databricks Runtime 7.0 ve výchozím nastavení Spark při čtení tabulky Hive SerDe zakáže čtení souborů v podadresáři, který není oddílem tabulky. Pokud ho chcete povolit, nastavte konfiguraci spark.databricks.io.hive.scanNonpartitionedDirectory.enabled na truehodnotu . To nemá vliv na čtečky nativních tabulek Sparku a čtečky souborů.

MLlib

Nejzajímavější body

  • Do Binarizeru (SPARK-23578), StringIndexer (SPARK-11215), StopWordsRemover (SPARK-29808) a PySpark QuantileDiscretizer (SPARK-22796) bylo přidáno více sloupců.
  • Podpora transformace funkcí založených na stromech (SPARK-13677)
  • Přidali jsme dva nové vyhodnocovače MultilabelClassificationEvaluator (SPARK-16692) a RankingEvaluator (SPARK-28045).
  • Podpora ukázkových hmotností byla přidána v DecisionTreeClassifier/Regressor (SPARK-19591), RandomForestClassifier/Regressor (SPARK-9478), GBTClassifier/Regressor (SPARK-9612), RegressionEvaluator (SPARK-9612), RegressionEvaluator (SPARK-24102), BinaryClassificationEvaluator (SPARK-24103), BisectingKMeans (SPARK-30351), KMeans (SPARK-29967) a GaussianMixture (SPARK-30102)
  • Bylo přidáno rozhraní API R pro PowerIterationClustering (SPARK-19827)
  • Přidání naslouchacího procesu Spark ML pro sledování stavu kanálu ML (SPARK-23674)
  • Sada přizpůsobení s ověřovací sadou byla přidána do přechodových zesílených stromů v Pythonu (SPARK-24333)
  • Byl přidán transformátor RobustScaler (SPARK-28399)
  • Byl přidán klasifikátor a regresor Factorization Machines (SPARK-29224)
  • Byly přidány Gaussian Naive Bayes (SPARK-16872) a doplněk Naive Bayes (SPARK-29942)
  • Parita funkcí ML mezi Scala a Pythonem (SPARK-28958)
  • predictRaw se zveřejní ve všech klasifikačních modelech. PredictProbability se zveřejní ve všech klasifikačních modelech s výjimkou LinearSVCModel (SPARK-30358).

Změny chování pro MLlib

Následující průvodce migrací uvádí změny chování mezi Apache Sparkem 2.4 a 3.0. Tyto změny můžou vyžadovat aktualizace úloh, které jste spustili v nižších verzích Databricks Runtime:

V průvodci migrací nejsou popsané následující změny chování:

  • Ve Sparku 3.0 vrátí vícetřídová logistická regrese v Pysparku (správně) LogisticRegressionSummaryne podtřídu BinaryLogisticRegressionSummary. Další metody vystavené touto metodou BinaryLogisticRegressionSummary by v tomto případě přesto nefungovaly. (SPARK-31681)
  •  Ve Sparku 3.0 pyspark.ml.param.shared.Has* už mixiny neposkytují žádné set*(self, value) metody setter, místo toho použijte příslušné self.set(self.*, value) metody. Podrobnosti najdete v tématu SPARK-29093. (SPARK-29093)

SparkR

  • Optimalizace šipky v interoperabilitě SparkR (SPARK-26759)
  • Vylepšení výkonu prostřednictvím vektorizovaného objektu R gapply(), dapply(), createDataFrame, collect()
  • "Dychtivé spuštění" pro prostředí R, integrované vývojové prostředí (SPARK-24572)
  • Rozhraní R API pro clustering power iterací (SPARK-19827)

Změny chování pro SparkR

Následující průvodce migrací uvádí změny chování mezi Apache Sparkem 2.4 a 3.0. Tyto změny můžou vyžadovat aktualizace úloh, které jste spustili v nižších verzích Databricks Runtime:

Zastaralé

Známé problémy

  • Analýza dne v roce pomocí vzorového písmena D vrátí nesprávný výsledek, pokud pole roku chybí. K tomu může dojít ve funkcích SQL, jako to_timestamp je analýza řetězce datetime na hodnoty datetime pomocí vzorového řetězce. (SPARK-31939)
  • Spojení, okno nebo agregace uvnitř poddotazů může vést k nesprávným výsledkům, pokud klíče mají hodnoty -0,0 a 0.0. (SPARK-31958)
  • Dotaz okna může selhat s neočekávanou chybou automatického spojení s nejednoznačným spojením. (SPARK-31956)
  • Dotazy streamování s operátorem dropDuplicates nemusí být možné restartovat s kontrolním bodem napsaným Sparkem 2.x. (SPARK-31990)

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 7.0.

Prostředí systému

  • Operační systém: Ubuntu 18.04.4 LTS
  • Java: 1.8.0_252
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R verze 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.4.5 cffi 1.14.0
chardet 3.0.4 kryptografie 2.8 cyklista 0.10.0
Cython 0.29.15 dekoratér 4.4.1 docutils 0.15.2
vstupní body 0.3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 Jedi 0.14.1
jmespath 0.9.4 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 verizonsolver 1.1.0 matplotlib 3.1.3
numpy 1.18.1 pandas 1.0.1 parso 0.5.2
bábovka 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
jádro 20.0.2 prompt-toolkit 3.0.3 psycopg2 2.8.4
ptyprocess 0.6.0 pyarrow 0.15.1 pycparser 2.19
Pygments 2.5.2 PyGObject 3.26.1 pyOpenSSL 19.1.0
pyparsing 2.4.6 PySocks 1.7.1 python-apt 1.6.5+ubuntu0.3
python-dateutil 2.8.1 pytz 2019.3 pyzmq 18.1.1
žádosti 2.22.0 s3transfer 0.3.3 scikit-learn 0.22.1
scipy 1.4.1 seaborn 0.10.0 setuptools 45.2.0
Šest 1.14.0 ssh-import-id 5.7 statsmodels 0.11.0
tornádo 6.0.3 vlastnosti 4.3.3 bezobslužné upgrady 0,1
urllib3 1.25.8 virtualenv 16.7.10 wcwidth 0.1.8
kolo 0.34.2

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN 2020-04-22.

Knihovna Verze Knihovna Verze Knihovna Verze
askpass 1,1 assertthat 0.2.1 backporty 1.1.6
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bitové 1.1-15.2 bit64 0.9-7 blob 1.2.1
startování 1.3-25 vařit 1.0-6 koště 0.5.6
volající 3.4.3 caret 6.0-86 cellranger 1.1.0
chron 2.3-55 class 7.3-17 Rozhraní příkazového řádku 2.0.2
clipr 0.7.0 cluster 2.1.0 codetools 0.2-16
barevný prostor 1.4-1 commonmark 1,7 – kompilátor 3.6.3
config 0.3 covr 3.5.0 pastelka 1.3.4
nežádoucí signál 1.1.0.1 kudrna 4.3 data.table 1.12.8
Power BI 3.6.3 DBI 1.1.0 dbplyr 1.4.3
Desc 1.2.0 devtools 2.3.0 trávit 0.6.25
dplyr 0.8.5 DT 0,13 tři tečky 0.3.0
evaluate 0,14 fanynky 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.0
zahraniční 0.8-76 kovat 0.2.0 Fs 1.4.1
Generik 0.0.2 ggplot2 3.3.0 Gh 1.1.0
git2r 0.26.1 glmnet 3.0-2 globálních objektů 0.12.5
lepidlo 1.4.0 Gower 0.2.1 Grafika 3.6.3
grDevices 3.6.3 mřížka 3.6.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 útočiště 2.2.0
highr 0,8 Hms 0.5.3 htmltools 0.4.0
htmlwidgets 1.5.1 httpuv 1.5.2 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.1 Iterátory 1.0.12
jsonlite 1.6.1 KernSmooth 2.23-17 pletení 1.28
značení 0.3 později 1.0.0 mříž 0.20-41
láva 1.6.7 lazyeval 0.2.2 lifecycle 0.2.0
lubridate 1.7.8 magrittr 1.5 sleva 1,1
MŠE 7.3-51.6 Matice 1.2-18 memoise 1.1.0
metody 3.6.3 mgcv 1.8-31 mim 0,9
ModelMetrics 1.2.2.2 modelr 0.1.6 munsell 0.5.0
nlme 3.1-147 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.1 parallel 3.6.3 pilíř 1.4.3
pkgbuild 1.0.6 pkgconfig 2.0.3 pkgload 1.0.2
plogr 0.2.0 plyr 1.8.6 chválit 1.0.0
prettyunits 1.1.1 pROC 1.16.2 processx 3.4.2
prodlim 2019.11.13 Průběh 1.2.2 sliby 1.1.0
proto 1.0.0 PS 1.3.2 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 Analýza rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.4.6 readr 1.3.1 readxl 1.3.1
recepty 0.1.10 odvetný zápas 1.0.1 rematch2 2.1.1
vzdálená zařízení 2.1.1 reprex 0.3.0 reshape2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.5
rmarkdown 2.1 RODBC 1.3-16 roxygen2 7.1.0
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-6
RSQLite 2.2.0 rstudioapi 0,11 rversions 2.0.1
rvest 0.3.5 váhy 1.1.0 selektor 0.4-2
sessioninfo 1.1.1 tvar 1.4.4 lesklý 1.4.0.2
sourcetools 0.1.7 sparklyr 1.2.0 SparkR 3.0.0
prostorový 7.3-11 spline křivky 3.6.3 sqldf 0.4-11
ČTVEREC 2020.2 statistické údaje 3.6.3 Statistiky 4 3.6.3
stringi 1.4.6 stringr 1.4.0 přežití 3.1-12
sys 3.3 tcltk 3.6.3 TeachingDemos 2.10
testthat 2.3.2 tibble 3.0.1 tidyr 1.0.2
tidyselect 1.0.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0,22 tools 3.6.3 usethis 1.6.0
utf8 1.1.4 utils 3.6.3 vctrs 0.2.4
viridisLite 0.3.0 vous 0,4 withr 2.2.0
xfun 0,13 xml2 1.3.1 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws podpora aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.kofein kofein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib nativní native_ref javy 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib nativní native_system javy 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.8.3
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metriky – jádro 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metriky – kontroly stavu 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metriky – servlety 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extra 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.0
net.snowflake spark-snowflake_2.12 2.5.9-spark_2.4
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.15.1
org.apache.arrow šipka – paměť 0.15.1
org.apache.arrow arrow-vector 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.kurátor kurátor-client 2.7.1
org.apache.kurátor kurátor-framework 2.7.1
org.apache.kurátor kurátor-recepty 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive Hive – společné 2.3.7
org.apache.hive Hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubační
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy břečťan 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-column 1.10.1.2-databricks4
org.apache.parquet parquet-common 1.10.1.2-databricks4
org.apache.parquet kódování parquet 1.10.1.2-databricks4
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.2-databricks4
org.apache.parquet parquet-jackson 1.10.1.2-databricks4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity rychlost 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus cílové skupiny a poznámky 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty pokračování jetty 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core žerzejové společné 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator Hibernate-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap Podložky 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark nepoužitý 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel kočky-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel makro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52